JP2007094544A - 情報検索システム - Google Patents

情報検索システム Download PDF

Info

Publication number
JP2007094544A
JP2007094544A JP2005280274A JP2005280274A JP2007094544A JP 2007094544 A JP2007094544 A JP 2007094544A JP 2005280274 A JP2005280274 A JP 2005280274A JP 2005280274 A JP2005280274 A JP 2005280274A JP 2007094544 A JP2007094544 A JP 2007094544A
Authority
JP
Japan
Prior art keywords
information
conference
search
episodic
attendee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005280274A
Other languages
English (en)
Inventor
Kengo Omura
賢悟 大村
Takeshi Nagamine
猛志 永峯
Yutaka Ando
裕 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2005280274A priority Critical patent/JP2007094544A/ja
Priority to US11/345,334 priority patent/US7810020B2/en
Publication of JP2007094544A publication Critical patent/JP2007094544A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums

Abstract

【課題】同席した会議の参加者の個人情報を容易に検索することができる情報検索システムを提供する。
【解決手段】システムユーザが出席した会議で取得した出席者の個人情報を検索する情報検索システムであって、会議の様子を記録した会議記録情報から、個人情報を検索する手掛かりとするエピソディック情報を抽出する情報抽出装置50と、情報抽出装置50により抽出されたエピソディック情報とそれに関連付けられた個人情報とを蓄積する情報データベース70とを備える。
【選択図】図1

Description

本発明は、個人の言動に関する情報、音声又は画像に基づいて個人情報を容易に検索できる情報検索システムに関する。
例えば、会議や会合で初対面の人と接した場合においては、名刺等により氏名、所属又は連絡先といった個人情報を交換することが行われる。さらに、出席した会議等に関する情報をメモ書きし、名刺等と関連付けて保管、管理することが行われる。これは、名刺等に記載された個人情報と会議等に関する情報とを相互に補完し、個人情報及び会議等に関する情報の管理、検索を容易にする為である。
しかし、名刺等は紛失及び破損の危険がある為、個人情報を電子的に管理等する必要がある。このような、電子的な個人情報の交換、管理、検索が可能な情報システムとしては、例えば、携帯端末を用いて個人情報を電子的に交換する電子名刺交換技術が知られている。(例えば、特許文献1参照)。
しかし、電子名刺のみからでは、出席した会議等に関する情報を管理等することができず、電子的に個人情報と会議に関する情報とを相互に補完し、個人情報及び会議等に関する情報の管理等を容易にする必要がある。このような蓄積、管理、検索をすることができる情報管理システムとしては、電子名刺と会議等に関する情報とを関連付けて蓄積、管理し、検索結果として電子名刺を表示すると共に、会議に関する情報及び会議の出席者の電子名刺をも表示する技術が知られている。
(例えば、特許文献2参照)。
特開2002‐58069 特開2002‐99675
ところで、上記のような情報管理システムでは、会議等に関する情報から個人情報を容易に検索することができる一方で、システムユーザが、多数の会議に出席したような場合には、会議に関する情報を記憶しておくことは困難である。
よって、会議に関する情報の記憶が薄れた場合には、個人情報を検索する事が困難になると言う問題があった。
本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、システムユーザと同席した会議の参加者の個人情報を容易に検索することができる情報検索システムを提供することにある。
本発明に係る情報検索システムは、システムユーザが出席した会議で取得した出席者の個人情報を検索する情報検索システムであって、会議の様子を記録した会議記録情報から、個人情報を検索する手掛かりとするエピソディック情報を抽出する情報抽出手段と、情報抽出手段により抽出されたエピソディック情報と情報抽出手段によりエピソディック情報に関連付けられた個人情報とを蓄積する情報蓄積手段とを備えることを特徴としている。
この構成によれば、例えば、会議に関する情報や個人情報を完全に忘却した場合であっても、エピソディック情報から個人情報を検索することができる。また逆に、エピソディック情報を完全に忘却した場合であっても、会議に関する情報や個人情報からエピソディック情報を検索することができる。
上記構成において、情報抽出手段は、出席者の収音音声の解析により、互いに関連付けられた会議記録情報である収音音声若しくは撮像画像からエピソディック情報を抽出する構成を採用できる。
この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
上記構成において、情報抽出手段は、システムユーザと出席者との対話回数をエピソディック情報として抽出する構成を採用できる。
この構成によれば、例えば、システムユーザは、会議の出席者の内でシステムユーザとの対話回数が最も多かった人物について、個人情報を検索することができる。特に、対話回数が多かったと言う事は記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の収音音声から抽出された対話音声をエピソディック情報として抽出する構成を採用できる。
この構成によれば、システムユーザは、会議の出席者の個人情報を対話時の音声や対話内容に基づいて検索することができる。特に、対話内容は記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の撮像画像から抽出された対話画像をエピソディック情報として抽出する構成を採用できる。
この構成によれば、システムユーザは、会議の出席者の個人情報を対話時の容姿等に基づいて検索することができる。特に、対話時における人物の容姿は印象に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の発言回数をエピソディック情報として抽出する構成を採用できる。
この構成によれば、例えば、システムユーザは、会議の出席者の内で発言回数が最も多かった人物について、個人情報を検索することができる。特に、発言回数が多かったと言う事は、対話回数が多かった事に次いで記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の収音音声から抽出された発言音声をエピソディック情報として抽出する構成を採用できる。
この構成によれば、システムユーザは、会議の出席者の個人情報を発言時の音声や発言内容に基づいて検索することができる。特に、発言内容は対話内容に次いで記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の撮像画像から抽出された発言画像をエピソディック情報として抽出する構成を採用できる。
この構成によれば、システムユーザは、会議の出席者の個人情報を発言時の容姿等に基づいて検索することができる。特に、発言時における人物の容姿は、対話時の容姿に次いで印象に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、情報抽出手段は、出席者の位置情報をエピソディック情報として抽出する構成を採用できる。
この構成によれば、例えば、システムユーザは、会議において隣席した者の個人情報を検索することができる。特に、会議における配席等は記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
上記構成において、検索条件としての情報蓄積手段に蓄積されたエピソディック情報又は個人情報を配列する情報検索手段を更に備える構成を採用できる。
この構成によれば、システムユーザは個人情報を検索する為の検索条件を容易に設定することができる。
上記構成において、検索手段は、検索条件としての情報蓄積手段に蓄積されたエピソディック情報又は個人情報を、出席者の個人情報に含まれる氏名に基づいて配列する構成を採用できる。
この構成によれば、システムユーザは、例えば、個人情報の氏名の一部しか記憶していない会議出席者について、個人情報を検索する為の検索条件を容易に設定することができる。
上記構成において、検索手段は、検索条件としての情報蓄積手段に蓄積されたエピソディック情報又は個人情報を、システムユーザの出席した会議の開催日に基づいて配列する情報検索手段を更に有する構成を採用できる。
この構成によれば、システムユーザは、例えば、大まかな会議の開催日しか記憶していない会議出席者の個人情報を検索する検索条件を容易に設定することができる。
上記構成において、情報蓄積手段に蓄積されたエピソディック情報に対するシステムユーザの忘却度を判断する忘却度判断手段をさらに有し、検索手段は、検索条件としての情報蓄積手段に蓄積されたエピソディック情報を、忘却度判断手段が判断した忘却度に基づいて一覧表示する構成を採用できる。
この構成によれば、システムユーザは、忘却したエピソディック情報を検索する検索条件を容易に設定することができる。
本発明によれば、会議の参加者のエピソディック情報と会議において取得した個人情報とを関連付けられて蓄積するので、システムユーザは参加者の個人情報を検索し易くなる。
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図1は、本発明の情報検索システムの一実施形態を示す構成図である。
この情報検索システムは、図1に示すように、取得装置10、記録解析装置20、個人データベース30、会議データベース40、情報抽出手段としての情報抽出装置50、忘却度判断手段としての忘却度判断装置60、情報蓄積手段としての情報データベース70、情報検索手段としての情報検索装置80、表示装置90及び出音装置100を備えている。
ここで、取得装置10の構成について図2に示す構成図を参照して説明する。
ここで、図2は取得装置10の構成の一例を示す図である。
図2に示すように、取得装置10は、マイクロフォンM、ビデオカメラC、RFIDリーダR及びスライド制御装置Sから成る。
ビデオカメラC、マイクロフォンM、RFIDリーダR及びスライド制御装置Sは記録解析装置20と接続している。
マイクロフォンMは、例えば、圧電マイクで構成される。
マイクロフォンMは、各出席者に1つ以上携帯され、各出席者の音声を収音可能に配置、携帯されている。尚、本実施例では、各出席者は1つのマイクロフォンMを携帯する場合について説明する。
また、マイクロフォンMは、収音音声及び収音したマイクロフォンMを識別する情報(以下、マイクIDと言う)を記録解析装置20へ送信する。
ビデオカメラCは、例えば、CCDカメラで構成される。
ビデオカメラCは1台又は複数台設置され、会議の様子を撮像可能に設置されている。複数のビデオカメラCを設置する理由は、複数の撮像画像から出席者が最も鮮明に撮像された画像を選択する為である。尚、本実施例においてはビデオカメラCを3台設置する場合について説明する。
また、ビデオカメラCは、撮像画像及び撮像したビデオカメラCを識別する情報(以下、カメラIDと言う)を記録解析装置20へ送信する。
尚、1台又は複数台のビデオカメラC及び1つ又は複数個のマイクロフォンMは、会議の開始と同時に撮像及び収音を開始するものとする。
これにより、ビデオカメラCによる撮像画像とマイクロフォンMによる収音音声とを時刻によって対応及び関連付けることができる。
詳細については後述するが、この対応関係により、収音音声の解析により抽出された時間区間における画像を撮像画像から抽出することができる。
RFIDリーダRは、会議会場内に複数台設置される。
また、各出席者はRFIDタグを携帯する。尚、本実施例では、各出席者は1つのRFIDタグを携帯する場合について説明する。
RFIDリーダRは、出席者の携帯するRFIDタグと通信可能に設置されている。
また、RFIDリーダRは、RFIDタグが発する個人を識別する情報(以下、人物IDと言う)を受信する。その後、受信した個人情報を記録解析装置20へ送信する。
これにより、各出席者が携帯するRFIDタグが発信する情報を読取る事ができる。また、複数のRFIDリーダRが受信する電波の強弱により、会場内における出席者の位置情報を取得する事もできる。
スライド制御装置Sは、例えば、パーソナルコンピュータで構成される。
スライド制御装置Sは、1台又は複数台設置される。尚、本実施例では1台のみ設置する場合について説明する。
スライド制御装置Sは、記録解析装置20及びプロジェクタPに接続されている。
スライド制御装置Sは、オペレータHOにより会議において使用されるスライドを入力され、そのスライドを記憶する。
また、スライド制御装置Sは、オペレータにより又は自動で、記憶したスライドをプロジェクタPに送信すると共に、表示スライドを切替えた事を表す信号(以下、スライド切替信号と言う)を記録解析装置20へ送信する。
尚、プロジェクタは受信したスライドをスクリーンSCに投影する。
次に、記録解析装置20について説明する。
記録解析装置20は、例えば、パーソナルコンピュータで構成される。
記録解析装置20は、取得装置10、個人データベース30及び会議データベース40に接続している。
記録解析装置20は、取得装置10から収音音声とマイクID、撮像画像とカメラID、個人情報、スライド切替情報及びスライドを受信する。
また、オペレータHO等から会議を識別する情報(以下、会議IDと言う)、会議の開催場所や日時等の書誌的情報(以下、会議書誌情報と言う)及び本システムの環境情報を入力される。
尚、会議書誌情報及び環境情報とはどのような情報を言うかについては後述する。
その後、取得装置10から受信した収音音声を収音ファイルとして会議データベース40へ蓄積する。
次に、取得装置10から受信した収音ファイルを識別する収音ファイルIDをマイクIDと会議IDと関係付けて会議データベース40へ蓄積する。
尚、収音ファイルIDを会議IDに関連付けて蓄積するのは、同じマイクIDで識別されるマイクロフォンMを複数の会議において使用することを考慮した為である。
さらに、記録解析装置20は、取得装置10から受信した収音音声の音圧レベルを解析することで、出席者が発言を行った時間区間(以下、発言セグメントと言う)を抽出する。
次に、記録解析装置20が収音音声の解析結果を会議データベース40に蓄積する方法の一例について図3を参照して説明する。
ここで、図3は記録解析装置と情報データベースの発言イベント表との関係を説明するための図である。
図3に示すように、記録解析装置20は、上記解析により抽出された発言セグメントの開始時刻TSSと終了時刻TSE(以下、セグメント情報と言う)を、マイクIDと会議IDとに関係付けて会議データベース40の発言イベント表TVSへ蓄積する。
また、記録解析装置20は、取得装置10から受信した撮像画像を撮像ファイルとして会議データベース40へ蓄積する。
その後、記録解析装置20は、撮像画像ファイルと会議ID及びカメラIDを関連付けて会議データベース40へ蓄積する。
上記蓄積方法の一例について図4を参照して説明する。
図4は記録解析装置と会議カメラ表との関係を説明する為の図である。
図4に示すように、記録解析装置20は、撮像ファイルを識別する撮像ファイルIDとカメラIDとオペレータにより入力された会議IDとを関係付けて、撮像画像を会議データベース40の会議カメラ表TBCへ蓄積する。
また、記録解析装置20は、取得装置10から受信した個人情報を個人データベース30に蓄積する。
さらに、記録解析装置20は、取得装置10で受信したRFIDタグの電波を解析することで、会議出席者の位置情報を、会議データベース40に蓄積する。
ここで、記録解析装置20が個人情報を個人データベース30へ蓄積する方法の一例及び出席者の位置情報を会議データベース40に蓄積する方法の一例について図5を参照して説明する。
図5は個人情報と位置情報と情報データベースの関係を説明する為の図である。
図5に示すように、会議の各出席者はRFIDタグTRを有している。
出席者の有するRFIDタグTRは、人物ID、氏名、所属する会社名、部門、職階、肩書き及び連絡先としての内線番号、電話番号やEメールアドレス等の個人情報を電波発信している。
記録解析装置20は、取得装置10のRFIDリーダRが出席者の携帯するRFIDタグTRから読取った個人情報を受信する。その後、記録解析装置20は、個人データベース30の個人情報表TIDへ追加又は更新する。
これにより、システムユーザが会議において初めて対面した人物に関する個人情報を、本情報システムに自動的に追加することができる。
また、例えば、婚姻等により氏が変更した場合においても、自動的に最新の個人情報に更新することができる。
また、記録解析装置20は、RFIDリーダが受信したRFIDタグの電波強度を距離情報に変換し、三点測量や位置補正をすることで出席者の位置情報を取得する。
さらに、記録解析装置20は、取得した位置情報によって会議出席者の移動を検知する。
その後、記録解析装置20は、取得した出席者の位置情報、移動開始時刻、移動終了時刻、移動元及び移動先を、会議IDと人物IDとに関連付けて会議データベース40の移動イベント表TVMへ蓄積する。
また、記録解析装置20は、取得装置10から受信したスライドをスライドファイルとして会議データベース40へ蓄積する。
また、記録解析装置20は、スライドを識別する情報(以下、スライドIDと言う)を会議ID及び各スライドが表示された時刻等の情報とを関連付けて会議データベース40の会議スライド表TBLに蓄積する。
ここで、記録解析装置20がスライドが表示された時刻等の情報を会議データベース40へ蓄積する方法の一例について図6を参照して説明する。
図6は、記録解析装置とスライド表示イベント表との関係を説明する為の図である。
図6に示すように、記録解析装置20は、取得装置10から受信したスライド表示切替信号によって特定のスライドが表示されている時間を判断する。
その後、表示開始時刻及び表示終了時刻を、スライドIDと会議IDとに関連付けて会議データベース40のスライド表示イベント表TVLへ蓄積する。
また、記録解析装置20は、オペレータ等により入力された環境情報を会議データベース40へ蓄積する。
ここで、環境情報とは、領域環境情報、カメラ環境情報及び人物環境情報を言う。
領域環境情報とは、会議室を複数の領域に分割した際の分割領域に関する環境情報を言う。
カメラ環境情報とは、ビデオカメラの撮像範囲に関する環境情報を言う。
人物環境情報とは、人物に関する環境情報を言う。
会議室の分割領域に関する環境情報について図7を参照して説明する。
図7は、記録解析装置と領域環境表との関係を説明する為の図である。
図7に示すように、会議室AMはそれぞれ重複しない領域に分割されている。
また、分割領域は、会議室の特定の位置を原点として二次元座標で表される。本実施例では、分割領域は方形であるとした。よって、分割領域は原点に最も近い頂点との原点から最も遠い頂点の二次元座標で特定される。
オペレータHOは記録解析装置20へ領域環境情報を入力する。
記録解析装置20は、オペレータにより入力された領域環境情報である分割領域を特定する情報と分割領域を識別する情報とを関連付けて会議データベース40へ蓄積する。
次に、ビデオカメラの撮像範囲に関する環境情報について図8を参照して説明する。
図8は、記録解析装置とカメラ環境表との関係を説明する為の図である。
図8に示すように、ビデオカメラCはそれぞれ異なった分割領域を撮像可能に設置されている。
また、撮像領域は、撮像される人物を鮮明に撮像できる距離に位置する分割領域とそうでない分割領域の二領域に分類されている。
記録解析装置20は、上記二領域とビデオカメラを識別する情報(以下、カメラIDと言う)とを関連付けて会議データベース40のカメラ環境表TNCへ蓄積する。
尚、ビデオカメラCが撮像する分割領域は、上記分割領域表で特定される領域で表されるとする。
次に、人物に関する環境情報について図9を参照して説明する。
図9は、記録解析装置と人物環境表との関係を説明する為の図である。
図9に示すように、会議の出席者は、それぞれマイクロフォンM及びRFIDタグTRを有している。
それぞれのマイクロフォンMにはマイクIDが、RFIDタグには人物IDがそれぞれ付されている。
記録解析装置20は、オペレータHOにより入力された人物IDと会議IDとマイクIDとを関連付けて会議データベース40の人物環境表TNHへ蓄積する。
また、記録解析装置20は、オペレータ等により入力された会議書誌情報を会議データベース40の会議書誌表TBMへ蓄積する。
ここで、会議データベース40に蓄積された会議書誌情報について図10を参照して説明する。
図10は、会議データベース40に蓄積された会議書誌情報を説明する為の図である。
図10に示すように、記録解析装置20は、会議IDと会議書誌情報とをオペレータHOにより入力される。
その後、記録解析装置20は、会議IDと会議書誌情報とを関連付けて会議データベース40の会議書誌表TBMへ蓄積する。
会議書誌情報とは、会議に関する書誌的情報を言う。
具体的には、会議の開催された年月日、開始時刻、終了時刻、開催場所の地区名、会議室名、参加人数、各出席者の人物ID、欠席者の人物ID、会議の種類、司会者の人物ID、発表・講演者の人物ID、利用した機器、休憩の有無、休憩開始時刻、休憩終了時刻、議題、決定事項等を言う。
尚、会議カラムCMには会議IDを、人物カラムCHには会議の出席者を識別する人物IDを蓄積する。
個人データベース30は、例えば、リレーショナルデータベースで構成される。
個人データベース30は、記録解析装置20及び情報抽出装置50に接続されている。
個人データベース30は、会議出席者の個人情報を蓄積する。
会議データベース40は、例えば、リレーショナルデータベースで構成される。
会議データベース40は、記録解析装置20、情報抽出装置50及び情報検索装置80に接続されている。
ここで、会議データベース40の構成ついて図11を参照して説明する。
図11は、会議データベース40の構成を説明する為の図である。
図11に示すように、会議データベース40は、データテーブルとデータファイルを有する。
データテーブルは、書誌的情報を蓄積する書誌表グループGB、会議におけるイベント情報を蓄積するイベント表グループGV及び本システムの環境情報を蓄積する環境表グループGNに分類される。
書誌表グループは、会議書誌表TBM、会議カメラ表TBC及び会議スライド表TBLから成る。
イベント表グループGVは、発言イベント表GVS、移動イベント表GVM、スライド表示イベント表GVLから成る。
環境表グループGNは、領域環境表TNA、カメラ環境表TNC及び人物環境表TNHから成る。
データファイルは、撮像ファイルFM、収音ファイルFA及びスライドファイルFSが蓄積されている。
情報抽出装置50は、例えば、パーソナルコンピュータで構成される。
情報抽出装置50は、個人データベース30、会議データベース40及び情報データベース70に接続されている。
情報抽出装置50は、個人データベース30及び会議データベース40を参照する事で、システムユーザが出席した会議の会議書誌情報、同席者の個人情報及び同席者のエピソディック情報の一部を取得する。更に、取得した上記情報を情報データベース70へ、システムユーザ毎に蓄積する。
ここで、エピソディック情報とは、システムユーザが出席した会議の様子を記録した会議記録情報から、個人情報を検索する手掛かりとする情報を言う。尚、会議記録情報については後述する。
本実施例では、エピソディック情報として、代表ショット、サムネイル、対話回数、発言回数、会議総対話時間、会議平均対話時間、会議総発言時間、会議平均発言時間、会議座席距離、会議平均距離、総対話回数、平均対話回数、総対話時間、平均総対話時間、平均対話時間、総発言回数、平均発言回数、総発言時間、平均総発言時間、平均発言時間、平均座席距離及び平均距離を取得する。
尚、上記エピソディック情報の詳細については、後述する。
また、会議記録情報とは、システムユーザが出席した会議の様子を記録した情報を言う。
本実施例では、収音音声及び撮像画像並びに発言イベント表GVS、移動イベント表GVM及びスライド表示イベント表GVLに蓄積された情報を言う。
ここで、上記構成の情報抽出装置50の動作について、図12ないし図14を参照して説明する。
ここで、図12は情報抽出装置の動作を示すフローチャートであり、図13は情報抽出装置がユーザ情報を更新する処理を示すフローチャートであり、図14は情報抽出装置が代表ショットを取得する処理を示すフローチャートである。
先ず、図12に示すように、情報抽出装置50は、一定期間が経過するまで又は何らかのシグナルを受領するまでスリープする(ステップST1)。
次いで、情報抽出装置50は、システムユーザによって情報抽出コマンドを入力されたかを判断する(ステップST2)。
これは、定期的なバッチ処理により実行される情報データベース70の更新を、システムユーザに任意のタイミングで行う為に必要とされる処理である。
その後、情報抽出装置50は、情報抽出コマンドを受領した場合にはステップST3を実行する。そうでない場合にはステップST5を実行する。
ステップST2において、情報抽出装置50は、受領したコマンドが情報抽出コマンドであると判断した場合には、情報データベース70に登録された全システムユーザに対し、ステップST4の処理を実行したかを順次に判断する(ステップST3)。
情報抽出装置50は、未処理のユーザが存在する場合にはステップST4の処理を実行する。そうでない場合には、ステップST1の処理に戻り上記処理を繰り返す。
ステップST3において、情報抽出装置50は、未処理のユーザが存在すると判断した場合には、未処理だと判断したユーザの一人(以下、処理対象ユーザと言う)に対してユーザ情報更新処理を実行する(ステップST4)。尚、ユーザ情報更新処理については後述する。
その後、ステップST3に戻り上記処理を繰り返す。
ここで、ステップST2において、受領したコマンドが情報抽出コマンドでないと判断した場合には、情報抽出装置50はバッチ処理を行うべき所定時刻を経過したかを判断する(ステップST5)。
これは、ステップST4におけるユーザ情報更新処理を定期的に行う為である。
情報抽出装置50は、所定時刻を経過した場合には、ステップST3の処理を実行する。そうでない場合には、ステップST6の処理を実行する。
ステップST5において、情報抽出装置50は、所定時刻を経過していないと判断した場合には、システムユーザによって終了コマンドを入力されたかを判断する(ステップST6)。
情報抽出装置50は、終了コマンドを入力された場合には処理を終了する。そうでない場合にはステップST7の処理を実行する。
ステップST6において、情報抽出装置50は、終了コマンドを受領していないと判断した場合には、表示集計コマンドを受領したかを判断する(ステップST7)。
情報抽出装置50は、表示集計コマンドを入力された場合にはステップST8の処理を実行する。そうでない場合にはステップST1に戻り上記処理を繰り返す。
ステップST7において、情報抽出装置50は、表示集計コマンドを受領したと判断した場合には、表示集計処理を実行する。
その後、ステップST1に戻り上記処理を繰り返す。
ここで、表示集計処理について説明する。
表示集計処理とは、情報検索装置80による検索処理を容易にする為に、情報抽出装置50によって行われる集計処理である。
先ず、情報抽出装置50は、会議データベース40及び情報データベース70に蓄積された情報を参照し、表示集計コマンドで指定された各種の会議指標及び忘却度を除く全体指標を集計する。
尚、会議指標、全体指標及び忘却度については、後述する。
その後、情報抽出装置80は、上記集計結果である各種の指標を情報データベース70へ蓄積する。
蓄積が終了した後、情報抽出装置50は、情報検索装置80へ集計終了通知を送信する。
ここで、会議指標とは、会議座席距離、会議平均距離、会議総対話時間、会議平均対話時間、会議総発言時間及び会議平均発言時間を言う。
会議指標は、処理済会議について会議の出席者毎に情報抽出装置50によって集計、蓄積される。
全体指標とは、同席回数、同席率、総同席時間、時間同席率、平均座席距離、平均距離、総対話回数、平均対話回数、総対話時間、平均総対話時間、平均対話時間、総発言回数、平均発言回数、総発言時間、平均総発言時間、平均発言時間、最初の同席会議ID、最後の同席会議ID及び忘却度を言う。
忘却度を除く全体指標は、処理済会議の出席者毎に情報抽出装置50によって集計、蓄積される。
ここで、本実施例では、情報抽出装置50は、エピソディック情報として、会議指標である会議座席距離、会議平均距離、会議総対話時間、会議平均対話時間、会議総発言時間及び会議平均発言時間、並びに、全体指標として、平均座席距離、平均距離、総対話回数、平均対話回数、総対話時間、平均総対話時間、平均対話時間、総発言回数、平均発言回数、総発言時間、平均総発言時間及び平均発言時間を集計する。
この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
以下、会議指標について説明する。
会議座席距離とは、処理済会議におけるシステムユーザと会議出席者との座席領域の距離を言う。
ここで、座席領域とは、会議において出席者が最も長い時間滞在した領域を言う。
座席領域は会議データベース40の移動イベント表TVMを集計することで得られる。
また、座席領域の距離は、会議データベース40の領域環境表TNAからそれぞれの座席領域の中心座標を得ることで計算される。
会議平均距離とは、処理済会議におけるシステムユーザと会議出席者との所在領域の距離に対する平均を言う。
会議総対話時間とは、処理済会議におけるシステムユーザと会議出席者との対話時間の総和を言う。
会議平均対話時間とは、処理済会議におけるシステムユーザと会議出席者との対話時間の平均を言う。つまり、1回の対話で平均どの程度の長さの対話をするかを言う。
会議総発言時間とは、処理済会議における会議出席者の発言時間の総和を言う。
会議平均発言時間とは、処理済会議における会議出席者の発言時間の平均を言う。
次に、全体指標について説明する。
同席回数とは、システムユーザとその他の出席者が処理済会議に同席した回数を言う。
同席率とは、システムユーザとその他の出席者が処理済会議に同席した率を言い、同席回数をシステムユーザが出席した処理済会議の数で割ることで求められる。
総同席時間とは、システムユーザとその他の出席者が同席した処理済会議の開催時間を総和したものである。
時間同席率とは、総同席時間をシステムユーザが出席した処理済会議の開催時間の総和で割ることで求められる。
平均座席距離とは、会議座席距離の全体平均を言う。
平均距離とは、会議平均距離の全体平均を言う。
総対話回数とは、対話回数の総和を言う。
平均対話回数とは、対話回数の全体平均を言う。
総対話時間とは、会議総対話時間の総和を言う。
平均総対話時間とは、会議総対話時間の全体平均を言う。
平均対話時間とは、会議平均対話時間の全体平均を言う。
総発言回数とは、発言回数の総和を言う。
平均発言回数とは、発言回数の全体平均を言う。
総発言時間とは、会議総発言時間の総和を言う。
平均総発言時間とは、会議総発言時間の全体平均を言う。
平均発言時間とは、会議平均発言時間の全体平均を言う。
最初の同席会議IDとは、最初にシステムユーザと出席者が同席した処理済会議の会議IDを言う。
最後の同席会議IDとは、最後にシステムユーザと出席者が同席した処理済会議の会議IDを言う。
忘却度とは、忘却度判断装置60により特定される値であり、使用ユーザが出席者の個人情報を忘却している度合いを表す。
次に、情報抽出装置50の実行するユーザ情報更新処理について図13を参照して説明する。
情報抽出装置50は、処理対象ユーザが参加した会議であり、未だユーザ情報更新処理の対象となっていない会議(以下、新規参加会議と言う)を検出する。(ステップST11)。以下、この検出処理について説明する。
先ず、情報抽出装置50は、情報データベース70から処理対象ユーザを識別する情報(以下、処理対象ユーザIDと言う)を参照する。
次に、情報データベース70から、処理対象ユーザが参加した会議としてユーザ情報更新処理の結果蓄積された会議(以下、処理済会議と言う)を識別する情報(以下、処理済会議IDと言う)を取得する。
その後、情報抽出装置50は、会議データベース40の会議書誌表TBMから、人物カラムCHに処理対象ユーザIDを蓄積し、且つ、会議カラムCMに処理済会議IDを蓄積していないと言う条件でレコードを検索する。
これにより、情報抽出装置50は、検索されたレコードの会議カラムCMに蓄積する会議IDを取得する。この取得した会議IDによって識別される会議が新規参加会議である。
次に、情報抽出装置50は、ステップ11の検出処理により新規参加会議を検出したかを判断する(ステップST12)。
情報抽出装置50は、新規参加会議を検出した場合にはステップ13の処理を実行する。そうでない場合には、処理を終了する。
ステップST12において新規参加会議を検出した場合、情報抽出装置50は、新規参加会議に関する会議書誌情報を取得する(ステップST13)。
尚、会議書誌情報を取得するには、会議データベース40の会議書誌表TBMから、新規参加会議IDを蓄積したレコードを参照すれば良い。
その後、情報抽出装置50は、ステップ13で取得した会議書誌情報を新規参加会議ID及び処理対象ユーザIDと関連付けて情報データベース70へ追記する。
本来ならば、情報抽出装置50は、新規参加会議IDのみを情報データベース70に追記するべきである。
これにより、本情報システムは、情報データベース70に蓄積された会議IDと会議データベース40の会議書誌表TBMに蓄積された会議IDとを関連付けることで、会議書誌情報について整合を維持することができる。
しかし、本情報システムは、検索処理時間を短縮する必要がある。
また、本情報システムにおいては会議書誌情報の更新は考えられない。
よって、本実施例においてはそのような構成を採用しない事とした。
次に、情報抽出装置50は、新規参加会議の出席者それぞれについてステップ16ないし19の処理を行ったかを判断する(ステップST15)。
ステップ16ないし19の処理を行っていない新規参加会議の出席者(以下、未処理出席者と言う)が存在する場合には、未処理出席者についてステップ16の処理を実行する。そうでない場合には処理を終了する。
ステップ15において、情報抽出装置50は、未処理出席者が存在すると判断した場合には、未処理出席者について個人情報を取得する(ステップST16)。
ここで、個人情報は、情報抽出装置50が、未処理出席者の人物IDに基づいて個人データベース30の個人情報表TIDを検索することで得られる。
次に、情報抽出装置50は、未処理出席者の個人情報を新規参加会議ID及び処理対象ユーザIDと関連付けて情報データベース70に追記する(ステップST17)。
ここで、このような構成を採用した為、個人データベース30に蓄積された個人情報と情報データベース70に蓄積された会議出席者の個人情報との整合性は保たれない。
つまり、個人データベース30に蓄積された個人情報は、記録解析装置20により最新の個人情報に更新されるが、情報データベース70に蓄積された会議出席者の個人情報は、ユーザ情報更新処理の行われた時点に個人データベース30に蓄積されていた個人情報を維持し続ける。
これは、例えば、会議出席者の一人が会議で対面した後に婚姻等により氏を変更した場合であっても、その事実を知らないシステムユーザは、会議において紹介された氏に基づいて個人情報を検索することができるような構成を採用した為である。
次に、情報抽出装置50は、未処理出席者の代表ショットを取得する処理を実行する(ステップST18)。
尚、代表ショットの定義及び代表ショットを取得する処理については後述する。
その後、情報抽出装置50は、取得した代表ショット情報等を処理対象ユーザID、新規参加会議の会議ID及び未処理出席者の人物IDに関連付けて情報データベース70へ蓄積する(ステップST19)。
尚、代表ショット情報等とは、ステップ18の代表ショット取得処理で取得した処理対象出席者との対話回数、発言回数、代表ショット情報及びサムネイルを言う。尚、代表ショット情報については後述する。
その後、情報抽出装置50は、ステップST15の処理に戻り上記処理を繰り返す。
次に、情報抽出装置50の実行する代表ショット取得処理について図14を参照して説明する。
情報抽出装置50は、会議の様子を撮像した撮像画像の内から代表ショットを抽出することができる時間区間(以下、抽出可能区間と言う)を取得する(ステップST21)。
本実施例では、抽出可能区間であるかの判断は以下の条件を満たす時間区間であるかをもって判断することとした。
条件とは、処理対象出席者がビデオカメラにより撮像可能な領域に位置している時間区間であり、且つ、スライドが表示されていない時間区間であると言うものである。
ここで、スライドが表示されていないと言う条件の意味するところは、スライドが表示されている時間区間においては、室内が薄暗い為にビデオカメラによる撮像が鮮明ではないと考えられるために条件として追加した。
次に、抽出可能区間の取得方法について説明する。
先ず、会議データベース40のカメラ環境表TNCからビデオカメラCの撮像可能領域を取得する。その後、会議データベース40の移動イベント表GVMから処理対象出席者の位置情報及びそれに関連した時間区間を取得する。
これにより、処理対象出席者が上記で取得した撮像可能領域に位置していた時間区間を取得する。
さらに、会議データベース40のスライド表示イベント表GVLからスライドが表示されていた時間区間を取得することで抽出可能区間を得ることができる。
尚、会議において常にスライドが表示されていた等して抽出可能区間を得ることができなかった場合には、抽出可能区間を会議の行われた時間区間に一致させる事とする。
次に情報抽出装置50は、処理対象出席者の発言回数を取得する(ステップST22)。
ここで、発言回数を取得するには、会議データベース40の人物環境表TNHから、処理対象出席者IDで識別される人物が処理対象会議で使用したマイクロフォンMのマイクIDを取得する。
その後、情報抽出装置50は、会議データベース40の発言イベント表TVSから、上記取得マイクID及び新規参加会議IDを蓄積したレコードを取得する。
このようにして得られたレコードのレコード数が発言セグメントの数であり、すなわち発言回数である。
この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
次に、情報抽出装置50は、処理対象出席者が新規参加会議において発言をしていないかを判断する(ステップST23)。
これは、発言回数が0であるかによって判断される。
発言回数が0である場合には、ステップ24の処理を実行する。そうでない場合には、ステップ25の処理を実行する。
ステップ23において、情報抽出装置50は、発言回数が0であると判断した場合には、対話回数を0とする(ステップST24)。
これは、処理対象出席者が発言をしていない以上、処理対象ユーザと対話をしていない為である。
また、この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
その後、情報抽出装置50は、ステップST26を実行する。
ここで、ステップ23において、情報抽出装置50は、発言回数が0でないと判断した場合には、処理対象ユーザと処理対象出席者との対話回数を取得する(ステップST25)。
情報抽出装置50が処理対象出席者と処理対象ユーザとの対話回数を取得する方法について図15に示す図を参照して説明する。
ここで、図15は、処理対象ユーザ及び処理対象出席者の発言セグメントを時間的関係に基づいて比較した図である。
図15に示すように、情報抽出装置50は、処理対象ユーザの発言セグメントの終了時刻TSEと処理対象出席者の発言セグメントの開始時刻TSSとのセグメント時間間隔SPS、又は、処理対象出席者の発言セグメントの終了時刻TSEと処理対象ユーザ処理対象ユーザの発言セグメントの開始時刻TSSとのセグメント時間間隔SPSを求める。
その後、セグメント時間間隔SPSが予め定められた閾値を超ない場合には、対話であると判断する。そうでない場合には発言であると判断する。
ここで、本実施例では閾値を3秒として説明する。
図15に表した処理対象ユーザの発言セグメントSGS11と処理対象出席者の発言セグメントSGS21とのセグメント時間間隔SPS1は1秒である。
よって、処理対象ユーザと処理対象出席者は対話をしたと判断される。ここで、対話と判断された発言セグメントの事を特に対話セグメントと言う。
また、図15に示した処理対象出席者の発言セグメントSGS22と処理対象ユーザの発言セグメントSGS11とのセグメント時間間隔SPS2は12秒であり、閾値である3秒を超える。
よって、発言セグメントSGS11と発言セグメントSGS22の関係は対話ではない。
また、処理対象出席者の発言セグメントSGS22とセグメント時間間隔SPS3が閾値である3秒以内となるような処理対象ユーザの発言セグメントSGSは存在しない。
よって、処理対象出席者の発言セグメントSGS22は対話セグメントではないと判断される。
尚、処理対象ユーザ及び処理対象出席者の発言セグメント開始時刻TSS及び終了時刻TSEを取得するには、会議データベース40の発言イベント表GVSと人物環境表GNHを、マイクID及び会議IDで関連付ければ良い。
この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
次に、情報抽出装置50は、処理対象ユーザと処理対象出席者が新規参加会議において対話をしたかを判断する。これは、対話回数が0より大きいかにより判断する(ステップST26)。
対話回数が0より大きいで場合には、情報抽出装置50はステップ27を実行し、そうでない場合には、ステップ29を実行する。
ステップ26において、情報抽出装置50は、対話回数が0より大きいと判断した場合には、対話セグメントの中から抽出可能区間に属する代表セグメントに関する情報(以下、代表セグメント情報と言う)を抽出する。(ステップST27)。
ここで、代表セグメントとは、抽出対象のセグメントの内で最もセグメント長が長いセグメントを言う。ただし、代表セグメント長が予め定めた閾値を超える場合には、セグメント長が予め定めたの閾値となるように開始時刻から連続的に抽出されたものとする。
次に、情報抽出装置50は、代表セグメント情報を抽出できたかを判断する(ステップST28)。
情報抽出装置50が代表セグメント情報を抽出できた場合には、情報抽出装置50は、ステップ35を実行する。そうでない場合には、ステップ30を実行する。
尚、情報抽出装置50が代表セグメント情報を抽出できないと言うことは、例えば、処理対象ユーザと処理対象出席者が対話をしたが、対話時に常にスライドが表示されていた場合等に生じる。
そのような場合には、以下で説明するように発言セグメント等から代表セグメントを抽出する。
ステップ26において、対話回数が0より大きいと判断した場合は、情報抽出装置50は、発言回数が0より大きいか判断する(ステップST29)。
情報抽出装置50は、発言回数が0より大きい場合にはステップ30の処理を実行する。そうでない場合には、ステップ32の処理を実行する。
ステップ28において、情報抽出装置50が対話セグメントから代表セグメント情報を抽出することできなかったと判断した場合、又は、ステップ29において、情報抽出装置50が処理対象出席者の発言回数が0より大きいと判断した場合には、処理対象出席者の発言セグメントから抽出可能区間に属する代表セグメントを抽出する。(ステップST30)。
次に、情報抽出装置50は、代表セグメント情報を抽出できたかを判断する(ステップST31)。
情報抽出装置50が代表セグメント情報を抽出できた場合には、情報抽出装置50は、ステップ35を実行する。そうでない場合には、ステップ32を実行する。
ステップ31において、情報抽出装置50が発言セグメントから代表セグメントを抽出できなかったと判断した場合には、情報抽出装置50は、新規参加会議における出席者の誰一人として発言をしていないセグメントから抽出可能区間に属する代表セグメントを取得する(ステップST32)。
次に、情報抽出装置50は、代表セグメント情報を抽出できたかを判断する(ステップST33)。
情報抽出装置50が代表セグメント情報を抽出できた場合には、情報抽出装置50は、ステップ35を実行する。そうでない場合には、ステップ34を実行する。
ステップ33において、情報抽出装置50が代表セグメント情報を抽出できなかったと判断した場合には、抽出可能区間から代表セグメント情報を抽出する(ステップST34)。
その後、情報抽出装置50は、ステップ35を実行する。
情報抽出装置50は、ステップ28、31、33において、代表セグメント情報を抽出することができたと判断した場合、又は、ステップ34で代表セグメント情報を抽出した後には、出席者を撮像した撮像ファイルの内から出席者が最も鮮明に撮像された撮像ファイルを選択する(ステップST35)。
以下、撮像ファイルを選択する処理について説明する。
先ず、情報抽出装置50は、会議データベース40の移動イベント表TVMを参照し、代表セグメントにおける出席者の位置情報を取得する。
次に、情報抽出装置50は、会議データベース40のカメラ環境表を参照し、取得した位置情報から出席者を最も鮮明に撮像したカメラのカメラIDを取得する。
ここで、複数のビデオカメラによって処理対象出席者が撮像されていた場合には、情報抽出装置50は、撮像距離が近いものほど出席者を鮮明に撮像したと判断する。
その後、情報抽出装置50は、会議データベース40の会議カメラ表TBCを参照し、会議IDが新規参加会議IDでありカメラIDが上記で取得したカメラIDで検索される撮像ファイルIDを取得する。
これにより、代表セグメントにおける出席者の撮像画像(以下、代表ショット画像と言う)を取得することができる。
同様にして、代表セグメントにおける出席者の収音音声(以下、代表ショット音声と言う)をも取得することができる。
尚、代表ショット画像と代表ショット音声を合わせて代表ショットと言う。
また、この構成によれば、エピソディック情報を自動で取得する為、システム管理者等の労力を軽減できる。
さらに、代表ショット情報とは、代表セグメントの開始時刻、終了時刻及びの上記により選択された撮像ファイル及び収音ファイルの所在を表す情報を言う。
尚、情報データベース70に蓄積するのは、代表ショット情報であって代表ショットそのものではない。
このような構成を採用したのは、情報データベース70において使用されるディスク容量を節約する為及びユーザ情報更新処理を処理を高速化する為である。
さらに、対話セグメントから得られた代表セグメントにより、撮像画像から抽出された代表ショット画像を対話画像と言い、収音音声から抽出された代表ショット音声を対話音声と言う。
同様に、発言セグメントから得られた代表セグメントにより、撮像画像から抽出された代表ショット画像を発言画像と言い、収音音声から抽出された代表ショット音声を発言音声と言う。
次に、情報抽出装置50は、処理対象出席者のサムネイルを取得する(ステップST36)。
これは、ステップ35において取得された代表ショット画像の先頭フレームを取得し、それを縮小化することで取得できる。
その後、情報抽出装置50は、代表ショット取得処理を終了する。
この構成により、代表ショットを取得するシステム管理者等の労力を軽減できるばかりか、代表ショットの撮像及び収音をされる会議出席者の心理的抵抗を軽減することができる。
忘却度判断装置60は、例えば、パーソナルコンピュータにより成される。
忘却度判断装置60は、情報データベース70に接続されている。
忘却度判断装置60は、図示は省略するが、表示画面、スピーカ、ポインティングディバイス(以下、単にマウスと言う)及びキーボードに接続されている。
忘却度判断装置60は、システムユーザが過去に対面した処理済会議の出席者に対する忘却度を特定する。
また、忘却度判断装置60は、情報データベース70へ忘却度を蓄積する。
ここで、忘却度とは、システムユーザが出席者の個人情報を忘却している度合いを表す値である。
具体的には、忘却度判断装置60は、過去に対面した処理済会議の出席者に関するエピソディック情報であるサムネイル又は代表ショットを情報データベース70から取得する。
その後、忘却度判断装置60は、表示画面にサムネイル又は代表ショット画像を表示し、スピーカから代表ショット音声を出音する。
使用ユーザは、マウス又はキーボードを操作し、表示又は出音されたエピソディック情報に基づいて、個人情報である氏名等を忘却度判断装置60に入力する。
忘却度判断装置60は、個人情報の入力に対する正誤を、エピソディック情報を表示した人物の人物IDに関連付けて記憶する。
忘却度判断装置60は、また、記憶した正誤に基づいて会議出席者毎に忘却度を特定する。
その後、忘却度判断装置60は、忘却度を情報データベース70へ、システムユーザを識別する情報と参加者の人物IDと関連付けて蓄積する。
情報データベース70は、例えば、リレーショナルデータベースで構成される。
情報データベース70は、情報抽出装置50、忘却度判断装置60及び情報検索装置80に接続されている。
ここで、情報データベース70の構成ついて図16を参照して説明する。
図16は、情報データベース70の構成を観念的に説明する為の図である。
図16に示すように、情報データベース70は、本システムのシステムユーザそれぞれに対しユーザ情報IUを蓄積している。
ユーザ情報IUは、会議情報IMと全体指標IXAからなる。
会議情報IMは、処理済会議毎に蓄積された会議書誌情報、会議の出席者の個人情報及びエピソディック情報IEから成る。
エピソディック情報IEは、代表ショット情報、サムネイル、対話回数、発言回数及び会議指標IXMから成る。
会議指標IXM及び全体指標IXAは、情報検索装置80による検索処理を容易にする為、情報抽出装置50又は忘却度判断装置60によって集計、蓄積される情報である。
尚、全体指標IXAは処理済会議の出席者毎に情報データベース70へ蓄積される。
情報検索装置80は、例えば、パーソナルコンピュータで構成される。
情報検索装置80は、情報データベース70、情報抽出装置50、表示装置90及び出音装置100と接続している。
また、図示は省略するが、情報検索装置80はマウス及びキーボードにも接続されている。
オペレータは、情報検索装置80に接続されたポインティングディバイスやキーボードを操作することで、情報検索装置80へ検索条件又は表示条件入力する。
次に、情報検索装置80は、情報抽出装置50へ表示集計コマンドを送信する。
情報検索装置80が情報抽出装置50へ表示集計コマンドを送信した場合には、情報検索装置80は、情報抽出装置50から集計終了通知を受信した後に検索処理を実行する。
情報検索装置80の実行する検索処置は、入力された検索条件及び表示条件に従ってなされる。
尚、検索処理の具体的な説明は後述する。
表示装置90は、例えば、液晶表示装置又はCRT等で構成される。
表示装置90は、情報検索装置80に接続されている。
表示装置90は、情報検索装置80の行った検索の結果を表示する。
尚、表示処理の具体的な説明は後述する。
出音装置100は、例えば、スピーカ等で構成される。
出音装置100は、情報検索装置80に接続されている。
出音装置100は、情報検索装置80の行った検索の結果を出音する。
ここで、情報検索装置80の検索動作、表示装置90の表示及び出音装置100の出音について図17ないし21に示す画面構成図を参照して説明する。
ここで、図17は、名簿表示画面を説明する為の画面構成図である。
図18は、名簿表示画面におけるエピソディック情報表示画面を説明する為の図である。
図19は、出席者表示画面を説明する為の画面構成図である。
図20は、出席者表示画面おけるエピソディック情報表示画面を説明する為の図である。
図21は、時系列表示画面を説明する為の画面構成図である。
図22は、検索表示画面を説明する為の画面構成図である。
図23は、忘却者表示画面を説明する為の画面構成図である。
先ず、本情報システムを使用するシステムユーザ(以下、使用ユーザと言う)が最初にログインした場合に表示される初期画面の表示方法及び操作方法について説明する。
図17に示すように、初期画面の表示画面91はエピソディック情報表示画面92、個人情報表示画面93、会議書誌情報表示画面94及びメニューバー96から成る。
また、エピソディック情報表示画面92は、表示すべきサムネイル及び氏名を氏名の五十音順に基づいて分類表示する。
ここで、この様に氏名の五十音順に基づいて分類表示された表示画面91を名簿表示画面と言う。
以下、情報検索装置80が検索する方法、検索結果を表示装置90が表示する方法及び出音装置100が出音する方法について説明する。
先ず、情報検索装置80は、情報抽出装置50へ表示集計コマンドを送信する。
この表示コマンドは、情報データベース70に蓄積された使用ユーザのユーザ情報IUに対して全体指標である最後に同席した会議ID及び同席回数を情報抽出装置50が集計するよう命令するものである。
その後、情報抽出装置50からの集計終了通知を受領する。
次に、情報検索装置80は、個人情報である氏名が五十音のあ行から始まる人物の人物ID、最後に同席した会議で作成されたサムネイル、同席回数及び氏名を、情報データベース70に蓄積された使用ユーザのユーザ情報IUから検索する。
ここで、最後に同席した会議で作成されたサムネイルは、情報検索装置80が、最後の同席会議ID及び人物IDに基づいて、使用ユーザのユーザ情報IUの会議情報IMを検索することで得られる。
尚、本実施例の様に、最後に同席した会議で作成されたサムネイルではなく、最初に同席した会議で作成されたサムネイルとする構成を採用する事も可能である。
その後、検索結果を表示装置90へ送信する。また、情報検索装置80は、上記サムネイルと人物IDとの関係を記憶しておく。
表示装置90は検索結果を受領し、図17に示すように、エピソディック情報表示画面92へ検索結果であるサムネイル、同席回数及び氏名を表示する。
また、個人情報表示画面93及び会議書誌情報表示画面94には何ら情報を表示しない。
これにより、表示装置90は、名簿表示画面を初期状態で表示する。
また、この構成によれば、例えば、会議に関する情報や個人情報を完全に忘却した場合であっても、エピソディック情報から個人情報である氏名を検索することができる。また逆に、エピソディック情報を完全に忘却した場合であっても、個人情報である氏名からエピソディック情報を検索することができる。
次に、五十音順の「あ」行について表示されたエピソディック情報表示画面92の表示を使用ユーザが変更させる為の操作について説明する。
先ず、使用ユーザは、マウス等を操作して表示画面91上のポインタPtを移動させ、五十音ボタンBTGを操作する。
例えば、氏名が五十音の「か行」から始まる人物のサムネイル等をエピソディック情報表示画面92へ表示させるには、使用ユーザは、「か」と表示された五十音ボタンBTG2を選択する。
その後、情報検索装置80は、個人情報である氏名が五十音の「か行」から始まる人物のサムネイル、同席回数、氏名を情報データベース70から検索し、検索結果を表示装置90へ送信する。
表示装置90は、検索結果を受領し、エピソディック情報表示画面92へ検索結果を表示する。
次に、エピソディック情報表示画面92に表示されたサムネイル又は氏名で識別される出席者について、使用ユーザが、個人情報及び会議書誌情報を検索する為の操作について説明する。
図18に示すように、システムユーザは、ポインタPtによりエピソディック情報表示画面92のサムネイルMSNを操作する。
その後、情報検索装置80は、選択されたサムネイルによって識別される人物の人物IDに基づいて、選択された人物が出席した会議の開催日、会議書誌情報及び選択された人物の個人情報を情報データベース70の使用ユーザのユーザ情報IUから検索する。
また、取得した会議書誌情報を会議の開催日でソートする。
次に、情報検索装置80は検索結果を表示装置90へ送信する。
尚、選択された人物が出席した会議を検索するには、情報検索装置80は、情報データベース70に蓄積された使用ユーザのユーザ情報IUに蓄積された会議書誌情報から、会議書誌情報の会議出席者に、選択された人物の人物IDを蓄積していると言う条件で検索する。
また、選択された人物の個人情報を検索するには、情報検索装置80は、情報データベース70に蓄積された使用ユーザのユーザ情報IUから、全体指標である最後の同席会議IDを取得する。
その後、情報検索装置80は、使用ユーザのユーザ情報IUから、取得した会議IDで識別される会議情報IMに蓄積された個人情報を、選択された人物の人物IDに基づいて検索する。
次に、表示装置90は検索結果を受領し、図17に示すように、個人情報表示画面93へ選択された人物の個人情報を表示する。
また、会議書誌情報表示画面94へ選択された人物が出席した会議の会議書誌情報を時系列に沿って一覧表示する。
この構成によれば、例えば、会議に関する情報や個人情報を完全に忘却した場合であっても、エピソディック情報から個人情報である氏名を検索することができる。
次に、使用ユーザが選択した人物の代表ショットを確認する為の操作について説明する。
図18に示すように、使用ユーザは、ポインタにより代表ショット表示ボタンBTPを操作し、代表ショットを表示又は出音する人物を選択する。
その後、情報検索装置80は、使用ユーザのユーザ情報IUに対して全体指標である総対話回数及び総発言回数を集計するように、情報抽出装置50へ表示集計コマンドを送信する。
その後、情報抽出装置50から集計終了通知を受領する。
次に、情報検索装置80は、使用ユーザのユーザ情報IUから、選択された人物の人物IDに基づいて、全体指標IXAである最後の同席会議ID、総対話回数及び総発言回数取得する。
さらに、情報検索装置80は、使用ユーザのユーザ情報IUから、最後の同席会議IDに基づいて、会議情報IMを検索し、代表ショット情報を取得する。
その後、会議データベース40から代表ショット情報で識別される撮像ファイルFM及び収音ファイルFAを取得し、代表ショットを取得する。
次に、情報検索装置80は、表示装置90へ検索結果及び取得した代表ショット画像を送信し、出音装置100(以下、単にスピーカと言う)に代表ショット音声を送信する。
表示装置90は、選択された人物の総対話回数、総発言回数及び代表ショット画像を表示し、スピーカ100は代表ショット音声を出音する。
この構成によれば、例えば、エピソディック情報を完全に忘却した場合であっても、会議に関する情報や個人情報からエピソディック情報を検索することができる。
さらに、この構成によれば、システムユーザは、会議の出席者の個人情報を対話時の音声や対話内容に基づいて検索することができる。特に、対話内容は記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
同様に、この構成によれば、システムユーザは、会議の出席者の個人情報を発言時の音声や発言内容に基づいて検索することができる。特に、発言内容は対話内容に次いで記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
さらに、この構成によれば、システムユーザは、会議の出席者の個人情報を対話時の容姿に基づいて検索することができる。特に、対話時における人物の容姿は印象に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
同様に、この構成によれば、システムユーザは、会議の出席者の個人情報を発言時の容姿に基づいて検索することができる。特に、発言時における人物の容姿は、対話時の容姿に次いで印象に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
また、この構成によれば、システムユーザは、例えば、個人情報の氏名の一部しか記憶していない会議出席者について個人情報を検索する為の検索条件を容易に設定することができる。
次に、使用ユーザが、会議書誌情報からエピソディック情報を検索する為の操作について説明する。
先ず図19に示すように、使用ユーザは、ポインタPtにより会議書誌情報表示画面94に一覧表示された会議書誌情報の一を選択する。
これにより、会議の出席者に関するサムネイル等の情報を、エピソディック情報表示画面92へ表示する。
ここで、これにより選択された会議を選択会議を言い、このような画面を出席者表示画面と言う。
その後、情報検索装置80は、選択会議の参加者の個人情報である氏名、エピソディック情報であるサムネイル及び対話回数並びに会議で使用されたスライドを検索する。
また、情報検索装置80は、サムネイルと人物IDの関係を記憶しておく。
上記検索の方法について以下説明する。
情報検索装置80は、情報データベース70に蓄積された使用ユーザのユーザ情報IUから、選択された会議の会議IDに基づいて会議情報IMを検索する。
次に、情報検索装置80は、検索された会議情報IMから会議の出席者全員の個人情報である氏名及びエピソディック情報であるサムネイル及び対話回数を取得する。
また、スライドは、会議データベース40に蓄積された会議スライド表TBLから、選択会議の会議IDを蓄積したレコードを検索することで得られる。
これにより、上記の選択会議の参加者の氏名、サムネイル、対話回数及びにスライドを検索できる。
その後、情報検索装置80は、検索結果を表示装置90へ送信する。
表示装置90は、図17に示した名簿表示画面の画面構成から、図19に示した出席者表示画面の画面構成へ変更する。
出席者表示画面は、名簿表示画面の有するエピソディック情報表示画面92、個人情報表示画面93及び会議書誌情報表示画面94の他にスライド表示画面95をさらに表示する点で異なる。
また、出席者表示画面は、エピソディック情報表示画面92に五十音ボタンBTGを表示しない点で名簿表示画面と異なる。
その後、表示装置90は、受信した検索結果であるスライドのサムネイルをスライド表示画面95に表示する。
その後、使用ユーザがポインタでスライドサムネイルを操作すると、表示画面100はスライドを表示する。
また、選択会議の出席者の氏名、サムネイル及び対話回数をエピソディック情報表示画面92へ表示する。
この構成によれば、例えば、エピソディック情報を完全に忘却した場合であっても、会議に関する情報や個人情報からエピソディック情報を検索することができる。
次に、使用ユーザが、選択した会議において選択した人物の代表ショットを確認する為の操作について説明する。
尚、上記で説明した代表ショットを確認する為の操作と以下で説明する操作とは、選択した会議における代表ショットを確認する点で異なる。
先ず、図20に示すように、使用ユーザは、ポインタにより代表ショット表示ボタンBTPを操作することで、代表ショットを表示及び出音する出席者を選択する。
その後、情報検索装置80は、選択された人物の人物ID及び選択会議の会議IDに基づいて、情報データベース70の使用ユーザのユーザ情報IUから、選択会議における選択された人物の代表ショット情報、対話回数及び発言回数を取得する。
次に、会議データベース40から代表ショット情報で識別される撮像ファイルFM及び収音ファイルFAを取得し、代表ショットを取得する。
情報検索装置80は、表示装置90へ検索結果である対話回数、発言回数及び取得した代表ショット画像を送信し、スピーカ100へ代表ショット音声を送信する。
表示装置90は、検索結果を受信する。その後、表示装置90は、検索結果である対話回数、発言回数及び代表ショット画像を表示し、スピーカ100は代表ショット音声を出音する。
この構成によれば、例えば、エピソディック情報を完全に忘却した場合であっても、会議に関する情報や個人情報からエピソディック情報を検索することができる。
尚、五十音順で表される初期画面へ表示を切替える場合には、使用ユーザは、ポインタにより名簿順表示切替ボタンBTNを操作する。これにより、表示装置90は名簿表示画面を表示する。
次に、最後の同席会議の開催日に基づいてサムネイル等を時系列表示する為の使用ユーザの行う操作について説明する。
図19に示すように、使用ユーザは、ポインタPtによりメニューバー94の表示メニューから時系列表示画面を選択する。
その後、表示装置90は、図21に示す時系列表示画面を表示する。
その後、情報検索装置80は、使用ユーザのユーザ情報IUに対して全体指標である最後の同席会議IDを集計するように、情報抽出装置50へ表示集計コマンドを送信する。
その後、情報抽出装置50から集計終了通知を受領する。
次に、情報検索装置80は、使用ユーザのユーザ情報IUから、最後の同席会議IDに基づいて、会議の開催日を取得する。
取得した最後の会議同席日が本年に属すると言う検索条件で、会議同席者のサムネイル及び氏名を検索し、最後の同席日を時系列に従ってソートする。
また、情報検索装置80は、サムネイルと人物IDの関係を記憶しておく。
その後、情報検索装置80は、表示装置90へ検索結果を送信し、表示装置90は検索結果を受信する。
次いで、表示装置90は、サムネイルを最後の同席日の時系列に基づいて一覧表示する。表示できなかった検索結果は、使用ユーザが表示月選択ボタンBTMをポインタPtで操作することで表示される。
さらに、使用ユーザは、ポインタにより代表ショット表示ボタンBTPを操作し、代表ショットを表示する人物を選択する。
これによる情報検索装置80、表示装置90及びスピーカ100の動作及び機能は、上記出席者表示画面におけるものと同一の動作及び機能である。
また、使用ユーザは、表示年選択ボタンBTYをポインタPtで操作する。
その後、情報検索装置80は、検索条件を、最後の同席日が選択された年に属すると言う条件に変更して再検索する。
その後、検索結果を表示装置90へ送信し、表示装置90は受信した検索結果を表示する。
この構成によれば、システムユーザは、例えば、大まかな会議の開催日しか記憶していない会議出席者の個人情報を検索する検索条件を容易に設定することができる。
次に、使用ユーザが様々な検索条件を設定してサムネイル等を検索する為に使用ユーザが行う操作を説明する。
先ず、使用ユーザは、ポインタPtによりメニューバー96の表示メニューから検索表示画面を選択する。
その後、表示装置90は、図22に示す検索表示画面を表示する。
検索表示画面は、メニューバー96、結果表示画面97及び条件設定画面98からなる。
条件設定画面98は、検索条件としてエピソディック属性、会議属性及び人物属性を設定することができる。
エピソディック属性とは、検索条件の内、エピソディック情報に属する情報により設定される条件を言う。
会議属性とは、検索条件の内、会議書誌情報に属する情報により設定される条件を言う。
人物属性とは、検索条件の内、個人情報に属する情報により設定される条件を言う。
使用ユーザが、検索表示画面の表示を選択した場合、表示装置90は、先ず、予め定められた検索条件として設定可能な選択肢を表示する。
その後、使用ユーザは、ポインタにより条件設定画面98に表示されたラジオボタンBTRを操作して、検索条件を設定する。
検索条件に会議中の座席距離を設定した場合には、情報検索装置80は、会議指標である会議座席距離を集計するように情報抽出装置50へ表示集計コマンドを送信する。
その後、情報抽出装置50から集計終了通知を受領する。
次に、情報検索装置80は、設定された座席距離の検索条件に基づいて、使用ユーザのユーザ情報IUの会議情報IMから、会議同席者のエピソディック情報であるサムネイル及び個人情報である氏名を検索する。
その後、情報検索装置80は、表示装置90へ検索結果を送信し、表示装置90は、検索結果を受信する。
表示装置90は、受信したサムネイル及び氏名を、結果表示画面97へ一覧表示する。
この構成によれば、例えば、座席距離の検索条件を3m未満とすることで、システムユーザは、会議において隣席した者の個人情報を検索することができる。
検索条件に会議中の座席距離を設定しなかった場合には、情報検索装置80は、情報抽出装置50へ表示集計コマンドを送信せず、設定された検索条件に従って検索をする。
その後、情報検索装置80は、表示装置90へ検索結果を送信し、表示装置90は、受信した検索結果であるサムネイル及び氏名を、結果表示画面97へ一覧表示する。
特に、検索条件に会議中の対話を「最多」に設定した場合には、使用ユーザが過去に対面した処理済会議の出席者から、最も会議における対話回数が最も多かった出席者を検索する。
その後、情報検索装置80は、表示装置90へ検索結果を送信し、表示装置90は、結果表示画面97へ受信した検索結果であるサムネイル及び氏名を表示する。
尚、対話回数が「最多」である出席者の情報は、情報検索装置80が、検索結果を対話回数の昇順でソートした場合の先頭レコードと同じ対話回数を有するレコード群を取得することで得られる。
この構成によれば、例えば、システムユーザは、会議の出席者の内でシステムユーザとの対話回数が最も多かった人物について、個人情報を検索することができる。特に、対話回数が多かったと言う事は記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
また、この構成によれば、表示装置90は、対話をした出席者とそうでない出席者とを区別して表示することができる。
同様に、検索条件に会議中の発言を「最多」に設定した場合には場合には、使用ユーザが過去に対面した処理済会議の出席者から、最も会議における発言回数が最も多かった出席者を検索する。
その後、情報検索装置80は、表示装置90へ検索結果を送信し、表示装置90は、結果表示画面97へ受信した検索結果であるサムネイル及び氏名を表示する。
この構成によれば、例えば、システムユーザは、会議の出席者の内でシステムユーザとの発言回数が最も多かった人物について、個人情報を検索することができる。特に、発言回数が多かったと言う事は、対話回数が多かった事に次いで記憶に残り易い為、システムユーザが出席者の個人情報を検索し易くなる。
さらに、使用ユーザは、ポインタにより代表ショット表示ボタンBTPを操作し、代表ショットを表示及び出音する人物を選択する。
これによる情報検索装置80、表示装置90及びスピーカ100の動作及び機能は、上記出席者表示画面におけるものと同一の動作及び機能である。
最後に、忘却度に基づいてサムネイル等を分類表示する為に、使用ユーザが行う操作を説明する。
先ず、使用ユーザは、ポインタPtによりメニューバー96の表示メニューから被忘却者表示画面を選択する。
その後、表示装置は、被忘却者表示画面を表示する。
被忘却者表示画面の画面構成は、図23に示すように、図17の名簿表示画面の構成とほぼ同一である。
ただし、エピソディック情報表示画面92には、名簿表示画面の有する五十音ボタンBTGと異なり、忘却度ボタンBTBを有する。
エピソディック情報表示画面92は、忘却度が0%以上10%以下、10%より大きく20%以下、20%より大きく30%以下と、10%の忘却度区間に区切って処理済会議出席者のサムネイルを表示する。
尚、忘却度ボタンBTBは、上記区間に対応している。
ここで、情報検索装置80、表示装置90及びスピーカ100の動作及び機能については、名簿順表示画面と同様である。
よって、この構成によれば、システムユーザは、忘却したエピソディック情報を検索する検索条件を容易に設定することができる。
尚、上記集計処理、更新処理及び検索処理は、情報抽出装置50、忘却度判断装置60及び情報検索装置80が検索クエリ又は更新クエリ等を作成し、更新クエリ等を実行させることで実現できる。
上記実施形態では、取得装置10を構成するビデオカメラが複数台設置された場合について説明したが、これに限定されるわけではなく、ビデオカメラを一台とする構成を採用することも可能である。
上記実施形態では、取得装置10を構成するビデオカメラにCCDカメラを用いた場合について説明したが、これに限定されるわけではなく、例えば、CMOSイメージセンサを用いたカメラ等を採用することも可能である。
上記実施形態では、取得装置10を構成するマイクロフォンに音圧マイクを用いた場合について説明したが、これに限定されるわけではなく、例えば、ムービング・コイル型、リボン型、コンデンサ型又はカーボンマイク型のマイクロフォン等を採用することも可能である。
上記実施形態では、取得装置10がRFIDリーダで構成され、会議参加者の位置情報及び個人情報を取得する実施例について説明した。
しかし、これに限定されるわけではなく、例えば、無線LAN又は超音波センサー等であって、個人情報及び会議参加者の位置情報を取得することができるものを採用することも可能である。
上記実施形態では、取得装置10が一台のスライド制御装置を有する場合について説明したが、これに限定されるわけではなく、スライド制御装置を複数台とする構成や、まったく配置せず室内の明暗を照度計により記録する構成を採用することも可能である。
上記実施形態では、記録解析装置20が発言セグメントを解析し、その解析結果を会議データベース40へ蓄積する場合について説明した。
しかし、これに限定されるわけではなく、手作業によって発言セグメントを抽出し、会議データベース40へ蓄積する構成を採用することも可能である。
上記実施形態では、記録解析装置20が、会議参加者の位置情報を解析し、会議データベース40へ蓄積する場合について説明した。
しかし、これに限定されるわけではなく、手作業によって会議参加者の位置情報を会議データベース40へ蓄積する構成を採用することも可能である。
上記実施形態では、記録解析装置20が、スライド切替信号を解析しスライドを表示していた時間情報等を会議データベース40へ蓄積する場合について説明した。
しかし、これに限定されるわけではなく、手作業によってスライドを表示していた時間情報等を会議データベース40へ蓄積する構成を採用することも可能である。
上記実施形態では、取得装置10が一台のスライド制御装置を有し、スライドがプロジェクタによってスクリーンに表示される場合について説明した。
しかし、これに限定されるわけではなく、液晶ディスプレイ、プラズマディスプレイ又はCRTディスプレイと言った装置によりスライドが表示及び制御される構成を採用することも可能である。
上記実施形態では、情報抽出装置50は、情報データベース70へ、代表ショット情報のみを蓄積する場合に場合について説明した。
しかし、これに限定されるわけではなく、情報抽出装置50は、情報データベース70へ代表ショット画像又は代表ショット音声そのものを蓄積する構成を採用することも可能である。
この構成によれば、情報検索装置80の検索処理速度が向上する。
上記実施形態では、情報抽出装置50は、情報データベース70へ、処理済会議に関する会議書誌情報を蓄積する場合に場合について説明した。
しかし、これに限定されるわけではなく、情報抽出装置50は、情報データベース70へ処理済会議に関する会議IDのみを蓄積する構成を採用することも可能である。
この構成によれば、会議データベース40に蓄積された処理済会議に関する会議書誌情報との整合性を維持することができる。
上記実施形態では、情報抽出装置50は、情報データベース70へ、処理済会議に出席した出席者の個人情報を蓄積する場合に場合について説明した。
しかし、これに限定されるわけではなく、情報抽出装置50は、情報データベース70へ出席者の人物IDのみを蓄積する構成を採用することも可能である。
この構成によれば、個人データベース30に蓄積された個人情報との整合性を維持することができる。
上記実施形態では、時系列表示画面において、表示装置90は、システムユーザと出席者が最後に同席した処理済会議の開催日に基づいて、サムネイル等を表示する場合について説明した。
しかし、これに限定されるわけではなく、表示装置90は、システムユーザと出席者が最初に同席した処理済会議の開催日に基づいて、サムネイル等を表示する構成を採用することも可能である。
また、出席者の出席した処理済会議の開催日に基づいて、同一の出席者のサムネイル等を複数回表示する構成を採用する事も可能である。
上記実施形態では、検索画面において、表示装置90は、会議中の対話回数、発言回数及び座席距離等を検索条件として表示し、情報検索装置80は、表示された検索条件から設定された条件に基づいて検索する場合について説明した。
しかし、これに限定されるわけではなく、表示装置90は、会議指標である会議座席距離、会議平均距離、会議総対話時間、会議平均対話時間、会議総発言時間又は会議平均発言時間、若しくは、全体指標である平均座席距離、平均距離、総対話回数、平均対話回数、総対話時間、平均総対話時間、平均対話時間、総発言回数、平均発言回数、総発言時間、平均総発言時間、平均発言時間及び忘却度、若しくは、会議書誌情報である会議の開催された地区及び会議室を検索条件として表示し、情報検索装置80は、表示された検索条件から設定された条件に基づいて検索する構成を採用することも可能である。
本発明の一実施形態に係る情報検索システムの構成図である。 取得装置の構成の一例を示す図である。 記録解析装置と発言イベント表との関係図である。 記録解析装置と会議カメラ表との関係図である。 個人情報と位置情報と会議データベースの関係図である。 記録解析装置とスライド表示イベント表との関係図である。 記録解析装置と領域環境表との関係図である。 記録解析装置とカメラ環境表との関係図である。 記録解析装置と人物環境表との関係図である。 記録解析装置と会議書誌表との関係図である。 会議データベースの構成を説明する為の図である。 情報抽出装置の動作を示すフローチャートである。 ユーザ情報更新処理を示すフローチャートである。 代表ショット取得処理を示すフローチャートである。 対話回数を取得する方法を説明する為の図である。 情報データベースの観念的な構成図である。 名簿表示画面を説明する為の画面構成図である。 名簿表示画面におけるエピソディック情報表示画面の画面構成図である。 出席者表示画面を説明する為の画面構成図である。 出席者表示画面おけるエピソディック情報表示画面の画面構成図である 時系列表示画面を説明する為画面構成図である。 検索表示画面を説明する為の画面構成図である。 忘却者表示画面を説明する為画面構成図である。
符号の説明
10…取得装置
20…記録解析装置
30…個人データベース
40…会議データベース
50…情報抽出装置(情報抽出手段)
60…忘却度判断装置(忘却度判断手段)
70…情報データベース(情報蓄積手段)
80…情報検索装置(情報検索手段)
90…表示装置
91…表示画面
92…エピソディック情報表示画面
93…個人情報表示画面
94…会議書誌情報表示画面
95…スライド表示画面
96…メニューバー
97…結果表示画面
98…条件設定画面
100…出音装置
AM…会議室
BTB…忘却度ボタン
BTG…五十音ボタン
BTM…表示月選択ボタン
BTN…名簿順表示切替ボタン
BTP…代表ショット表示ボタン
BTR…ラジオボタン
BTY…表示年選択ボタン
C…ビデオカメラ
CH…人物カラム
CM…会議カラム
FA…収音ファイル
FM…撮像ファイル
FS…スライドファイル
GB…書誌表グループ
GD…データファイルグループ
GN…環境表グループ
GV…イベント表グループ
GVM…移動イベント表
GVS…発言イベント表
GVL…スライド表示イベント表
HO…オペレータ
HP…出席者
HS…システムユーザ
IDC…カメラID
IDH…人物ID
IDM…マイクロフォンID
IE…エピソディック情報
IM…会議情報
IU…ユーザ情報
IXA…全体指標
IXM…会議指標
M…マイクロフォン
MSN…サムネイル
O…原点
P…プロジェクタ
Pt…ポインタ
R…RFIDリーダ
S…スライド制御装置
SC…スクリーン
SGS…発言セグメント
SPS…セグメント間隔
TBC…会議カメラ表
TBL…会議スライド表
TBM…会議書誌表
TID…個人情報表
TNA…領域環境表
TNC…カメラ環境表
TNH…人物環境表
TR…RFIDタグ
TSE…発言セグメント終了時刻
TSS…発言セグメント開始時刻
TVM…移動イベント表
TVS…発言イベント表
VMF…原点から最も遠い頂点
VMN…原点から最も近い頂点

Claims (13)

  1. システムユーザが出席した会議で取得した出席者の個人情報を検索する情報検索システムであって
    前記会議の様子を記録した会議記録情報から、前記個人情報を検索する際に手掛かりにする為のエピソディック情報を抽出する情報抽出手段と、
    前記情報抽出手段により抽出されたエピソディック情報と前記情報抽出手段により前記エピソディック情報に関連付けられた前記個人情報とを蓄積する情報蓄積手段と
    を備えることを特徴とする情報検索システム。
  2. 前記情報抽出手段は、前記出席者の収音音声の解析により、互いに関連付けられた前記会議記録情報である収音音声又は撮像画像から前記エピソディック情報を抽出することを特徴とする請求項1に記載の情報検索システム。
  3. 前記情報抽出手段は、前記システムユーザと前記出席者との対話回数を前記エピソディック情報として抽出することを特徴とする請求項1又は2に記載の情報検索システム。
  4. 前記情報抽出手段は、前記出席者の収音音声から抽出された対話音声を前記エピソディック情報として抽出することを特徴とする請求項2または3のいずれかに記載の情報検索システム。
  5. 前記情報抽出手段は、前記出席者の撮像画像から抽出された対話画像を前記エピソディック情報として抽出することを特徴とする請求項2ないし4のいずれかに記載の情報検索システム。
  6. 前記情報抽出手段は、前記出席者の発言回数を前記エピソディック情報として抽出することを特徴とする請求項1ないし5のいずれかに記載の情報検索システム。
  7. 前記情報抽出手段は、前記出席者の収音音声から抽出された発言音声を前記エピソディック情報として抽出することを特徴とする請求項2ないし6のいずれかに記載の情報検索システム。
  8. 前記情報抽出手段は、前記出席者の撮像画像から抽出された発言画像を前記エピソディック情報として抽出することを特徴とする請求項2ないし7のいずれかに記載の情報検索システム。
  9. 前記情報抽出手段は、前記出席者の位置情報を前記エピソディック情報として抽出することを特徴とする請求項1ないし8のいずれかに記載の情報検索システム。
  10. 検索条件としての前記情報蓄積手段に蓄積されたエピソディック情報又は個人情報を配列する情報検索手段を更に有することを特徴とする請求項1ないし9のいずれかに記載の情報検索システム。
  11. 前記検索手段は、検索条件としての前記情報蓄積手段に蓄積されたエピソディック情報又は個人情報を、前記出席者の個人情報に含まれる氏名に基づいて配列することを特徴とする請求項10に記載の情報検索システム。
  12. 前記検索手段は、検索条件としての前記情報蓄積手段に蓄積されたエピソディック情報又は個人情報を、前記システムユーザの出席した会議の開催日に基づいて配列する情報検索手段を更に有することを特徴とする請求項10又は11に記載の情報検索システム。
  13. 前記情報蓄積手段に蓄積されたエピソディック情報に対するシステムユーザの忘却度を判断する忘却度判断手段をさらに有し、
    前記検索手段は、検索条件としての前記情報蓄積手段に蓄積されたエピソディック情報を、忘却度判断手段が判断した忘却度に基づいて一覧表示する
    ことを特徴とする請求項10ないし12のいずれかに記載の情報検索システム。
JP2005280274A 2005-09-27 2005-09-27 情報検索システム Pending JP2007094544A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005280274A JP2007094544A (ja) 2005-09-27 2005-09-27 情報検索システム
US11/345,334 US7810020B2 (en) 2005-09-27 2006-02-02 Information retrieval system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005280274A JP2007094544A (ja) 2005-09-27 2005-09-27 情報検索システム

Publications (1)

Publication Number Publication Date
JP2007094544A true JP2007094544A (ja) 2007-04-12

Family

ID=37895657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005280274A Pending JP2007094544A (ja) 2005-09-27 2005-09-27 情報検索システム

Country Status (2)

Country Link
US (1) US7810020B2 (ja)
JP (1) JP2007094544A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012090661A1 (ja) * 2010-12-27 2012-07-05 コニカミノルタビジネステクノロジーズ株式会社 情報提供装置、記憶媒体、および、情報提供方法
JPWO2014054342A1 (ja) * 2012-10-05 2016-08-25 ソニー株式会社 コンテンツ取得装置、携帯装置、サーバ、情報処理装置及び記憶媒体
JP2016197285A (ja) * 2015-04-02 2016-11-24 シャープ株式会社 会議管理装置、会議管理方法及び会議管理プログラム
JP2017199343A (ja) * 2016-04-25 2017-11-02 富士ゼロックス株式会社 卓上カメラ−プロジェクタシステムでの文書閲覧時における関連文書及び人物を可視化するための計算実行方法、プログラムおよび計算処理システム
JP2019215842A (ja) * 2018-06-12 2019-12-19 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
JP2007287134A (ja) * 2006-03-20 2007-11-01 Ricoh Co Ltd 情報抽出装置、及び情報抽出方法
JP5003125B2 (ja) * 2006-11-30 2012-08-15 富士ゼロックス株式会社 議事録作成装置及びプログラム
JP4965990B2 (ja) * 2006-12-20 2012-07-04 キヤノン株式会社 再生装置及びファイル情報表示方法
US20100257187A1 (en) * 2007-12-11 2010-10-07 Koninklijke Philips Electronics N.V. Method of annotating a recording of at least one media signal
US8224898B2 (en) * 2007-12-14 2012-07-17 Microsoft Corporation Relevance-based expiration of data
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
JP2009223748A (ja) * 2008-03-18 2009-10-01 Ricoh Co Ltd 情報処理装置およびプログラム
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US7930306B2 (en) * 2008-04-30 2011-04-19 Msc Intellectual Properties B.V. System and method for near and exact de-duplication of documents
JP5201050B2 (ja) * 2009-03-27 2013-06-05 ブラザー工業株式会社 会議支援装置、会議支援方法、会議システム、会議支援プログラム
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9473813B2 (en) * 2009-12-31 2016-10-18 Infosys Limited System and method for providing immersive surround environment for enhanced content experience
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5668412B2 (ja) * 2010-10-29 2015-02-12 株式会社リコー 情報管理プログラム、情報管理装置、情報管理システム及び情報管理方法
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US20120144320A1 (en) * 2010-12-03 2012-06-07 Avaya Inc. System and method for enhancing video conference breaks
USD678308S1 (en) * 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) * 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
EP2784743A1 (en) * 2013-03-29 2014-10-01 Canon Kabushiki Kaisha Conference support system, conference support method, and program
US10080060B2 (en) 2013-09-10 2018-09-18 Opentv, Inc. Systems and methods of displaying content
US20150074728A1 (en) * 2013-09-10 2015-03-12 Opentv, Inc. Systems and methods of displaying content
USD753692S1 (en) * 2014-04-04 2016-04-12 Adp, Llc Display screen or portion thereof with graphical user interface
US10810377B2 (en) 2017-01-31 2020-10-20 Boomi, Inc. Method and system for information retreival
JP7063585B2 (ja) * 2017-11-27 2022-05-09 シャープ株式会社 端末装置、会議管理システム、プログラム及び会議管理方法
CN109982028A (zh) * 2019-03-27 2019-07-05 大连海事大学 会议资料智能存储分发系统
US11398164B2 (en) * 2019-05-23 2022-07-26 Microsoft Technology Licensing, Llc Providing contextually relevant information for ambiguous link(s)
CN112416963B (zh) * 2020-11-11 2022-04-01 北京字跳网络技术有限公司 搜索内容的匹配方法、装置、电子设备及存储介质
US11877058B1 (en) * 2022-08-25 2024-01-16 Benjamin Slotznick Computer program product and automated method for auto-focusing a camera on a person in a venue who is wearing, or carrying, or holding, or speaking into a microphone at the venue
US11889188B1 (en) 2022-08-25 2024-01-30 Benjamin Slotznick Computer program product and method for auto-focusing one or more cameras on selected persons in a venue who are performers of a performance occurring at the venue
US11902659B1 (en) 2022-08-25 2024-02-13 Benjamin Slotznick Computer program product and method for auto-focusing a lighting fixture on a person in a venue who is wearing, or carrying, or holding, or speaking into a microphone at the venue
US11889187B1 (en) 2022-08-25 2024-01-30 Benjamin Slotznick Computer program product and method for auto-focusing one or more lighting fixtures on selected persons in a venue who are performers of a performance occurring at the venue

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275258B1 (en) * 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
JP2000175170A (ja) * 1998-12-04 2000-06-23 Nec Corp 多地点テレビ会議システム及びその通信方法
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6249570B1 (en) * 1999-06-08 2001-06-19 David A. Glowny System and method for recording and storing telephone call information
AU2001245575A1 (en) * 2000-03-09 2001-09-17 Videoshare, Inc. Sharing a streaming video
JP2001333196A (ja) * 2000-03-16 2001-11-30 Sony Corp 通信制御装置およびその方法、通信装置、通信システムおよびその方法と、それらの提供媒体
JP2002058069A (ja) 2000-08-10 2002-02-22 Sanyo Electric Co Ltd 携帯端末、個人情報交換システムおよび個人情報交換方法
JP2002099675A (ja) 2000-09-22 2002-04-05 Sanyo Electric Co Ltd 電子名刺交換方法及びその方法を利用可能な携帯端末
JP4182464B2 (ja) * 2001-02-09 2008-11-19 富士フイルム株式会社 ビデオ会議システム
US6853716B1 (en) * 2001-04-16 2005-02-08 Cisco Technology, Inc. System and method for identifying a participant during a conference call
JP2003047054A (ja) * 2001-07-27 2003-02-14 Toyota Motor Corp 移動体通信システム
US6925475B2 (en) * 2001-10-12 2005-08-02 Commissariat A L'energie Atomique Process and apparatus for management of multimedia databases
JP2003204282A (ja) * 2002-01-07 2003-07-18 Toshiba Corp 無線通信機能付きヘッドセット、これを用いたコミュニケーション記録システム、およびコミュニケーション制御方式を選択可能なヘッドセットシステム
US20030187632A1 (en) * 2002-04-02 2003-10-02 Menich Barry J. Multimedia conferencing system
EP1542101A1 (en) * 2002-09-20 2005-06-15 Matsushita Electric Industrial Co., Ltd. Interactive device
US7191129B2 (en) * 2002-10-23 2007-03-13 International Business Machines Corporation System and method for data mining of contextual conversations
US7870593B2 (en) * 2002-12-05 2011-01-11 Att Knowledge Ventures, L.P. DSL video service with storage
JP4225074B2 (ja) * 2003-02-14 2009-02-18 富士ゼロックス株式会社 対話支援装置および方法並びにプログラム、対話支援システム
US7826101B2 (en) * 2003-06-25 2010-11-02 Ricoh Company, Ltd. Document management method, document management program, recording medium, and document management apparatus
JP4591109B2 (ja) * 2004-02-26 2010-12-01 パナソニック株式会社 交換機
JP4033182B2 (ja) * 2004-09-03 2008-01-16 コニカミノルタビジネステクノロジーズ株式会社 資料配付システム、資料配付方法、およびコンピュータプログラム
JP2006311462A (ja) * 2005-05-02 2006-11-09 Toshiba Corp コンテンツ検索装置及びその方法
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
US7660851B2 (en) * 2005-07-06 2010-02-09 Microsoft Corporation Meetings near me
US8145780B2 (en) * 2007-10-19 2012-03-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012090661A1 (ja) * 2010-12-27 2012-07-05 コニカミノルタビジネステクノロジーズ株式会社 情報提供装置、記憶媒体、および、情報提供方法
JPWO2014054342A1 (ja) * 2012-10-05 2016-08-25 ソニー株式会社 コンテンツ取得装置、携帯装置、サーバ、情報処理装置及び記憶媒体
JP2016197285A (ja) * 2015-04-02 2016-11-24 シャープ株式会社 会議管理装置、会議管理方法及び会議管理プログラム
JP2017199343A (ja) * 2016-04-25 2017-11-02 富士ゼロックス株式会社 卓上カメラ−プロジェクタシステムでの文書閲覧時における関連文書及び人物を可視化するための計算実行方法、プログラムおよび計算処理システム
JP2019215842A (ja) * 2018-06-12 2019-12-19 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
US7810020B2 (en) 2010-10-05
US20070074123A1 (en) 2007-03-29

Similar Documents

Publication Publication Date Title
JP2007094544A (ja) 情報検索システム
US20210042533A1 (en) Inmate tracking system in a controlled environment
KR100641791B1 (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
US10963505B2 (en) Device, system, and method for automatic generation of presentations
WO2019231592A1 (en) Systems and methods for automatic meeting management using identity database
EP0495622A2 (en) Indexing of data sets
KR101430522B1 (ko) 휴대 단말기의 화상 정보 활용 방법
CN103548339A (zh) 用于会议的时间相关的活动流
JP3895892B2 (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP2007282072A (ja) 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置
WO2018099000A1 (zh) 语音输入的处理方法、终端和网络服务器
US20090177679A1 (en) Method and apparatus for digital life recording and playback
CN104240068A (zh) 提醒事件创建方法和装置
JP2009188809A (ja) 電子会議システム
JP2011066794A (ja) 会議管理装置及び会議管理方法
JP4674508B2 (ja) 情報処理システムおよび情報処理プログラム
JP2013101226A (ja) 不動産物件情報提供支援装置
JP2011244043A (ja) 映像記録再生装置
JP2010287145A (ja) 作業記録支援システム、作業記録支援方法およびプログラム
JP2006190283A (ja) 自動スケジュール管理及び実行のための装置及び方法
CN112765135A (zh) 数据处理方法、装置、电子设备及存储介质
JP4572545B2 (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
WO2019023994A1 (zh) 一种基于智能终端的行程管理方法及行程管理系统
KR20090017094A (ko) 휴대용 단말기에서 일정관리 서비스 제공 방법 및 장치
CN111223487A (zh) 一种信息处理方法及电子设备