JP2006185188A - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 想起を支援しながら目的のシーンを検索できる情報処理システム及び情報処理方法を提供する。
【解決手段】 情報処理システム１は、イベント情報を指定するための複数のミニチュアと、ミニチュアを操作する操作領域を用意し、操作領域上にミニチュアを配置する形式で検索要求を受け付ける検索要求受付部４２と、操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部４３と、生成された検索条件式に従って、会議の映像から所定のシーンを検索する検索部４４と、検索部４４による検索結果を表示する検索結果提示部４５と、会議の映像を会議の経過時間毎に生ずるイベント情報とともに管理する会議データベース３０と、検索要求受付部４２が受け付けた検索要求に基づいて、会議データベース３０のデータを参照して、検索要求を入力するための手掛かりの候補を提示する想起支援部４６とを備える。
【選択図】 図３

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。

また、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。また、会議を録画したビデオを閲覧することにより会議の振り返りを支援するという方法が提案されている。この時、いかに目的のシーンを容易に検索することができるかということが問題となる。また、特許文献１記載の技術では、会議中の発話をチャートにして、一覧することにより特定の時間の指示することによりその時間の映像を見ることが出来るようにしている。また、本出願と同一出願人による特願２００４−０４０６２２では、ユーザが容易に思い出せる内容をクエリとして受け取り、合致したシーンを結果としてユーザへ返すというものが提案されている（従来技術２）。

特開２０００−１２５２７４号公報

しかしながら、従来技術２では、ユーザが容易に思い出せる内容をクエリとして受け取るため、目的のシーンを容易に検索することができるが、このユーザが容易に思い出せる内容には限界があるため、ユーザが容易に思い出せる内容によって検索できるシーンが変わってしまうという問題がある。特許文献１記載の技術では、上記問題を解決することができない。

そこで、本発明は、上記問題点に鑑みてなされたもので、想起を支援しながら目的のシーンを検索できる情報処理システム及び情報処理方法を提供することを目的とする。

上記課題を解決するために、本発明は、イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付ける検索要求受付部と、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースと、前記検索要求に基づいて、前記データベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示する想起支援部とを備える情報処理システムである。本発明によれば、検索要求を入力するための手掛かりの候補を表示することにより、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。表示には、可視表示の他に、永久可視表示、可聴表示も含まれる。

前記データベースは、会議の識別情報、会議の開催日時、会議の開始時間、会議の時間、会議室の識別情報、会議の参加者及び会議室内に配設されている各機器に関する情報のうちの少なくとも一つを会議の経過時間毎に生ずるイベント情報として管理するのが好ましい。

前記データベースは、会議参加者の会議室内での位置、会議参加者の発話時間、会議室内に設置される機器の設置場所及び該機器の動作状態の少なくとも一つを会議の経過時間に結び付けて管理するのが好ましい。

本発明は、前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部と、前記検索条件式に従って、前記会議映像から所定のシーンを検索する検索部とを更に備える。本発明は、前記検索部による検索結果を表示する検索結果表示部を更に備える。前記想起支援部は、前記検索要求に基づいて、前記手掛かりの候補を検索するための検索条件式を生成する。

前記想起支援部は、会議で使用した部屋を指定するための手段、会議の参加者の会議室内での位置、会議の参加者を指定するための手段及び会議の開催日の候補のうちの少なくとも一つを、前記手掛かりの候補として識別可能に表示するのが好ましい。本発明によれば、会議で使用した部屋を指定するための手段（例えばボタン）、会議の参加者の会議室内での位置、会議の参加者を指定するための手段（例えばアイコン）及び会議の開催日の候補のうちの少なくとも一つを、手掛かりの候補として識別可能に表示することで、検索要求を入力する際の想起が支援され、目的のシーンを容易に検索することができる。

前記想起支援部は、前記検索要求により会議室及び会議の参加者が選択されたとき、該会議の参加者の会議室内での位置を、前記手掛かりの候補として表示するのが好ましい。本発明によれば、検索要求により会議室及び会議の参加者が選択されたとき、会議の参加者の会議室内での位置を、手掛かりの候補として表示するので、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。

前記想起支援部は、前記検索要求により会議の参加者が選択されたとき、該会議の参加者が会議で使用した部屋を指定するための手段、該会議の参加者と共に会議に参加していた参加者を指定するための手段及び該会議の参加者が参加した会議の開催日の候補のうちの少なくとも一方を、前記手掛かりの候補として識別可能に表示するのが好ましい。本発明によれば、検索要求により会議の参加者が選択されたとき、選択された会議の参加者が会議で使用した会議室を指定するための手段（例えばボタン）、選択された会議の参加者と共に会議に参加した参加者を指定するための手段（例えばアイコン）及び該会議の参加者が参加した会議の開催日の候補のうちの少なくとも一方を、手掛かりの候補として識別可能に表示するので、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。

前記想起支援部は、前記検索要求により会議室、会議の参加者及び該会議の参加者の位置が選択されたとき、該位置で該会議の参加者が参加した会議の開催日の候補及び該会議の参加者と共に参加していた会議の参加者を指定するための手段のうちの少なくとも一方を、前記手掛かりの候補として識別可能に表示するのが好ましい。本発明によれば、検索要求により会議室、会議の参加者及び該会議の参加者の位置が選択されたとき、該位置で会議の参加者が参加した会議の開催日の候補及び会議の参加者と共に参加していた会議の参加者を指定するための手段（例えばアイコン）のうちの少なくとも一方を、手掛かりの候補として識別可能に表示するので、誤って位置を指定した場合でも、他の参加者や日にちの候補がわかるため、誤った位置を指定したことに対して気付きを与えることができる。

前記想起支援部は、前記検索要求により会議の開催日が選択されたとき、該開催日及び少なくとも該開催日の前後の日付を含む周辺日付の会議で使用された部屋を指定するための手段を、前記手掛かりの候補として識別可能に表示するのが好ましい。本発明によれば、検索要求により会議の開催日が選択されたとき、選択された開催日及び該開催日の前後の日付を含む周辺日付の会議で使用された部屋を指定するための手段（例えばボタン）を、手掛かりの候補として識別可能に表示するので、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。

前記想起支援部は、前記検索要求により会議室が選択されたとき、該会議室及び該会議室に類似する類似会議室で会議が開催された日の候補並びに該会議室及び該類似会議室で行われた会議の参加者を指定するための手段のうち少なくとも一方を、前記手掛かりの候補として識別可能に表示するのが好ましい。本発明によれば、検索要求により会議室が選択されたとき、選択された会議室及び該会議室に類似する類似会議室で会議が開催された日の候補並びに該会議室及び該類似会議室で行われた会議の参加者を指定するための手段（例えばアイコン）のうち少なくとも一方を、手掛かりの候補として表示することで、間違えて会議室を指定した場合でも、他の似た会議室についても関連項目が識別可能に表示されるため、誤って指定した場合に関連する候補により誤りに気付きを与えることができる。

本発明は、イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付けるステップと、前記検索要求に基づいて、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示するステップとを有する情報処理方法である。本発明によれば、検索要求を入力するための手掛かりの候補を表示することにより、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。

本発明は、イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付けるステップ、前記検索要求に基づいて、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示するための情報を生成するステップをコンピュータに実行させるためのプログラムである。本発明によれば、検索要求を入力するための手掛かりの候補を表示することにより、検索要求を入力する際の想起が支援されるため、目的のシーンを容易に検索することができる。

本発明によれば、想起を支援しながら目的のシーンを検索できる情報処理システム、情報処理方法及びプログラムを提供することができる。

以下、本発明を実施するための最良の形態について説明する。図１は、情報処理システム１における記録・保存機能の構成を模式的に示している。図１に示すように、情報処理システム１は、会議記録装置１０と、情報管理装置２０と、会議データベース３０で構成される。会議記録装置１０は、会議を録画するビデオ撮影装置１１と、会議の最中における各参加者の会議室内での時々刻々の位置情報を特定し保存する人物位置特定装置１２と、会議室内でのテーブルやホワイト・ボードなどの物体の位置情報を特定し保存する物体位置特定装置１３と、会議の最中に時々刻々行なわれた発言の話者を認識し保存する話者認識装置１４と、会議の最中に起きたスライドやその他の機材の動作を特定し保存する機器動作特定装置１５で構成される。これら各装置１１〜１５は、時間的に同期が保たれた状態で記録される。

会議記録装置１０は、会議室毎に用意され、記録開始を指示することにより、会議室内での会議の記録を開始する。また、各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられており、どの会議室の記録かを判断できるようになっている。ビデオ撮影装置１１は、会議中の映像・音声を記録するための装置で、例えば従来のビデオ・カメラを利用することができる。会議室毎に複数台のビデオ・カメラを用意し、会議室内のすべての位置を視野に収めることが望ましい。このビデオ・カメラによって撮影された映像・音声は、情報管理装置２０に送られる。

人物位置特定装置１２は、会議室内での人物の位置を特定するための装置である。例えばＩＣタグ（ＲＦＩＤタグ）を利用して会議室内での各参加者の位置を特定することができるが、本発明の要旨はこれに限定されるものではない。人物位置特定装置１２は、人物ＩＤを記録したＩＣタグ、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。

例えば、会議室の床面には、図２のように格子状に区切られた区画の中央にリーダが埋め込まれている（格子の中央の丸）。この格子の対角距離は、ＩＣタグとリーダ間の通信に用いる通信方式に依存する。例えば、指向性、到達距離によって異なる。互いに干渉しないで、且つできるだけすべての床面をカバーできることが望ましい。区画毎に配設されたリーダは、各自の読み取り可能範囲に存在するＩＣタグから人物ＩＤを読み取る。複数のリーダによって読み取られＩＣタグがある場合もある。読み取られた人物ＩＤは、読み取った読取装置を示す読取装置ＩＤ（ここでは格子の位置を表すＡ〜Ｇと１〜６の組み合わせで表す）とともに、情報管理装置２０へ送られる。このとき、発話フラグも読み取られ、情報管理装置２０へ送られる場合もある。このようにリーダＩＤからリーダの位置を特定できるので、ある人物の位置が特定できる。ある一定間隔でリーダは人物ＩＤ、発話フラグを読み取り、各リーダはそれらの情報を情報管理装置２０に送る。

また、位置の認識方法としてリーダを机に設置することも考えられる。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置を認識することができる（図２の机周辺の丸）。各リーダにリーダＩＤを割り当てることにより、リーダＩＤから机のどの位置にいたかが分かる。上記の格子状に配置したリーダと組み合わせて使用することも考えられる。

物体位置特定装置１３は、会議室内での物体の位置を特定するための装置である。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。但し、上記の人物ＩＤの代わりに物体ＩＤを記録したＩＣタグを移動する可能性のある物体に付与する。例えば、移動式のホワイト・ボード、椅子、机などが挙げられる。話者認識装置１４は、各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け（内蔵し）、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持つ。ある一定時間マイクロフォンからの入力がない場合は、ＩＣタグの発話フラグをオフにする。上記の人物位置特定装置１２と同様に、読取装置によって人物ＩＤとともに発話フラグがオン状態であることも読み取られる。人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置へ転送する。但し、本発明の要旨はこれに限定されるものではない。

機器動作特定装置１５は、会議室内に配設されているさまざまな機器の状態を監視する。例えば、プロジェクタ・ランプや照明の電源のオン／オフを監視し、その状態の変化を情報管理装置２０へ送る。会議の開始と終了の処理では、記録を開始する場合、ユーザはコントローラ１６に会議開始を指示する。コントローラ１６は、コントローラ１６自身に記録されている会議室名と会議開始が指示されたことを情報管理装置２０に送る。情報管理装置２０は、状態が開始である場合、会議データベース３０に問い合わせをし、新しい会議ＩＤを取得する。会議ＩＤと会議室の対（会議ＩＤリスト）を情報管理装置２０内に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。

次に、会議データベース３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議データベース３０に送り、保存する。記録を終了する場合、ユーザはコントローラ１６に会議終了を指示する。コントローラ１６は、会議室名と状態が終了となったことを情報管理装置２０に送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間を記録する（又は会議の時間も記録する）。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。

会議の記録時におけるビデオ撮影装置１１によるビデオ撮影の処理では、ビデオ撮影装置１１は、記録しているビデオ画像を情報管理装置２０に送る。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。ビデオ画像の記録のタイミングは、逐次、記録しても良いが、ビデオ撮影装置１１内のデジタル・ビデオ・テープなどに一旦保存し、会議終了後に会議データベース３０に保存するようにしても良い。

会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。検出しなかった場合は、オフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０に送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議データベース３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。

また、物体位置特定装置１３は、物体に物体ＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、液晶プロジェクタ、照明の電源のオン・オフを監視する。オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０に送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議データベース３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。

各レコードには、会議ＩＤを割り当て、開始日時、会議室名、会議時間が記載されている。また、レコード内には、ビデオ映像の他、参加者、機材などの会議又は会議室を構成する各要素に関する情報が時間軸に沿ってそれぞれ保存されている。具体的には、各参加者の会議室内での位置や、発話開始時間が時間に結び付けられて保存される。また、液晶プロジェクタやその他の会議室内に設置される機器・機材に関しては、その設置場所や動作（オン／オフ）状態が時間に結び付けられて保存される。本実施形態では、参加者の位置は格子状に配置されたリーダにより認識した結果が格納される。また、本実施形態では、１台のカメラによって撮影されたビデオ映像が保存されているが、複数台のカメラによって撮影された場合、複数のビデオ映像を保存するようにしてもよい。

図３は、情報処理システム１の保存された会議の内容を手掛かりによって検索するための検索機能を実現するための構成を模式的に示す図である。図３に示すように、情報処理システム１は、会議室データベース４１、検索要求受付部４２、検索条件式生成部４３、会議データベース３０、検索部４４、検索結果提示部４５、想起支援部４６及び手掛かり検索部４７を備える。情報処理システム１は、会議を録画した画像データを記録・保存・管理するとともに、その際の利用を支援するものである。具体的には、検索したいシーンの手がかりを、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上の操作によりミニチュアを使って与え、その手がかりに合致したシーンを検索するものである。また、情報処理システム１は、さまざまな手がかりの候補を示すことにより、ユーザへ再認を促す。具体的にはある手掛かりを指定した場合に、イベントを記録してあるデータベースの内容に基づきその手掛かりの正確な情報を表示したり、他の手掛かりの使用を促す。

会議データベース３０は、会議の映像を会議の経過時間毎に生ずるイベント情報とともに管理する。この会議データベース３０は、会議の識別情報、会議の開催日時、会議の開始時間、会議の時間、会議室の識別情報、会議の参加者及び会議室内に配設されている各機器に関する情報のうちの少なくとも一つを会議の経過時間毎に生ずるイベント情報として管理する。また、会議データベース３０は更に、会議参加者の会議室内での位置、会議参加者の発話時間、会議室内に設置される機器の設置場所及び該機器の動作状態の少なくとも一つを会議の経過時間に結び付けて管理する。

会議室データベース４１は、会議室に関する情報を格納する。検索要求受付部４２は、検索したいシーンの手がかりを、ミニチュアを使って与えるためのＧＵＩ操作画面を用意する。より詳細には、この検索要求受付部４２は、イベント情報を指定するための複数のミニチュアと、このミニチュアを操作する操作領域を用意し、操作領域上にミニチュアを配置する形式で検索要求を受け付ける。検索条件式生成部４３は、操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する。検索部４４は、生成された検索条件式に従って、会議の映像から所定のシーンを会議データベース３０から検索する。検索結果提示部４５は、検索部による検索結果を表示する。

想起支援部４６は、検索要求に基づいて、会議データベース３０のデータを参照して、検索要求を入力するための手掛かりの候補を検索結果提示部４５に表示するものである。詳細には、想起支援部４６は、検索要求受付部４２上でのユーザの振る舞いを逐次観察し、変化が起こるごとに、またはユーザから明示的に指示が出されるごとに、手掛かり候補を検索するための検索条件式（クエリ）を作成し、手掛かり検索部４７へクエリを渡す。想起支援部４６は、検索要求受付部４２のＧＵＩ上に会議で使用した部屋を指定するボタン、会議の参加者の会議室内での位置、会議の参加者を指定するアイコン又は会議の開催日の候補を識別可能に表示する。手掛かり検索部４７は、クエリに合致する手掛かりを検索し、想起支援部４６へ返す。

図４は、検索要求受付部２が表示するＧＵＩ画面の構成例を示す図である。同図において、参照番号１００は会議室を指定するためのボタン群、１１０は会議の行なわれた時期を指定するためのカレンダー、１２０は参加者を指定するための参加者エリア、１３０は人物を示すアイコンを表示する人物エリアである。人物エリア１３０には、各個人を示すミニチュアとして人物アイコンが表示される。各人物アイコンの下には、個人の名前がそれぞれ付与される。また、特定の人物を示さない人物アイコンもある。これは、名前が「だれか」となっている、ワイルドカードに相当する人物アイコンである。所望の人物アイコンを参加者エリアに置くことで、シーン検索している会議に参加していたことを指定することができる。各人物アイコンを識別するために、対応する人物の顔写真を人物アイコンに貼り付けるという工夫も考えられる。

また、参照番号１４０は会議室のミニチュアとしての会議室表示エリアであり、１００のあるボタン操作により特定の会議室が選択された場合にその会議室の見取り図が表示される。会議室の見取り図は会議室データベース４１に格納されており、検索要求受付部４２は、レイアウトなど必要な情報をそこから取り出す。所望の人物アイコンを会議室表示エリア１４０に置くことで、検索しているシーンには当該参加者が会議室のその場所に存在していることを指定することができる。また、参照番号１５０は発話を指示するための発話ボタンであり、検索しているシーンにおいて、参加者エリア１２０又は会議室表示エリア１４０に配置した人物アイコンに相当する人物が発話していることを指定することができる。また、参照番号１６０はリセットボタン、参照番号１８０は検索対象となっている会議における経過時間を示す時間スクロールバーであり、会議中の時間的位置を直接的に特定することができる。

図示のＧＵＩ画面上で、現実の会議室を模したミニチュアを操作することによって、検索要求受付部４２はユーザの直感的な操作から検索の手がかりを引き出すことができる。そして、検索条件式生成部４３は、その操作を通じて得られる情報を検索クエリとして発行する。

次に検索の手順について説明する。図４に示すようなＧＵＩ画面を通じて、検索したいシーンの手がかりとして、検索することができる。
（１）参加者を特定できる場合

図５は、検索要求受付部４２が用意するＧＵＩ画面上において、シーンを検索する手がかりとして参加者を特定する場合の操作例を示す図である。図示するように、想起したいシーンの手がかりとして参加者を利用できる場合、会議に参加していた人のミニチュアである人物アイコンを人物エリア１３０から選び参加者エリア１２０へ移動する。図示の例では、ユーザは、会議に参加者Ａと参加者Ｂがいたことを思い出し、参加者Ａと参加者Ｂを示すミニチュアである人物アイコンを、順に参加者エリア１２０に移動する。このとき、検索条件式生成部４３では、検索要求受付部４２において図示の要求を受け付けたことに応答して、以下のような検索クエリを発行する。

検索クエリ：
参加者：参加者Ａ、参加者Ｂ

ここで、検索クエリは上記のように、変数名とその値の対として表すことができる。検索時には、例えばＰｅｒｌ（Ｐｒａｃｔｉｃａｌ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｒｅｐｏｒｔ Ｌａｎｇｕａｇｅ）やその他のプログラミング言語によって変数名と対応する値を抽出し、やはり、Ｐｅｒｌなどのパターン・マッチによってデータベース中のデータと照合したり、データベース操作用言語であるＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）などによってデータベース中のデータを検索することができる。検索部４４は、上記の検索クエリを受け取ると、参加者Ａと参加者Ｂが参加している会議を会議データベース３０から検索する。各レコードについて参加者Ａ、Ｂを含む会議を検索する。

ここで、仮に会議ＩＤが０３７８、０３７７、０３７６となる３件が検索されたとする。検索部４４は、各レコードにおけるビデオ映像の先頭の画像を抽出し、その画像と、画像の撮影開始からの時間、会議ＩＤ、開始日時、会議室名、全員の参加者名、使用した機器などの情報を組み合わせて、検索結果提示部４５へ送る。

検索結果提示部４５は、これらの検索結果を、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。図６は、検索結果提示部４５における検索結果の提示画面の構成例を示している。例えば、ビデオ撮影装置１１として複数台のカメラで撮影された場合、それぞれの映像における先頭の画像を表示させる。ここで、検索結果提示部４５で表示されている静止画のうちいずれかをクリックすることにより、検索結果提示部４５はその画像の撮影開始からの時間（この場合はビデオ画像の先頭なので０）と会議ＩＤを検索部４４に渡す。検索部４４はその会議ＩＤの映像の、撮影開始からの時間から始まる動画を抽出し、検索結果提示部４５へ渡す。検索結果提示部４５は、動画表示用のウィンドウを開いて、この動画を再生する。
（２）会議室を特定できる場合

想起したいシーンの手がかりとして会議室を特定できる場合には、図５に示したＧＵＩ画面上で、該当する会議室選択ボタン１００を選択操作する。この場合、検索要求受付部４２は、会議室データベース４１から該当する会議室の見取り図などの描画情報を取り出し、会議室の見取り図を表示した会議室表示エリア１４０を表示する。図７は、会議室表示エリア１４０内に、指定された会議室のミニチュアとしてその見取り図が表示されている様子を示す図である。図示の例では、会議室のほぼ中央に円卓が配設され、その円周に８脚の椅子が並べられている。また、２面の壁にホワイト・ボードが配設され、部屋の一角には電話並びに電話代のミニチュアが設置されている。このように検索要求受付部４２で会議室を特定した時点で、検索条件式生成部４３は、以下のような検索クエリを発行する。

検索クエリ：
会議室： １２会議室

検索部４４は、この要求を受け取ると、１２会議室で行なわれている会議を検索する。ここで、仮に会議ＩＤが０３７８、０３７６となる２件が検索されたとする。検索部４４は、各レコードにおけるビデオ映像の先頭の画像を抽出して、その画像と会議ＩＤ、開始日時、会議室名を検索結果提示部４５へ送る。検索結果提示部４５は、これらの検索結果を、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。
（３）日付を特定できる場合

想起したいシーンとして日付が想起できる場合には、図５に示したＧＵＩ画面上で、カレンダー１１０上に候補の日付をクリックする。あるいは、ドラッグすることにより複数の日付を選択することができる。例えば、検索要求受付部４２により先週（１２月８日から１２日）が選択された場合、検索条件式生成部４３は、以下のような検索クエリを発行する。

検索クエリ：
日付： ２００３年１２月８日〜１２日

検索部４４は、この要求を受け取ると、会議データベース３０からからこの期間に行なわれた会議を検索する。各レコードについて２００３年1２月８日〜1２日に行なわれた会議を検索する。ここで、仮に会議ＩＤが０３７８、０３７７、０３７６、０３７５となる４件が検索されたとする。検索部４４は、各レコードにおけるビデオ映像の先頭の画像を抽出し、その画像と、会議ＩＤ、開始日時、会議室を検索結果提示部４５へ送る。検索結果提示部４５は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。
（４）発話者を特定できる場合

想起したいシーンの手がかりとして発話者が特定できる場合は、参加者を指定する場合と同様、まず参加者エリア１２０に参加者を配置し、これに続いて、発話した参加者を発話ボタン１５０を用いて指定する。例えば、参加者Ａと参加者Ｂが参加した会議で、参加者Ａが発話者の場合、図５に示したように、人物エリア１３０中の参加者Ａ並びに参加者Ｂの人物アイコンを参加者エリア１２０に移動する。そして、参加者Ａが発話したシーンを検索する場合、まず発話ボタン１５０を選択し、続けて参加者Ａをクリックすることにより、参加者Ａが発話者であることを指示する。このとき、検索条件式生成部４３では、検索要求受付部４２において上記の受け付けたことに応答して、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ

検索部４４は、この要求を受け取ると、会議データベース３０から該当するシーンを検索する。このとき、参加者Ａと参加者Ｂが参加している会議のうち、さらに参加者Ａが発話する時間を検索する。

図８は、発話者を指定して得られた検索結果の提示画面の構成例を示す図である。同図では、会議ＩＤ０３７８のレコードにおいて、タイムラインに垂直に描かれた破線の部分が、参加者Ａが発話を開始する時間として検索されていることを示している。また、他の会議ＩＤについても同様に検索され、該当するレコードの内容を記載したシートが後方に重畳表示されている。検索部４４は、この検索された時間の静止画をビデオ画像から抽出し、検索結果提示部４５へ送る。検索結果提示部４５は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に検索された静止画を割り当てて表示する。

また、発話の回数と密度を指定することもできる。参加者エリア１２０にいる参加者に対して、コンテキスト・メニューなどを利用したメニューを表示させる。図８には、参加者Ａに発話の回数と密度を指定するメニュー・ウィンドウがポップアップ表示された様子を示している。このようなメニュー上で、例えば１の連続発言回数を選択した場合、連続発話回数と発話間隔を入力するように促すダイアログ・ボックス（図示しない）が出現する。例えば、連続発話回数と発話間隔として５回、３秒をそれぞれ入力したとすると、これに応答して検索条件式生成部４３は、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
連続発話回数： ５回
発話間隔： ３秒以内

検索部４４は、上記の検索クエリを受け取ると、参加者Ａが連続して５回以上発話し、その発話間隔が３秒以内の部分を、会議データベース３０から検索する。ここで、目的の部分があった場合には、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、開始日時、会議室を検索結果提示部４５へ送る。検索結果提示部４５は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。また、図８に示したメニュー上で２の発言密度を選択した場合、発話時間と発話回数を入力するように促すダイアログ・ボックス（図示しない）が出現する。このダイアログ・ボックス上で、例えば発話時間と発話回数として３分、２０回をそれぞれ入力したとすると、これに応答して検索条件式生成部４３は、以下のような検索クエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話者： 参加者Ａ
発話時間： ３分
発話回数： ２０回

検索部４４は、上記の検索クエリを受け取ると、会議データベース３０から、参加者Ａが３分間の間に２０回以上の発話を行なっているシーンを検索する（３分間の間に他の参加者の発話が挿入していることを許容しても、禁止してもよい）。目的の部分が見つかった場合には、検索部４４は、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、開始日時、会議室を検索結果提示部４５へ送る。検索結果提示部４５は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。

図９は、検索の手がかりとして参加者Ａと参加者Ｂが会話していることを入力する操作を示す図である。まず、参加者エリア１２０に参加者Ａと参加者Ｂの人物アイコンを移動させる。そして、発話ボタンを選択した後、参加者エリア１２０にいる参加者Ａと参加者Ｂの人物アイコンを順にクリックする。これに応答して、ＧＵＩ画面上では、参加者Ａと参加者Ｂの人物アイコン間には、両者会話を意味する線が引かれる。このとき、検索条件式生成部４３では、次のようなクエリを発行する。

検索クエリ：
参加者： 参加者Ａ、参加者Ｂ
発話順： 参加者Ａ、参加者Ｂ

検索部４４は、上記のクエリを受け取ると、会議データベース３０から、参加者Ａの後に参加者Ｂが発話した部分を検索する。目的の部分が見つかった場合には、その始まりのシーンの画像を抽出し、その画像と会議ＩＤ、日付、会議室を検索結果提示部４５へ送る。検索結果提示部４５は、会議ＩＤ毎に、会議室名、開催日時、会議のタイムラインを表示し、会議の開始時間に相当するタイムラインの位置に静止画を割り当てて表示する。なお、上述の例では発話者をクリックした順番を、実際の発話の順序としてみなして検索したが、勿論、発話の順序を無視し、参加者Ｂ、参加者Ａの順で発話しているシーンを検索してもよい。
（５）参加者の位置や移動を特定できる場合

検索したいシーンがどの会議室のものか検索者が判断できる場合には、検索結果提示部４５が表示するＧＵＩ画面左上の会議室選択エリアで該当する会議室の会議室選択ボタンを選択する。すると、選択された会議室のレイアウトや見取り図の情報が会議室データベース４１から読み出され、その会議室の平面図がその下の会議室表示エリア１４０に表示される。図１０は、会議室が選ばれているときのＧＵＩ画面を示す図である。

続いて、検索者は、自分（参加者Ａ）の座っていた位置や、参加者Ｃが立っていた位置を思い出し、マウスなどを用いて、その人物アイコンを会議室表示エリア１４０内の該当する位置に配置する。検索条件式生成部４３は、検索要求受付部４２が表示するＧＵＩ画面上で操作が行なわれる度に、ＧＵＩ画面上でミニチュアにより構成されたシーンから検索クエリを生成し、これを検索要求として検索部４４へ送る。図１０に示した例では、参加者Ａが会議室上の位置Ｃ１へ、参加者ＣがＦ５へ移動されたものとする。この場合、検索条件式生成部４３は、以下のような検索クエリを検索部４４へ送る。

検索クエリ：
会議室： １２会議室
日時： ２００３年１２月１日〜１２日
参加者と位置：参加者Ａ−Ｃ１、参加者Ｃ−Ｆ５

検索部４４は、受け取った検索クエリに合致したシーンを会議データベース３０で検索する。ここでは、会議データベース３０から検索する。まず、会議データベース３０から、１２会議室で２００３年1２月１日〜１２日に行なわれた会議のレコードを検索する。続いて、検索されたレコードの中から、参加者Ａと参加者Ｃがそれぞれ位置Ｃ１並びに位置Ｆ５にいるシーンの始まりの時間をさらに検索する。

以上のように、ユーザはもう一度見たいシーンを検索するために、ＧＵＩ上に手がかりを利用してシーンを構成することにより、そのＧＵＩ上のシーンにマッチしたシーンをビデオ画像から検索し見ることができる。

（６）次に、会議室が選択されており人物アイコンのドラッグ時に、その人のいた位置を会議室レイアウト上で識別可能に表示する例について説明する。

図１１は、人物アイコンをドラッグ中の位置候補の表示例を示す図である。図１２は、参加者Ａの人物アイコンのドラッグを開始した際に、位置候補をフィードバックする手順を示す図である。ステップＳ１１で、ユーザの人物アイコンのドラッグ開始によりこの手順は開始される。ステップＳ１２で、想起支援部４６は、会議室が選択されていない場合はこの手順を終了する。会議室が選ばれていないとどの部屋での位置候補をフィードバックすればよいかわからないためである。会議室が選択されている場合はステップＳ１３に進む。ステップＳ１３で、想起支援部４６は、ドラッグが開始された人物の人物ＩＤを取得する。この人物ＩＤは会議データベース３０を検索するためのもので、会議データベース３０内での人物の表記方法を一致していれば何でも良い。また、想起支援部４６は、選択されている会議室ＩＤを取得する。

ステップＳ１４で、想起支援部４６は人物ＩＤと会議室ＩＤをもとに、クエリを生成する。手掛かり検索部４７は、その会議室でその人物がいた位置情報を会議データベース３０から取得する。位置情報の内容は会議データベース３０の内容に依存する。たとえば、会議データベース３０内に、毎秒ごとの人物の位置が記載されている場合、その全ての情報を取得する。手掛かり検索部４７は取得した情報を想起支援部４６に送る。ステップＳ１５で、想起支援部４６は取得した全ての位置情報を位置ごとに個数を積算する。たとえば、上記のように毎秒ごとの位置が検索された場合、その積算値はその位置にいた秒数（積算時間）を示すことになる。ステップＳ１６で、想起支援部４６は、図１１に示すように、会議室のレイアウト上に積算値によって目印１９０及び１９１を付与する。例えば、積算値の大きさによって色を濃く示した円などを示す。想起支援部４６は、積算時間が長い位置については色の濃い円１９０で示し、一方積算時間が短い位置については色の薄い円１９１で示す。つまり、ドラッグ中の人物が過去にいた場所を頻度によって強調表示（色の濃さ）する。

このように、検索要求により会議室及び会議の参加者が選択されたとき、会議の参加者の会議室内での位置を、手掛かりの候補として表示するので、検索要求を入力する際の想起が支援されるため、ユーザは目的のシーンを容易に検索することができる。

なお、日付や他の人物が既に選択されている場合、ステップＳ１２の後に、選択されている日付を取得し、参加指定若しくは位置指定されている他の人物の人物ＩＤ、位置情報を取得するステップを設けても良い。そして、ステップＳ１４において、手掛かり検索部４７は人物ＩＤと会議室ＩＤに加え、日付、他の参加者をクエリとして、ドラッグ中の参加者の位置を検索する。なお、ステップＳ１６において、想起支援部４６は位置候補を示す場合、現在からの時間経過の度合い、または検索された位置情報の相対的な時間順序によって表示方法を変えても良い。たとえばステップＳ１５において、想起支援部４６はある位置における積算値を計算する場合、現在からの経過日数の逆数を利用して各位置情報に重み付けしてもよい。またステップＳ１６において、想起支援部４６は位置候補を示す場合、会議毎の積算値に基づき目印を表示する。そのためには、想起支援部４６はステップＳ１５の積算値の計算時に、会議毎の各位置での積算値を計算する。

また、ステップＳ１６において、想起支援部４６は、表示する際、例えば、それぞれの会議での位置候補をある一定時間で切り替えて表示する。または会議毎に異なる色を用意してそれぞれの色で表示する。なお、フィードバック時、選択されている日時や、他の人物の参加状況、位置情報などの制限を加えてもよい。位置情報のフィードバックは、会議毎に区別ができるように、時間で切り替え、または色により区別してもよい。会議の時間順に関連して色をコントロール（新しいものを濃くなど）してもよい。各位置ごとに存在時間の積算を行い、その量に応じて目印を替えてもよい。

（７）人物アイコンを参加者として指定した場合（更には会議室内での位置の指定）に、その人が参加した会議の日にちの候補及びその人が参加した会議に対応する会議室選択ボタン１００を識別可能に表示する例について説明する。

図１３は参加者を指定した場合の会議室、日付、人物の候補の表示例を示す図である。図１４は参加者を指定した場合の他の手掛かりのフィードバック手順を示す図である。ステップＳ２１で、ユーザが参加者Ａの人物アイコンを人物エリア１３０から参加者エリア１２０に置くと、ステップＳ２２で、想起支援部４６は置かれた人物アイコンの人物ＩＤを取得する。ステップＳ２３で、手掛かり検索部４７は人物ＩＤをクエリとして、会議データベース３０から会議室、日付、他の参加者を検索し、検索結果を想起支援部４６に渡す。ステップＳ２４で、想起支援部４６は手掛かり検索部４７による検索結果に基づいて、会議室については各会議室ごとに使用回数を積算し、参加者についても参加者ごとに会議参加回数を積算する。ステップＳ２５で、想起支援部４６は、日付についてはＧＵＩのカレンダー１１０上の日付に強調し強調する。

想起支援部４６は、会議室については使用回数に応じて会議室選択ボタン１００の色の濃さを強調する。図１３の例では、「Ｒｏｏｍ５１」、「ＳＷＲ」の会議室選択ボタン１００の色の濃さが強調されている。想起支援部４６は、参加者については参加回数に応じて参加者アイコンを濃くし、また回数によって強調の度合いを変える。図１３の例では、人物エリア１３０のうち過去に一緒に参加した「参加者Ｃ」、「参加者Ｄ」が強調表示されている。また、想起支援部４６は、たとえば１０回一緒に参加した人については３回一緒に参加した人よりも色を濃くし、４０回使用した会議室については１０回使用した会議室よりも会議室選択ボタン１００の色を濃して表示する。また、想起支援部４６はその人が参加した会議に一緒に参加した人物アイコンを強調する。この時、想起支援部４６は、強調される会議室および参加者は会議が行われた日付の新しさによって濃さを調整しても良い。なお、ステップＳ２１において、既に、会議室や、日付、他の参加者が指定されている場合、想起支援部４６及び手掛かり検索部４７は、それらもクエリとして検索を行う。ステップＳ２５において、想起支援部４６は回数に応じて強調表示を行うのではなく、現時点からの経過時間、または検索された内容の相対的な時間順序によって表示方法を変えても良い。

このように、検索要求により会議の参加者が選択されたとき、選択された会議の参加者が会議で使用した会議室を指定するためのボタン、選択された会議の参加者と共に会議に参加した参加者を指定するためのアイコン及び該会議の参加者が参加した会議の開催日の候補のうちの少なくとも一つを、手掛かりの候補として表示することで、検索要求を入力する際の想起が支援されるため、ユーザは目的のシーンを容易に検索することができる。

（８）人物アイコンを会議室レイアウトに配置した場合に、その日にちの候補や同時に参加していた人物アイコンを識別可能に表示する例について説明する。図１５は、人物アイコンを会議室のレイアウト上に配置した場合のフィードバック手順を示す図である。

ステップＳ３１で、図１０に示したように、人物アイコンを会議室のレイアウト上に置く。ステップＳ３２で、想起支援部４６は置かれた人物アイコンの人物ＩＤと会議室ＩＤ及び人物アイコンの位置（指定位置）を獲得する。このとき、獲得した位置の周辺位置も同時に獲得する。ステップＳ３３で、手掛かり検索部４７は人物ＩＤ、会議ＩＤ及び位置情報（指定位置と周辺位置）をクエリとして、会議データベース３０にアクセスして日付、他の参加者を検索する。ステップＳ３４で、想起支援部４６は指定位置と周辺位置によって検索された日付、参加者に異なる重みを付与する。ステップＳ３５で、想起支援部４６は、図１３に示したように、日付についてはＧＵＩのカレンダー１１０上の日付に強調をし強調する。このとき、日付は付与された重みにより強調の方法を変える。

また、想起支援部４６は、図１３の人物エリア１３０内に示したように、参加者については重みによって参加者アイコンの強調の方法を変える。重み付けによって日付を強調する例としては、日付の下のアンダーラインの太さを変えたり、色を変えたり、日付自身の文字の透明度を変えるなどが考えられる。このとき、想起支援部４６は配置した位置の周りの位置にいた会議の日にちや同時に参加していた人物のアイコンの濃さをかえて強調する。これは、その周辺にいた場合のことを考慮して、強調することにより、誤って位置を指定した場合でも、他の参加者や日にちの候補がわかる。また、想起支援部４６は指定した位置以外にも、周辺の位置について検索を行うことにより、位置について曖昧な検索を許す。したがって、ユーザの曖昧な記憶や思い込みに対処できる。予め日付が指定されている場合は、想起支援部４６及び手掛かり検索部４７は、その日付もクエリとして検索を行う。また何人かの参加者が予め指定されている場合はその参加者もクエリとして検索を行うようにしても良い。

このように、検索要求により会議室、会議の参加者及び該会議の参加者の位置が選択されたとき、該位置で会議の参加者が参加した会議の開催日の候補及び会議の参加者と共に参加していた会議の参加者を指定するためのアイコンのうちの少なくとも一方を、手掛かりの候補として識別可能に表示するので、誤って位置を指定した場合でも、他の参加者や日にちの候補がわかるため、誤った位置を指定したことに対して気付きを与えることができる。

（９）日付を指定した場合、その日に使用された部屋を識別可能に表示し、その日に会議を行った人を識別可能に表示する例について説明する。図１６は日付を指定した場合のフィードバック手順を示す図である。

ステップＳ４１で、カレンダー１１０上で日付を指定すると、ステップＳ４２で、想起支援部４６は指定された日付を取得する（指定日付）。また想起支援部４６は指定された日付の前後数日の日付も獲得する（周辺日付）。ステップＳ４３で、手掛かり検索部４７は会議データベース３０から、指定日付、周辺日付をクエリとして、その日に行われた会議の会議室、参加者を検索する。ステップＳ４４で、想起支援部４６は検索された会議室に指定日付と周辺日付のどちらによって検索されたかで重みを変えて付与する。また、想起支援部４６は検索された参加者についても指定日付と周辺日付のどちらで検索されたかによって重みを変えて付与する。

ステップＳ４５で、想起支援部４６は、図１３に示したように、会議室選択ボタン１００については検索された会議室の重みによってボタンの強調の方法を変える。また想起支援部４６は参加者についても重みによって強調の方法を変える。また想起支援部４６は指定した日付以外にも、その前後の日付を含めて検索を行うことにより日付について曖昧な検索を許す。予め会議室が指定されている場合は、想起支援部４６及び手掛かり検索部４７は、その会議室もクエリとして検索する。また、何人かの参加者が予め指定されている場合はその参加者もクエリとして検索を行う。想起支援部４６は指定した日付の前後数日に使用された部屋および会議を行った人も色を変えて強調表示する。

このように、検索要求により会議の開催日が選択されたとき、該開催日及び該開催日の前後の日付を含む周辺日付の会議で使用された部屋を指定するためのボタンを、手掛かりの候補として識別可能に表示するので、検索要求を入力する際の想起が支援されるため、ユーザは目的のシーンを容易に検索することができる。

（１０）会議室を指定した場合、その会議室で会議が行われた日を識別可能に表示し、その会議室で会議を行った人を識別可能に表示する例について説明する。図１７は、会議室を指定した場合のフィードバック手順を示す図である。

ステップＳ５１で、会議室選択ボタン１００で会議室が選択されると、ステップＳ５２で、想起支援部４６は指定された会議室ＩＤを取得する（指定会議室）。このとき、想起支援部４６は指定された会議室に類似した形状、大きさの会議室を会議室ＤＢ４１から検索しそれらの会議室ＩＤ（周辺会議室）も取得する。ステップＳ５３で、手掛かり検索部４７は指定会議室ＩＤ、周辺会議室ＩＤをクエリとして、それらの会議室で行われた会議に参加した参加者及び日付を会議データベース３０から検索する。

ステップＳ５４で、想起支援部４６は検索された参加者に指定会議室ＩＤと周辺会議室ＩＤのどちらかによって検索されたかで重みを変えて付与する。想起支援部４６は検索された参加者についても指定会議室ＩＤと周辺会議室ＩＤのどちらで検索されたかによって重みを変えて付与する。ステップＳ５５で、想起支援部４６は、日付についてはカレンダー１１０の中の日付に強調をし強調する。このとき、想起支援部４６は検索された日付の重みによって強調の方法を変える。想起支援部４６は参加者についても重みによって強調の方法を変える。想起支援部４６は、指定した会議室以外にも、似た形状の会議室を含めて検索を行うことにより会議室について曖昧な検索を許す。手掛かり検索部４７は、予め日付が指定されている場合はその日付もクエリとして検索する。手掛かり検索部４７は何人かの参加者が予め指されている場合はその参加者もクエリとして検索を行う。

重み付けによって日付を強調する例としては、図１３に示すように、カレンダー１１０の日付の下のアンダーラインの太さを変えたり、色変えたり、日付自身の透明度を変えるなどが考えられる。このとき、想起支援部４６は、別の会議室で同じ形状や大きさの会議室についても、そこで行われた会議の日付や、参加者の濃さを変えて強調する。

このように、検索要求により会議室が選択されたとき、選択された会議室及び該会議室に類似する類似会議室で会議が開催された日の候補並びに該会議室及び該類似会議室で行われた会議の参加者を指定するためのアイコンのうち少なくとも一方を、手掛かりの候補として識別可能に表示するので、間違えて会議室を指定した場合でも、他の似た会議室についても関連項目が識別可能に表示されるため、誤って指定した場合でも関連する候補がわかる。

なお、本発明の情報処理方法は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

このプログラムは、イベント情報を指定するための複数のミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付けるステップ、前記検索要求に基づいて、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示するための情報を生成するステップをコンピュータに実行させる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

情報処理システムにおける記録・保存機能の構成を模式的に示している。 人物位置特定装置の構成例を示す図である。 情報処理システムの保存された会議の内容を手掛かりによって検索するための検索機能を実現するための構成を模式的に示す図である。 検索要求受付部が表示するＧＵＩ画面の構成例を示す図である。 検索要求受付部が用意するＧＵＩ画面上において、シーンを検索する手がかりとして参加者を特定する場合の操作例を示す図である。 検索結果提示部における検索結果の提示画面の構成例を示している。 会議室表示エリア内に、指定された会議室のミニチュアとしてその見取り図が表示されている様子を示す図である。 発話者を指定して得られた検索結果の提示画面の構成例を示す図である。 検索の手がかりとして参加者Ａと参加者Ｂが会話していることを入力する操作を示す図である。 会議室が選ばれているときのＧＵＩ画面を示す図である。 人物アイコンをドラッグ中の位置候補の表示例を示す図である。 人物アイコンのドラッグを開始した際に、位置候補をフィードバック手順を示す図である。 参加者を指定した場合の会議室、日付、人物の候補の表示例を示す図である。 参加者を指定した場合の他の手掛かりのフィードバック手順を示す図である。 人物アイコンを会議室のレイアウト上に配置した場合のフィードバック手順を示す図である。 日付を指定した場合のフィードバック手順を示す図である。 会議室を指定した場合のフィードバック手順を示す図である。

符号の説明

１ 情報処理システム ３０ 会議データベース
１０ 会議記録装置 ４１ 会議室データベース
１１ ビデオ撮影装置 ４２ 検索要求受付部
１２ 人物位置特定装置 ４３ 検索条件生成部
１３ 物体位置特定装置 ４４ 検索部
１４ 話者認識装置 ４５ 検索結果表示部
１５ 機器動作特定装置 ４６ 想起支援部
２０ 情報管理装置 ４７ 手掛かり検索部

Claims (14)

1. イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付ける検索要求受付部と、
   会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースと、
   前記検索要求に基づいて、前記データベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示する想起支援部とを備えることを特徴とする情報処理システム。
2. 前記データベースは、会議の識別情報、会議の開催日時、会議の開始時間、会議の時間、会議室の識別情報、会議の参加者及び会議室内に配設されている各機器に関する情報のうちの少なくとも一つを会議の経過時間毎に生ずるイベント情報として管理することを特徴とする請求項１に記載の情報処理システム。
3. 前記データベースは、会議参加者の会議室内での位置、会議参加者の発話時間、会議室内に設置される機器の設置場所及び該機器の動作状態の少なくとも一つを会議の経過時間に結び付けて管理することを特徴とする請求項１に記載の情報処理システム。
4. 前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部と、
   前記検索条件式に従って、前記会議映像から所定のシーンを検索する検索部とを更に備えることを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理システム。
5. 前記検索部による検索結果を表示する検索結果表示部を更に備えることを特徴とする請求項４に記載の情報処理システム。
6. 前記想起支援部は、前記検索要求に基づいて、前記手掛かりの候補を検索するための検索条件式を生成することを特徴とする請求項１に記載の情報処理システム。
7. 前記想起支援部は、会議で使用した部屋を指定するための手段、会議の参加者の会議室内での位置、会議の参加者を指定するための手段及び会議の開催日の候補のうちの少なくとも一つを、前記手掛かりの候補として識別可能に表示する請求項１に記載の情報処理システム。
8. 前記想起支援部は、前記検索要求により会議室及び会議の参加者が選択されたとき、該会議の参加者の会議室内での位置を、前記手掛かりの候補として表示することを特徴とする請求項１に記載の情報処理システム。
9. 前記想起支援部は、前記検索要求により会議の参加者が選択されたとき、該会議の参加者が会議で使用した部屋を指定するための手段、該会議の参加者と共に会議に参加していた参加者を指定するための手段及び該会議の参加者が参加した会議の開催日の候補のうちの少なくとも一方を、前記手掛かりの候補として識別可能に表示することを特徴とする請求項１に記載の情報処理システム。
10. 前記想起支援部は、前記検索要求により会議室、会議の参加者及び該会議の参加者の位置が選択されたとき、該位置で該会議の参加者が参加した会議の開催日の候補及び該会議の参加者と共に参加していた会議の参加者を指定するための手段のうちの少なくとも一方を、前記手掛かりの候補として識別可能に表示することを特徴とする請求項１に記載の情報処理システム。
11. 前記想起支援部は、前記検索要求により会議の開催日が選択されたとき、該開催日及び少なくとも該開催日の前後の日付を含む周辺日付の会議で使用された部屋を指定するための手段を、前記手掛かりの候補として識別可能に表示することを特徴とする請求項１に記載の情報処理システム。
12. 前記想起支援部は、前記検索要求により会議室が選択されたとき、該会議室及び該会議室に類似する類似会議室で会議が開催された日の候補並びに該会議室及び該類似会議室で行われた会議の参加者を指定するための手段のうち少なくとも一方を、前記手掛かりの候補として識別可能に表示することを特徴とする請求項１に記載の情報処理システム。
13. イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付けるステップと、
    前記検索要求に基づいて、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示するステップと
    を有することを特徴とする情報処理方法。
14. イベント情報を指定するためのミニチュアと、該ミニチュアを操作する操作領域を用意し、該操作領域上に該ミニチュアを配置する形式で検索要求を受け付けるステップ、
    前記検索要求に基づいて、会議映像を会議の経過時間毎に生ずるイベント情報とともに管理するデータベースのデータを参照して、前記検索要求を入力するための手掛かりの候補を表示するための情報を生成するステップをコンピュータに実行させるためのプログラム。
    

Images