JP2006221320A - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 容易に目的のシーンを検索することができる情報処理システムを提供する。
【解決手段】 情報処理システム１は、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、操作領域上にミニチュアを配置する形式で検索要求を受け付ける検索要求受付部４２と、複数の会議映像を会議で生じるイベント情報とともに管理する会議データベース３０と、操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部４３と、会議データベース３０内の映像の時間軸を合わせたチャートを表示すると共に、映像のうち検索要求受付部４２により受け付けた検索要求に該当する映像部分をチャート上で視覚化する閲覧エンジン４４とを備える。
【選択図】 図３

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。

会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニタやスピーカなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。例えば、複数のユーザが端末装置のネットワーク接続によって対話を可能とした会議システムとしての対話システム制御方式がある。この方式によれば、各端末装置において対話への参加、参加者の離脱を処理することによって、自由な参加や離脱を可能にして会議に相当する対話をすることができる。

また、会議の進行上、会議の参加者を撮影した映像や、参加者の発言内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間で共有し、保管することができる。

例えば、会議に用いられる共有の資料などの用意や保管を容易に行なうことができる会議システムについて提案がなされている（特許文献２参照）。この場合、インターネット上の会議支援ウェブサイトを運営する情報提供装置によりＴＶ電話会議のサービスを提供する第１の工程と、会議参加者（ユーザ）が通信端末を用いるとともに、この情報提供装置を通し、共有資料を用いてリアルタイムで会議を行なう第２の工程とを備え、会議に用いられる共有の資料等の用意や保管を容易に行なうことができ、その場で資料などに書き込みを行なうこともでき、さらにはアプリケーションソフトの違いやバージョンの違いによる不具合も解消することができる。

さらに、会議システムでは、映像や音声などの会議の進行上で発生するさまざまなデータをデジタル化して保存し、さらに、ホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを、映像や音声などのビデオ・データすなわち会議の経過時間と同期させて保管することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用することが可能となる。

会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議を特定し、さらに会議データの中から所望の箇所（シーン）を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。

従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。また、本題から外れた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。

このような振り返りを支援する技術として動画像を利用する方法を挙げることができる。すなわち、会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。

例えば、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示することにより、ユーザはその代表画像を頼りに時間的前後関係を推測し、見たいシーンに辿り着くことができる（特許文献３参照）。しかし、この場合、ユーザに提示されるシーンは一定間隔の時間で切り出されたシーンであり、そのシーンが時間推定にどれだけ有用であるかは不明である。例えば、似たような複数のシーンが抽出された場合、それらから時間的前後関係を推測するのは難しい。

このような問題を解決するために、動画像の内容が大きく変化した場合の静止画を代表画像としてユーザに提示する方法がある（特許文献４参照）。この場合、単なる時間間隔で得られた代表画像と異なり、シーンが変化した時点を代表画像とするため、同じようなシーンが連続して代表画像となることはない。しかしながら、この方法では、画像中の変化が少ないために代表画像が得られない場合もある。逆に、カメラのパンやブレやズーム、又は誰かがカメラの前を通った場合はシーンが大きく変化したとみなされ、そのシーンが代表画像として提示される場合もある。それらは会議の振り返りをするユーザにとっては意味のない（記憶にない）シーンであるので役立たない。

また、どの発言者がいつ発言したかを特定し、それをビジュアルにタイムラインとして表示し、そのタイムラインから再生したい部分の動画へアクセスする方法が提案されている（特許文献５参照）。しかし、ユーザは表示されたタイムラインを見て、自分が探しているシーンがどこに相当するかを推測する必要がある。このため、長時間の会議になればなるほど、見る範囲も広くなり、ユーザに負担を強いることになる。

また、見たいシーンを画像としてユーザがシステムに与えることにより、システムはその与えられた画像と類似するシーンを検索するという方法がある（特許文献６参照）。この場合、ユーザは画像を検索要求として与えるが、会議の録画の場合、設置されたカメラ位置を想定して、その位置から見える画像を作りシステムに与えなければならない。ユーザは通常、カメラの位置などについては考慮していないのでカメラ位置からの画像を作成して与えるのは難しい。

また、会議の振り返り支援として録画されたビデオを閲覧する場合、発話チャートや、クエリに合致したシーンを提示してユーザに選択させることによって、目的のシーンを検索する方法が本出願と同一出願人によって提案されている（特願２００４−４０６２２号参照：従来技術７）。

特開平３−１９２８４５号公報 特開２００２−４１４２９号公報 特開２００２−２６２２４０号公報 特開平１０−１２６７２号公報 特開２０００−１２５２７４号公報 特開２０００−１０９９７号公報

しかしながら、従来技術７では、会議の振り返り支援として発話チャートを見せる場合、ユーザが必要とするシーンをチャートから探さなければならないため、容易に目的のシーンを検索することができないという問題がある。また、クリエに合致したシーンを提示する場合、近似したシーンなどを一覧できないため、容易に目的のシーンを検索することができないという問題がある。

そこで、本発明は、容易に目的のシーンを検索することができる情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明は、映像を記憶する記憶部と、前記映像に対する検索要求を受け付ける受付部と、前記映像の時間軸を合わせたチャートを表示する共に、前記映像のうち前記検索要求に該当する映像部分を該チャート上で視覚化する閲覧処理部とを備える情報処理システムである。本発明によれば、映像のうち検索要求に該当する映像部分をチャート上で視覚化するので、検索者の記憶を手がかりとして目的のシーンを容易に検索することができる。例えば、検索ＧＵＩ上でキューを指定する毎に結果エリアは即座に変更されるようにすることで、キューの指定によってどこが変更になったのかが一瞥できる。

前記閲覧処理部は、たとえば前記映像の識別名を前記チャート上で一覧表示するのが好ましい。前記閲覧処理部は、たとえば前記映像の識別名を固定した状態で前記チャート上で一覧表示する。本発明によれば、映像の識別名を移動させずに固定して表示することで、前の検索結果を確認しながら、次の検索結果を閲覧できる。前記閲覧処理部は、たとえば前記映像の識別名を前記映像の撮影日付順に前記チャート上で一覧表示する。本発明によれば、映像の撮影日付という記憶を手がかりとして目的のシーンを容易に検索することができる。

前記閲覧処理部は、前記該当する映像部分を前記チャート上で色付けすることで前記映像部分を視覚化する。本発明によれば、例えばさまざまな会議の中から目的のシーンの時間帯を色によって一瞥できる。完全に合致しない場合でも色の濃さから合致度を推測できるので、類似したシーンに素早くアクセスできる。前記閲覧処理部は、前記チャート上で選択された映像部分に対応する動画像を再生する。本発明によれば、チャート上で選択された映像部分の動画を再生することにより、会議の内容を確認することが出来る。

前記閲覧処理部は、たとえば所定の人物の合致度を用いて、前記映像部分を選択する。前記検索要求受付部は、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、前記操作領域上にミニチュアを配置する形式で検索要求を受け付ける。前記映像はたとえば会議映像である。本発明によれば、膨大な会議映像の中から目的のシーンを容易に検索することができる。本発明は、前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部をさらに備える。

本発明は、所定の記憶部に記憶された映像に対する検索要求を受け付けるステップと、前記映像の時間軸を合わせたチャートを表示するステップと、前記映像のうち前記検索要求に該当する映像部分を視覚化するステップとを有する情報処理方法である。本発明によれば、映像のうち検索要求に該当する映像部分をチャート上で視覚化するので、容易に目的のシーンを検索することができる。例えば、検索ＧＵＩ上でキューを指定する毎に結果エリアは即座に変更されるようにすることで、キューの指定によってどこが変更になったのかが一瞥できる。前記閲覧処理部は、たとえば前記映像の識別名を固定した状態で前記チャート上で一覧表示する。

本発明は、所定の記憶部に記憶された映像に対する検索条件に基づいて、該検索要求に該当する映像部分を検索するステップ、前記映像の時間軸を合わせたチャートを表示する処理を行うステップ、前記映像のうち前記検索要求に該当する映像部分を視覚化する処理を行うステップをコンピュータに実行させるためのプログラムである。本発明によれば、映像名を表示すると共に、映像のうち検索要求に該当する映像部分を識別可能に表示することで、容易に目的のシーンを検索することができる。例えば、検索ＧＵＩ上でキューを指定する毎に結果エリアは即座に変更されるようにすることで、キューの指定によってどこが変更になったのかが一瞥できる。

本発明によれば、容易に目的のシーンを検索することができる情報処理システム、情報処理方法及びプログラムを提供することができる。

以下、本発明を実施するための最良の形態について説明する。図１は、情報処理システム１における記録・保存機能の構成を模式的に示す図である。図１に示すように、情報処理システム１は、会議記録装置１０と、情報管理装置２０と、会議データベース３０とで構成される。

会議記録装置１０は、会議を録画するビデオ撮影装置１１と、会議の最中における各参加者の会議室内での時々刻々の位置情報を特定し保存する人物位置特定装置１２と、会議室内でのテーブルやホワイトボードなどの物体の位置情報を特定し保存する物体位置特定装置１３と、会議の最中に時々刻々行なわれた発言の話者を認識し保存する話者認識装置１４と、会議の最中に起きたスライドやその他の機材の動作を特定し保存する機器動作特定装置１５とで構成される。これら各装置１１〜１５は、時間的に同期が保たれた状態で記録される。

会議記録装置１０は、会議室毎に用意され、記録開始を指示することにより、会議室内での会議の記録を開始する。また、各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられており、どの会議室の記録かを判断できるようになっている。ビデオ撮影装置１１は、会議中の映像・音声を記録するための装置で、例えば従来のビデオ・カメラを利用することができる。会議室毎に複数台のビデオ・カメラを用意し、会議室内のすべての位置を視野に収めることが望ましい。このビデオ・カメラによって撮影された映像・音声は、情報管理装置２０に送られる。

人物位置特定装置１２は、会議室内での人物の位置を特定するための装置である。例えばＩＣタグ（ＲＦＩＤタグ）を利用して会議室内での各参加者の位置を特定することができるが、本発明の要旨はこれに限定されるものではない。人物位置特定装置１２は、人物ＩＤを記録したＩＣタグ、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。

例えば、会議室の床面には、図２のように格子状に区切られた区画の中央にリーダが埋め込まれている（格子の中央の丸）。この格子の対角距離は、ＩＣタグとリーダ間の通信に用いる通信方式に依存する。例えば、指向性、到達距離によって異なる。互いに干渉しないで、且つできるだけすべての床面をカバーできることが望ましい。区画毎に配設されたリーダは、各自の読み取り可能範囲に存在するＩＣタグから人物ＩＤを読み取る。複数のリーダによって読み取られＩＣタグがある場合もある。読み取られた人物ＩＤは、読み取った読取装置を示す読取装置ＩＤ（ここでは格子の位置を表すＡ〜Ｇと１〜６の組み合わせで表す）とともに、情報管理装置２０へ送られる。このとき、後述する発話フラグも読み取られ、情報管理装置２０へ送られる場合もある。このようにリーダＩＤからリーダの位置を特定できるので、ある人物の位置が特定できる。ある一定間隔でリーダは人物ＩＤ、発話フラグを読み取り、各リーダはそれらの情報を情報管理装置２０に送る。

また、位置の認識方法としてリーダを机に設置することも考えられる。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置を認識することができる（図２の机周辺の丸）。各リーダにリーダＩＤを割り当てることにより、リーダＩＤから机のどの位置にいたかが分かる。上記の格子状に配置したリーダと組み合わせて使用することも考えられる。

物体位置特定装置１３は、会議室内での物体の位置を特定するための装置である。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。但し、上記の人物ＩＤの代わりに物体ＩＤを記録したＩＣタグを移動する可能性のある物体に付与する。例えば、移動式のホワイトボード、椅子、机などが挙げられる。話者認識装置１４は、各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け（内蔵し）、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持つ。ある一定時間マイクロフォンからの入力がない場合は、ＩＣタグの発話フラグをオフにする。上記の人物位置特定装置１２と同様に、読取装置によって人物ＩＤとともに発話フラグがオン状態であることも読み取られる。人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置へ転送する。但し、本発明の要旨はこれに限定されるものではない。

機器動作特定装置１５は、会議室内に配設されているさまざまな機器の状態を監視する。例えば、プロジェクタ・ランプや照明の電源のオン／オフを監視し、その状態の変化を情報管理装置２０へ送る。会議の開始と終了の処理では、記録を開始する場合、ユーザはコントローラ１６に会議開始を指示する。コントローラ１６は、コントローラ１６自身に記録されている会議室名と会議開始が指示されたことを情報管理装置２０に送る。情報管理装置２０は、状態が開始である場合、会議データベース３０に問い合わせをし、新しい会議ＩＤを取得する。会議ＩＤと会議室の対（会議ＩＤリスト）を情報管理装置２０内に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。

次に、会議データベース３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議データベース３０に送り、保存する。記録を終了する場合、ユーザはコントローラ１６に会議終了を指示する。コントローラ１６は、会議室名と状態が終了となったことを情報管理装置２０に送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間を記録する（又は会議の時間も記録する）。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。

会議の記録時におけるビデオ撮影装置１１によるビデオ撮影の処理では、ビデオ撮影装置１１は、記録しているビデオ画像を情報管理装置２０に送る。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。ビデオ画像の記録のタイミングは、逐次、記録しても良いが、ビデオ撮影装置１１内のデジタル・ビデオ・テープなどに一旦保存し、会議終了後に会議データベース３０に保存するようにしても良い。

会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。検出しなかった場合は、オフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０に送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議データベース３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。

また、物体位置検出装置１３は、物体に物体ＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、液晶プロジェクタ、照明の電源のオン・オフを監視する。オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０に送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議データベース３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。

各レコードには、会議ＩＤを割り当て、開始日時、会議室名、会議時間が記載されている。また、レコード内には、ビデオ映像の他、参加者、機材などの会議又は会議室を構成する各要素に関する情報が時間軸に沿ってそれぞれ保存されている。具体的には、各参加者の会議室内での位置や、発話開始時間が時間に結び付けられて保存される。また、液晶プロジェクタやその他の会議室内に設置される機器・機材に関しては、その設置場所や動作（オン／オフ）状態が時間に結び付けられて保存される。本実施形態では、参加者の位置は格子状に配置されたリーダにより認識した結果が格納される。また、本実施形態では、１台のカメラによって撮影されたビデオ映像が保存されているが、複数台のカメラによって撮影された場合、複数のビデオ映像を保存するようにしてもよい。

図３は、会議の内容を検索するための機能を実現するための構成を模式的に示す図である。図３に示すように、情報処理システム１は、会議室ＤＢ４１、検索要求受付部４２、検索条件式生成部４３、閲覧エンジン４４、検索結果提示部４５及び会議データベース３０を備える。情報処理システム１は、会議を録画した画像データを記録・保存・管理するとともに、その際の利用を支援するものである。具体的には、検索したいシーンの手がかりを、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上の操作によりミニチュアを使って与え、その手がかりに合致したシーンを検索するものである。

会議データベース３０は、映像を記憶する記憶部であり、複数の会議映像を会議で生じるイベント情報とともに管理する。会議室データベース４１は会議室に関する情報を格納する。検索要求受付部４２は、映像に対する検索要求を受け付けるものであり、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、操作領域上にミニチュアを配置する形式で検索要求を受け付ける。この検索要求受付部４２は、検索したいシーンの手がかりを、ミニチュアを使って与えるためのＧＵＩ操作画面を用意する。検索条件式生成部４３は、操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する。閲覧エンジン４４は、生成された検索条件に従って、会議データベース３０内の映像の時間軸を合わせたチャートを表示すると共に、映像のうち検索要求に該当する映像部分をチャート上で視覚化するものである。この閲覧エンジン４４は例えば１行に１会議ですべての会議を表示する。また、閲覧エンジン４４はバッファとしても機能する。更に、閲覧エンジン４４は、検索要求に基づいてスコアを加点していくことで該当する映像部分を選択する。検索結果提示部４５は例えばディスプレイ装置を用いて構成され検索結果を提示する。

図４は、検索要求受付部２が提示するＧＵＩ画面５０の構成例を示す図である。同図において、参照番号１００は会議室を選択するためのボタン群、１１０は会議の行なわれた時期を選択するためのカレンダー、１２０は参加者を指定するための参加者エリア、１３０は人物を示すアイコンを表示する人物エリアである。人物エリア１３０には、各個人を示すミニチュアとして人物アイコンが表示される。各人物アイコンの下には、個人の名前がそれぞれ付与される。また、特定の人物を示さない人物アイコンもある。これは、名前が「だれか」となっている、ワイルドカードに相当する人物アイコンである。所望の人物アイコンを参加者エリアに置くことで、シーン検索している会議に参加していたことを指定することができる。各人物アイコンを識別するために、対応する人物の顔写真を人物アイコンに貼り付けるという工夫も考えられる。

また、参照番号１４０は会議室のミニチュアとしての会議室表示エリアであり、１００のあるボタン操作により特定の会議室が選択された場合にその会議室の見取り図が表示される。会議室の見取り図は会議室データベース４１に格納されており、検索要求受付部４２は、レイアウトなど必要な情報をそこから取り出す。所望の人物アイコンを会議室表示エリア１４０に置くことで、検索しているシーンには当該参加者が会議室のその場所に存在していることを指定することができる。また、参照番号１５０は発話を指示するための発話ボタンであり、検索しているシーンにおいて、参加者エリア１２０又は会議室表示エリア１４０に配置した人物アイコンに相当する人物が発話していることを指定することができる。また、参照番号１６０はリセットボタン、参照番号１８０は検索対象となっている会議における経過時間を示す時間スクロールバーであり、会議中の時間的位置を直接的に特定することができる。

図示のＧＵＩ画面５０上で、現実の会議室を模したミニチュアを操作することによって、検索要求受付部４２はユーザの直感的な操作から検索の手がかりを引き出すことができる。そして、検索条件式生成部４３は、その操作を通じて得られる情報を検索クエリとして発行する。

図５は、検索結果提示部４５に提示される結果表示ウインドウ２００を示す図である。図５に示すように、閲覧エンジン４４は、結果表示ウインドウ２００に、会議データベース３０内の映像の時間軸を合わせたチャートを表示すると共に、映像のうち検索要求受付部４２により受け付けた検索要求に該当する映像部分をチャート上で識別可能に視覚化する。横軸は時間を示している。簡略化するが時間軸は１秒を１マスとする。閲覧エンジン４４は会議の開始から終了まで該当する映像部分にスコアに対応して色付けをする。

スコアと色の関係は例えば以下のとおりである。
・スコア１（１：）：水色
・スコア２（２：）：黄色
・スコア３（３：）：薄いオレンジ
・スコア４（４：）：濃いオレンジ
・スコア５以上（５：）：赤
なお、図５では色を表現することができないため塗りつぶしによって表現している。

また、閲覧エンジン４４はすべての会議ＩＤ（映像の識別名）を移動させずに固定した状態でチャート上で一覧表示する。これにより、ユーザは前の検索結果を確認しながら、次の検索結果を閲覧できる。また閲覧エンジン４４は、会議ＩＤを映像の撮影の日付順にチャート上で一覧表示する。なお、撮影の日付は会議データベース３０にあらかじめ格納されているものを用いる。ユーザは検索手がかり（キュー）の指定を検索ＧＵＩ５０上で行うことができる。キューとして、人物の参加指定、人物の位置指定、部屋の指定、日付の指定、会話の指定などがある。

閲覧エンジン４４の処理を簡単に説明すると、閲覧エンジン４４は、各キューが指定されるごとに結果エリアに該当する会議、該当する時間帯に色を付与していく。例えば、参加者Ａを参加者として指定した場合、参加者Ａが参加した会議のチャートの色を一段濃くする。また、参加者Ｂを参加者に指定した場合、参加者Ｂが参加した会議のチャートの色を一段濃くする。会議室Ｃを指定した場合、その会議のチャート色を一段濃くする。また、会議室のレイアウト上に参加者Ａを位置Ｐに配置した場合、参加者Ａが会議室Ｃの位置Ｐに会議の時間帯の色を一段濃くする。このように、閲覧エンジン４４は、複数の検索要求を受けた場合、色の違いで該当する映像部分を識別可能に表示するので、さまざまな会議の中から目的のシーンを一瞥できる。

さらに、チャート上で濃い部分を指定することにより、閲覧エンジン４４は、図５に示すように、選択された映像部分（時間帯）の動画をウインドウ２０１に再生する。これにより目的のシーンを閲覧できる。また完全に合致しない場合でも色の違い（濃さ）から合致度を推測できるので、類似したシーンに素早くアクセスできる。さらに、検索ＧＵＩ画面５０上でキューを指定する毎に結果エリアは即座に変更されるので、キューの指定によってどこが変更になったのかが一瞥できる。なお、図５では、１日(例えば、２４時間単位)単位で、撮影時間を揃えて、時間軸に対応する位置で表示する例を示しているが、検索者の記憶を想起しやすいように、撮影時間に対応する時間位置に揃えて表示するものなら、どのようなものにも本発明は適用できる。例えば、カレンダーのように、日曜日から土曜日までの７日間を示す週単位の行を複数行(例えば一月で５行)持ち、朝撮影したものなら上側、夕方撮影したなら下側のように、撮影時間に対応する時間位置に揃えて表示することもできる。これを日単位や週単位で拡大縮小や、３次元表示を適用することにより、更に記憶を想起しやすいようできる。

次に、情報処理システム１の動作について説明する。図６は、情報処理システムの動作フローチャートである。第１実施形態では、ステップＳ１０１において、情報処理システム１が起動されると、閲覧エンジン４４は、会議データベース３０から、図７に示す全会議のアノテーションデータを取得しバッファ上に保存する。ここで、毎回会議データベース３０にアクセスするようにしても良いが、ここでは検索を早くするため全会議のアノテーションデータをバッファ上に保存するようにしている。

図７は、１会議分のアノテーションデータのレコードを示す図である。会議データベース３０には、図７に示す全会議分のアノテーションデータが格納されている。アノテーションデータは、会議ＩＤ、場所、日付、開始時間、終了時間、参加者、経過時間及び人物情報等を含む。この例では、会議ＩＤは「０１２３」、場所は「会議室１１」、日付は「２００４／０８／０２」、開始時間・終了時間は「１３:０４−１４:２２」及び参加者は「人物Ａ、人物Ｂ、人物Ｃ」である。人物情報は１秒毎に会議データベース３０に蓄えられている。人物情報は（人物：発話の有無：Ｘ座標：Ｙ座標）を意味する。Ｘ座標、Ｙ座標は図４に示した会議室表示エリア１４０の左上を原点として、Ｘ軸とＹ軸とをとる。

再度図７を参照すると、経過時間「００:００」のとき、誰も発話をしておらず、人物ＡはＸ方向に３マス目、Ｙ方向に４マス目の位置におり、人物ＢはＸ方向に５マス目、Ｙ方向に４マス目の位置におり、人物ＣはＸ方向に２マス目、Ｙ方向に２マス目の位置にいる。経過時間「００：０１」のときには、人物Ｂが発話をしているのが分かる。

閲覧エンジン４４は、図５に示したような結果表示ウインドウ２００を表示するために、バッファ上に取得したアノテーションデータから会議ＩＤ、全会議の日時、開始時間と終了時間等を取得する。図８は、スコア欄生成後の１会議分のレコードを示す図である。また、閲覧エンジン４４は、図８に示すように、各会議の秒毎の人物情報に加えてスコア欄を生成し、デフォルトで全てのスコア欄に１を与える。閲覧エンジン４４は、図５に示したような結果表示ウインドウ２００上に、全会議の開始時間から終了時間までの時間帯（チャート）を毎秒のスコアに基づいた色で表示する。なお、図５に示したように、アノテーションデータの経過時間、開始時間、終了時間を用いて午前８:００〜午後１０:００に対応させて結果表示ウインドウ２００を表示してもよい。

この例では全ての会議の全ての秒にスコア１が加算されているので、水色で表示される。すなわち、会議が行われた時間が水色で表示される。

ステップＳ１０２で、ユーザは、検索したいシーンに人物Ａがいたことを思い出し、図４のＧＵＩ画面５０で、人物エリア１３０内の人物Ａの人物アイコンを参加者エリア１２０に移動する。検索条件式生成部４３は、閲覧エンジン４４にクエリとして（参加者：人物Ａ）を渡す。閲覧エンジン４４は、バッファ中の会議レコードに対して検索を行い、参加者として人物Ａが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は、図７に示したように、会議ＩＤ０１２３の会議には参加者Ａが参加しているため、検索された会議のスコア欄を＋１する。図９は、更新後のレコードを示す図である。閲覧エンジン４４はこれらのスコアをもとに、結果表示ウインドウ２００の各会議を示すチャートを毎秒のスコアに基づいて色付けして表示する。この場合は、会議ＩＤ０１２３の全てのスコアが２となるので、会議ＩＤ０１２３のチャートが黄色で示される。他の人物Ａが参加していない会議は薄い水色のままである。

ステップＳ１０３で、ユーザは参加者Ｃもいたことを思い出し、図４のＧＵＩ画面５０で、人物エリア１３０内の人物Ｃの人物アイコンを参加者エリア１２０に移動する。検索条件式生成部４３は、閲覧エンジン４４にクエリとして（参加者：人物Ａ、人物Ｃ）を渡す。閲覧エンジン４４は、各会議のスコア欄を初期化する（全て１のデフォルトにする）。閲覧エンジン４４は、バッファ中の会議レコードに値して検索を行い、参加者として人物Ａが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は、図７に示したように、会議ＩＤ０１２３の会議には、参加者Ａが参加しているので、検索された会議のスコア欄を＋１する。また閲覧エンジン４４は、参加者Ｃが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は、会議ＩＤ０１２３の会議には参加者Ａが参加しているので、検索された会議のスコア欄を＋１する。

図１０は、更新後のレコードを示す図である。図１０に示す例では、会議ＩＤ０１２３は参加者Ａ、Ｃの両方が参加しているのでスコアは３となる。また、参加者Ａまたは参加者Ｃのどちらかが参加している会議があればスコアは２となる。閲覧エンジン４４は、これらのスコアをもとに、結果表示ウインドウの各会議を示すチャートを毎秒のスコアに基づいて色付けして表示する。この場合は、会議ＩＤ０１２３の全てのスコアが３となるので、会議ＩＤ０１２３のチャートが薄いオレンジ色で示される。参加者Ａまたは参加者Ｃのどちらかが参加している会議のチャート黄色、他の人物Ａ、Ｃが参加していない会議は薄い水色のままである。

ステップＳ１０４で、ユーザは会議が行われた会議室を思い出し、図４のＧＵＩ画面５０で、会議室選択ボタン１００内の会議室１１を選択したとする。検索条件式生成部４３は、閲覧エンジン４４にクエリとして（参加者：人物Ａ、人物Ｃ、会議室：会議室１１）を渡す。閲覧エンジン４４は、各会議のスコア欄を初期化する（全て１にする）。閲覧エンジン４４は、バッファ中の会議レコードに対して検索を行い、参加者として人物Ａが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は、検索された会議のスコア欄を＋１する。また閲覧エンジン４４は、参加者Ｃが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は検索された会議のスコア欄を＋１する。さらに閲覧エンジン４４は、会議室１１で行われた会議を検索し、検索された会議のスコアを＋１する。図１１は、更新されたレコードを示す図である。図１１に示す例では、会議ＩＤ０１２３は参加者Ａ、Ｃの両方が参加しており、会議室１１で行われているのでスコアは４となる。

閲覧エンジン４４はこれらのスコアをもとに、結果表示ウインドウの各会議を示すチャートを毎秒のスコアに基づいて色付けして表示する。この場合は、会議ＩＤ０１２３の全てのスコアが４となるので、会議ＩＤ０１２３のチャートが濃いオレンジ色で示される。参加者Ａまたは参加者Ｃのどちらかが参加している会議のチャートは黄色、または会議室１１で行われた会議は黄色、人物Ａ、Ｃが参加しておらず会議室１１で行われていない会議は薄い水色のままである。

ステップＳ１０５で、ユーザは参加者Ｃが会議室１１の特定の場所にいたことを思い出し、図４のＧＵＩ画面５０で、会議室１１のレイアウト上のＸ＝３、Ｙ＝２に人物アイコンＣを移動する。検索条件式生成部４３は、閲覧エンジン４４にクエリとして（参加者：人物Ａ、人物Ｃ、会議室：会議室１１、位置：人物Ｃ：３：２）を渡す。閲覧エンジン４４は、各会議のスコア欄を初期化する（全て１にする）。閲覧エンジン４４は、バッファ中の会議レコードに値して検索を行い、参加者として人物Ａが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は検索された会議のスコア欄を＋１する。また閲覧エンジン４４は参加者Ｃが登録されている会議を検索する。この例では会議ＩＤ０１２３が検索される。閲覧エンジン４４は検索された会議のスコア欄を＋１する。

閲覧エンジン４４は会議室１１で行われた会議を検索し、検索された会議のスコアを＋１する。さらに閲覧エンジン４４は参加者Ｃが会議室１１の位置Ｘ＝３、Ｙ＝２にいたときのスコアを＋１する（図１２）。図１２は、更新されたレコードを示す図である。図１２の例では、会議ＩＤ０１２３は参加者Ａ、Ｃの両方が参加しており、会議室１１で行われているのでスコアは４、さらに００：０４、００：０５において参加者ＣはＸ＝３、Ｙ＝２にいるのでこのスコアは５となる。

閲覧エンジン４４はこれらのスコアをもとに、結果表示ウインドウの各会議を示すチャートを毎秒のスコアに基づいて色付けして表示する。この場合は、会議ＩＤ０１２３の００：０４、００：０５のスコアが５となり、この時間帯のみ赤で表示される。他の時間帯は濃いオレンジとなる。他の会議についてもスコアに基づいて色付けされて表示される。

［第２実施形態］第１実施形態では、加算方式でスコアを加点していったので、たとえば、参加者Ａ、Ｂ、Ｃの３人しかいない会議αでも参加者Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人いる会議βでも、参加者Ａ、Ｂ、Ｃを指定した場合同じスコアとなってしまう。これはユーザが参加者Ａ、Ｂ、Ｃのみの会議αを探したい場合に、会議βも同じスコアになってしまうので区別がつかなくなる。ここではより合致どの高い計算方法を導入する。つまり、第２実施形態では、閲覧エンジン４４は、人物による合致度を用いて、該当する映像部分を選択する。なお、第２実施形態では、他の処理は第１実施形態と同じであるため、閲覧エンジン４４が該当する映像部分を選択する処理のみについて説明する。

図４で示した検索ＧＵＩ５０上で、参加者エリア１２０または会議室表示エリア１４０上に配置した人物アイコンの数をｎとする。ある会議での参加者数をｍとする。またｎとｍに共通な人物の数をｃとする。閲覧エンジン４４は、人物による合致度（（ｃ／ｎ）＋（ｃ／ｍ））／２を用いて該当する映像部分を選択する。例えば、参加者Ａ、Ｂ、Ｃをユーザが指定した場合、参加者Ａ、Ｂ、Ｃのみを含む会議の人物による合致度は、ｎ＝３、ｍ＝３、ｃ＝３となり、（（３／３）＋（３／３））／２となり、値は１となる。また、参加者Ａ，Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６人いる会議はｎ＝３、ｍ＝６、ｃ＝３となり、（（３／３）＋（３／６））／２となり、値は３／４となる。閲覧エンジン４４はこれらの値（人物の合致度）を用いて該当する映像部分を選択する。その後、閲覧エンジン４４は、選択した映像部分を識別可能に表示する。

この様にユーザが指定した人物に過不足ない会議が高得点を取るようになるので、ユーザが欲する会議のデータが見つけやすくなる。なお、部屋や参加者同様に、指定した日付に含まれるか否かで、各会議情報に重み付けが可能である。この場合ユーザが指定した日付に含まれる会議については＋１の重み付け加えるなどとする。また、閲覧エンジン４４は、図１３に示すように、結果ウインドウ２００の色分けされた各セグメントの代表画像３０１〜３０３を同時に提示してもよい。これにより、ユーザの想起を促すことが出来る。代表画像としては、例えば、そのセグメントの先頭の画像などが考えられる。

上記各実施形態によれば、データベース内の映像名を固定して表示すると共に、映像内で検索要求受付部により受け付けた検索要求に該当する映像部分を識別可能に表示するので、容易に目的のシーンを検索することができる。

なお、情報処理システム１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスク装置、ディスプレイ装置等を用いて構成される。本発明による情報処理方法は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

このプログラムは、所定の記憶部に記憶された映像に対する検索条件に基づいて、該検索要求に該当する映像部分を検索するステップ、前記映像の時間軸を合わせたチャートを表示する処理を行うステップ、前記映像のうち前記検索要求に該当する映像部分を視覚化する処理を行うステップをコンピュータに実行させる。なお情報処理システム１が情報処理装置に、閲覧エンジン４４が閲覧処理部にそれぞれ対応する。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

情報処理システムにおける記録・保存機能の構成を模式的に示す図である。 人物位置特定装置の構成例を示す図である。 情報処理システムの保存された会議の内容を検索するための機能を実現するための構成を模式的に示す図である。 検索要求受付部が提示するＧＵＩ画面の構成例を示す図である。 結果表示ウインドウを示す図である。 情報処理システムの動作フローチャートである。 １会議分のアノテーションデータのレコードを示す図である。 スコア欄生成後の１会議分のレコードを示す図である。 更新後のレコードを示す図である。 更新後のレコードを示す図である。 更新後のレコードを示す図である。 更新後のレコードを示す図である。 結果ウインドウの色分けされた各セグメントの代表画像を同時に表示する例を示す図である。

符号の説明

１ 情報処理システム ２０ 情報管理装置
１０ 会議記録装置 ３０ 会議データベース
１１ ビデオ撮影装置 ４１ 会議室データベース
１２ 人物位置特定装置 ４２ 検索要求受付部
１３ 物体位置特定装置 ４３ 検索条件式生成部
１４ 話者認識装置 ４４ 閲覧エンジン
１５ 機器動作特定装置 ４５ 検索結果提示部
１６ コントローラ

Claims (13)

1. 映像を記憶する記憶部と、
   前記映像に対する検索要求を受け付ける受付部と、
   前記映像の時間軸を合わせたチャートを表示すると共に、前記映像のうち前記検索要求に該当する映像部分を該チャート上で視覚化する閲覧処理部と
   を備えることを特徴とする情報処理システム。
2. 前記閲覧処理部は、前記映像の識別名を前記チャート上で一覧表示することを特徴とする請求項１に記載の情報処理システム。
3. 前記閲覧処理部は、前記映像の識別名を固定した状態で前記チャート上で一覧表示することを特徴とする請求項１に記載の情報処理システム。
4. 前記閲覧処理部は、前記映像の識別名を前記映像の撮影の日付順に前記チャート上で一覧表示することを特徴とする請求項１に記載の情報処理システム。
5. 前記閲覧処理部は、前記該当する映像部分を前記チャート上で色付けすることで前記映像部分を視覚化することを特徴とする請求項１に記載の情報処理システム。
6. 前記閲覧処理部は、前記チャート上で選択された映像部分に対応する動画像を再生することを特徴とする請求項１に記載の情報処理システム。
7. 前記閲覧処理部は、所定の人物の合致度を用いて、前記映像部分を選択することを特徴とする請求項１に記載の情報処理システム。
8. 前記検索要求受付部は、イベント情報を指定するための複数のミニチュアと、各ミニチュアを操作する操作領域を用意し、前記操作領域上にミニチュアを配置する形式で検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
9. 前記映像は、会議映像であることを特徴とする請求項１に記載の情報処理システム。
10. 前記操作領域上におけるミニチュアの配置に基づいて検索条件式を生成する検索条件式生成部をさらに備えることを特徴とする請求項８に記載の情報処理システム。
11. 所定の記憶部に記憶された映像に対する検索要求を受け付けるステップと、
    前記映像の時間軸を合わせたチャートを表示するステップと、
    前記映像のうち前記検索要求に該当する映像部分を視覚化するステップと
    を有することを特徴とする情報処理方法。
12. 前記閲覧処理部は、前記映像の識別名を固定した状態で前記チャート上で一覧表示することを特徴とする請求項１１に記載の情報処理方法。
13. 所定の記憶部に記憶された映像に対する検索条件に基づいて、該検索要求に該当する映像部分を検索するステップ、
    前記映像の時間軸を合わせたチャートを表示する処理を行うステップ、
    前記映像のうち前記検索要求に該当する映像部分を視覚化する処理を行うステップをコンピュータに実行させるためのプログラム。
    

Images