JP2005267279A - 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 会議における映像情報、音声情報、ドキュメント情報などの情報を記録並びに再生する際に、検索者が所望する情報を効率よく検索する。
【解決手段】 利用者が再生したいと思っているシーンが会議全体のどのあたりにあったかを推定する上で有効なスライドは、当人がよく記憶している可能性の高いスライドである。ランドマーク・スライド選定手段は、例えば、長時間提示されたスライドや提示回数の多いスライドを記憶の持続性が長いと予想されるランドマーク・スライドとして選定し、これらのサムネイルを選択的に表示する。利用者は、所望する会議情報を効率よく検索することができるようになる。
【選択図】 図１

Description

本発明は、複数のシーンが時間軸上に配列して構成される動画像データの記録並びに再生を行なう情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、会議における映像情報、音声情報、ドキュメント情報（提示資料）などの情報（会議情報）を記録並びに再生する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、会議における映像情報、音声情報、ドキュメント情報などを記録した会議情報の中から所望のシーンを検索する会議情報アクセス作業を支援する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、検索者が所望する情報を効率よく検索するための情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。

会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。

また、会議の参加者を撮影した映像や、参加者の発言内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間で共有し、保管することができる。

さらに、会議システムでは、映像や音声などの会議の進行上で発生するさまざまなデータをデジタル化して保存し、さらに、ホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを、映像や音声すなわち会議の進行と同期させて保管することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用することが可能となる。

会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議における所望の箇所（再生位置）を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。

従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。また、本題からそれた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。

このような振り返りを支援する技術として動画像を利用する方法がある。会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。

映像情報を検索・再生する方法の１つとして、おおよその時間的な位置を示す標識（ランドマーク）としてのサムネイル（縮小画像）を利用したものが広く使われている。例えば、映画の特定のシーンを効率的に検索するために、各シーンを象徴するようなシーンの静止画像を抽出し、それらのサムネイルを目次ページに時系列的に配列した上で、そのサムネイルをポインティングすることによって、そのシーンの映像を再生できるようにしたものがある。サムネイルを見れば、「ああ、あのシーンか」ということが想起され、自分が所望するシーンは、このシーンのもう少し後だったなというようなことが推定できる。このサムネイルを用いた検索方法は、高度な認識技術を必要とせずに、時間情報が関連付けられたすべての情報（映像、音声、文書情報）に対して幅広く適用することができる。

会議や講演中に発生する映像情報、音声情報、ドキュメント情報（スライドなどの提示資料）などのあらゆる情報（これを「会議情報」と呼ぶ）を記録し再生することができれば、後でそれらの情報を再利用したり、会議に参加しなかった人たちにそれらを示したりすることができて便利である。この会議情報の検索にも、上述したサムネイルを利用したものが提案されている。まず、会議参加者が何らかの発言を行なったときの表情を映像からキャプチャーしてそれをサムネイルとして利用したものがある。しかし、同一人物が会議中のいたる場面で発言するような場合には、その表情の違いによってシーンを区別することは難しい、という問題がある。一般に、会議参加者は発言者の微妙な表情の変化まで注意していないし、また覚えていないのである。

これに対し、会議で説明者によって表示されるプレゼンテーション資料は、参加者の注意が向けられるし、また内容やデザインが多様であることから、会議参加者の記憶に残る可能性が高い。そこで、説明時に表示されたプレゼンテーション資料（スライド）のサムネイルを作成し、これを時系列的に配列することで会議情報の検索を容易にしたものも提案されている（例えば、特許文献１を参照のこと）。この方法によれば、ある特定の会議情報を検索する際に、利用者はこれらのスライド・サムネイルを見ることにより、所望する情報がどのあたりで生成・表示されたものかを判断することができる。

ところが、長時間にわたる会議や複数回の会議では、プレゼンテーション資料（スライド）の数も多くなる。このような場合、すべてのスライドに関してサムネイルを作成したとしたら、一覧性に問題が生じてしまう。

この問題を避けるためにサムネイルを選択して表示するという方法が考えられる。例えば、任意の時点の、任意の時間間隔で、任意の枚数のサムネイルを表示できる方法について提案がなされている（例えば、特許文献２を参照のこと）。この方法を適用すれば表示すべきサムネイルを絞ることができる。しかしながら、機械的な方法によってサムネイルを選択した場合には、それらが時間的な位置を示す標識（ランドマーク）として有効に機能するという保証がない。すなわち、それらのサムネイルを見てもそのシーンを思い出せず、その結果として、標識（ランドマーク）としての役割を果たさないということも起こり得る。

特開２０００−１２５２７４号公報 特開２０００−１４８７７１号公報

本発明の目的は、会議における映像情報、音声情報、ドキュメント情報（提示資料）などの情報（会議情報）を好適に記録並びに再生することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、会議における映像情報、音声情報、ドキュメント情報（提示資料）などの情報（会議情報）を記録並びに再生する際に、検索者が所望する情報を効率よく検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、会議情報の検索する際の標識（ランドマーク）として、会議参加者である利用者が記憶している可能性の高いプレゼンテーション資料（スライド）のサムネイルを選択的に表示することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、会議を記録する映像情報並びに音声情報からなる会議情報を会議で使用した文書情報とともに管理する情報処理システムであって、会議で使用した文書のページ毎の特徴を抽出する文書特徴抽出手段と、前記特徴抽出手段によって抽出された情報に基づいて検索の手がかりとなるランドマーク文書を選定するランドマーク文書選定手段と、前記ランドマーク文書選定手段によって選定された各文書に関する情報を含んだ、会議情報の検索用画面を提示する表示手段とを具備することを特徴とする情報処理システムである。

ここで、前記ランドマーク文書選定手段は、前記特徴抽出手段によって抽出された情報に基づいて会議で使用した文書のページ毎の記憶の持続性を推定し、該推定された記憶の持続性に基づいて検索の手がかりとなるランドマーク文書を選定する。そして、前記ランドマーク文書選定手段によって選定された文書のサムネイルを生成し、これらランドマーク文書のサムネイルを会議情報の検索用操作パネル上に時系列的に表示する。

また、会議情報を構成する映像情報や音声情報は、会議に使用された文書の各ページの使用開始時刻及び使用終了時刻に従ってインデックス化されている。したがって、検索者は、ランドマーク文書のページを指定することにより、関連付けられた会議情報の場所（すなわちランドマーク文書が使用された時刻に相当する再生位置）へアクセスすることができ、ランドマーク文書を手がかりとした会議情報の検索を実現することができる。

例えば、会議で使用されるスライドなどのドキュメントを会議情報へのアクセスを支援するための手がかりに使用することができる。すなわち、シーンの特定に有効な代表的なスライド（本明細書では、「ランドマーク・スライド」と呼ぶことにする）を選定するためのランドマーク・スライド選定手段を備える。

ここで、利用者が再生したいと思っているシーンが会議全体のどのあたりにあったかを推定する上で有効なスライドは、当人がよく記憶している可能性の高いスライドである。ランドマーク・スライド選定手段は、以下の情報（あるいはそれらの組み合わせ）に基づいて、記憶の持続性が長いと予想されるスライドのみをランドマーク・スライドとして選択するようにしている。

（１）スライド提示時間：
ある会議において提示されたすべてのスライドの提示時間をそれぞれ計時し、長時間提示されたものをランドマーク・スライドとして選定する。選択の閾値として、順位、あるいは提示時間長を用いる。

（２）スライド提示回数：
スライド毎に提示された回数をカウントし、表示回数の多かったものをランドマーク・スライドとして選定する。

（３）スライドが提示されていた間になされた発言交代数：
各スライドが提示されている間に何回発言交代があったか（異なる参加者間で発言が交代された場合を１回とカウントする）という頻度をカウントし、発言交代の多かったものをランドマーク・スライドとして選定する。発言交換の頻度に代えて、異なる発言者の人数や発言時間を用いることもできる。さらに、検索要求者本人など特定人物に限定して、当人が何回発言したかをカウントし、発言頻度の多かったスライドをランドマーク・スライドとして選定することもできる。

（４）スライド中の図表・写真の有無：
スライドの中に使用されている図表・写真を検出するための図表・写真検出手段を備えることにより、図表・写真を含むスライドをランドマーク・スライドとして選定する。

（５）スライド中の特殊効果の有無：
スライド中のアニメーション効果あるいはその他の特殊効果を検出するためのアニメーション効果検出手段を備え、アニメーション効果を含むスライドをランドマーク・スライドとして選定する。

（６）スライド作成時間：
スライド作成時間記録手段を備え、作成時間が長いものをランドマーク・スライドとして選定する。

（７）スライドが提示されていた間になされた編集行為の有無や頻度：
編集履歴情報収集手段を持ち、スライドが提示されている間に行なわれた変更や、修正処理、マーキングの回数を算定し、この回数に基づいてランドマーク・スライドを選定することができる。

（８）スライド構成上の階層構造：
提示される一連のスライドが、メインメッセージを含むもの、サブメッセージを含むもの、サブメッセージをサポートするような事例などを含むものといったように階層的に構造化されている場合、階層情報判定手段を備えることによって、各スライドが階層構造のどのレベルに含まれるかを判定し、上位レベルの階層のスライドのみを選択してランドマーク・スライドとして選定する。

（９）スライドの表題に含まれるユニークな語彙：
固有名詞や、専門用語、業界用語など、表題にユニークな語彙を検出するためのユニーク語彙検出手段を備えることにより、これらを含むスライドをランドマーク・スライドとして選定することができる。

（１０）スライドが提示されていた間になされた会議参加者の注視時間、注視回数：
会議参加者が提示中のスライドを中止した時間を測定する注視時間測定手段、又は注視回数記録手段を備え、測定された注視時間の長さ、または注視回数を比較することによって、ランドマーク・スライドを選定することもできる。

（１１）スライドが提示されていた間に会議参加者が頷いた回数：
頷き検出手段を備えることによって、頷き数が多かったスライドをランドマーク・スライドとして選定することができる。

本発明に係る情報処理システムによれば、上述したようなランドマーク・スライドの選定方式と、特定の選定方式を用いた場合の選定基準（選択すべきランドマークの数や選定基準値）と、対象者（自分、参加者全員、特定の他者など）を利用者が好みに従って選択又は変更することができるランドマーク選定条件変更手段を備えていてもよい。これによって、利用者が記憶している検索手がかりを利用できるような選択肢を提供することができる。

また、検索用画面において、記憶の持続性に基づいてランドマーク・ドキュメントのサムネイルの大きさ、色、縁取り、動き等の表示形態を変化させ、記憶の持続性に関する情報を視覚的に与えるようにしてもよい。

また、本発明に係る情報処理システムは、会議中に特定の文書ページが表示されたことを記憶するための表示ページ記憶手段と、前記表示ページ記憶手段によって記憶された表示ページ情報に基づいて、前記分割化されたシーンを統合するためのシーン統合手段とをさらに備えていてもよい。

また、本発明の第２の側面は、会議を記録する映像情報並びに音声情報からなる会議情報を会議で使用した文書情報とともに管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、会議で使用した文書のページ毎の特徴を抽出する文書特徴抽出ステップと、前記特徴抽出ステップにおいて抽出された情報に基づいて検索の手がかりとなるランドマーク文書を選定するランドマーク文書選定ステップと、前記ランドマーク文書選定ステップにおいて選定された各文書に関する情報を含んだ、会議情報の検索用画面を提示する表示ステップとを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理システムと同様の作用効果を得ることができる。

本発明によれば、会議における映像情報、音声情報、ドキュメント情報（提示資料）などの情報（会議情報）を記録並びに再生する際に、検索者が所望する情報を効率よく検索することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、会議情報の検索する際の標識（ランドマーク）として、会議参加者である利用者が記憶している可能性の高いプレゼンテーション資料（スライド）のサムネイルを選択的に表示することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、会議参加者である利用者が記憶している可能性の高いプレゼンテーション資料（スライド）を利用者が好む方式で選定した上で、それらを検索用操作パネル上にサムネイルとして表示することができる。したがって、当人が検索したいと思っている会議情報が会議全体のどのあたりの時間的位置で提示・生成されたかを的確且つ容易に推定することが可能になり、利用者は、所望する会議情報を効率よく検索することができるようになる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

第１の実施形態：
本発明の第１の実施形態に係る会議情報アクセス装置は、映像・音声・文書情報の検索のために、ランドマーク・ドキュメントのサムネイルを時系列的に配列することによってまず所望するシーンが会議のどのあたりに位置付けられるかを推定し易くするとともに、推定した時間範囲に対しては発言チャートとドキュメント・サムネイルを時系列的に表示配列することによって、“誰が”、“いつ”、“どのような話題”について発話したかという情報を提供することで、正確に所望のシーンを特定し、それに対応した映像・音声・文書情報を検索することが可能なグラフィカル・ユーザ・インターフェースを提供するものである。

なお、映像・音声・文書情報（スライド）は、人手で若しくは自働的に、時間情報が索引付けされており、また音声情報は発言者毎にセグメント化されていることを前提とする。会議情報に自働的に時間情報の索引付けを行なう方法、及び発言チャートを生成する方法として、例えば特開平１１−５３３８５号公報、特開２０００−１２５２７号公報、特開２０００−２９８４９８号公報、特開２００２−１０９０９９号公報に開示されている技術を適用することができるので、本明細書では説明を省略する。

基本構成：
図１には、本発明の第１の実施形態に係る会議情報アクセス装置の機能構成を示している。以下、同図を参照しながら、各部の機能について説明する。

検索画面表示要求入力部１０１は、利用者が会議情報を検索する際に検索要求を行なうための画面（ＧＵＩ表示部１１０）の表示要求を行なうためのものである。

ランドマーク選定処理部１０２は、ランドマーク・スライドを選定するためのもので、ランドマーク選定条件入力・変更部１０２１、ランドマーク選定条件格納部１０２２、ランドマーク特徴抽出部１０２３、ランドマーク判定部１０２４の４つの機能部位で構成される。

ランドマーク選定条件入力・変更部１０２１は、ランドマーク選定方式（どのようなスライドをランドマークとして使用するか）、またランドマークの選定基準（表示枚数など）、対象者（全員、参加者名の選択）に関する利用者の要求入力・変更を受け付ける。そのための具体的な方法については後述する。

ランドマーク選定条件格納部１０２２は、前記ランドマーク選定条件入力・変更部１０２１によって入力・変更された設定条件を格納する。

ランドマーク特徴抽出部１０２３は、前記ランドマーク選定条件格納部１０２２に格納された設定条件に基づいて、会議情報格納部１０３から必要な情報を読み出し、そこから各スライド若しくはスライド表示イベント毎にランドマーク特徴を抽出する。

図２には、ランドマーク特徴抽出部１０２３の内部構成を示している。同図に示すように、ランドマーク特徴抽出部１０２３は、スライド表示時間算定部１０２３０１、スライド表示回数算定部１０２３０２、発言回数算定部１０２３０３、発言交代数算定部１０２３０４、発言者数算定部１０２３０５、スライド内図表検出部１０２３０６、スライド内アニメーション検出部１０２３０７、スライド作成時間抽出部１０２３０８、編集履歴検出部１０２３０９、ユニーク語彙検出部１０２３１０を備えている。これらの機能部位は、それぞれ利用者の記憶に残り易いスライドを選定するための判断材料となる特徴情報を算定あるいは検出する。

また、図２に示すように、ランドマーク特徴抽出部１０２３は、選定方式セレクター１０２３１１と発言者セレクター１０２３１２を備えている。これらの機能部位は、ランドマーク選定条件格納部１０２２に格納された選定条件に従って、上述の各種ランドマーク選定方式の中から１つを選択したり、特徴抽出における対象人物の指定を行なったりするためのものである。さらに、結果一時記憶部１０２３１０は、選定されたランドマーク選定方式に従って算定・検出した結果を一時的に格納する。

ランドマーク判定部１０２４は、ランドマーク特徴抽出部１０２３によって抽出されたランドマーク特徴に基づいてランドマーク・スライドを決定する。

以上述べたランドマーク特徴抽出部１０２３とランドマーク判定部１０２４の処理手順については、「ランドマーク・スライド選定処理」のセクションを設けて後述する。

会議情報格納部１０３は、会議において生成・表示されたさまざまな情報の記録結果、並びにインデキシング処理の結果が格納される。図３には、会議情報格納部１０３の構成例を示している。図示の通り、会議情報格納部１０３には、マイクロフォンから入力された発声開始から終了する時間間隔毎の音声を発言者毎に分離して記録した音声セグメント・データ１０３１、会議中にビデオ・カメラから入力された会議参加者たちの表情や振る舞いのビデオ映像データ１０３２、図示しない文書登録手段を介して格納され会議中に表示するスライド（文書）１０３３、会議中に提示されたスライドに対して編集を行なった場合の文書編集履歴データ１０３４、会議中に参加者たちによって記載された情報をビデオ・カメラによって撮像・記録したホワイトボード記録データ１０３５、及びこれらのデータに時間情報をインデックスとして関連付けたインデックス情報ファイル１０３６からなる。

図４には、会議情報格納部１０３に格納される情報のうち、インデックス・ファイルの構成例を示している。図示の通り、インデックス・ファイルは、イベントＮｏ、イベント開始時刻、イベント終了時刻、文書表示ＩＤ、文書ＩＤ、発言ＩＤ、発言者ＩＤ、ホワイトボード記入ＩＤ（ＷＢ記入ＩＤ）、ホワイトボード記入者ＩＤ、文書編集ＩＤ、文書編集者ＩＤ、映像ＩＤ（フレームＮｏ）からなる。ここで、イベントとは、スライドなどの文書表示、発言、ホワイトボードへの記入、文書編集の行為の４つからなる。また、このインデックス・ファイルでは、各イベントを指定することによってそれに関連付けられた映像を検索できるようにするために、個々のイベントが生起した時刻に対応した映像ＩＤが関連付けられている。

図１において、文書サムネイル生成部１０４は、会議情報格納部１０３に格納されたスライド（文書）に基づいて文書サムネイル（ランドマーク・スライド・サムネイルとそれ以外のスライド・サムネイルの両者）を生成する。

映像サムネイル生成部１０５は、会議情報格納部１０３に格納された映像データ、又はホワイトボード記録データに基づいて映像サムネイルを作成する。

発言チャート生成部１０６は、インデックス・ファイルの情報に基づいて発言チャートを生成する。

その他のＧＵＩコンポーネント生成部１０７は、検索操作画面を形成する上記以外のＧＵＩコンポーネントを作成する。

表示期間指定部１０８は、利用者の期間指示を受け付けて、ランドマーク・スライド以外のスライド・サムネイル、発言チャート、映像サムネイルの表示範囲を限定するものである。表示制御部１０９は、文書サムネイル、映像サムネイル、発言チャート、その他のＧＵＩコンポーネントを、表示期間指定部１０８によって指定された表示期間やランドマーク判定部１０２４によってなされた判定結果に基づいて表示すべきものを決定した上で統合する。

ＧＵＩ表示部１１０はこの結果を表示する。ここでランドマーク判定部１０２４は、文書サムネイル生成部１０４に、提示された文書（スライド）がランドマーク・スライドとして採用されたか否かの判定結果を渡し、文書サムネイル生成部１０４は、この結果を踏まえて、ランドマーク・スライドのサムネイルとそれ以外のスライド・サムネイルを生成する。表示制御部１０９は、これら異なる文書サムネイルをそれぞれ異なる領域に配置して表示するようにＧＵＩ表示部１１０に指示する。この結果として、後述するように、ランドマーク・スライドのサムネイルがＧＵＩ画面上部に配列され、それ以外のサムネイルはそのＧＵＩ画面の下部に配列表示される。

文書／映像／音声表示部１１１は、検索結果としての文書、映像、音声を表示する。文書表示指示部１１２は、利用者が検索表示すべき文書を指示する。この文書表示指示部１１２によって特定の文書の表示が指示されると、文書検索部１１３は、会議情報格納部１０３のインデックス情報ファイル１０３６を参照することによって会議情報格納部１０３に格納された文書１０３３から特定の文書を検索し、文書／映像／音声表示部１１１に表示する。

映像再生指示部１１４は、利用者が再生・表示すべき映像（動画像）を指示するためのものである。この映像再生指示部１１４によって特定の映像の再生が指示されると、映像再生部１１７は、会議情報格納部１０３のインデックス情報ファイル１０３６を参照することによって、映像再生部１１７が会議情報格納部１０３に格納された映像データ１０３２から特定の映像を検索し、文書／映像／音声表示部１１１に表示する。

音声再生指示部１１６は、利用者が再生・表示すべき音声（発言）を指示するためのものである。この音声再生指示部１１６によって特定の音声セグメントの再生が指示されると、音声再生部１１７は、会議情報格納部１０３のインデックス情報ファイル１０３６を参照することによって、会議情報格納部１０３に格納された音声セグメント・データ１０３１から特定の音声セグメントを検索し、文書／映像／音声表示部１１１に表示する。

ランドマーク・スライド選定処理：
まず、ランドマーク・スライドを選定するための基本的な考え方について説明する。

会議では、プレゼンテーション文書を１ページ（スライド）毎に表示しながら、説明者によって説明が行なわれる場合が多い。個々のページの表示時間は異なるし、スライドの記載内容や視覚的特徴も違う。同じページが何度も提示される場合もあれば、１回の提示のみの場合もある。スライドが表示されている間になされる発言数や発言者の数も違う。さらには、各スライドが提示されている間になされる会議参加者の凝視の数や向きや頷きの回数にも違いがある。本実施形態では、これらの情報に基づいて、各スライド（スライド表示イベント）の記憶の残り易さの違いを推定し、それに基づいて記憶に残る可能性の高いものをランドマーク・スライドとして選定する。

記憶心理学の知見並びに本発明者らの実験結果に基づいて、記憶の残り易さの違い（記憶残存率）の推定には、以下のような指針を用いる。すなわち、

（１）表示時間が長いスライドほど記憶残存率は高い。
（２）表示回数の多いスライドほど記憶残存率は高い。
（３）スライドが表示されている間に、発言数又は発言交代数が多かったスライドほど記憶残存率は高い。
（４）スライドが表示されている間になされた発言時間が長いほど、記憶残存率は高い。
（５）スライドが表示されている際に、それについて利用者本人が発言を行なった場合は、発言を行なわなかった場合に比べて記憶残存率が高い。
（６）スライドが表示されている際に、意思決定権を持つようなキーパーソンが発言を行なった場合は、発言が行なわれなかった場合に比べて記憶残存率が高い。
（７）スライドが表示されている間に、異なる発言者による発言（発言者数）が多かったスライドほど記憶残存率は高い。
（８）図表を含むスライドは、文字だけのスライドよりも記憶残存率が高い。
（９）アニメーションを含むスライドは、それを含まないスライドよりも記憶残存率が高い。
（１０）ユニークな語彙を含むスライドは、それを含まないスライドよりも記憶残存率が高い。
（１１）スライドの作成に要した時間が長いスライドほど記憶残存率が高い。
（１２）スライド表示中に編集されたスライドは編集されなかったスライドよりも記憶残存率が高い。

なお、スライドが一定時間表示されない場合、それを「スライド無提示イベント」として定義し、その間の発言数、発言交代数、発言者数を記録算定することで、「スライド無提示イベント」の記憶残存率を推定することもできる。この場合、スライドの代わりに、発言者の顔などをランドマークとして利用することができる。

図５〜図１４には、会議中に表示されたスライドからランドマーク・スライドを選定するための処理手順をフローチャートの形式で概略的に示している。以下では、これらのうち幾つかのランドマーク・スライド選定処理についてより詳細に説明を行なう。

Ａ．表示時間に基づくランドマーク・スライドの選定処理
図１５には、会議情報アクセス操作パネルの構成例を示している。このパネル上の「ランドマーク変更ボタン」を利用者が選択すると、図１６に示すようなランドマーク・スライドの選定方式のオプションを設定するためのダイアログが表示される。この中から利用者は「スライドの表示時間」をマウスなどの指示装置を用いて選択する。

このダイアログ上で、「スライドの表示時間」が選択されると、次に図１７に示す選定基準プロパティ・ウィンドウが表示され、利用者は選定基準の入力を要求される（通常、前の選定基準の設定値が記憶されていて、それが選択されている形で表示される）。ここで、選定基準を変更したければ、利用者は自由に選定基準の変更設定ができる。例えば、表示時間の長い順に７枚のスライドを選択してランドマークとして表示したい場合には、「上位□枚まで」の項目に、７を入力すればよい。選定基準の設定が完了したら、プロパティ・ウィンドウ内の「実行」ボタンを押すと、以下の処理が実施される。

ＳＴＥＰ１：会議情報格納部１０３に格納されたインデックス情報ファイル１０３６を検索する。

ＳＴＥＰ２：インデックス情報ファイル１０３６の文書表示ＩＤのフィールドを参照し、特定の表示ＩＤ（φ以外のもの）を持つデータを検出し、その表示ＩＤに対応した開始時刻と終了時刻を読み出す。

ＳＴＥＰ３：開始時刻と終了時刻の差（文書表示時間）を算定するとともに、文書ＩＤを読み出して図示しない記憶部に一時的に格納する。

ＳＴＥＰ４：上記のＳＴＥＰ２〜ＳＴＥＰ３までの処理を特定の表示ＩＤ（φ以外のもの）を持つデータに関して実施する。

ＳＴＥＰ５：上記のＳＴＥＰ３で読み出した文書ＩＤを参照しながら、同じ文書ＩＤを持つ文書表示ＩＤの文書表示時間の総計を算定する。

ＳＴＥＰ６： 文書表示時間の総計（総表示時間）の長い順に、文書ＩＤ＋総表示時間のデータを並べ直す。

ＳＴＥＰ７：ランドマーク表示枚数を選定基準条件が記憶された格納部から読み出す（この例では、上位７枚）。

ＳＴＥＰ８：選定基準条件を満たす文書ＩＤを選択する（この例では、総表示時間の長いスライド７枚）。

ＳＴＥＰ９：文書サムネイル生成部１０４がサムネイル（ランドマーク・スライド）を作成する。

ＳＴＥＰ１０：表示制御部１０９が文書サムネイルに対応した文書開始時間（複数あれば複数のまま）を獲得し、タイムライン上にサムネイル（ランドマーク・スライド）を配置するための情報を得る。
ＳＴＥＰ１１：この配置情報に従って、ＧＵＩ表示部１１０にサムネイルを表示する。

なお、図１６に示したオプション・ウィンドウの１０個のランドマーク・スライド選定方式のうち、「スライドの表示回数」を除く９つは、図示のオプション・ウィンドウ下部に図示されているように、２つの算定方式を選択できる。第１の算定方式は、表示イベント毎に表示時間や発言時間などを算定する方式であり、この場合、同じスライドが別の時期に再度表示されても別々のイベントとして扱う。すなわち、文書表示ＩＤ毎に表示時間や発言時間等の算定を行なう。一方、第２の算定方式は、文書ＩＤ毎に表示時間や発言時間の算定を行なう算定方式である。したがって、同じスライドが複数回表示された場合、表示時間や発言時間などは表示ＩＤ毎に合算されることになる。上述した表示時間に基づくランドマーク・スライドの選定方式は、この算定方式に基づくものである。

第２の算定方式を選択した場合、複数回表示されたスライドをランドマークとしてどのように配置し表示するかについては、以下のような形態が考えられる。

（ａ）複数の表示開始位置毎に同じスライドをランドマーク・スライドとして配置する（同じスライドを複数の位置に表示）
（ｂ）表示イベントによる算定値の最も大きな位置（表示開始位置）に代表してランドマーク・スライドとして配置する。但し、タイムライン上に矢印などを使って提示位置を示すことで、そのスライドが複数回提示されたことを明示する。

Ｂ．発言交代数に基づくランドマーク・スライドの選定処理
発言交代数に基づくランドマーク・スライドを選定する場合、利用者は、図１６に示したオプション・ウィンドウから「スライド提示中の発言交代数」を選択し、算定方式を指定する。ここでは、「１回の表示ごと」を選択したとする。この２つが入力されると、図２０に示す選定基準入力画面が自動表示される。利用者は、ここに好みの選定基準を入力する。なお、ここでは、特定の会議参加者が関わった発言のみに限定して発言交代数を算定するというオプションも選択できる（図２０の「対象者○○を含む」のメニュー）。以下の例では、「発言交代数５回以上」「対象者：会議参加者全員」が指定された場合について述べる。

発言交代数の算定は、以下のように行なう。

ＳＴＥＰ１：会議情報格納部１０３に格納されたインデックス情報ファイル１０３６（図４を参照のこと）を検索する。

ＳＴＥＰ２：インデックス情報ファイル１０３６の文書表示ＩＤのフィールドを参照し、特定の文書表示ＩＤ（φ以外のもの）を持つデータ列を検出し、その文書表示ＩＤに対応した開始時刻と終了時刻を読み出す。

例えば、図４に示したインデックス情報ファイルの例では、まずＤＯ０１のデータ列を検出し、開始時刻２００４／０１／２５ １３：１６：２５、終了時刻２００４／０１／２５ １３：１８：５３を読み出し、結果を一時記憶部に格納する。

ＳＴＥＰ３：上記のＳＴＥＰ２で獲得した時間範囲で生成された発言をすべて抽出する。これは、各発言ＩＤの発言開始時刻がＳＴＥＰ２で獲得した時間範囲内にあるか否かを判定すればよい。ここで発言が抽出されないか、発言が１つのみの場合には「発言交代数＝０」と記録し処理を終える。それ以外の場合には後続のＳＴＥＰ４に進む。

図４に示したインデックス情報ファイルの例では、３つの発言（発言ＩＤ、Ｕ００１、Ｕ００２、Ｕ００３）が文書が表示されている間に生成されたものとして検出されるので、ＳＴＥＰ４に進む。

ＳＴＥＰ４：上記のＳＴＥＰ３で抽出された各発言が誰によって行なわれたものかを「発言者ＩＤ」を参照することによって検出する。

図４に示したインデックス情報ファイルの例では、３つの発言（Ｕ００１、Ｕ００２、Ｕ００３）は、それぞれＨＳ、ＴＴ、ＨＳによってなされたものであることが判る。

ＳＴＥＰ５：発言者ＩＤを時系列的に比較し、それらが変化する度に発言交代が生じたとみなして変化数をカウントし、この結果を記録する。

図４の場合、ＨＳ⇒ＴＴ⇒ＨＳと変化しているので、変化数は２となり、発言交代数＝２と算定され、この結果が記録される。たとえ、上記のＳＴＥＰ３で５つの発言が検出されたとしても、発言者と発言順序が、例えばＨＳ⇒ＨＳ⇒ＫＯ⇒ＫＯ⇒ＴＴという結果ならば、発言交代数は２と算定される。

ＳＴＥＰ６：すべての文書表示イベント（文書表示ＩＤ）に対して、上記のＳＴＥＰ２〜ＳＴＥＰ５の処理を行なう。

ＳＴＥＰ７：ランドマーク選定基準を読み出し、基準を満たす文書表示イベント（文書表示ＩＤ）を選択する。

この例では、「発言交代数＝５回以上」のランドマーク基準が設定されているので、発言交代数＝５回以上の文書表示ＩＤを選択する。上記の例では、発言交代数＝２なので、文書表示イベント（ＤＯ０１）はランドマーク・イベントして選択されない。

ＳＴＥＰ８：インデックス情報ファイルのデータ列を参照することによって、基準を満たす文書表示ＩＤに対応する文書ＩＤを検出する。

この後、ＳＴＥＰ８の結果をサムネイル生成部に送り、前述したランドマーク・スライドのサムネイルを表示する処理を行なう。

検索用グラフィカル・ユーザ・インターフェース
図１５には、会議情報アクセス操作パネルすなわち検索用グラフィカル・ユーザ・インターフェースの表示形態を示している。同図では、約９０分のある会議データ（第３回研究推進会議）から特定の文書(スライド)、映像、音声セグメント（発言）を検索するためのＧＵＩが例示されている。

このＧＵＩ画面上部に、表示時間に基づいて選定された５枚のランドマーク・スライド（及びそれらの表示開始時刻）が時系列的に表示されている。利用者は、これらのランドマークを眺めて、自分が探そうとしているシーン（発言者の発言と映像）のおおよその時間的範囲をタイムライン・スライダーを使って限定する。タイムライン・スライダーは、図１の表示期間指示部１０８に相当するものであり、スライダーをタイムラインに沿って左右に動かすことによって表示範囲を限定できる。また、マウスなどを用いて、スライダーの両端をドラッグすることで、スライダーの幅（ウィンドウ幅）を可変できる。図１５に示す例では、会議開始から２０分経過した時点から４０分経過した時点までの２０分間に提示された個々のスライドのサムネイル、それらのスライドが表示されたときに撮像した映像のサムネイル、及び発言チャートが表示されている。利用者は、表示されたこれらのサムネイル（スライド・サムネイルとシーンサムネイル）、発言チャート内の個々の発言を示す発言バーを、マウスなどを用いて指示することができ、それらに対応した文書、映像（動画）、音声を会議情報格納部１０３から検索し表示することができる。

検索用グラフィカル・ユーザ・インターフェースの構成と各コンポーネントの機能について、図２７を参照しながら詳解する。

参照番号９０１は、会議タイトル情報表示部であり、会議の件名や参加者氏名、開催日時などの情報を表示する。これらの情報を表示することにより、利用者は会議が特定できているかを確認することができる。

参照番号９０２は、ランドマーク文書表示部であり、ここにランドマーク文書選定処理によって選定されたランドマーク文書のサムネイルが時系列的に沿って表示される。同図に示す例では、５つのランドマーク文書のサムネイルが表示されている。図示するように、各ランドマーク文書のサムネイルの上部に、これらの文書がいつ提示されたか、会議開始を起点として計時された提示開始時刻を表示してもよい。利用者は、このランドマーク文書を手がかりにして、自分が検索しようとしている情報の位置（時間的位置）のめぼしをつけることが可能になる。

参照番号９０３は、詳細情報表示変更部（タイムライン・スライダー）であり、図示しないマウスを操作して可動部（スライダー）９０３１にポインターを合わせ、マウスのボタンを押しながら左右に可動部を移動させる操作により、詳細情報表示部９０４に表示される情報を変更することができる。

可動部９０３１は左右両端にアンカー部位を備え、これらをマウスのボタンを押しながら左右いずれかに移動させることによって詳細情報表示部９０４に表示される情報の表示範囲を自在に変更することができる。図２７に示す例では、会議開始後２０分から４０分までの２０分間の詳細情報が表示されているが、上記操作によって２０分から５０分までの３０分間の詳細情報が表示されるように表示範囲を広げたり、逆に２０分から３０分までの１０分間の詳細情報が表示されるように変更したりすることができる。

また、詳細情報表示変更部（タイムライン・スライダー）９０３の左右両端にはスクロールボタン９０３２が備えられており、利用者はこのボタンにポインターを当てマウスボタンを押しながらクリックすることによって、詳細情報の表示内容を変更することができる。

詳細情報の表示領域の変更操作にはもう１つ別の方法がある。それは、ランドマーク文書のサムネイルに対して、ポインターを当てクリックする方法である。例えば、ランドマーク文書のサムネイル４（図２７中の「ランドマーク４」）にポインターを当てクリックすると、可動部（スライダー）９０３１が「ランドマーク４」の真下に移動するとともに、このランドマーク文書が表示された前後（図の例では２０分間）の詳細情報に切り替わる。この表示領域の変更操作方法によれば、マウスの複雑な操作が不要なため利便性が高い。

参照番号９０４は、詳細情報表示部である。この表示部は、会議中に提示された文書情報（スライド）のサムネイルを表示するための文書情報表示部９０４１と、会議中に撮影された参加者などの映像情報（静止画のサムネイル）を表示するための映像情報表示部９０４２と、会議中に参加者によってなされた発話情報（発言チャート）を表示するための発話情報表示部９０４３という３つの表示部を備えている。

文書情報表示部９０４１に表示される文書情報のサムネイルは、会議中に表示された文書に対応したものであり、表示順に配列される。

映像情報表示部９０４２に表示される映像情報（静止画のサムネイル）は、会議中の参加者などの映像である。例えば、デフォルト状態では、映像情報表示部９０４２には、会議中に文書（スライド）が表示されたとき（表示開始時）の会議の様子を示す映像が表示される。しかし、後述するように、特定の参加者の映像のみを表示させることもできる。

文書情報表示部９０４１に表示される文書情報（スライド）のサムネイルをマウスなどで選択してダブルクリックすると、そのサムネイルに対応した文書情報（スライド）を表示画面上に表示することができる。また、映像情報表示部９０４２に表示される映像情報のサムネイルをダブルクリックすれば、その映像に対応した映像情報（動画像）を表示画面上に再生表示することができる。さらに、発話情報表示部９０４３に表示された発話情報（音声セグメント）をダブルクリックすると、それに対応した発言が図示されない音声再生装置を介して表示される。但し、本発明の要旨はこれに限定されるものではなく、例えば映像情報のサムネイルをダブルクリックすることで映像と音声を同時提示したり、音声セグメントをダブルクリックすることで音声だけでなく映像も再生したりするように構成してもよい。

発言者別映像表示選択部９０４４には、発話者の名前や顔写真が表示されており、発話チャート上の音声セグメントが誰に関連するものなのかを利用者に表示する。それと同時に、発話者の名前や顔写真の領域はアクティブ・エリアになっており、ポインターをいずれかの名前や顔写真上に移動させると、その人が発言を始めた時の一連の映像を、映像情報表示部９０４２に表示することができる。

図２８には、発言者別映像表示選択部９０４４の操作に伴う画面の動作を図解している。図示の例では、「田中」にポインターを合わせたことに応答して、田中に関連した音声セグメントが強調表示されるとともに、映像情報表示部９０４２には、各音声セグメントに対応した映像が表示される（田中の発言開始時の映像１〜４）。この機能は、特定人物の表情などを映像で確認しながら、その人の発言内容のみを聞き取る場合などに有効である。

上述したように、詳細情報表示部９０４には、文書情報、映像情報、発話情報を表示する領域がそれぞれ配設されるが、これら３つの情報をすべて表示しなければならないという訳ではない。例えば、図２９に示すように、文書情報と発話情報のみ表示し、映像情報は表示しないように表示設定することもできる。この表示設定の変更は、図示しないメニューを使って行なう。

参照番号９０５は、ランドマーク変更部である。これはオプション選択ボタンであり、これを選択すると、図１６に示すように、利用可能なランドマーク・スライドの選択方式が表示され、利用者は自分の好みの方式を選んでランドマーク・スライドを表示することができる。例えば、表示時間に基づいてランドマークが表示されていたものを、発言回数に基づいてランドマーク・スライドを選び直して再表示することが可能となる。利用者が記憶しているスライドをランドマーク・スライドとして表示することが重要なので、このように多様な選択方式でランドマークを表示できること、また選択方式の変更を即座に実行できるようにすることは重要である。

参照番号９０６は、ランドマーク属性情報表示部であり、現在表示されているランドマーク文書がどのような属性に基づいて何枚選択されているかなどを表示する。ランドマーク属性情報表示部９０６における表示内容は、ランドマーク変更部９０５によってランドマーク選定条件が変更されることにともなって変更される。

図２７に示した検索用グラフィカル・ユーザ・インターフェースでは、スライド（サムネイル）、映像（サムネイル）、発言（音声セグメント）の詳細情報が時系列的に配列されており、これらを見ることにより、検索すべき情報が探し易くなる。この検索用グラフィカル・ユーザ・インターフェースは、例えば以下の機能を備えている点に特徴がある。

（１）ランドマーク・ドキュメントのサムネイルとタイムライン・スライダーとを組み合わせて表示する。ランドマーク・ドキュメント（表示された説明資料）がそのときの話題情報を提供し、またタイムライン・スライダーが会議進行に関する相対的な時間情報を提供するので、ランドマーク・ドキュメント、あるいはタイムライン・スライダーのいずれかが表示された場合に比べて、検索すべき情報がどのあたりで提示されたかを推定するのに有利になる。何故なら、話題情報と時間情報の２つのタイプの情報を手がかりとして利用できるからである。

（２）ランドマーク・ドキュメントのサムネイルの選択によってタイム・スライダー情報の可動部（詳細情報表示操作部）が連動して移動し、それに伴ってスライド（サムネイル）、映像（サムネイル）、発言（音声セグメント）の詳細情報の表示範囲を変更できる。タイムライン・スライダーの操作による詳細情報の表示範囲の変更は、マウス・ポインターを可動部に合わせマウス・ボタンを押しながら可動部を左右いずれかに動かすという若干面倒な操作を伴う。これに対し、図２７に示したＧＵＩによれば、ランドマーク・ドキュメントをマウスでクリックするという極めて単純な操作で詳細情報の範囲表示の変更が可能になる。例えば、図示の画面上でランドマーク・ドキュメント４をクリックすると、可動部がその真下に移動し、これに伴ってその下部の詳細情報の表示内容も変化する。

（３）ＧＵＩコンポーネントを、スライド（サムネイル）、映像（サムネイル）、発言（音声セグメント）のいずれかと、あるいは任意に組み合わせて表示する。話題情報と時間情報という２つのタイプの情報に加えて、さらに 文書（サムネイル）、映像（サムネイル）、発言（音声セグメント）に関する情報のいずれか、あるいはこれらの情報の任意の組み合わせを提供するので、これらの情報を利用した検索すべき情報の特定や絞込みが可能になり、検索は容易になる。

（４）発言チャートに付属する発言者識別情報（発言者名あるいは発言者の顔写真等）の領域をポインターなどで指示することにより、特定参加者の発言部分（例えば、発言開始部分）の映像（サムネイル画像）を映像情報表示部に表示する。この機能は、特定人物の表情などを映像で確認しながら、その人の発言内容のみを聞き取る場合などに有効となる。

図１７には、スライドの表示時間に基づいてランドマーク・スライドを選定するというオプションが選ばれた場合に、引き続いて利用者に提示されるランドマーク・スライドの選定基準を指示するためのウィンドウの構成例を示している。このウィンドウを介して、利用者は、ランドマーク・スライドの表示枚数を指定したり、一定の表示時間を超えるもののみを表示したりすることができる。

また、図１８には、スライドの表示回数に基づいてランドマーク・スライドを選定するというオプションが選ばれた場合に、引き続いて利用者に提示されるランドマーク・スライドの選定基準を指示するためのウィンドウの構成例を示している。なお、複数回表示されたスライドがランドマーク・スライドとして利用される場合、表示された複数のすべての表示期間についてランドマーク・サムネイルを配置して表示する方法がとられる。但し、ランドマーク・スライドの上に表示開始時刻とともに、１回目、２回目、…といった表示回数が付記された形態でＧＵＩ上に表示される。

図１９には、発言時間に基づいてランドマーク・スライドを選定するというオプションが選ばれた場合に、引き続いて利用者に提示されるランドマーク・スライドの選定基準を指示するためのウィンドウである。これによって、利用者は、ランドマーク・スライドの表示枚数を指定したり、一定の発言時間を超えるもののみを表示したりすることができる。また、ここでは、発言者を限定して発言時間を比較してランドマーク・スライドを選定することができる。これによって例えば、利用者本人やキーパーソンの発言量が多かったスライドをランドマークとして選択表示することができる。図２０、並びに図２１には、発言交代数、発言者数に基づいてランドマーク・スライドを選定するというオプションが選ばれた場合に、引き続いて利用者に提示されるランドマーク・スライドの選定基準を指示するためのウィンドウをそれぞれ示しているが、これらについても同様である。

第２の実施形態：
この実施形態では、会議情報アクセス装置は、生体情報に基づいて、ランドマーク・スライドを選定し・表示する。この場合、会議情報アクセス装置は、さらに、表示文書に対する注視点の場所、移動を記録し、これらの情報をインデックス情報として利用することができる。例えば、ある文書の特定の領域を注視していた時点に対応した映像・音声情報のアクセスを可能とする。したがって、シーン特定のための新たな手段を提供することができる。

図２２には、本発明の第２の実施形態に係る会議情報アクセス装置の機能構成を模式的に示している。図示の通り、この会議情報アクセス装置は、ユーザの個体情報を検出する個体情報検出部１０と、当該対象となるスライドを検出するスライド情報検出部２０と、会議情報アクセス装置の動作を規定するプログラムなどを記憶するプログラム・メモリ３０と、種々のデータを記憶するデータベース４０と、プログラム・メモリ６０のプログラムに従いこれら各部を制御する中央処理部５０と、それらによって得られるランドマーク情報などを表示する表示部６０とを備えている。

個体情報検出部１０は、マウスのクリックや軌跡など話者が行なった操作に関する情報や、スライド使用時の話者、及び聴衆者の視線移動、注視、瞳孔径や脳波、皮膚温などの生体情報、頷きや発話などの行動に関する情報など、ユーザの個体情報を検出する。個体情報検出部１０には、ボタンや、キーボード、マウス等のポインティング・デバイスなどの一般的な操作デバイスや、既存の生体情報測定装置、集音マイクなどの一般的な音情報検出装置、位置情報検出装置、モーション・キャプチャ、ＣＣＤカメラ、ディスプレイ表示画面からの信号分岐による検出手段など一般的な映像検出装置及び検出手段などを適宜選択して用いることができる。

ここで生体情報とは、例えば、話者、及び聴衆者の視線軌跡、表示された情報を注視する時間、瞬き、ユーザの瞳孔の開き具合、ユーザの脳波などのユーザの生体の情報を意味する。但し、情報処理システムを使用する際のユーザの生体に関する情報であればこれに限られるものではない。

スライド情報検出部２０は、対象となるスライドを検出する装置であり、ＶＴＲ、半導体メモリ、ハード・ディスク、フレキシブル・ディスクなどの一般的な記録装置を適宜選択して用いることができる。

表示部６０は、中央処理部で処理された情報を出力するもので、ディスプレイ、タッチパネルなどの一般的な表示装置を適宜選択して用いることができる。

まず、所定の会議や講演会などの状況において、スライドなどを用いたプレゼンテーションが行なわれる。ここで対象となる作業形態は、例えば講演会のような大規模なプレゼンテーションであっても、少人数の会議形態のプレゼンテーションであっても構わない。

プレゼンテーションの開始に伴い、個体情報検出部１０によってユーザの個体情報が検出される。例えば、話者の行なっている際のマウスの動きや、プレゼンテーションを行なっている際の、話者、及び聴衆者の視線の動き、脳波、頷きや発話などを検出する。視線の動きは、例えば視線追尾装置よって検出することができる。同時に、スライド情報検出部２０は、使用したスライド情報、切り替わり情報などを記録する。

次に、中央処理部５０は、検出された個体情報とスライド情報とを合成する。これらの情報は、互いに同期するようにして合成される。例えば、プレゼンテーションを対象とした作業において、その間の視線の動き、注視時間、注視箇所、うなずき、発話などが付加されたスライドをＶＴＲなどの記録媒体に記録しておく。

図２３には、スクリーンに投影されたスライド上でスライド操作者がカーソルを動かしたり、聴衆者が視線を動かしたりする様子を例示している。例えば、図示のように、スライド上において、時刻Ｔ１においてスライド操作者がカーソルＰ１をエリアＢ付近で操作し、次に時刻Ｔ２においてカーソルＰ２を移動させ、時刻Ｔ３においてカーソルＰ３をエリアＤへ移動させる操作をしたとする。他方、聴衆者の視線位置（図中、黒丸で示す）が、時刻Ｔ１においてエリアＢ上にあり、時刻Ｔ２においてエリアＣ上にあり、時刻Ｔ３においてエリアＤ上にあり、ここで発話したとする。ユーザによる操作開始時刻を基準とし、各時刻Ｔ１、Ｔ２、Ｔ３の話者の操作と聴衆者の視線位置Ｅ１、Ｅ２、Ｅ３、発話情報Ｑ１とが時間的に一致するように合成される。こうして同期して合成された情報は、ランドマーク情報抽出データとしてデータベース４０に格納される。これによって、同時に視線位置が停留した時間なども算出可能となる。

図２４には、本実施形態において、ランドマーク文書を選定するための処理をフローチャートの形式で示している。

まず、データベース４０に格納されたインデックス情報ファイル読み出しを実施する（ステップＳ１１１）。

次に、文書表示ＩＤ毎に、表示開始時刻と表示終了時刻を読み出し、これを対応付けられた時間内の注視時間、注視箇所を算定する（ステップＳ１１２）。

次に、文書毎の累積注視時間、注視箇所、注視箇所と対応した注視時間を算出する（ステップＳ１１３）。

次に、これらの情報からランドマーク選定基準を参照する（ステップＳ１１４）。ここで、ランドマーク文書選定には、各スライドの累積注視時間の上位から数枚の抽出、スライド１枚当たりの平均注視時間を超えるスライドの抽出、１枚のスライド表示時間当たりの注視時間による注視率の上位数枚の抽出などで実施されるが、これ以外にどのような形態で抽出してもよい。図２４右には、文書毎の累積注視時間、注視箇所、注視箇所と対応した注視時間に基づいて注視率を順位付けした視線情報データシートを示している。

次に、これによって抽出された文書ＩＤを獲得する（ステップＳ１１５）。次に、表示部６０は、ディスプレイなどから、中央処理部５０の処理結果を用いて表示する。

図２５には、視線情報の表示形態を例示している。図示するように、聴衆者の視線位置を円によって表示したり、視線位置の変化を円と円を矢印で結び表示したりすることも可能である。この際、注視時間の大きさの程度を円の半径の大きさや、スライド・サムネイルの大きさで表現することも可能である。あるいは、注視箇所をハイライト表示し、その濃淡などで注視時間、視線位置の変化を表現するようにしてもよい。勿論、図示した以外の表示形態により視線情報を表現するようにしてもよい。

表示に利用される視線データは、全聴衆者の平均と、各聴衆者の両方のデータが利用可能である。例えば、各聴衆者のデータを用いた場合、特定聴衆者の注視箇所、注視時間によって、特定聴衆者に対応したランドマーク情報を表示することが可能となる。表示切換には、例えば、図２６に示すように、発言者別映像表示選択部（発言チャート）内で所望の聴衆者部分をクリックすることで切り替えることが可能である。

さらに、表示されたスライド・サムネイル上の注視箇所をクリックすることにより、発言チャートの発言箇所を概略特定して表示することを可能とする。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

図１は、本発明の第１の実施形態に係る会議情報アクセス装置の機能構成を示した図である。 図２は、ランドマーク特徴抽出部１０２３の内部構成を示した図である。 図３は、会議情報格納部１０３の構成例を示した図である。 図４は、会議情報格納部１０３に格納されているインデックス情報ファイルの構成例を示した図である。 図５は、スライドの表示時間に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図６は、スライドの表示回数に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図７は、スライドの発言回数に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図８は、スライドの発言交代数に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図９は、スライドの発言者数に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１０は、スライドが図表を含むかどうかに基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１１は、スライドがアニメーション効果を含むかどうかに基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１２は、スライドがユニークな語彙を含むかどうかに基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１３は、スライドの作成時間に基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１４は、スライドが会議中に編集されたかどうかに基づいてランドマーク・スライドを選定するための処理手順を示したフローチャートである。 図１５は、会議情報アクセス操作パネルの構成例を示した図である。 図１６は、ランドマーク・スライドの選定方式のオプションを設定するためのダイアログを示した図である。 図１７は、スライドの表示時間に基づいてランドマーク・スライドを選定するときのランドマーク選定基準プロパティ・ウィンドウを示した図である。 図１８は、スライドの表示回数に基づいてランドマーク・スライドを選定するときの、ランドマーク選定基準プロパティ・ウィンドウを示した図である。 図１９は、発言時間に基づいてランドマーク・スライドを選定するときのランドマーク選定基準プロパティ・ウィンドウを示した図である。 図２０は、発言交代数に基づいてランドマーク・スライドを選定するときのランドマーク選定基準プロパティ・ウィンドウを示した図である。 図２１は、発言者数に基づいてランドマーク・スライドを選定するときのランドマーク選定基準プロパティ・ウィンドウを示した図である。 図２２は、本発明の第２の実施形態に係る会議情報アクセス装置の機能構成を模式的に示した図である。 図２３は、スクリーンに投影されたスライド上でスライド操作者がカーソルを動かしたり、聴衆者が視線を動かしたりする様子を例示した図である。 図２４は、ランドマーク文書選定処理を示したフローチャートである。 図２５は、視線情報の表示形態を例示した図である。 図２６は、会議情報アクセス操作パネル上の発話チャートで所望の聴衆者を選択したことにより対応するランドマーク情報が表示された様子を示した図である。 図２７は、会議情報アクセス操作パネルの構成例を示した図である。 図２８は、会議情報アクセス操作パネルの操作方法を説明するための図である。 図２９は、詳細情報表示部９０４の他の構成例を示した図である。

Claims (45)

1. 会議を記録した映像情報並びに音声情報からなる会議情報を会議で使用した文書情報とともに管理する情報処理システムであって、
   会議で使用した文書のページ毎の特徴を抽出する文書特徴抽出手段と、
   前記特徴抽出手段によって抽出された情報に基づいて検索の手がかりとなるランドマーク文書を選定するランドマーク文書選定手段と、
   前記ランドマーク文書選定手段によって選定された各文書に関する情報を含んだ、会議情報の検索用画面を提示する表示手段と、
   を具備することを特徴とする情報処理システム。
2. 前記ランドマーク文書選定手段は、前記文書特徴抽出手段によって抽出された情報に基づいて会議で使用した文書のページ毎の記憶の持続性を推定し、該推定された記憶の持続性に基づいて検索の手がかりとなるランドマーク文書を選定する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記ランドマーク文書選定手段によって選定された文書のサムネイルを生成するサムネイル生成手段をさらに備え、
   前記表示手段は、前記サムネイル生成手段によって生成されたサムネイルを会議情報の検索用操作パネル上に時系列的に表示する、
   ことを特徴とする請求項１に記載の情報処理システム。
4. 会議に使用された文書の各ページの使用開始時刻及び使用終了時刻に従って会議情報のインデックスを生成し、文書のページの指定により関連付けられた会議情報へのアクセスを可能にする会議情報インデキシング手段をさらに備える、
   ことを特徴とする請求項１に記載の情報処理システム。
5. 前記文書特徴抽出手段は、各文書ページの表示時間を計測する文書ページ表示時間計測手段を備える、
   ことを特徴とする請求項１に記載の情報処理システム。
6. 前記文書特徴抽出手段は、各文書ページの表示回数を計測する文書ページ表示回数計測手段を備える、
   ことを特徴とする請求項１に記載の情報処理システム。
7. 前記文書特徴抽出手段は、各文書ページが表示されている間になされた発言時間を計測する発言回数計測手段を備える、
   ことを特徴とする請求項１に記載の情報処理システム。
8. 前記文書特徴抽出手段は、各文書ページが表示されている間に何回発言交代があったかという発言交代回数を測定する発言交代回数測定手段を備える、
   ことを特徴とする請求項１に記載の情報処理システム。
9. 前記文書特徴抽出手段は、各文書ページが提示されている間になされた発言の異なる発言者の人数を測定する発言者数検出手段を備える、
   ことを特徴とする請求項１に記載の情報処理システム。
10. 前記文書特徴抽出手段は、図表又は写真が使われている文書ページを検出する図表・写真検出手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
11. １１
    前記文書特徴抽出手段は、アニメーション又はその他の特殊な効果が施されている文書ページを検出するアニメーション効果検出手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
12. 前記文書特徴抽出手段は、表示された文書を作成するのに要した時間を記録する文書作成時間記録手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
13. 前記文書特徴抽出手段は、文書ページが提示された間になされた変更処理、修正処理、マーキング処理のうちいずれかの編集操作情報を検出する編集操作情報検出手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
14. 前記文書特徴抽出手段は、会議中に提示された文書全体が階層的に構造化されている場合に、各文書ページが階層構造のどのレベルに含まれるかを判定する階層情報判定手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
15. 前記文書特徴抽出手段は、文書ページ内の表題や見出しからユニークな語彙を検出するユニーク語彙検出手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
16. 前記文書特徴抽出手段は、文書ページが提示された間に会議参加者によりなされた頷き回数を計測する頷き回数計測手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
17. 前記文書特徴抽出手段は、文書ページを注視していた時間を計測する注視時間測定手段、又は表示された文書に対して何回注視を行なったかを測定する注視回数測定手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
18. 前記文書特徴抽出手段は、提示された文書を注視している際の瞳孔径を計測する瞳孔径測定手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
19. 前記文書特徴抽出手段は、文書ページを注視している際の瞬目を計測する瞬目測定手段を備える、
    ことを特徴とする請求項１に記載の情報処理システム。
20. ランドマーク文書の選定方式、測定対象、選定基準等の選定条件を設定するランドマーク文書ページ選定条件設定手段をさらに備える、
    ことを特徴とする請求項５乃至１９のいずれかに記載の情報処理システム。
21. 前記文書特徴抽出手段により抽出された特徴に応じて、前記検索用画面上に表示する各ランドマーク文書の表示形態を変更するランドマーク文書表示形態変更手段をさらに備える、
    ことを特徴とする請求項１に記載の情報処理システム。
22. 会議中に特定の文書ページが表示されたことを記憶する表示ページ記憶手段と、
    前記表示ページ記憶手段によって記憶された表示ページ情報に基づいて、前記分割化されたシーンを統合するシーン統合手段と、
    をさらに備えることを特徴とする請求項１に記載の情報処理システム。
23. 会議を記録する映像情報並びに音声情報からなる会議情報を会議で使用した文書情報とともに管理する情報処理方法であって、
    会議で使用した文書のページ毎の特徴を抽出する文書特徴抽出ステップと、
    前記特徴抽出ステップにおいて抽出された情報に基づいて検索の手がかりとなるランドマーク文書を選定するランドマーク文書選定ステップと、
    前記ランドマーク文書選定ステップにおいて選定された各文書に関する情報を含んだ、会議情報の検索用画面を提示する表示ステップと、
    を具備することを特徴とする情報処理方法。
24. 前記ランドマーク文書選定ステップでは、前記文書特徴抽出ステップにおいて抽出された情報に基づいて会議で使用した文書のページ毎の記憶の持続性を推定し、該推定された記憶の持続性に基づいて検索の手がかりとなるランドマーク文書を選定する、
    ことを特徴とする請求項２３に記載の情報処理方法。
25. 前記ランドマーク文書選定ステップにおいて選定された文書のサムネイルを生成するサムネイル生成ステップをさらに備え、
    前記表示ステップでは、前記サムネイル生成ステップにおいて生成されたサムネイルを会議情報の検索用操作パネル上に時系列的に表示する、
    ことを特徴とする請求項２３に記載の情報処理方法。
26. 会議に使用された文書の各ページの使用開始時刻及び使用終了時刻に従って会議情報のインデックスを生成し、文書のページの指定により関連付けられた会議情報へのアクセスを可能にする会議情報インデキシング・ステップをさらに備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
27. 前記文書特徴抽出ステップは、各文書ページの表示時間を計測する文書ページ表示時間計測ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
28. 前記文書特徴抽出ステップは、各文書ページの表示回数を計測する文書ページ表示回数計測ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
29. 前記文書特徴抽出ステップは、各文書ページが表示されている間になされた発言時間を計測する発言回数計測ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
30. 前記文書特徴抽出ステップは、各文書ページが表示されている間に何回発言交代があったかという発言交代回数を測定する発言交代回数測定ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
31. 前記文書特徴抽出ステップは、各文書ページが提示されている間になされた発言の異なる発言者の人数を測定する発言者数検出ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
32. 前記文書特徴抽出ステップは、図表又は写真が使われている文書ページを検出する図表・写真検出ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
33. 前記文書特徴抽出ステップは、アニメーション又はその他の特殊な効果が施されている文書ページを検出するアニメーション効果検出ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
34. 前記文書特徴抽出ステップは、表示された文書を作成するのに要した時間を記録する文書作成時間記録ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
35. 前記文書特徴抽出ステップは、文書ページが提示された間になされた変更処理、修正処理、マーキング処理のうちいずれかの編集操作情報を検出する編集操作情報検出ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
36. 前記文書特徴抽出ステップは、会議中に提示された文書全体が階層的に構造化されている場合に、各文書ページが階層構造のどのレベルに含まれるかを判定する階層情報判定ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
37. 前記文書特徴抽出ステップは、文書ページ内の表題や見出しからユニークな語彙を検出するユニーク語彙検出ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
38. 前記文書特徴抽出ステップは、文書ページが提示された間に会議参加者によりなされた頷き回数を計測する頷き回数計測ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
39. 前記文書特徴抽出ステップは、文書ページを注視していた時間を計測する注視時間測定ステップ、又は表示された文書に対して何回注視を行なったかを測定する注視回数測定ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
40. 前記文書特徴抽出ステップは、提示された文書を注視している際の瞳孔径を計測する瞳孔径測定ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
41. 前記文書特徴抽出ステップは、文書ページを注視している際の瞬目を計測する瞬目測定ステップを備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
42. ランドマーク文書の選定方式、測定対象、選定基準等の選定条件を設定するランドマーク文書ページ選定条件設定手段をさらに備える、
    ことを特徴とする請求項２７乃至４１のいずれかに記載の情報処理方法。
43. 前記文書特徴抽出ステップにおいて抽出された特徴に応じて、前記検索用画面上に表示する各ランドマーク文書の表示形態を変更するランドマーク文書表示形態変更ステップをさらに備える、
    ことを特徴とする請求項２３に記載の情報処理方法。
44. 会議中に特定の文書ページが表示されたことを記憶する表示ページ記憶ステップと、
    前記表示ページ記憶ステップにおいて記憶された表示ページ情報に基づいて、前記分割化されたシーンを統合するシーン統合ステップと、
    をさらに備えることを特徴とする請求項２３に記載の情報処理方法。
45. 会議を記録する映像情報並びに音声情報からなる会議情報を会議で使用した文書情報とともに管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    会議で使用した文書のページ毎の特徴を抽出する文書特徴抽出ステップと、
    前記特徴抽出ステップにおいて抽出された情報に基づいて検索の手がかりとなるランドマーク文書を選定するランドマーク文書選定ステップと、
    前記ランドマーク文書選定ステップにおいて選定された各文書に関する情報を含んだ、会議情報の検索用画面を提示する表示ステップと、
    を具備することを特徴とするコンピュータ・プログラム。
    

Images