JP2006228059A

JP2006228059A - ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2006228059A
Application number: JP2005043011A
Authority: JP
Inventors: Haruo Yokota; 治夫横田; Takashi Kobayashi; 隆志小林; Wataru Nakano; 亘仲野; Yuta Ochi; 悠太越智; Satoshi Naoi; 聡直井
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2005-02-18
Filing date: 2005-02-18
Publication date: 2006-08-31

Abstract

【課題】レーザーポインタ等の指示手段で指し示された情報を有効利用して検索キーワードの検索精度を向上することができる。
【解決手段】画像形式のプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーション資料に含まれる情報毎の重要度を求め、この重要度に応じて前記プレゼンテーション資料中の各キーワードに対する検索の適合度を設定し、この検索の適合度をプレゼンテーション資料中の情報の検索に利用する検索手段を含むポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよび方法、ならびにその方法をコンピュータに実行させるプログラムを記録した記録媒体。
【選択図】図１

Description

本発明は、ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにその方法をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

ＩＴ技術の発達に伴って様々な情報がインターネットを介して配信されるようになり、多様かつ大量の情報の入手が可能となってきている。例えば、インターネットを介して、教育コンテンツを配信する試みが、米国や日本国内の大学等で多くの機関で行われている。これらの教育コンテンツの配信では、シラバス、講義ビデオ、プレゼンテーション資料などの教育素材がほぼそのままの形で提供されている。これらの教育コンテンツの配信では、特に、非定型データやマルチメディアデータが増大し、そのような膨大なデータから、いかにして所望のデータにアクセスするかが重要となっている。

しかし、プレゼンテーション資料は膨大であり、これらの膨大な資料のなかから、ユーザが所望のスライドを含む資料に効率良くかつ迅速にアクセスすることは困難である。従来は、単純な文字列検索のみ、即ち、所望のキーワードを入力してこのキーワードを含むものがヒットするというような単純な検索手段でしか利用できない。従って、ヒットした資料（即ちキーワードを含む資料）には、重要なものと重要でないものがあるはずであるが、これらの従来の検索手段は、その優劣を判定する手段を持っていない。

そこで、本願出願人は、先に、講義・講演等のプレゼンテーションにおける資料とその撮影動画をメタデータによる統合コンテンツとして蓄積し、その特性を利用して検索・提供するシステムとして、ＵＰＲＩＳＥ(Unified Presentation Contents Retrieval by Impression Search Engine)（非特許文献１〜非特許文献６参照）を提案し、そのシステムおよびその方法ならびにその方法を実行するためのプログラムを提案した（特許文献１）。このＵＰＲＩＳＥは，プレゼンテーションを撮影した動画や用いた資料等の教育コンテンツをメタデータによって統合することで，それらの教育コンテンツの同期表示を実現する。加えて、統合された教育コンテンツに対する高度な検索機能や，その検索結果を効率的に提供するユーザインターフェースを備えている。

このＵＰＲＩＳＥでは、メタデータによるコンテンツの統合のために、動画ストリームをシーンの連続であると抽象化し、各シーンとそこで使用された資料とを対応付けている。そして、シーンと資料との対応情報、および各シーン、資料の検索用インデクスをデータベースに格納し、検索に利用している。すなわち、ＵＰＲＩＳＥで提案しているコンテンツ検索機能は、検索キーワードに対する適合度という、コンテンツの特徴を活かした検索指標を利用している。ここで、適合度とは、あるキーワードに対してプレゼンテーション中の各シーン毎に算出されるポイントであり、シーン中で使用している資料スライドの情報や、そのスライドの説明に要した時間等を利用して計算されている。ＵＰＲＩＳＥは、このようにして求められる適合度を用いて、ユーザに動画のシーン中で用いられたスライドのサムネイルを適合度順に表示する。

これにより、従来のビデオやマルチメディアプレゼンテーションに対する検索手法（非特許文献７〜非特許文献９）では実現することのできない、重要なシーンの効率の良い検索を可能にしている。

ところで、プレゼンテーション資料を用いて行われる講義・講演中では、講演者はレーザーポインタ等を用いて重要な箇所を指し示すことがある。そして、レーザポインタ等で指し示された箇所に含まれる情報は、必要な情報を抽出する上で非常に有用である。すなわち、レーザポインタ等によって指し示されているシーンまたは文字列、あるいは図面等は、そのプレゼンテーション資料を提供する講演者等にとって、強調したい重要度の高い情報を含む箇所であり、そのプレゼンテーション資料中の情報を検索する利用者にとってより有用であると考えられる。しかし、これまでの検索システムでは、レーザポインタ等で指示された箇所に含まれる情報を、その情報の重要度に応じて有効かつ適切に利用することができなかった。このレーザポインタ等で指示された箇所に含まれる情報の有用性に応じて、その情報の有用性を検索への適合度に反映できれば、プレゼンテーション資料中の情報を検索する際の有用な情報への検索精度の向上が期待される。
特開２００４−２６５０９７号公報横田治夫. 東工大学術国際センターの情報蓄積・活用―教育コンテンツの統合とその手法−. 研究会報告 DBS-125-58, 情報処理学会, 2001. 村木太一,吉田誠,小林隆志,直井聡,横田治夫. メタデータによる講演資料と動画の統合と検索. In Proc. of DBWeb2002, pages 97‐104. 情報処理学会, 2002. 村木太一,吉田誠,小林隆志,直井聡,横田治夫. メタデータによる教育資料の統合における検索絞り込み指標の評価. Issn 1347-4413, DEWS2003, 5-c, 電子情報通信学会データ工学ワークショップ, 3 2003. Haruo Yokota, Takashi Kobayashi, Taichi Muraki, and Satoshi Naoi. UPRISE: Unified Presentation Slide Retrieval by Impression Search Engine. IEICE Transactions on Information and Systems, E87-D(2), February 2004. 小林隆志,村木太一,直井聡,横田治夫. 統合プレゼンテーションコンテンツ蓄積検索システムの試作. 電子情報通信学会論文誌 D1. (採録決定, ショートバージョン:Proc. of DBWeb2003, pp.61−68, 11 2003). 岡本拓明,小林隆志,横田治夫. プレゼンテーション蓄積検索システムにおける適合度計算の改善. Issn 1347-4413, DEWS2004; 1-b-3, 電子情報通信学会データ工学ワークショップ, 3 2004. O.Marques and B.Furht. Content-Based Image and Video Retrieval. Kluwer, 2000. Y.Kambayashi, K.Katayama, Y.Kamiya, and O.Kagawa. Index generation and advanced search functions for multimedia presentation material. In Proc. of ER97 Workshop on Conceptual Modeling in Multimedia Information Seeking, 1997. R.Muller and T.Ottmann. The "Authoring on the Fly" system for automated recording and replay of (tele)presentations. Multimedia Syst., 8(3):158−176, 2000.

そこで、本発明の目的は、講義・講演等で用いられるプレゼンテーション資料と、そのプレゼンテーションを撮影した録画画像から取得される、レーザーポインタ等の指示手段で指し示された情報とを有効利用して、検索キーワードの検索精度を向上させることができるプレゼンテーションコンテンツ検索システムおよび方法、ならびにその方法をコンピュータに実行させるプログラムを記録したコンピュータに読み取り可能な記録媒体を提供することを目的とする。

前記課題を解決するため、請求項１に係るポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムは、プレゼンテーション資料とそのプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像を同期配信可能にしたプレゼンテーションコンテンツに対し、プレゼンテーション資料に含まれる情報を用いてプレゼンテーション内の部分単位での検索を行うプレゼンテーションコンテンツ検索システムであって、前記プレゼンテーション資料を用いて行われたプレゼンテーションの録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーション資料に含まれる情報ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求め、この検索の適合度をプレゼンテーション資料中の情報の検索に利用する検索手段を含むことを特徴とする。

本発明において、ポインタとは、ディスプレイ画面、投影用のスクリーン、壁、黒板、白板等の情報表示画面上に点、線または曲線あるいは矩形の軌跡を表示するための道具またはその表示された点、線または軌跡を意味し、例えば、レーザーポインタ、マウス、指示棒等の指示器具を操作することによって、前記情報表示画面上に表示された光点、カーソル、その光点やカーソルの軌跡で形成される線、またはその光点やカーソルの軌跡を意味する。また、ポインタの位置情報とは、前記情報表示画面上のポインタの位置に関する情報を意味する。さらに、プレゼンテーションとは、プレゼンテーション資料の内容を説明し、さらに、付加的な情報を追加したり、より詳細な説明を行って、プレゼンテーションの内容の理解を図ることを言う。

この請求項１に係るプレゼンテーションコンテンツ検索システムでは、プレゼンテーションを撮影した録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーション資料に含まれる情報ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求めることによって、プレゼンテーション資料中の情報を検索する際に、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して検索することができる。そのため、より検索キーワードへの適合度が高いとともに、そのプレゼンテーションにおいて、プレゼンテーション資料を提供する講演者等にとって、強調したい重要度の高い情報を含む箇所であり、そのプレゼンテーション資料中の情報を検索する利用者にとってもより有用である情報にアクセスすることが可能となり、検索精度の向上を図ることができる。例えば、あるキーワードで膨大な数のプレゼンテーション資料がヒットした場合は、本システムで算出した適合度の上位何件かを提示するなどという形式で、適正な絞り込みが可能となる。

請求項２に係るプレゼンテーションコンテンツ検索システムは、前記検索手段は、前記プレゼンテーションを撮影した録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めることを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、前記プレゼンテーションを撮影した録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めることによって、プレゼンテーション資料中の情報を検索する際に、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して検索することができる。このポインタの指示位置の近傍の文字列が示す情報が、より検索キーワードへの適合度が高いとともに、そのプレゼンテーションにおいて、プレゼンテーション資料を提供する講演者等にとって、強調したい重要度の高い情報を含む箇所であり、そのプレゼンテーション資料中の情報を検索する利用者にとってもより有用である情報にアクセスすることが可能となり、検索精度の向上を図ることができる。

請求項３に係るプレゼンテーションコンテンツ検索システムは、前記検索手段は、前記検索の適合度を求めるに際して、前記プレゼンテーションを撮影した録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて前記各キーワードに対する検索の適合度を求めることを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、前記プレゼンテーションを撮影した録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて求められる各キーワードに対する検索の適合度を求めることによって、より正確かつ重要な情報へのアクセスが可能となり、検索精度の向上を図ることが可能となる。

請求項４に係るプレゼンテーションコンテンツ検索システムは、前記検索手段は、前記プレゼンテーション資料に含まれる文字列から、単語を切り出し、この切り出した各単語をインデックスとするメタデータを作成するメタデータ作成手段を含み、このメタデータに基づいて、前記検索キーワードに対する検索の適合度に応じて情報を検索することを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、前記プレゼンテーション資料に含まれる文字列から、単語を切り出し、この切り出した各単語をインデックスとするメタデータに基づいて、前記検索キーワードに対する検索の適合度に応じて情報を検索することによって、検索を迅速に行うことができる。これによって、プレゼンテーション資料が膨大な情報を含むものであるほど、検索精度の向上と相まって、効率的に目的の情報にヒットすることが可能となる。

請求項５に係るプレゼンテーションコンテンツ検索システムは、前記検索手段は、検索キーワードで前記プレゼンテーション資料を検索し、プレゼンテーション資料内における前記キーワードの出現位置、前記キーワードの文字サイズ、ならびに前記キーワードが置かれるレベルのインデント情報および編集情報のうちの少なくとも１つに応じて、各検索キーワードの適合度を計算し、この検索キーワードの適合度と前記ポインタの位置情報に基づいて求められた検索の適合度とに基づき、ヒットした情報を順位付けることを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、プレゼンテーション資料内における前記キーワードの出現位置、前記キーワードの文字サイズ、ならびに前記キーワードが置かれるレベルのインデント情報および編集情報のうちの少なくとも１つに応じて、各検索キーワードの適合度を計算し、この検索キーワードの適合度と、前記ポインタの位置情報に基づいて求められた検索の適合度とに基づき、ヒットした情報を順位付けることによって、利用者（検索者）の意図に沿ってより正確かつ重要な情報へのアクセスが可能となり、検索精度の向上を図ることが可能となる。

請求項６に係るプレゼンテーションコンテンツ検索システムは、前記検索手段は、前記検索の結果、順位付けられた情報を提示するときに、この情報と関連付けられた画像も併せて提示することを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、順位付けられた情報とともに、関連つけられた画像も併せて提示することによって、利用者（検索者）が求める情報へのアクセスを迅速に行うことができるとともに、検索精度の向上を図ることができる。

請求項７に係るプレゼンテーションコンテンツ検索システムは、前記情報と関連付けられた画像、および、その画像に時系列で隣接する複数の画像をサムネイル表示し、それぞれのサムネイルを、前記画像の提示時間、および／または前記適合度に応じたサイズで提示することを特徴とする。

このプレゼンテーションコンテンツ検索システムでは、前記情報と関連付けられた画像、および、その画像に時系列で隣接する複数の画像をサムネイル表示し、それぞれのサムネイルを、前記画像の提示時間、および／または前記適合度に応じたサイズで提示することによって、検索キーワードへの適合度の高い情報を含む画像に視覚的に分かり易く迅速にアクセスすることが可能となる。

請求項８に係る発明は、プレゼンテーション資料とそのプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像を同期配信可能にしたプレゼンテーションコンテンツに対し、プレゼンテーション資料に含まれる情報を用いてプレゼンテーション内の部分単位での検索を行うプレゼンテーションコンテンツ資料検索方法であって、前記プレゼンテーション資料を用いて行われたプレゼンテーションのビデオ録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーションコンテンツ中の検索単位ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求め、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して記憶手段に格納されているプレゼンテーションコンテンツを検索し、検索キーワードに対してヒットしたプレゼンテーションコンテンツの各部分を順位付ける検索段階を含むことを特徴とするポインタの位置情報を利用するプレゼンテーションコンテンツ検索方法を提供する。

このプレゼンテーションコンテンツ検索方法では、プレゼンテーションを撮影した録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーション資料に含まれる情報ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求めることによって、プレゼンテーション資料中の情報を検索する際に、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して検索することができる。そのため、より検索キーワードへの適合度が高いとともに、そのプレゼンテーションにおいて、プレゼンテーション資料を提供する講演者等にとって、強調したい重要度の高い情報であり、そのプレゼンテーション資料中の情報を検索する利用者にとってもより有用である情報にアクセスすることが可能となり、検索精度の向上を図ることができる。例えば、あるキーワードで膨大な数のプレゼンテーション資料がヒットした場合は、本システムで算出した適合度の上位何件かを提示するなどという形式で、適正な絞り込みが可能となる。

請求項９に係るプレゼンテーションコンテンツ検索方法は、前記検索段階は、前記プレゼンテーションのビデオ録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めるステップを含むことを特徴とする。

このプレゼンテーションコンテンツ検索方法では、前記プレゼンテーションを撮影した録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めることによって、プレゼンテーション資料中の情報を検索する際に、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して検索することができる。このポインタの指示位置の近傍の文字列が示す情報が、より検索キーワードへの適合度が高いとともに、そのプレゼンテーションにおいて、プレゼンテーション資料を提供する講演者等にとって、強調したい重要度の高い情報を含む箇所であり、そのプレゼンテーション資料中の情報を検索する利用者にとってもより有用である情報にアクセスすることが可能となり、検索精度の向上を図ることができる。

請求項１０に係るプレゼンテーションコンテンツ検索方法は、前記検索段階は、前記検索の適合度を求めるに際して、前記プレゼンテーションのビデオ録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて前記各キーワードに対する検索の適合度を求めることを特徴とする。

このプレゼンテーションコンテンツ検索方法では、前記プレゼンテーションを撮影した録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて求められる各キーワードに対する検索の適合度を求めることによって、より正確かつ重要な情報へのアクセスが可能となり、検索精度の向上を図ることが可能となる。

さらにまた、請求項１１に係る発明は、前記のポインタの位置情報を利用するプレゼンテーション資料検索方法をコンピュータによって実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体を提供する。

この記録媒体に記録したプログラムをコンピュータに読み取らせて実行させることによって、前記プレゼンテーション資料検索方法を実行することができる。

本発明の検索システムによれば、プレゼンテーション中に用いられるポインタの位置情報を利用して、プレゼンテーションの際に、ポインタを用いて指示して説明されている内容は、プレゼンターが強調したい重要な情報を含む部分であり、その情報は、利用者（検索者）にとってもより有用な情報を含むものであると考えられ、この情報に基づいて適合度を設定して検索の指標とすることによって、検索精度の向上を図ることができる。すなわち、利用者（検索者）が望む有用な情報に迅速にアクセスすることが可能となる。特に、ポインタの位置情報を画像認識により抽出し、ポインタの位置情報をＵＰＲＩＳＥによる検索システムに統合するためにサブシーンという抽象モデルを導入して、それらを用いてポインタの位置情報を適合度の設定に利用することにより、プレゼンテーション資料中の膨大なデータの中から、検索キーワードへの適合度が高く、かつ、重要度の高い情報へ迅速にアクセスすることが可能となる。例えば、ある検索キーワードで膨大な数のデータがヒットした場合は、本発明によって算出した適合度の上位何件かを提示するなどという形式で、適正な絞り込みが可能となる。

次に、本発明のプレゼンテーションコンテンツ検索システムおよびその方法に係る実施形態について、適宜図面を参照しながら詳細に説明する。
本実施形態では、講義・講演等のプレゼンテーションにおけるプレゼンテーション資料とそのビデオ撮影による録画画像をメタデータによる統合コンテンツとして蓄積し、その特性を利用して検索するＵＰＲＩＳＥ(Unified Presentation Contents Retrieval by Impression Search Engine)システムを利用し、そのＵＰＲＩＳＥによって求められる検索キーワードに対する検索の適合度に、さらに、ポインタの位置情報に基づく情報の適合度を利用して、検索精度の向上を図る。また、以下の説明において、プレゼンテーション資料として、スライドを用いる場合について説明する。

そこで、初めに、ＵＰＲＩＳＥにおけるコンテンツの統合について説明する。
図１においては、メタデータによるコンテンツの統合のために、動画ストリームをシーンの連続であるとし、各シーンとそこで使用されたプレゼンテーション資料とを対応付けている。そして、シーンとプレゼンテーション資料との対応情報、および各シーン、プレゼンテーション資料の検索用インデクスをデータベースに格納し、検索に利用する。すなわち、ＵＰＲＩＳＥにおけるコンテンツ検索機能は、検索キーワードに対する適合度という、コンテンツの特徴を活かした検索指標を利用している。ここで、適合度とは、あるキーワードに対してプレゼンテーション中の各シーン毎に算出されるポイントであり、シーン中で使用している資料スライドの情報や、そのスライドの説明に要した時間等を利用して計算されている。ＵＰＲＩＳＥは、この適合度を用いて、ユーザ（検索者）に動画のシーン中で用いられたスライドのサムネイルを適合度順に表示する。

図２に、ＵＰＲＩＳＥによるコンテンツ統合の概念図を示す。メタデータには、動画のどの時刻にスライドの切り替えが起こったかというシーン情報と、その際にどのスライドを用いていたかという同期情報と、スライドに含まれる文字列情報に対するインデクスとが含まれる。これらの情報を保持するメタデータによってコンテンツを緩く結合することにより、個々のコンテンツが持つ情報に修正を加えることなくコンテンツの同期表示を実現し、柔軟な統合を可能にしている。また、このメタデータから得られるスライドの使用順序やスライド毎の説明に要した時間という情報を用いることによって各シーンの特性が具体化され、シーンの特性に基づいた検索が可能になる。

図３は、ＵＰＲＩＳＥによるプレゼンテーションコンテンツ検索システムの一例を示すブロック図である。図３に示すように、ＵＰＲＩＳＥによるプレゼンテーションコンテンツ検索システム１００は、メタデータ作成手段１１０、同期手段１２０、検索手段１３０、および提示（表示）手段１４０を含む。

このプレゼンテーションコンテンツ検索システム１００において、メタデータ作成手段１１０は、記憶手段に格納された膨大な量のコンテンツデータベースから電子化されたスライド形式のプレゼンテーション資料を読み出し、これに基づきメタデータを作成し、メタデータデータベースを構築し記憶手段に格納する。次に、同期手段１２０は、コンテンツデータベースから映像（撮影）データを読み出し、これを対応するプレゼンテーション資料の各スライドに関連付けるなどして同期化し、これを前記メタデータに統合する。

ユーザ（検索者）は、直接的に或いはネットワーク（図示せず）を介して、検索システム１００にアクセスし、所望のキーワードを入力する。検索システム１００は、この入力されたキーワードを受け、これに基づき検索手段１３０において前記メタデータを検索する。検索手段１３０は、第１の適合度算出手段１３１、第２の適合度算出手段１３２、第３の適合度算出手段１３３、第４の適合度算出手段１３４、および順位付け手段１３８を含む。第１の適合度算出手段１３１では単一スライド内でのキーワードの出現位置などに基づき適合度を計算し、第２の適合度算出手段１３２では各スライドの提示時間に基づき適合度を計算し、第３の適合度算出手段１３３では前後複数のスライドに含まれるキーワードに基づく適合度を計算し、最後に第４の適合度算出手段１３４では複数キーワードの共起に基づき適合度を計算する。これらの少なくとも１つの適合度を用いて順位付け手段１３８は、ヒットしたスライドを順位付ける。提示手段１４０は、順位付けに従って、適合度の高い順にヒットしたスライドをユーザへ提示する。

以下では、ＵＰＲＩＳＥの検索において用いる、適合度算出方法について述べる。
このＵＰＲＩＳＥは、以下の適合度を検索に用いる。
Ｉｐ：スライドの文書構造(インデント，文字のサイズ等)を考慮した適合度
Ｉｄ：Ｉｐにシーンの時間情報を考慮した適合度
Ｉｃ：Ｉｄに前後のシーンを考慮した適合度
ＳＦＰ：キーワードの特定性を考慮した適合度
次に、これらの適合度Ｉｐ、Ｉｄ、ＩｃおよびＳＦＰについて説明する。

＜適合度Ｉｐ＞
適合度Ｉｐはスライドの文書構造を考慮した適合度であり、下記式で表される。

ここで、ｓはシーン、ｋはキーワード、ｌは行数であり、Ｐ（ｓ，ｌ）はシーンｓで用いられたスライドの行ｌに与えられるポイント、Ｃ（ｓ，ｋ，ｌ）はシーンｓで用いられたスライドの行ｌにキーワードｋが含まれる個数を表している。さらに、Ｐ（ｓ，ｌ）において行のインデントや文字の大きさに応じて重み付けをし、キーワードの出現回数だけではなく出現位置も考慮する。

＜適合度Ｉｄ＞
適合度ＩｄはＩｐにシーンの時間情報を付加した適合度であり、以下の式によって表される。

ここで、Ｔ（ｓ）はシーンｓの時間であり、θは時間の影響の強弱を定めるパラメタ、ｕは単位時間を定めるパラメタである。これによって、長い説明を行っているシーンを重要視することができる。

＜適合度Ｉｃ＞
適合度ＩｃはＩｄにシーンの前後関係を付加した適合度であり、以下の式によって表される。

ここで、δは考慮する前後シーンの範囲を定めるパラメタであり、Ｅ（γ−ｓ，ε₁，ε₂）は前後関係の強弱を定める関数であり、下記式で表される。なお、γは、シーンｓ、およびその前後シーンである。

この適合度Ｉｃによって、適合度はそのシーンの前後δだけの範囲の影響を受け、εが小さいほど影響を受けやすくなる。例えば、δ＝４，ε₁＝５．０，ε₂＝０．５であるとき、そのシーンの適合度は前後４シーンの適合度に影響を受け、後に続くシーンのほうにより強い影響を受ける。

＜適合度ＳＦＰ＞
Ｉｐにおいて、キーワードの出現回数の多いシーンに多くの適合度を与えている。これはキーワードの網羅性(exhaustivity)を考慮した手法で、Ｉｐを拡張したＩｄ，Ｉｃも同様に網羅性を考慮している。
しかし、網羅性への考慮だけでは、キーワードが複数の際に適切な結果を得ることはできない。多くのシーンに出現するキーワードと、いくつかのシーンのみに出現するキーワードでは、後者の方がシーンをより特定している。多くのシーンに出現するようなキーワードは目的のシーンを特定する性質(特定性:specificity)が低い。したがって、シーン検索においては、網羅性だけではなくキーワードの特定性も考慮して適合度を算出しなければならない。

そこで、キーワードのプレゼンテーション中での出現頻度を表す適合度として、適合度ＳＦＰを用いる。この適合度ＳＦＰは、シーンｓが出現するプレゼンテーションをＰ（ｓ），Ｐ（ｓ）に含まれるシーン数をＮ（ｓ），プレゼンテーションＰ（ｓ）でキーワードｋが出現するシーンの数をｐｆ（ｋ，ｓ）として、下記式で表される。

この適合度ＳＦＰ（ｓ，ｋ）の逆数を掛け合わせることによって、多くのシーンに頻出するキーワードの適合度への影響を抑え、限られたシーンに出現するキーワードの影響を多く反映した検索を可能にすることができる。

本実施形態では、これらのキーワードの位置情報やキーワードを含むスライドの提示時間を元に算出される適合度Ｉｐ、Ｉｄ，ＩｃまたはＳＦＰに、ポインタの位置情報に基づく適合度を組み合わせることによって、検索精度を向上させる。前記のＵＰＲＩＳＥによる検索方法では、動画中に同じスライドが複数回出現する場合にそれらを異なるシーンとして区別し、個別に適合度を算出している。これにより、それぞれのプレゼンテーションは対応する動画のシーンの集合として抽象化され、プレゼンテーション中の任意のシーンが検索可能になるが、本実施形態では、さらに、シーンをさらにサブシーンに分割して、ポインタの位置情報を取り入れることによって、適合度の計算を行う。そこで、以下に、画像認識によって、動画コンテンツからポインタの光点に関する情報を抽出し、適合度を算出する方法について説明する。

＜ポインタの位置情報の抽出＞
ポインタの位置情報の抽出は、動画ストリーム（動画コンテンツ）からポインタの光点に関する情報を、所定の時間間隔で、画像認識によって抽出することによって行うことができる。画像認識を行う時間間隔は、例えば、1秒の時間間隔で行い、スライドの画像中に出現した光点の位置座標と、その出現時刻とを組として光点情報を抽出する。これにより、プレゼンテーション中の時間軸上のある時点で、ポインタが出現したことを情報として取得できる。このポインタの位置情報の抽出は、公知の方法で行うことができ、例えば、Yutaka Katsuyama, Noriaki Ozawa, Jun Sun, Hiroaki Takebe, Takashi Kobayashi, Haruo Yokota, and Satoshi Naoi. A new solution for extracting laser pointer information from lecture videos. In Proc. of E-learn2004, pages 2713−2718, 10 2004.に記載の方法によって、行うことができる。

次に，画像認識によって抽出したポインタの光点座標に対してスライド上で最も近い行の文字列を取得する。これは、ポインタを当てるという行為の対象がスライド中の一行であることが多いことから、座標ではなく文字列としてポインタ情報を持つほうが検索の際に利用しやすいためである。このとき、同じ文字列を取得した連続の光点を一回のポインタを指す行為と定義し、一つのポインタ情報として統合する。したがって、一つのポインタ情報は行文字列の他に、当たった時間の長さの情報を有する。

また、レーザーポインタはある1行に対して正確に当て続けることが容易ではないため、ポインタの光点は対象行から外れてしまうことが多い。そのため、1秒ごとに光点に最も近い行を取得しているだけではプレゼンターの意図と異なる行をポインタの位置情報として抽出してしまうことがある。そこで、図４に示すように、一回のポインタに対し，近傍の数行（Ｐ´ｓａｎｏｔｈｅｒｌｉｎｅ）をポインタが当たった行の次候補として取得しておく。最も近い行（Ｐ´ｓｌｉｎｅ）と、その付近のいくつかの行（Ｐ´ｓａｎｏｔｈｅｒｌｉｎｅ）とを組にしてポインタの位置情報とすることで、プレゼンターの意図と光点とのぶれをある程度解消することができる。

このとき、ポインタの位置情報は、下記のようなｘｍｌファイルとして抽出され、保管される。

図５は、このポインタの位置情報の抽出処理を示す図である。
このポインタの位置情報の抽出処理は、まず、プレゼンテーション資料から資料メタデータが抽出され、資料メタデータのｘｍｌファイルが生成される。一方、プレゼンテーションを撮影した録画画像の動画ストリームを含む動画ファイルから、前記のようにして、ポインタの位置情報が抽出され、このポインタの位置情報を対応するプレゼンテーション資料の各シーンに関連付けるなどして同期化して同期情報ｘｍｌファイルを生成する。そして、資料メタデータｘｍｌファイルと、同期情報ｘｍｌファイルとを、メタデータに統合して、データベースに格納する。

このように、統合されたメタデータを格納したデータベースから、利用者（検索者）は、検索キーワードによって所要の情報を検索することができる。このとき、プレゼンテーション資料とポインタの位置情報とが、ともにメタデータ化されているため、迅速な検索が可能となる。

＜ポインタの位置情報の抽象化＞
ここで、ポインタの位置情報の抽象化に際して、そのポインタの位置情報を利用して、下記の（１）〜（５）の事項を考慮して適切な適合度を算出することが望ましい。
（１）ポインタの座標に対してスライド上で最も近い行の文字列を考慮する。これは、座標ではなく文字列としてポインタの位置情報を持つほうが検索の際に利用しやすいためである。また、ポインタを当てるという行為の対象がスライド中の一行であることが多いことも理由の一つである。
（２）同じ文字列を取得した連続の点を一回のポインタを指す行為とし、一つのポインタの位置情報として統合する。一つのポインタの位置情報は、行文字列の他に、光点が当たった時間の長さの情報を有する。
（３）ポインタはある1行に対して正確に当て続けることが容易ではないため、ポインタの点は対象行から外れてしまうことも多い。そのため、ある期間（例えば1秒ごと）に点に最も近い行を取得しているだけでは講師の意図と異なる行をポインタ情報として抽出してしまう。そこで、一回のポインタに対し、近傍の数行をポインタが当たった行の次候補として取得しておく。最も近い行とその付近のいくつかの行を組にしてポインタ情報とすることで、講師の意図と光点のぶれをある程度解消することができる。
（４）あるポインタが当たっている間、講師はポインタを当てている行に対して説明をしていると考える。このことから、あるシーンの中で1回のポインタに対応する部分をより細かい概念として抽象化すると、その一つ一つはある事柄に対して説明を行っている場面がまとまったものとなる。この1回のポインタに相当する部分をサブシーンと定義する。したがって、各シーンはより詳細な内容ごとにまとまったサブシーンを複数持つ。このように定義することで、各シーンで講師がいくつの話題について説明しているのかを知ることができる。
（５）キーワードを含む行に対してポインタが当てられた回数を考慮した適合度を計算する。ポインタは確実に講師の意図どおりに当たるわけではなく、抽出した情報も誤差を含む。このため、ポインタの回数はその情報の信頼度を考慮し、キーワードが全候補行に含まれていたときに1とするような、回数の期待値として数値化する。こうして得られるポインタごとの回数の期待値をシーンごとに合計し、各シーンの適合度加算分とする。この加算分を用いて、検索候補の絞込みを行う。

そして、ポインタの位置情報の抽象化に際して、ポインタの光点が当たっている間、プレゼンターはポインタを当てている行に対して説明をしていると考えられる。このことから、あるシーンの中で１回のポインタに対応する部分をより細かい概念として抽象化すると、その一つ一つはある事柄に対して説明を行っている場面がまとまったものとなる。そこで、この1回のポインタに相当する部分をサブシーンと定義する。したがって、各シーンはより詳細な内容ごとにまとまったサブシーンを複数持つことになる。このようにシーンをサブシーンに分割することで、各シーンでプレゼンターがいくつの話題について説明しているのかをも知ることができる。

図６に、本発明の資料検索システムにおけるシーンとサブシーンの関係について示す。ここで、複数のシーンにまたがるポインタはないと考える。したがって、各サブシーンはある特定のシーンに属することになる。

まず、キーワードを含む行に対してポインタが当てられた回数を考慮した適合度について説明する。ポインタは確実に講師の意図どおりに当たるわけではなく、抽出した情報も誤差を含む。この問題を解消するため、対象行以外に候補となる行を持つことが望ましいことは前述の通りである。このため、ポインタの回数はその情報の信頼度を考慮し、キーワードが全候補行に含まれていたときに1とするような、回数の期待値として数値化することができる。こうして得られるポインタごとの回数の期待値をシーンごとに合計し、各シーンの適合度加算分とする。シーンｓ、キーワードｋに対するこの加算分をｐｏｃ（ｓ，ｋ）(Pointer Of Count)とし、下記式で表される。

ここで、ｔはサブシーンを表し、Ｔはシーンｓが有するサブシーンの数を表す。また、Ｗ（ｓ，ｔ，ｋ）はシーンｓのサブシーンｔにおけるキーワードｋの出現回数の期待値である。

次に、ポインタの時間情報を考慮した適合度を考える。上で算出したポインタごとの回数の期待値に対して、各ポインタが当たっていた時間を掛け合わせることで、ポインタの時間の期待値が得られる。この時間の期待値をシーンごとに合計し、適合度加算分とする。この加算分をｐｏｄ（ｓ，ｋ）（Pointer Of Duration)とする。ここで、ｓ，ｋは前記のｐｏｃ（ｓ，ｋ）におけるｓ，ｋと同様である。ｐｏｄ（ｓ，ｋ）は、下記式で表される。

ここで、Ｔ（ｓ，ｔ）はシーンｓのサブシーンｔの時間を表す。すなわち、サブシーンｔに対応するポインタの光点が当たっている時間を表す。

次に、以上のようにして抽出されたポインタの位置情報を、前記ＵＰＲＩＳＥで求められた適合度Ｉｐ、Ｉｄ、Ｉｃと統合して、情報の検索に利用するために、前記ＵＰＲＩＳＥで求められた適合度に、ポインタの位置情報から求められる適合度を統合した新しい適合度を算出する。

＜適合度＞
ポインタの位置情報による適合度を、ＵＰＲＩＳＥで求められた適合度のどの箇所と統合するかによって、いくつかの適合度が算出される。以下では、基本となる適合度をＩｃとし、文書構造部分から求められる適合度Ｉｐ、時間情報部分から求められる適合度Ｉｄ、文脈情報部分から求められる適合度Ｉｃのそれぞれにおいてポインタ情報を統合した適合度を算出する。

＜適合度I_p+poc＞
まず、適合度Ｉｐの段階、すなわち、スライドの文書構造情報に統合する手法を説明する。適合度Ｉｐによるキーワードの網羅性に対し、ポインタの出現回数の期待値であるｐｏｃ（ｓ，ｋ）を足し合わせ、ポインタが当たっていたときにそのシーンにおけるキーワード出現回数が増えたとみなす。この値をＩｐとしてＩｃを求めたものを適合度I_p+pocとし、下記式のように表される。

ここで、ｄはＩｐのＰ（ｓ，ｌ）と対応するパラメタで、ポインタの出現回数のスライド文書情報に対する影響度を与える。例えば、Ｐ（ｓ，ｌ）においてタイトル行に１０ポイント与えると定義されていて、ｄ＝１０とした場合、キーワードを含む行にポインタが１回当たることは、そのスライドのタイトルにキーワードが1つ含まれていることと同等の意味を持つことになる。

＜適合度Ｉ_d+pod＞
次に、適合度Ｉｄの段階、すなわち、シーンの時間情報に統合する手法について説明する。シーンごとの時間情報である。

に対し、ポインタの時間の期待値であるｐｏｄ(ｓ，ｋ)を足し合わせ、ポインタが当たっていたときにそのシーンの時間に加点する。こうして求めた時間情報を用いてＩｃを求める。この適合度をＩ_d+podとし、下記式で表される。

ここで、ω₁およびω₂はポインタの出現時間とシーンの時間との影響度を調節するパラメタである。例えば、ω₁＝１、ω₂＝１０である場合、ポインタが1秒間当たることはそのシーンが１０秒伸びることに相当する。

＜適合度Ｉ_c+poc，Ｉ_c+pod＞
最後に、Ｉｃで与えられた各シーンごとの適合度に対して、ポインタの位置情報によ
る適合度の全ポインタ情報に対する比率を掛け合わせる。この手法では、該当シーンのポインタ情報のみを考慮している。この手法をｐｏｃ（s，k）およびｐｏｄ(s，k）に対して適用し、それぞれをＩ_c+poc，Ｉ_c+podとし、下記式で表される。

ここで、αおよびβはポインタ情報の影響度を表すパラメタである。また、ｐｏｃ（ｓ）とｐｏｄ（ｓ）は、シーンｓに属する全サブシーンの数および時間の総和を表し、Ｓはプレゼンテーションにおけるシーンの数である。

次に、本実施形態によるプレゼンテーションコンテンツ検索システムにおける検索手順の一例を説明する。

まず、利用者（検索者）が、プレゼンテーションコンテンツ検索システムにアクセスして、所望の検索キーワードを入力する。これによって、検索システムは、入力された検索キーワードに基づいて、図５に示すデータベースＤＢに格納された統合メタデータを検索する。このとき、検索手段は、前記適合度（I_p+poc、Ｉ_d+pod、Ｉ_c+poc，Ｉ_c+pod）を計算し、求められた適合度を用いて、ヒットしたスライドを順位付ける。そして、提示手段は、その順位付けに基づいて、適合度の高い順にスライドを利用者（検索者）に提示する。

このとき、検索システムは、求められた適合度を用いて、検索キーワードにヒットしたスライドと、時間軸上でその前後のスライドについても、それぞれ適合度を算出し、適合度の順にサムネイル表示することが望ましい。そして、サムネイルをマウスなどでクリックすると、選択されたスライドの対応する時点から、選択されたスライド（プレゼンテーション資料）と講義ビデオを同期させ、１つのコンテンツとして統合して再生するようにしてもよい。さらに、ユーザの検索の目的に応じて、適合度、および／または、プレゼンテーション時間に応じたサイズでサムネイル表示することもできる。これによって、多量のデータを含むプレゼンテーション資料の中から、視覚的に容易に把握できる状態で所要の情報を検索することが可能となる。

このとき、前記のようにして算出された適合度I_p+poc、Ｉ_d+pod、Ｉ_c+poc，Ｉ_c+podの順に、プレゼンテーション資料をサムネイル表示する。このとき、サムネイルのサイズは、適合度に応じた大きさとすることによって、ユーザ（検索者）による適合度の視覚的な把握を助けることができる。また、サムネイルのサイズは、各スライドのプレゼンテーション時間に応じた大きさとすることも可能である。

本実施形態は、スライド形式のプレゼンテーション資料によるｅ−ラーニングのみならず、教育資料を用いた通常の講義資料、営業活動における提案資料、或いは、学術会議などでの発表資料などをプレゼンテーション資料とする場合にも、適用することができる。

前記実施形態では、ポインタの位置情報を、情報表示画面上の光点から最も近い文字列の行を取得し、連続して同じ行を取得した光点を一つのポインタとしてまとめるという手法を採用して、ポインタの時間情報を取得した。しかし、ある行を取得した光点から，何秒か後にたまたま同じ行に光点が当たってしまった場合、この手法では、２つの光点の間にはポインタが当たっていないにも拘わらず、２点間を統合して一つのポインタとして認識してしまうことがある。そこで、例えば、同じ行を取得する離れた２点間がつながってしまう問題では、適切な間隔の閾値を設けることが望ましい。

また、前記実施形態では、適合度のパラメタは任意に指定したいくつかの値を用いたが、パラメタを最適化することでより検索精度の向上を図ることができる。例えば、多くの資料を蓄積し、統計的手法を用いることによって、前記パラメータを最適化して検索精度の向上を図ることが望ましい。

さらに、前記実施形態では、ポインタの位置情報として、ポインタの光点付近の行文字列を単位として抽出した。しかし、ポインタを指す行為には、行ではなく単語に対して焦点を当てるという場合も多く存在する。そこで、画像認識で得られた座標付近の単語を抽出して検索に用いることでよりポインタの影響を特定することが望ましい。

また、一般に、ポインタの使用傾向は、プレゼンテーションを行う者、例えば、講師によって異なる部分が多い。さらに、使用頻度によって、ポインタを指すことの価値も異なる。全部のスライドに対して網羅的にポインタを使うのであれば、ポインタ一つ一つの価値は低い。逆に極めてポインタが限られた回数しか用いられない場合でも、ポインタを指すことを忘れていたという場合もある。そこで、これらを分析し、ポインタの使用傾向を検索に利用することが望ましい。

また、スライドの種別によっても、ポインタを指すことの意味が変わることもある。例えば目次のスライドでは、項目が多いためにポインタを多用することが多いが、そのスライドを用いたシーンの重要度が大きいとは言えないことが多い。また、図を含むスライドでは図中に余分な行要素が散在することによって、ポインタが多く使われているにも拘わらずキーワードを持たないために重要度が上がらないということもある。そこで、これらを分析し、有用なポインタとそうでないポインタを区別することが望ましい。

また、前記の実施形態では、ポインタの位置情報に基づいて適合度を算出しているが、シーン中で説明している内容をより細かく取得できる方法として，動画中の音声情報を利用してもよい。例えば、音声認識もしくは文字起こしを行ったテキストをポインタ情報の文字列と連携させることにより、よりシーンの特性を正確に抽出することができると考える。

さらに、ポインタの誤認識および指示部の揺れに対して、前記の実施形態では、複数候補をとるという信頼度での対応を行ったが、音声情報を用いればポインタ情報の精度を向上させることができると考える。

この音声情報を利用する検索システムとして、例えば、講演者が行った説明の音声を録音し、この音声を音声認識ソフトによって文字データに変換し、対応するサブシーン内の文字情報として格納することで、ポインタによる文字情報と同様に格納し、前記のＩｐと同様にして扱う、もしくは双方の一致度合いなどから適合度を計算し、前記他の適合度に加味することにより、プレゼンテーション資料に含まれないが、講演者が説明の際に話した内容を利用した検索、ポインタを利用して指示し、繰り返し説明を行った箇所の特定などに利用できる。

以下、本発明の実施例によって本発明をより具体的に説明するが、本発明は以下の実施例に限定されるものではない。

（実施例１）
実際の講義のコンテンツを、ＵＰＲＩＳＥに登録し、登録したコンテンツに対して各適合度ごとの検索実験を行った。

実験は、５３８個のシーンを含む全１２回の講義を１つのコンテンツとして登録し、画像認識によってコンテンツのメタデータを抽出して行った。
（１）全シーンの５３８個に対し、サブシーンを含むシーンは３６８個であり、これは全シーンの６８％であった。
（２）全コンテンツにおいて、サブシーンは３８３３個抽出された。
（３）サブシーンを含むシーンにおいて、サブシーンの個数の平均は１０個であった。
（４）サブシーンの平均時間、つまり1回のポインタの平均時間は３．６秒であった。

次に、登録したコンテンツに対し、キーワードについて説明しているシーンを実際に検索する実験を行った。実験は前記に説明した適合度I_p+poc，Ｉ_d+pod，Ｉ_c+poc，Ｉ_d+podおよび従来の適合度であるＩｃを用い、以下の条件の下で行った。
（ａ）パラメタはθ＝０．５，ｕ＝６０，δ＝４，ε₁＝５．０，ε₂＝０．５に固定した。
（ｂ）1回のポインタに対し５つの候補行を取得し、光点からの距離の近い順に０．４，０．３，０．１５，０．１０，０．０５という、回数の期待値を与えた。
（ｃ）各適合度毎に７８種類のキーワードを検索した。
（ｄ）格納された全てのシーンに対して適合度を算出し、順序付けを行った。
（ｅ）キーワードに対し、事前にプレゼンテーション中で最もよく解説していると判断したシーンをそのキーワードの正解シーンとした。
（ｆ）適合度の種類毎に、正解シーンが何番目に順序付けされたかを記録した。

なお、評価に際して指標となる再現率(recall)は検索結果に含まれていた正解が全正解の中で占める割合、適合率(precision)は検索結果に対して正解が占める割合であり、これらは、以下の式で表される。

今回の実験では、正解シーンを各キーワードに対して1つしか与えていないため、再現率は常に０か１をとることになる。しかし、今回、全ての試行において検索結果には正解シーンが含まれているため、以下の結果における再現率は常に1である。そこで、検索範囲を正解シーンの順位までとすると、適合率が以下の式で求まる。ただし、Ｎは検索回数である。

表1は、各適合度における検索結果を順位別に表したものである。なお、表示は１０位までに限っており、評価の指標として適合率、正解シーンが３位までに入ったキーワードの数、および全キーワード中最も悪かった順位を併記した。

なお、表1での各適合度におけるパラメタは、ｄ＝１０，ω₁＝１，ω₂＝１，α＝１０，β＝１０である。

表1より、適合度Ｉ_p+poc以外の適合度では従来のＩｃよりも適合率が上回っていることがわかる。したがって、ポインタ情報による適合度加算が正解シーンの順位を引き上げる効果を持つと言える。つまり、利用者がより求めているシーンに対し、多くのポインタが用いられる傾向があることが導かれる。

なお、正解シーンの中でサブシーンを持たないシーンの数は、７８シーン中２０個であった。利用者が求めるシーンにはおおむねポインタが使われていると言える。

次に、Ｉ_p+pocについて追加実験を行った。Ｉ_p+pocにおけるパラメタとして，そしてｐｏｃ（ｓ，ｋ）内での回数の期待値を変更して検索実験を行った。その結果を表２に示す。

表２に示す結果から、回数の期待値の変化が精度に与える影響はほぼないことが分かる。したがって、回数の期待値のパラメタを変化させても精度に変化がないということから、複数の候補行を取得しておくことが光点のぶれを吸収する目的をある程度果たすことが分かる。

ここで、Ｉ_p+pocの精度が良くない原因について考える。今回、画像認識からポインタを統合する際に、第一候補行が同一であるかどうかをポインタ統合の指標とした。このため、例えば、２０秒間、行lを指すポインタにおいて、ポインタ光点がぶれ、取得した第一候補行が行ｌ，ｌ＋１，ｌ，ｌ−１，ｌのようにぶれてしまった場合では、本来は１つであるポインタが５つに分割されてしまい、行ｌに光点が当たった回数も１回から３回に誤認識されてしまう。このようにポインタの回数情報を誤って取得した結果、たまたま回数の多い余分なシーンが上位にきてしまうことが考えられる。

そこで、表３は、期待値を０．４，０．３，０．１５，０．１，０．０５に固定した上で，パラメタｄを変化させた結果を示す。なお、以下の全ての実験では回数の期待値はこの０．４，０．３，０．１５，０．１，０．０５という値に固定した。

この表３に示す結果から、回数の期待値を変化させたときよりも精度への影響は大きいことがわかる。さらに、ｄを大きくするほど精度が下がってしまっている。このことから、ポインタの位置情報による適合度への影響は、従来のスライド文書構造、シーン時間、文脈構造などと適切な比率をもって考慮すると良い結果が得られるのではないかと考えられる。そこで、他の適合度I_d+pod,I_c+poc,I_c+podについても各パラメタを変化さ
せて検索実験を行った。結果を表４、表５および表６に示す。

これらの表４、表５および表６は、それぞれI_d+pod,I_c+poc,I_c+podのパラメタ
ω₂，α，βを変化させた結果を表している。ここで、α，βは１０付近、ω₂は1付近に向かって精度が向上することが期待できる。パラメタの最適値がばらつくのは、パラメタと適合度ごとに影響度が異なるためであると考えられる。

また、表４、表５および表６に見られる特徴として、ポインタの影響度を大きくするにつれて、全キーワードの順位の中で最も悪い順位が改善されていることがある。これは、ポインタ情報による有効なシーンの順位上昇が低い順位のシーン間においても起きていて、かつ、それが有効に働いていることを示している。適合率には現れないが、これもポインタの位置情報を利用する検索システムの有効性を示すことが分かる。

メタデータによるコンテンツの統合を説明する図である。ＵＰＲＩＳＥによるコンテンツ統合の概念を示す図である。ＵＰＲＩＳＥによるプレゼンテーションコンテンツ検索システムの一例を示すブロック図である。ポインタの位置情報の抽出を説明する図である。ポインタの位置情報の抽出処理を示す図である。本発明のコンテンツ検索システムにおけるシーンとサブシーンの関係を示す図である。

符号の説明

１００プレゼンテーションコンテンツ検索システム
１１０メタデータ作成手段
１２０同期手段
１３０検索手段
１４０提示（表示）手段

Claims

プレゼンテーション資料とそのプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像を同期配信可能にしたプレゼンテーションコンテンツに対し、プレゼンテーション資料に含まれる情報を用いてプレゼンテーション内の部分単位での検索を行うプレゼンテーションコンテンツ検索システムであって、
前記プレゼンテーション資料を用いて行われたプレゼンテーションの録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーション資料に含まれる情報ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求め、この検索の適合度をプレゼンテーション資料中の情報の検索に利用する検索手段を含むことを特徴とするポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記検索手段は、前記プレゼンテーションのビデオ録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めることを特徴とする請求項１に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記検索手段は、前記検索の適合度を求めるに際して、前記プレゼンテーションのビデオ録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて前記各キーワードに対する検索の適合度を求めることを特徴とする請求項１または請求項２に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記検索手段は、前記プレゼンテーション資料に含まれる文字列から、単語を切り出し、この切り出した各単語をインデックスとするメタデータを作成するメタデータ作成手段を含み、このメタデータに基づいて、前記検索キーワードに対する検索の適合度に応じて情報を検索することを特徴とする請求項１〜請求項３のいずれか１項に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記検索手段は、検索キーワードで前記プレゼンテーション資料を検索し、プレゼンテーション資料内における前記キーワードの出現位置、前記キーワードの文字サイズ、ならびに前記キーワードが置かれるレベルのインデント情報および編集情報のうちの少なくとも１つに応じて、各検索キーワードの適合度を計算し、この検索キーワードの適合度と前記ポインタの位置情報に基づいて求められた検索の適合度とに基づき、ヒットした情報を順位付けることを特徴とする請求項１〜請求項４のいずれか１項に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記検索手段は、前記検索の結果、順位付けられた情報を提示するときに、この情報と関連付けられた画像も併せて提示することを特徴とする請求項５に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
前記情報と関連付けられた画像、および、その画像に時系列で隣接する複数の画像をサムネイル表示し、それぞれのサムネイルを、前記画像の提示時間、および／または前記適合度に応じたサイズで提示することを特徴とする請求項６に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索システム。
プレゼンテーション資料とそのプレゼンテーション資料を用いて行われたプレゼンテーションの録画画像を同期配信可能にしたプレゼンテーションコンテンツに対し、プレゼンテーション資料に含まれる情報を用いてプレゼンテーション内の部分単位での検索を行うプレゼンテーションコンテンツ検索方法であって、
前記プレゼンテーション資料を用いて行われたプレゼンテーションのビデオ録画画像におけるポインタの位置情報に基づいて、前記プレゼンテーションコンテンツ中の検索単位ごとの重要度を求め、この重要度に応じて前記プレゼンテーション資料中の検索キーワードに対する検索の適合度を求め、この検索の適合度をプレゼンテーション資料中の情報の検索に利用して記憶手段に格納されているプレゼンテーションコンテンツを検索し、検索キーワードに対してヒットしたプレゼンテーションコンテンツの各部分を順位付ける検索段階を含むことを特徴とするポインタの位置情報を利用するプレゼンテーションコンテンツ検索方法。
前記検索段階は、前記プレゼンテーションのビデオ録画画像における前記ポインタの指示位置の近傍の文字列に応じて、前記検索の適合度を求めるステップを含むことを特徴とする請求項８に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索方法。
前記検索段階は、前記検索の適合度を求めるに際して、前記プレゼンテーションのビデオ録画画像の各シーンを、前記ポインタの位置情報に応じてサブシーンに分割して保存し、前記ポインタの指示時間、指示回数、指示回数、指示位置およびその軌跡のうちの少なくとも１つに応じて前記各キーワードに対する検索の適合度を求めることを特徴とする請求項８または請求項９に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索方法。
請求項８〜請求項１０のいずれか１項に記載のポインタの位置情報を利用するプレゼンテーションコンテンツ検索方法をコンピュータによって実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体。