JP2004185424A - プレゼンテーション記録装置 - Google Patents

Abstract

【課題】映像撮影中の特段の操作を必要とせず、既に記録されたプレゼンテーションの映像に対しても資料データを関連付けることを可能にして、資料に基づいてプレゼンテーション映像の利用を促進する。
【解決手段】部分映像抽出手段６が映像記憶手段５に記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定して抽出し、当該部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定して抽出する一方、資料抽出手段３が資料記憶手段２に記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定して抽出する。映像資料間関連付手段７はこれらフレーム画像と資料画像とに含まれる画像的特徴の共通性に基づいて当該部分画像と当該資料画像とを関連付ける。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、会議や講演などの場でなされるプレゼンテーションの映像に資料データを関連付ける技術に関し、特に、映像撮影中の特段の操作を必要とせず、既に記録されたプレゼンテーションの映像に対しても資料データを後から関連付けることを可能ならしめる技術に関する。
【０００２】
【従来の技術】
例えば、日常業務において、会議参加者全員に会議資料をプロジェクターなどの機器を用いて画像表示して、当該会議資料を参照しながら発言者が説明を行うと言った形式の会議が頻繁に行われる。
このような会議に利用されるプレゼンテーションツールには、会議資料であるプレゼンテーション資料を作成するマイクロソフト社製のＰｏｗｅｒＰｏｉｎｔ（同社の商標）や、プレゼンテーション資料の画像をコンピューターから出カしてスクリーン上へ投射するなどにより提示するための液晶プロジェクターなどがある。
【０００３】
また、会議を記録として残すために、会議をビデオカメラで撮影する場合もある。このような会議資料を用いたプレゼンテーション会議では、会議資料と撮影記録されたビデオデータ（映像）とを関連付けて記録・保存することが再利用の面から有効である。
さらに、会議資料とビデオ・データという単位ではなく、より詳細な（取り扱う粒度の小さな）会議資料のページ単位に会議映像と関連付けて、会議映像及び会議資料を記録して利用に供することが望ましい。
【０００４】
会議資料のページ単位に会議映像と関連付けて、会議映像および会議資料を利用する会議記録に関する従来技術には以下のようなものがある。
講演者と受講者が一堂に会することなくセミナー等のイベントを開催し、イベントの内容を容易に再利用することを目的としたドキュメント処理方法および装置並びにプログラムでは、複数ページで構成されるドキュメントが、各ページ毎に切り替えられて提示された際に、該ページが切り替えられた切替時刻情報を、当該ドキュメントに関連する動画像中に、該動画像の撮影が開始された時刻との相対的な時刻として記録することによって、該切替時刻に基づいてドキュメントをページ毎に切り替えて提示することを可能としている（特許文献１参照。）。
【０００５】
テレビ会議において、端末からの映像と共に蓄積された資料映像や過去の画像などを所望の形態で提示して利用したり、会議履歴を蓄積して所望の形態で表示し閲覧するなど、多様な利用を可能とするために、資料映像を含む参照情報の映像データを蓄積する蓄積手段と端末からのコマンドを解釈するコマンド解釈手段を有するテレビ会議装置を用いて、端末からの映像を含む複数の映像データを一つの映像に合成することを可能としている（特許文献２参照。）。
【０００６】
会議等におけるプレゼンテーションで用いられる資料とこの資料を説明する映像・音声とを対応付けて記録することにより、資料と映像・音声とを同期させて再生できるようにするために、利用者の選択操作に応じて選択された資料を出力する資料出力手段、前記資料と対応する映像・音声を入力する映像・音声入力手段、前記選択操作と入力とを検出する検出手段を有し、検出された選択操作情報および入力操作情報をインデックスとするインデックスファイルを作成して蓄積することによって、資料と映像・音声とを同期させて再生することを可能としている（特許文献３参照。）。
【０００７】
講師が講義の進行に合わせて、画面上にあるスライド切り替えボタンのクリック操作をすることによって、ボタンクリック操作のイベント処理として、表示スライドを切り替えるとともにスライド特定情報（スライド画像のファイル名）とイベント発生時の画像再生位置に関する情報（映像蓄積開姶時間からの経過時間）とを関連付けて蓄積して、撮影された映像データとこの映像データと同期をとって表示されるスライドデータとを組み合わせた同期コンテンツの配信を放送型サービスの形式で行うことを可能としている（特許文献４参照。）。
【０００８】
講師がスライド切り替えを行おうとして、次のページのスライドに切り替えるボタンをクリックすると、このボタン・クリック操作をイベントとして、スライド切り替え処理を実行し、さらにスライドに相当するファイル名を取得し、これをスライドを特定するための情報であるスライド特定情報として、当該スライド特定情報をライブ映像と同様の回線経路を経て送信することにより、送信側で発生する映像と送信側で選択的に表示されているスライドとを組み合わせて複数の情報受信装置に対して送信し、受信側では、送信された映像を再生すると同期をとってスライドを表示することを可能としている（特許文献５参照。）。
【０００９】
【特許文献１】
特開２００２―２３２８５８号公報
【特許文献２】
特開２００１―３１３９１５号公報
【特許文献３】
特開２００２―１０９０９９号公報
【特許文献４】
特開２００２―２０９２００号公報
【特許文献５】
特開２０００―１１５７３６号公報
【００１０】
【発明が解決しようとする課題】
上述の従来技術は、いずれも撮影中になされる利用者の操作イベントを取得し、その取得したイベント情報に基づいて会議資料（講義資料やスライド）と会議映像（講義映像やライブ映像）を同期させるものであった。
具体的には、利用者による端末のボタン・クリック操作のイベントを取得し、そのボタン・クリツク時のスライドなどの資料と映像記録位置を特定し、両者を組みにして記録することによって、会議資料と会議映像を関連付けるものであった。
【００１１】
しかしながら、従来の技術は、利用者の操作イベントを取得できることを前提とするものであるので、例えば既に記録された会議映像に、独立に存在する会議資料を後から関連付けて同期利用を可能ならしめることがきるものではないという課題があった。すなわち、会議映像に関連する資料を同期して再生させることができれば当該会議映像の再利用はより効果的になされることは明らかであるが、撮影に際して会議映像と会議資料との関連付け操作及び処理を行っていない会議映像は効果的に再利用することができないという課題があった。
【００１２】
本発明は上記従来の事情に鑑みなされたもので、既に撮影された会議映像などのプレゼンテーション映像に資料データを後からでも関連付けすることを可能にし、プレゼンテーション映像の効果的な利用を促進することを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【００１３】
【課題を解決するための手段】
本発明は、撮影されたプレゼンテーション映像を成す部分映像を特定し、部分映像から抽出した特徴と資料データから抽出した特徴とに基づいて、部分映像と資料データとを関連付けた情報を作成することにより、既に撮影されたプレゼンテーション映像にあっても資料データを関連付けることを実現している。
【００１４】
ここで、本発明では、作成された関連付け情報の利用は種々な形態が考えられるが、例えば、資料画像を縮小させた縮小資料画像をユーザによる選択可能に画面表示するなどで提示し、ユーザにより選択された縮小資料画像に対応する部分映像をユーザに対して画面表示するなどで提示するようにすれば、資料を手掛かりに所望のプレゼンテーション場面を映像再生することができる。
なお、本発明では、部分映像対応するインデックス用画像をユーザによる選択可能に提示し、ユーザにより選択されたインデックス用画像に対応する部分映像をユーザに対して提示するようにして、プレゼンテーション場面である部分映像を更に利用し易くするようにしてもよい。
【００１５】
本発明のより具体的な１つの態様では、資料を用いて行われたプレゼンテーションの映像を撮影して記録し、また、資料のデータを記録し、記録されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定し、部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定し、記録された資料データから当該資料画像データに含まれるページ単位の資料画像を特定し、前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる画像的特徴の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する。
この態様では、部分映像のフレーム画像には同じ資料の画像が映されているので、例えば、フレーム画像の資料部分と関連付けしようとする資料画像との画像相関性が所定上の場合に、当該資料画像の関連付けを行う。したがって、プレゼンテーションに用いられた資料を映像の対応位置に関連付けることができる。
【００１６】
また、本発明のより具体的な他の態様では、プレゼンテーションの映像を撮影して記録し、また、資料のデータを記録し、記録されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定し、部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定し、記録された資料データから当該資料画像データに含まれるページ単位の資料画像を特定し、前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる文字の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する。
この態様では、例えば、映像のフレーム画像に何らかの形（上記のように同じ資料であると、全く他の資料であるとに係わらない）で含まれている文字と、関連付けしようとする資料画像に含まれている文字との共通性が所定上の場合に、当該資料画像の関連付けを行う。したがって、会議に用いられた資料のみならず、会議に用いられなかったが関係がある可能性の高い資料、会議に使用されたが映像には映っていなかった資料なども映像の対応位置に関連付けることができる。
【００１７】
また、本発明のより具体的な他の態様では、プレゼンテーションの映像を撮影して記録し、また、資料のデータを記録し、記録されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定し、記録された資料データから当該資料画像データに含まれるページ単位の資料画像を特定し、部分映像に含まれる音声から認識される語と前記資料画像に含まれる語の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する。
この態様では、例えば、映像に含まれている発言者による音声を文字変換して語を抽出し、関連付けしようとする資料画像に含まれている語との共通性が所定上の場合に、当該資料画像の関連付けを行う。したがって、会議において読み上げられた資料のみならず、会議に用いられなかったが関係がある可能性の高い資料、会議に使用されたが映像には映っていなかった資料なども映像の対応位置に関連付けることができる。
【００１８】
ここで、本発明は、上記の方法、並びに、上記の方法を実現する機能手段を備えた装置、並びに、上記の方法をコンピュータを利用して実現するためのプログラムとして把握される。
【００１９】
【発明の実施の形態】
本発明を、プレゼンテーションの一種である会議を例にした実施例に基づいて、具体的に説明する。
図１には本発明の一実施例に係る会議記録装置（プレゼンテーション記録装置）の構成を示してあり、本例の会議記録装置は、会議資料提示部１、会議資料記録部２、会議資料画像抽出部３、会議映像撮像部４、会議映像記録部５、部分会議映像抽出部６、映像・資料間関連付部７を有している。
【００２０】
会議資料提示部１は会議場に設置される液晶プロジェクター等から構成されており、会議資料記録部２に記録されている会議資料データに基づいて当該会議資料の文書画像を会議参加者に対して表示する。
会議資料記録部２は、データベース装置やパーソナルコンピューター等といった会議資料データを記録保持するメモリを有した装置から構成され、会議場において説明者や補助者の操作によって記録保持している会議資料データを読み出して会議資料提示部１により画像表示させることができる。
ここで、このような会議資料の切換え操作を行った場合、従来技術のように切換え操作イベントを会議映像との関連付けのために取得すことは行わず、このような取得のための装置は不用である。
【００２１】
会議映像撮像部４は、映像（動画像）を撮影するデジタルビデオカメラ等から構成されている。
会議映像記録部５は、データベース装置やパーソナルコンピューター等といった撮影された会議映像を記録保持するメモリを有した装置から構成されている。
【００２２】
ここで、図２に示すように、会議資料提示部１によりスクリーン１０に画像表示された会議資料１１を用いて、会議発表者１２が会議参加者に対して発表を行っている場面を想定して、以下の説明を行う。
会議発表者は、会議資料記録部２に記録された複数ぺ一ジから構成される会議資料を会議資料提示部１の液晶プロジェクターで提示して発表を進める。この発表の状況を会議映像撮像部４のデジタルビデオカメラで、図２に示すように提示された会議資料画像を含めて撮影する。
【００２３】
ここで、図１には便宜的に会議資料提示部１と会議資料抽出部３が同時に会議資料記録部２に接続され、また、会議映像撮像部４と部分会議映像抽出部６が同時に会議映像記録部５に接続されるように記載しているが、後述するように、会議映像の撮影後に会議資料の関連付け処理を行うので、会議映像の撮影時には、会議資料提示部１が会議資料記録部２に接続されて会議資料の提示を行うとともに、会議映像撮像部４が会議映像記録部５に接続されて撮影した会議映像を記録し、また、後に行う会議資料の関連付け処理時には、会議資料抽出部３が会議資料記録部２に接続されて記録されている資料データから資料ページの特定抽出を行うとともに、部分会議映像抽出部６が会議映像記録部５に接続されて記録された会議映像から部分映像の特定抽出を行う。なお、これら会議映像の撮影と会議資料の関連付け処理とを同時に行うことも可能であり、この場合には図１に示すような接続関係となる。
【００２４】
上記のように会議資料提示部１が会議資料記録部２に記録された会議資料を提示し、会議映像撮像部４が発表者の発表の場面を提示された会議資料とともに撮影して、撮影した会議映像データを会議映像記録部５に出力して記録するといった作業で会議映像の撮影が終了する。
【００２５】
そして、会議資料の関連付け処理を行う時には、会議資料抽出部３が会議で提示された会議資料の特定ぺ一ジに対応する画像データを会議資料記録部２から特定して抽出し、会議資料画像データとして映像資料間関連付部７に出カする。また、部分会議映像抽出部６が撮影された会議映像の部分をなす部分映像データを会議映像記録部５から特定して抽出し、更に、部分映像データから特定のフレーム画像を特定して抽出して当該特定フレームを映像資料間関連付部７に出力する。
なお、本例では、部分会議映像抽出部６が内部メモリ６ａに抽出した部分映像１５を保持するが、映像資料間関連付部７に出力して保持させたり、会議映像記録部５に出力して保持させたりしてもよく、要は後の会議映像の利用の際に提示出力できればよい。
【００２６】
映像資料間関連付部７は、会議資料抽出部３から抽出された会議資料のページ画像データおよび部分会議映像抽出部６から抽出された特定フレームとを入力し、会議資料画像ページデータと特定フレームとの整合を判定して、整合性がある会議資料の特定のページと当該会議資料ページに対応した部分映像データとを関連付ける情報を作成する。
すなわち、図３に示すように、会議映像を分割した部分会議映像１５から抽出した特定のフレーム画像１６と、会議資料のページ画像１７との画像的な整合性を判定して、整合性があるときには、特定フレーム画像１６を介して、資料ページ画像１７と部分会議映像１５とを関連付ける。なお、この関連付け情報は、映像資料間関連付部７のメモリ７ａに識別子（ＩＤ）で記述したテーブル１９として、特定フレーム画像データ１６及び資料ページ画像データ１７とともに記録保持される。
【００２７】
ここで、会議資料ページ画像と特定フレーム画像との整合は、例えば次のような方法が採用される。
各画像を二値化し、適切な画像サイズ（例えば、幅１６０画素高さ１２０画素）の画像に縮小し、両者のいわゆる平均二乗誤差（ＭＳＥ）を計量し、当該平均二乗誤差がある既定値（閾値）以下の場合に整合が図られたものとして、会議資料画像データと部分会議映像データとを関連付ける。または、会議資料画像データと特定フレームの各画像を適切な画像サイズに縮小し、縮小した両画像をモノクローム画像（単色の輝度画像）し、相互相関係数を計量し、当該相互相関係数がある既定値以上のものを整合が図られたものとして、会議資料画像データと部分会議映像データとを関連付ける。
【００２８】
なお、このような画像的な特徴の共通性に基づいた会議資料ページ画像と特定フレーム画像との整合判定と共に（或いは、代えて）、例えば、公知の文字認識処理（更には、形態素解析）を行って、会議資料データおよび特定フレームの両画像からそれぞれ文字（更には、語）を抽出し、これら両文字（語）を比較して一定数以上の文字（語）が一致する場合には、両画像の整合が図られたものとして、会議資料画像データと部分会議映像データとを関連付けるといった両画像に含まれる文字の共通性に基づいた整合判定をするようにしてもよい。
【００２９】
画像的な特徴の共通性に基づいた整合判定は、会議映像の特定フレーム画像に映されている資料の画像部分と、関連付けようとする資料ページ画像との共通性が重要な判定要素となる。文字両画像に含まれる文字（更には、語）の共通性に基づいて整合判定を行う場合には、勿論、同様に会議で用いられた資料の関連付けにおいて極めて効果的であるが、会議で使用されていなかった資料等のように会議映像に映されていなかった資料であっても、同じ文字（更には、語）が多く含まれている（すなわち、同じ文字記述や同様な意味記述があって会議に関係があると想定される）ものを会議映像に関連付けることができる。
【００３０】
次に、上記の映像資料間の関連付けに係る処理を更に詳しく説明する。
上記の一連の処理は図４に示すような手順でなされ、会議資料画像抽出ステップＳ１においては、会議資料画像抽出部３が会議資料記録部２に記録されている会議資料から該会議資料の各ぺ一ジ単位の会議資料画像データ１７を抽出し、映像資料間関連付部７に出力して内部メモリ７ａに格納させる。
ここで、会議資料がいわゆるベクターデータとして構成されている場合には、公知のベクター・ラスター変換を用いて会議資料の画像データを抽出することできる。
【００３１】
部分会議映像抽出ステップＳ２においては、部分会議映像抽出部６が会議映像記録部５に記録されている会議映像データから上記会議資料が撮影された会議映像データ中の部分会議映像データ１５を抽出し、部分会議映像抽出部６の内部メモリ６ａに保持する。
ここで、会議映像データから部分会議映像データを抽出するために、公知のいわゆるカット点抽出技術を用いることができる。例えば、映像データの各フレーム画像間の輝度ヒストグラムの変化、ＲＧＢなどの色成分情報についてのヒストグラムの変化などを計量し、変化の大きな時点（映像データにおける時間的な位置）をカット点として、会議映像データを区分することによって部分会議映像データを得ることができる。
【００３２】
より詳しくは、カット点は通常シーンの切り替わり点、シーンは同一の撮影条件で撮影された又は意味的に同一であるとみなされうる連続するフレームとして定義でき、カット点抽出により、結果的にまとまりのある２つのフレーム群を分けることができる。この各フレーム群は部分映像データに対応する。
カット点抽出には、上記のように、輝度ヒストグラムの変化や色成分情報についてのヒストグラム変化などの変化点を抽出するなど様々な方法が考えられ、まとまりのあるフレーム群では輝度ヒストグラムや色成分情報についてのヒストグラムの変化は小さく、逆に、カット点（または、カット点前後）では、それらの変化が大きいと考えられることから、設定する閾値を越える又は下回る変化点を計測することにより、カット点を抽出することができる。
【００３３】
特定フレーム抽出ステップＳ３においては、部分会議映像抽出部６が内部メモリ６ａに保持している部分会議映像データ１５から特定フレーム画像１６を抽出し、映像資料間関連付部７の内部メモリ７ａに出力する。例えば、特定フレーム画像１６としては、部分会議映像データ１５の先頭フレーム又は最後尾のフレーム又は、真中のフレームと言ったように任意の設定に応じて選択するようにすればよい。また、特殊な方法としては、部分映像データ１５に含まれる全てのフレームの平均画画像（平均フレーム）を計算する方法を採用することができ、全てのフレームの各画素値について平均の画素値を有するフレームを特定フレームとするようにしてもよい。
【００３４】
整合ステップＳ４では、映像資料間関連付部７が入力された会議資料ページ画像と特定フレーム画像との整合を図り、会議資料の抽出されたページ１７と、これに対応した特定フレーム１６を含む部分会議映像データ１５とを関連付け、関連付けられた部分会議映像データと会議資料画像データの組をテーブルデータ１９として構造化し、内部メモリ７ａに当該テーブル・データ１９、並びに、対応する特定フレームデータ１６および会議資料画像データ１７更には部分会議映像抽出部６から取得する部分会議映像データ１５を格納する。
【００３５】
ここで、整合ステップＳ４の処理を更に詳しく説明すると、部分映像データ１５から抽出した特定フレーム１６において、対応されるべき会議資料が比較的小さく特定フレーム画像１６の一部にしか撮影されていない場合には、会議資料が映されているフレーム内の領域（会議資料領域：図２を例にすれば画像中のスクリーン１０の領域）を特定して、当該会議資料領域の画像と会議資料ページ画像１７との画像的な整合性を判定すればよい。
このための方法としては、例えば次の二つの方法が考えられる。
【００３６】
会議資料領域を特定する一つの方法は、まず、特定フレーム１６から長方形領域を抽出し、一定時間長方形領域の画像的特徴量が既定の閾値に対して変動しない又は変動が少ない場合に、当該長方形領域を会議資料領域とする。ここで、画像的特徴量として色ヒストグラムや平均輝度などを用いることができる。例えば、会議などで利用される資料は、背景が白で、文字が黒であることが多く、会議資料領域は平均輝度が高いと考えられる。
【００３７】
また、会議資料領域を特定する他の方法は、まず、特定フレーム１６から長方形領域を抽出し、長方形領域内に既定の閾値より多い文字が含まれている場合、当該長方形領域を会議資料利用域とする。ここで、長方形領域から文字データを抽出するには、既存の文字認識ソフトウェア（例えば、富士通株式会社製のＯＡＳＹＳ Ｖ８．０など）を用いることができる。また、川崎らの「講義映像における晩所領域のブロック分割とその応用」（大西正輝、泉正夫、福永邦雄： 電子情報通信学会論文誌， Ｖｏｌ． Ｊ８３−Ｄ１ Ｎｏ．１１ ｐｐ．１１８７−１１９５）に記載されている長方形領域から文字データを抽出する方法を利用することができる。
【００３８】
図５には、整合ステップＳ４で作成されて内部メモリ７ａに格納される関連付け情報テーブルの詳細な構成例を示してある。
当該テーブルデータは、会議資料を識別する会議資料ＩＤ、当該会議資料内の各ページを識別する数値のページ番号、各資料ページにタイトルとして付されている文字列（テキストデータ）を抽出したページ・タイトル、各資料ページ画像データを識別する会議資料画像データＩＤ、会議映像データを識別する会議映像データＩＤ、当該会議映像内の部分映像データを識別する部分会議映像データＩＤの組として表現されている。
【００３９】
会議資料ＩＤは会議資料記録部２によって識別されて付与され、ページ番号およびページ・タイトルは会議資料画像抽出部３によって特定され抽出される。会議資料画像データＩＤは会議資料画像抽出部３によって会議資料画像データを抽出する時点で付与され、会議映像データＩＤは会議映像記録部５によって付与される。部分会議映像データＩＤは部分会議映像抽出部６によって部分会議映像データを抽出する時点で付与される。
このように、事前に何らのイベント処理を必要とせず、会議映像中の部分映像１５に対して会議資料のページ画像１７が関連付けられることにより、例えば後述するように資料ページ画像から所望の会議シーンの画像を再生すると言ったような方法で、既に記録された会議映像を効果的に利用することができるようになる。
【００４０】
図６には本発明の他の一実施例に係る会議記録装置の構成を示してある。
本例は、前記実施例の装置構成に資料ページ画像１７と関連付けがなされた部分映像１５（会議映像）の利用促進を実現するための機能を更に備えたものであり、図１に示した装置と同様な部分には同一符号を付して重複する説明は省略する。
本例の会議記録装置は、会議資料ページ画像１７を縮小画像化して提示するための機能と、部分会議映像１５から抽出したインデックス用フレーム画像を提示するための機能とを備えている。
【００４１】
まず、縮小化機能のために、縮小部２１、資料や会議映像をユーザに対して画面表示するディスプレイを有した提示部２２、画面表示した画像部分に対するポインティング操作などでユーザからの選択指示を受け付ける指示部２３を備えており、映像資料間関連付部７にも下記のような機能が追加されている。
縮小部２１は、会議資料画像抽出部２から抽出された会議資料ページの画像データから図７に示すように各会議資料のぺ一ジを縮小した縮小会議資料ページ画像データ１８を生成し、映像資料間関連付部７に出カする。
【００４２】
映像資料間関連付部７は、縮小会議資料ページ画像データと対応する会議資料ページ画像データ７、対応する部分会議映像データ１５とを関連付け、関連付け情報をテーブルデータ１９として構造化し、内部メモリ７ａに当該テーブルデータおよび前記同様のデータと共に縮小会議資料ページ画像データ１８を格納する。
提示部２２は、図８に示すように映像資料間関連付部７に蓄積されている複数の縮小会議資料ページデータの画像１８を画面２２ａで一覧表示して提示する。
【００４３】
なお、本例の提示部画面２２ａには、複数の縮小会議資料ページ画像１８を一覧表示するための領域として資料ウインドウ２２ｂと、選択された部分会議映像１５を再生表示する領域として会議映像ウインドウ２２ｃが設けられ、更に、部分会議映像１５を再生に対するユーザからのポインティング操作を受け付ける操作ボタン２２ｄ、部分会議映像１５の再生音量調整に対するユーザからのポインティング操作を受け付ける操作子２２ｅなどが設けられている。
【００４４】
指示部２３は資料ウインドウ２２ｃに一覧提示した縮小会議資料ページ画像に対するユーザによる選択指示を受け付け、一覧提示されている縮小会議資料ページ画像１８のどれがユーザによって選択されたかを判別し、当該判別結果を会議資料画像選択情報として提示部２２に出カする。
提示部２２は、指示部２３から入力された会議資料画像選択情報に関連付けられた部分会議映像データ１５を映像資料間関連付部７から取得して会議映像ウインドウ２２ｃに再生表示する。
なお、本例では、縮小会議資料画像１８と部分会議映像１５は同一のディスプレイを分割利用して提示するが、別個なディスプレイによって行うようにしてもよい。
【００４５】
ここで、本例の会議記録装置には編集部２４と出力部２５が備えられている。編集部２４は、ユーザによってなされた縮小会議資料画像の選択情報を指示部２３から得て、当該選択情報に対応する映像資料間関連付部７のテーブルデータ１９を再構成し、また、内部メモリ７ａに格納されているテーブルデータ１９やテーブルデータに関連するデータ１５，１６，１７，１８を、ユーザによる要求に応じて出力部２５から外部のＣＤ―Ｒ書き込み装置やハードディスク装置などと言った記憶媒体に出力する。
【００４６】
次に、縮小部２１による縮小会議資料ページ画像の生成処理について詳しく説明する。
縮小会議資料画像生成の処理は図９に示すような手順でなされる。
タイトル抽出ステップＳ１１において縮小部２１が会議資料画像抽出部３によって特定された資料ページのタイトルテキストデータを取得し、フォント・サイズ取得ステップＳ１２において縮小部２１が取得した前記ページのタイトルテキストデータからタイトル文字のフォントサイズ情報を取得する。
ここでは、ページタイトルのフォントサイズが３２ポイントであり、また、縮小会議資料ページ画像を画面表示したときにユーザが視認可能な最小のフォントサイズが８ポイントであるとする。
【００４７】
会議資料画像縮小率決定ステップＳ１３においては、縮小部２１が前記視認可能な既定の最小のフォントサイズと、タイトルから取得したフォントサイズとを比較し、会議資料ページ画像の縮小率を決定する。具体的には、前記視認可能な既定の最小のフォントサイズの８ポイントを取得したフォントサイズの３２ポイントで除して、会議資料ページ画像データの縮小率０．２５を得る。
会議資料画像縮小ステップＳ１４においては、縮小部２１が会議資料画像縮小率決定ステツプＳ１３で決定された縮小率を用いて、会議資料ページ画像を縮小して縮小会議資料ページ画像データを得る。
【００４８】
このような縮小率とすることにより、資料ページ画像を縮小して画面表示しても、ユーザが当該縮小画像の資料がどのような内容のものかを判別することが保証され、上記の選択操作を的確に行うことができる。
なお、視認可能な既定の最小のフォントサイズは、ユーザによって任意に設定および変更できるように構成してもよい。
【００４９】
ここで、一覧表示する縮小会議資料ページ画像の個数から縮小率を決定する他の方法を説明する。すなわち、縮小部２１が行う上記の会議資料画像縮小ステップＳ１３及び会議資料画像縮小ステップＳ１４の処理内容を次のようにすることもできる。
まず、縮小部２１が会議資料の総ページ数又は資料ウインドウ２２ｂに同時に一覧表示すべき縮小会議資料ページ画像１８の総数を取得する。ここで、会議資料の総ぺ一ジ数は会議資料画像抽出部３から取得し、一覧表示すべき縮小会議資料ページ画像１８の総数はユーザの指定する数を資料ウインドウ２２ｂなどから取得すればよい。例えば、会議資料の総ぺ一ジ数または一覧表示すべき縮小会議資料ページ画像の総数が１６で、これら１６個の縮小会議資料ページ画像１８を４行４列で一覧表示することにする。この行数および列数は同じくユーザからウインドウ画面を通して取得するようにできる。
【００５０】
次に、縮小部２１が一覧表示すべきウインドウ２２ｂの領域サイズと前記行数および列数から縮小会議資料ページ画像１８の１つ当りの画像サイズを算定する。例えば、一覧提示すべき画面の領域のサイズが幅６４０画素、高さ４８０画素であったとすると、幅の画素サイズを列数で除することによって、縮小会議資料ページ画像の幅の画素サイズが決定され、高さの画素サイズを行数で除することによって、縮小会議資料ページ画像の高さの画素サイズが決定される。すなわち、本例の場合、縮小会議資料ページ画像の幅サイズは１６０画素、高さサイズは１２０画素となる。
【００５１】
次いで、決定された縮小会議資料ページ画像高さサイズおよび幅サイズと縮小されるべき会議資料ページ画像サイズを比較することによって、会議資料ページ画像の縮小率を決定する。
具体的には、縮小されるべき会議資料ページ画像の幅サイズおよび高さサイズをそれぞれ６４０画素および４８０画素であるとすると、縮小会議資料ページ画像の幅サイズを会議資料ページ画像の幅サイズで除することによって幅の縮小率は０．２５であることが決定され、縮小会議資料ページ画像の高さサイズを会議資料ページ画像の高さサイズで除することによって、高さの縮小率は０．２５であることが決定される。
【００５２】
次いで、会議資料画像縮小率ステップにおいて、上記のように決定された幅および高さの縮小率を用いて、会議資料ページ画像を縮小して縮小会議資料ページ画像を取得する。
具体的には、会議資料ページ画像データの幅と高さを０．２５倍して縮小し、縮小会議資料ページ画像データを取得する。
【００５３】
更にまた、本例の会議記録装置は、部分会議映像１５から抽出したインデックス用フレーム画像を提示するための機能として、インデックス生成部２６、インデックス提示部２６、インデックス選択部２８を備えている。
【００５４】
インデックス生成部２６は、部分会議映像抽出部６によって抽出された部分会議映像データ１５からインデックス用の特定のフレーム画像２９を抽出して取得し、内部メモリ２６ａに保持する。ここで、特定フレーム抽出ステップＳ３で抽出された特定フレーム画像１６をインデックス画像データ２９として利用するようにしてもよい。
インデックス画像データ２９はインデックス生成部２６によって時間順に拡大もしくは縮小される。インデックス生成部２６は、インデックス画像データ２９と部分会議映像データ１５の対応関係をテーブルデータ３０と内部メモリ２６ａに保持する。なお、本例では、会議映像データや部分会議映像データを必要に応じて会議映像記録部５や部分会議映像抽出部６から取得して、インデックス提示部２７切換え表示したり、或いは、ユーザの手元にあるディスプレイ装置に表示するようにするが、会議映像データや部分会議映像データはインデックス生成部の内部メモリ２６ａに保持させるようにしてもよい。
【００５５】
インデックス提示部２７は、一般的な液晶ディスプレイや液晶プロジェクター等で構成され、図１１に示すように、古いものほど小さくなるように縮小されたインデックス画像２９を時系列順に一覧表示する。本例では、図１１に示すように会議映像の再生と共にインデックス画像一覧２７を表示し、後述するように、これらインデックス画像２９のユーザ選択によって、該当する部分映像を再生できるようにしている。なお、インデツクス提示部２７は例えば会議参加者の手元に用意されたでディスプレイ画面であってもよく、このような用途では、会議の講演後に会議映像を再生しながら必要な講演場面を容易に探して再生することができ、質疑応答などを行うのに便利である。
【００５６】
インデックス選択部２８は、インデックス提示部に表示されたインデックス画像２９をポインティングするなどのユーザによる選択操作を受け付けて、この選択情報に基づいて、インデックス生成部２６が内部メモリのテーブルデータ３０を参照して、選択されたインデックス画像２９に対応する部分会議映像データ１５をインデックス提示部２７に画面表示させる。
図１０には、インデックス生成部２６で構造化されるテーブルデータ３０の例を示してある。このテーブルデータ３０は、インデックス画像データＩＤと部分会議映像データＩＤの組から構成され、インデックス画像データＩＤはインデツクス生成部２６においてインデックス画像データが生成される時点で付与され、部分会議映像データＩＤは部分会議映像抽出部６によって部分会議映像データを抽出する時点で付与される。
【００５７】
次に、本発明の更に他の一実施例を説明する。本例は、特に、会議記録部５に記録された会議映像データと、会議資料記録部２に記録された会議資料データとがそれぞれ複数ある場合の関連付けを説明するものであり、図１を適宜参照して説明する。
複数の会議資料や会議映像を対象としない場合には、会議資料記録部２や会議記録部５は比較的容量の小さいメモリで構成することができるが、本例のように複数の会議資料や会議映像を対象する場合には、会議資料記録部２や会議記録部５を容量の比較的大きなものとして、また、複数ある会議資料や会議映像をそれぞれ識別して読み出せるようにデータベース構造としている。
【００５８】
本例における部分映像と資料ページ画像との関連付け処理は、図１２に示すような手順でなされる。
まず、全会議資料画像抽出ステップＳ２１においては、会議資料記録部２が保存している全ての会議資料データを逐次出力し、前述の会議資料画像抽出ステップＳ１と同様の方法で、会議資料画像抽出部３が全ての会議資料データに対応する各ページ単位の会議資料画像データを抽出し、映像資料間関連付部７の内部メモリ７ａに出力する。
【００５９】
全部分会議映像抽出ステップＳ２２においては、会議映像記録部５が保存している全ての会議映像データを逐次出力し、前述の部分会議映像ステップＳ２と同様の方法で、部分会議映像抽出部６が全ての映像データに対応する部分会議映像データを抽出し、部分会議映像抽出部６の内部メモリ６ａに保持する。
【００６０】
全特定フレーム抽出ステップＳ２３においては、前述の特定フレーム抽出ステップＳ３と同様の方法で、部分会議映像抽出部７が内部メモリ７ａに保持している前記の全ての部分会議映像データの特定フレーム画像を抽出し、これら特定フレーム画像を映像資料間関連付部７の内部メモリ７ａに出力する。なお、前記と同様に、全ての部分会議映像データも映像資料間関連付部７の内部メモリ７ａに出力するようにしてもよい。
【００６１】
拡張した整合ステップＳ２４では、映像資料間関連付部７が内部メモリ７ａに保持している全ての会議資料ページ画像と特定フレーム画像との整合度合いについてのスコアリングを行い、スコアリングの結果をスコアリングテーブルとして表形式で内部メモリ７ａに保持する。
【００６２】
図１３にはスコアリングテーブルの一例を示してあり、列のタイトルは会議資料ＩＤおよび会議資料画像データＩＤ、行のタイトルは会議映像データＩＤおよび部分会議映像データＩＤを示す。表の各要素は、対応する会議資料ページ画像と特定フレーム画像との整合度合いを意味するスコアを持ており、会議資料ページ画像と特定フレーム画像とはスコアに応じた強さの関連付けがなされている。なお、図１３に示すスコアは、会議資料画像データと特定フレームとの平均二乗誤差の累積値を示している。
【００６３】
ここで、上記の実施例にも勿論同様に適用できるが、会議資料ページ画像と特定フレーム画像との整合度合いについてのスコアリングの尺度としては、以下のようなものを用いることができる。
【００６４】
（１）「会議資料ページ画像」と「特定フレーム画像」との平均二乗誤差の累積値、
（２）「会議資料ページ画像」と「特定フレーム画像」との相互相関係数の累積値、
（３）単位部分会議映像データあたりの「会議資料ページ画像」と「特定フレーム画像」との平均二乗誤差の値。ここで、「単位部分会議映像データあたり」は、関係する会議映像データを構成する部分映像データの個数で、「会議資料ページ画像」と「特定フレーム画像」との平均二乗誤差の累積値を除することにより、平均を算出することを意味する。
（４） 単位部分会議映像データあたりの「会議資料ページ画像」と「特定フレーム画像」との相互相関係数の値、
（５）既定もしくは利用者の指定する「会議資料ページ画像」と既定もしくは利用者の指定する「特定フレーム画像」との平均二乗誤差の値、
（６） 既定もしくは利用者の指定する「会議資料ページ画像」と既定もしくは利用者の指定する「特定フレーム画像」との相互相関係数の値、
【００６５】
上記のスコアリングは、全ての会議資料ページ画像と全ての特定フレーム画像とを総当りで行う方法と、段階的に（部分的に）特定の会議資料ページ画像と特定の特定フレーム画像とのスコアリングを行う方法とがある。
後者は、例えば、時間的順次の先頭の会議資料ページ画像と同じく先頭の特定フレーム画像とのスコアリングを行い、既定の閾値以上または以下の場合のみ、後続する会議資料ページ画像と特定フレーム画像とのスコアリングを継続する。なお、平均二乗誤差をスコアリングの尺度としているときには、平均二乗誤差が小さいほど整合していると考えられるので、既定の閾値以下の場合にスコアリングを継続する。一方、相互相関係数をスコアリングの尺度としているときには、相互相関係数が大きいほど整合していると考えられるので、既定の閾値以上の場合にスコアリングを継続する。
【００６６】
このようなスコアリングによって得られた結果に基づいて、映像資料間関連付部７が、例えば、最もスコアリングの値が小さいまたは大きい会議資料ページ画像と特定フレーム画像の組を選択して関連付け情報を作成したり、または、上位の所定個や或る基準値を上回るものといったように、或る基準を満たす複数同士の関連付けを行う。
【００６７】
図１４には本発明の更に他の一実施例に係る会議記録装置の構成を示してある。
本例は、前記実施例の装置構成に会議映像に含まれている発言者の音声に基づいて資料データを関連付ける機能を更に備えたものであり、図１に示した装置と同様な部分には同一符号を付して重複する説明は省略する。
本例の会議記録装置は、会議映像データの撮影中に使用されなかった又は使用したが撮影されなかった会議資料、あるいは、参加者に配布しただけの資料などを、既に記録された会議映像に関連付けるために特に有効である。
【００６８】
この機能を実現するために、本例の装置は、第二の会議資料記録部３１、スキャナーからなる資料文書の読取部３２、文字認識装置３３、音声データ抽出部３４、音声認識部３５を更に備えている。
第二の会議資料記録部３１は、会議資料記録部２に接続され、会議では参照されなかった会議資料又は会議終了後に登録された会議資料又は会議開催前に登録されたが会議においては使用されなかった会議資料又は会議において使用されたが会議映像撮像部４では映像として記録されなかった会議資料などを保存する。そして、第二の会議資料記録部３１と会議資料記録部２は相互に会議資料データを交換し、会議資料記録部２は第二の会議資料記録部３１に記録されている会議資料データを保持して、会議資料抽出部３に提供することができるようになっている。
【００６９】
読取部３２（スキャナー）は、会議映像に関連付けるべきパンフレット、各種文献、配布物などの資料文書を読み取ってデジタル画像に変換し、そのスキャン入力されたデジタル画像データを文字認識部３３および第二の会議資料記録部３１に出力する。
文字認識部３３は、スキャナー３２から入力された会議資料のデジタル画像中に含まれる文字を認識し、テキストデータとして映像資料間関連付け部７および第二の会議資料記録部３１に出力する。なお、文字認識装置３３として、市販のいわゆるＯＣＲソフトウェア（例えば、富士通株式会社製のＯＡＳＹＳ Ｖ８．０（同社の商標）など）を利用することができる。
【００７０】
第二の会議資料記録部３１は、スキャナー３２および文字認識部３３から入力された会議資料のデジタル画像および当該会議資料画像中の文字列（テキストデータ）を一組のデータレコードとして記録する。
音声データ抽出部３４は、部分会議映像抽出部６から入力された部分会議映像データの音声トラックから音声データを抽出し、音声認識部３５に出力する。
音声認識部３５は、音声データ抽出部３４から入力された部分会議映像データに対応する音声データを認識し、当該音声データから認識した文字列（テキストデータ）を映像資料間関連付部７に出力する。ここで、音声認識部３５の音声認識ソフトウェアとしてＩＢＭ社製のＶｉａ Ｖｏｉｃｅ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標） Ｐｒｏ Ｖ１０（同社の商品名））などを利用することができる。
【００７１】
第二の部分会議映像会議資料画像間整合部２５は、光学的文字認識装置２２から入力された会議資料に対応するテキスト・データと音声認識部２４から入力された部分会議映像データに対応するテキスト・データを参照、比較することによってテキスト・データの整合性を判定し、テキスト・データが整合している場合には、部分会議映像データとスキャナでスキャン入力された会議資料に対応するデジタル画像データ（会議資料画像）を関連するものとして、実施例１と同様にテーブル・データとして記録し、そのテーブル・データを元に部分会議映像データと会議資料画像を利用者に提示する。
【００７２】
また、会議資料画像抽出部３は、会議資料記録部２を通して、第二の会議資料記録部３に上記の読取処理によって保存されている資料画像を入力し、この会議資料画像に対応する会議資料画像データ（この画像は、上記実施例と同等に１枚単位）を文字認識部３３に出力する。
文字認識部３３は、会議資料画像抽出部３から入力された会議資料画像データ中の文字列を認識し、当該文字列のテキストデータを映像資料間関連付部７に出力する。
【００７３】
映像資料間関連付部７は、文字認識装置３３から入力された会議資料に対応するテキストデータと音声認識部３５から入力された部分会議映像のテキストデータとを比較することによって、これらテキストデータの整合性を判定し、テキストデータが整合している場合には、対応する部分会議映像データと第二の会議資料記録部３１に入力された会議資料とを関連するものとして、上記実施例と同様にテーブル１９データとして記録し、そのテーブルデータに基づいて部分会議映像と会議資料画像とを利用者に提示できるようにする。
【００７４】
したがって、本例によれば、既に撮影された会議映像に対して、当該映像中に含まれる音声から認識される語（文字列）と、関連付けようとする資料中に含まれる語（文字列）との共通性に基づいて、関係がある可能性が高い資料を関係付けることができる。
なお、上記のように文字列に対する形態素解析や意味解析も行えば、より意味的に共有性のある資料を関連付けることができる。
【００７５】
【発明の効果】
以上説明したように、本発明によると、画像的な共通性、文字の共通性、語の共通性などといったプレゼンテーション映像と関係付けようとする資料とから抽出した特徴の共通性に基づいて、これらプレゼンテーション映像と資料とを関連付けるようにしたため、撮影中の資料のページ操作イベントなどを検出しておく必要なく、既に撮影済みのプレゼンテーション映像と資料とを関連付けることができ、資料に基づいてプレゼンテーション映像の利用を促進することができる。
【図面の簡単な説明】
【図１】本発明の一例に係るプレゼンテーション記録装置の構成図である。
【図２】プレゼンテーション映像の一例を説明する図である。
【図３】部分映像と資料との関連付けを説明する図である。
【図４】部分映像と資料との関連付け処理の一例に係る手順を示す図である。
【図５】関連付け情報のテーブルデータの一例を示す図である。
【図６】本発明の一例に係るプレゼンテーション記録装置の構成図である。
【図７】部分映像と縮小資料との関連付けを説明する図である。
【図８】縮小資料画像の表示画面の一例を示す図である。
【図９】部分映像と資料との関連付け処理の一例に係る手順を示す図である。
【図１０】インデックス画像と部分映像との関連付けテーブルデータの一例を示す図である。
【図１１】インデックス画像の表示の一例を示す図である。
【図１２】部分映像と資料との関連付け処理の一例に係る手順を示す図である。
【図１３】関連付け情報のテーブルデータの一例を示す図である。
【図１４】本発明の一例に係るプレゼンテーション記録装置の構成図である。
【符号の説明】
１：会議資料提示部、 ２：会議資料記録部、
３：会議資料抽出部、 ４：会議映像撮像部、
５：会議映像記録部、 ６：部分会議映像抽出部、
７：映像資料間関連付部、 １０：会議資料部分の映像、
１５：部分会議映像、 １６：特定フレーム画像、
１７：会議資料ページ画像、 １８：縮小資料ページ画像、
１９：関連付け情報テーブル、 ２１：縮小部、
２２：提示部、 ２２ｂ：縮小画像表示ウインドウ、
２３：指示部、 ２６インデックス生成部、
２７：インデックス提示部、 ２８：インデックス選択部、
２９：インデックス画像、 ３１：追加の資料記録部、
３２：読取部、 ３３：文字認識部、
３４：音声データ抽出部、 ３５：音声認識部、

Claims (17)

1. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録装置であって、
   前記プレゼンテーション映像を成す部分映像を特定する手段と、
   前記部分映像から抽出した特徴と資料データから抽出した特徴とに基づいて、当該部分映像と資料データとを関連付けた情報を作成する手段と、
   を備えることを特徴とするプレゼンテーション記録装置。
2. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録装置であって、
   資料を用いて行われたプレゼンテーションの映像を記憶する映像記憶手段と、前記映像記憶手段に記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定し、当該部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定する映像抽出手段と、
   前記資料のデータを記憶する資料記憶手段と、
   前記資料記憶手段に記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定する資料抽出手段と、
   前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる画像的特徴の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する関連付手段と、
   を備えることを特徴とするプレゼンテーション記録装置。
3. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録装置であって、
   前記プレゼンテーション映像を記憶する映像記憶手段と、
   前記映像記憶手段に記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定し、当該部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定する映像抽出手段と、
   資料データを記憶する資料記憶手段と、
   前記資料記憶手段に記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定する資料抽出手段と、
   前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる文字の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する関連付手段と、
   を備えることを特徴とするプレゼンテーション記録装置。
4. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録装置であって、
   前記プレゼンテーション映像を記憶する映像記憶手段と、
   前記映像記憶手段に記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定する映像抽出手段と、
   資料データを記憶する資料記憶手段と、
   前記資料記憶手段に記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定する資料抽出手段と、
   前記部分映像に含まれる音声から認識される語と前記資料画像に含まれる語の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する関連付手段と、
   を備えることを特徴とするプレゼンテーション記録装置。
5. 請求項２乃至請求項４のいずれか１項に記載のプレゼンテーション記録装置において、
   前記特定された資料画像を縮小させた縮小資料画像を生成する縮小手段と、
   前記縮小資料画像をユーザによる選択可能に提示する提示手段と、を備え、
   前記関連付手段は、前記関連付けた情報を縮小資料画像を含めて作成し、ユーザにより選択された縮小資料画像に対応する部分映像をユーザに対して提示させることを特徴とするプレゼンテーション記録装置。
6. 請求項５に記載のプレゼンテーション記録装置において、
   前記縮小手段は、資料画像に含まれる文字の大きさが予め設定した所定の大きさ以上となる縮小率で前記資料画像を縮小することを特徴とするプレゼンテーション記録装置。
7. 請求項５に記載のプレゼンテーション記録装置において、
   前記提示手段は、複数の縮小資料画像を一覧表示する領域を有し、
   前記縮小手段は、一覧表示すべき縮小資料画像の総数と前記一覧表示領域の大きさとに基づいて、当該全ての縮小資料画像が一覧表示される縮小率で前記資料画像を縮小することを特徴とするプレゼンテーション記録装置。
8. 請求項２乃至請求項７のいずれか１項に記載のプレゼンテーション記録装置において、
   前記特定された部分映像に含まれるフレーム画像をインデックス用画像として特定し、当該特定した複数のインデックス用画像を時系列に配列させたインデックスを生成するインデックス生成手段と、
   前記インデックスをユーザによる選択可能に提示するインデックス提示手段と、を備え、
   前記インデックス提示手段は、ユーザにより選択された前記インデックス用画像に対応する部分映像をユーザに対して提示することを特徴とするプレゼンテーション記録装置。
9. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録方法であって、
   前記プレゼンテーション映像を成す部分映像を特定するステップと、
   前記部分映像から抽出した特徴と資料データから抽出した特徴とを比較するステップと、
   前記比較結果に基づいて前記部分映像と前記資料データとを関連付けた情報を作成するステップと、
   を有することを特徴とするプレゼンテーション記録方法。
10. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録方法であって、
    資料を用いて行われたプレゼンテーションの映像を撮影してメモリに記憶しておくステップと、
    前記資料のデータをメモリに記憶しておくステップと、
    前記記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定するステップと、
    前記部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定するステップと、
    前記記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定するステップと、
    前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる画像的特徴の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成するステップと、
    を有することを特徴とするプレゼンテーション記録方法。
11. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録方法であって、
    プレゼンテーションの映像を撮影してメモリに記憶しておくステップと、
    資料のデータをメモリに記憶しておくステップと、
    前記記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定するステップと、
    前記部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定するステップと、
    前記記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定するステップと、
    前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる文字の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成するステップと、
    を有することを特徴とするプレゼンテーション記録方法。
12. プレゼンテーションを撮影した映像に資料データを関連付けるプレゼンテーション記録方法であって、
    プレゼンテーションの映像を撮影してメモリに記憶しておくステップと、
    資料のデータをメモリに記憶しておくステップと、
    前記記憶されたプレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定するステップと、
    前記記憶された資料データから当該資料画像データに含まれるページ単位の資料画像を特定するステップと、
    前記部分映像に含まれる音声から認識される語と前記資料画像に含まれる語の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成するステップと、
    を備えることを特徴とするプレゼンテーション記録方法。
13. 請求項９乃至請求項１２のいずれか１項に記載のプレゼンテーション記録方法において、
    前記特定された資料画像を縮小させた縮小資料画像を生成するステップと、
    前記縮小資料画像をユーザによる選択可能に提示するステップと、
    ユーザにより選択された縮小資料画像に対応する部分映像をユーザに対して提示するステップと、
    を更に有したことを特徴とするプレゼンテーション記録方法。
14. プレゼンテーションを撮影した映像に資料データを関連付ける処理をコンピュータにより実行させるプログラムであって、
    プレゼンテーション映像を成す部分映像を特定する機能と、
    前記部分映像から抽出した特徴と資料データから抽出した特徴とを比較する機能と、
    前記比較結果に基づいて前記部分映像と前記資料データとを関連付けた情報を作成する機能と、
    をコンピュータに実現することを特徴とするプログラム。
15. プレゼンテーションを撮影した映像に資料データを関連付ける処理をコンピュータにより実行させるプログラムであって、
    プレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定する機能と、
    前記部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定する機能と、
    資料データから当該資料画像データに含まれるページ単位の資料画像を特定する機能と、
    前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる画像的特徴の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する機能と、
    をコンピュータに実現することを特徴とするプログラム。
16. プレゼンテーションを撮影した映像に資料データを関連付ける処理をコンピュータにより実行させるプログラムであって、
    プレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定する機能と、
    前記部分映像に含まれるフレーム画像を当該部分映像との関連付けを保持して特定する機能と、
    資料データから当該資料画像データに含まれるページ単位の資料画像を特定する機能と、
    前記部分映像から特定されたフレーム画像と前記資料データから特定された資料画像とに含まれる文字の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する機能と、
    をコンピュータに実現することを特徴とするプログラム。
17. プレゼンテーションを撮影した映像に資料データを関連付ける処理をコンピュータにより実行させるプログラムであって、
    プレゼンテーション映像から当該プレゼンテーション映像を成す部分映像を特定する機能と、
    資料データから当該資料画像データに含まれるページ単位の資料画像を特定する機能と、
    前記部分映像に含まれる音声から認識される語と前記資料画像に含まれる語の共通性に基づいて、当該部分画像と当該資料画像とを関連付けた情報を作成する機能と、
    をコンピュータに実現することを特徴とするプログラム。

Images