JP2004274456A

JP2004274456A - Apparatus and method for editing information and information editing program

Info

Publication number: JP2004274456A
Application number: JP2003063484A
Authority: JP
Inventors: Takayuki Kunieda; 孝之國枝; Yoshiki Wakita; 由喜脇田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-03-10
Filing date: 2003-03-10
Publication date: 2004-09-30
Anticipated expiration: 2023-03-10
Also published as: JP4233362B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus for editing information, which can provide information regarding the abstract, etc. of digital data more efficiently to a user. <P>SOLUTION: The apparatus 5 for editing the information edits the digital data. The apparatus 5 for editing the information includes a screen image acquiring means 36 for acquiring a screen image to be displayed on a display screen 30, a digital data acquiring means 40 for acquiring the digital data regarding the screen image, a screen image table 62 for corresponding the screen image to subsidiary information identifying information, a subsidiary information generating means 61 for generating subsidiary information based on the digital data acquired by the digital data acquiring means 40, and a corresponding means 43 for corresponding the subsidiary information generated by the subsidiary information generating means 61 and to be identified by subsidiary identifying information corresponded to the screen image in the corresponding table 62, to the subsidiary information identifying information. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、動画データおよび音声データの少なくとも一方を含むデジタルデータを編集する情報編集装置、情報編集方法、および情報編集プログラムに関する。
【０００２】
【従来の技術】
長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。また、インデキシングの処理が施されたデジタルデータの要約を、所定の印刷書式に従って印刷する技術が知られている（例えば、特許文献１）。
【０００３】
【特許文献１】
特開２００２−２３２８５８号公報
【０００４】
【発明が解決しようとする課題】
しかし、上記印刷技術によれば、デジタルデータに対するインデキシング処理が完了した後でしか、デジタルデータの要約等が記載された印刷物を得ることができなかった。このため、例えば、講演の様子をデジタルデータとして撮影する場合に、講演が始まる前に予めデジタルデータの要約に関する情報が記載された印刷物を視聴者に配布することができなかった。
【０００５】
この発明は上記に鑑みてなされたもので、デジタルデータの要約等に関する情報をより効率的に利用者に提供することのできる情報編集装置、情報編集方法、および情報編集プログラムを得ることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、動画データおよび音声データの少なくとも一方を含むデジタルデータを編集する情報編集方法であって、表示画面に順次表示されるべき各画面画像と、当該画面画像に対応付けるべき付帯情報を識別する付帯情報識別情報とを対応付ける対応テーブルを生成するテーブル生成ステップと、前記付帯情報を取得する付帯情報取得ステップと、前記付帯情報生成ステップにおいて生成され、前記対応テーブルにおいて前記画面画像に対応付けられている前記付帯情報識別情報により識別される前記付帯情報を、当該付帯情報識別情報に対応付ける対応付ステップと、前記画面画像と前記付帯情報識別情報とを対応付けて記載した印刷物を出力する出力ステップと、前記印刷物を、前記デジタルデータを生成する前に、利用者に配布する配布ステップとを有することを特徴とする。
【０００７】
この請求項１の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。
【０００８】
また、このように、デジタルデータを生成する前に画面画像と付帯情報識別情報とを対応付けた印刷物を配布することができる。従って、利用者は、デジタルデータとして撮影される講演等を視聴する場合、講演の間、講演内容に沿って、画面画像等が記載された印刷物にメモを取り、後日、付帯情報識別情報に基づいて付帯情報を取得することができる。これにより、講演中の自分のメモと付帯情報との対応付けを容易に行うことができる。
【０００９】
また、請求項２は、請求項１に記載の情報編集方法であって、前記利用者から、前記印刷物に記載された前記付帯情報識別情報を取得するステップと、前記付帯情報識別情報で識別される前記付帯情報を、前記利用者に提供する提供ステップとをさらに有することを特徴とする。
【００１０】
この請求項２の発明によれば、利用者は、後に印刷物に記載された付帯情報識別情報に基づいて付帯情報を取得することができる。
【００１１】
請求項３にかかる発明は、動画データおよび音声データの少なくとも一方を含むデジタルデータを編集する情報編集装置であって、表示画面に表示されるべき画面画像を取得する画面画像取得手段と、前記画面画像に関連するデジタルデータを取得するデジタルデータ取得手段と、前記画面画像と、画面画像に対応付けるべき付帯情報を識別する付帯情報識別情報とを対応付ける画面画像テーブルと、前記デジタルデータ取得手段が取得したデジタルデータに基づいて、付帯情報を生成する付帯情報生成手段と、前記付帯情報生成手段が生成し、前記対応テーブルにおいて前記画面画像に対応付けられている前記付帯情報識別情報により識別される前記付帯情報を、当該付帯情報識別情報に対応付ける対応付手段とを備えたことを特徴とする。
【００１２】
この請求項３の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。
【００１３】
また、請求項４にかかる発明は、請求項３に記載の情報編集装置であって、前記画面画像テーブルにおいて対応付けられている前記画面画像と前記付帯情報識別情報とを含む出力用画面画像情報を生成する出力情報生成手段をさらに備えたことを特徴とする。
【００１４】
この請求項４の発明によれば、画面画像と付帯情報識別情報とを対応付けた出力用画面情報を印刷物として出力することができる。従って、利用者は、この印刷物において、画面画像に対応付けられた付帯情報識別情報を利用して、画面画像に対する付帯情報を取得することができる。
【００１５】
また、請求項５にかかる発明は、請求項３または４に記載の情報編集装置であって、前記付帯情報識別情報は、前記付帯情報が格納されている場所を示すＵＲＬであることを特徴とする。
【００１６】
この請求項５の発明によれば、付帯情報識別情報は、ＵＲＬであるので、利用者は、ＵＲＬにアクセスすることによって、容易に付帯情報を取得することができる。
【００１７】
また、請求項６にかかる発明は、請求項４または５に記載の情報編集装置であって、前記出力情報生成手段は、前記付帯情報識別情報に基づいて２次元バーコードを生成し、生成した２次元バーコードと前記画面画像とを含む前記出力画面情報を生成することを特徴とする。
【００１８】
この請求項６の発明によれば、付帯情報識別情報は、２次元バーコードとして印刷されるので、利用者は、この２次元バーコードを、バーコードリーダ等で読み取らせ、付帯情報識別情報を取得することができる。
【００１９】
また、請求項７にかかる発明は、請求項３から６のいずれか一項に記載の情報編集装置であって、利用者から前記付帯情報識別情報を含む画面画像関連情報要求を受け付ける指示受付手段と、前記指示受付手段が受け付けた前記画面画像関連情報要求に含まれる前記付帯情報識別情報を抽出し、前記画面画像テーブルにおいて、当該付帯情報識別情報に対応付けられている前記画面画像と、前記付帯情報識別情報により特定される前記付帯情報とを含む画面画像関連情報を生成する画像関連情報生成手段と、前記画像関連情報生成手段が生成した前記画面画像関連情報を、前記利用者に配信する配信手段とをさらに備えたことを特徴とする。
【００２０】
この請求項７の発明によれば、画面画像関連情報要求は付帯情報識別情報を含むので、利用者から画面画像関連情報要求を受け付けると、付帯情報識別情報により付帯情報を特定し、特定した付帯情報を利用者に提供することができる。このように、利用者は、容易に所望の付帯情報を取得することができる。
【００２１】
また、請求項８にかかる発明は、請求項７に記載の情報編集装置であって、前記画面画像と前記付帯情報とを埋め込む雛型を保持する雛型保持手段をさらに備え、画像関連情報生成手段は、前記雛型保持手段に保持されている前記雛型に前記画面画像と前記付帯情報とを埋め込むことにより前記画面画像関連情報を生成することを特徴とする。
【００２２】
この請求項８の発明によれば、雛型保持部は、画面画像関連情報を生成するときに利用する雛型を格納しているので、画像関連情報生成手段は、この雛型を利用することにより容易に画面画像関連情報を生成することができる。
【００２３】
また、請求項９にかかる発明は、請求項３から８のいずれか一項に記載の情報編集装置であって、前記付帯情報取得手段は、前記表示画面に前記画面画像が表示されている間に記録された付帯情報を取得し、前記対応付手段は、前記画面画像テーブルにおいて前記画面画像に対応付けられている前記付帯情報識別情報の実体として、前記付帯情報取得手段が取得した前記付帯情報を、前記付帯情報識別情報に対応付けることを特徴とする。
【００２４】
この請求項９の発明によれば、対応付手段は、表示画面に画面画像が表示されている間に記録された情報を付帯情報として、当該画面画像に対応付けるので、画面画像に関連する情報を効率的に付帯情報として特定することができる。
【００２５】
また、請求項１０にかかる発明は、動画データおよび音声データの少なくとも一方を含むデジタルデータを編集する情報編集方法であって、表示画面に順次表示されるべき各画面画像と、当該画面画像に対応付けるべき付帯情報を識別する付帯情報識別情報とを対応付ける対応テーブルを生成するテーブル生成ステップと、前記付帯情報を取得する付帯情報取得ステップと、前記付帯情報生成ステップにおいて生成され、前記対応テーブルにおいて前記画面画像に対応付けられている前記付帯情報識別情報により識別される前記付帯情報を、当該付帯情報識別情報に対応付ける対応付ステップと有することを特徴とする。
【００２６】
この請求項１０の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。
【００２７】
また、請求項１１にかかる発明は、動画データおよび音声データの少なくとも一方を含むデジタルデータを編集する情報編集処理をコンピュータに実行させる情報編集プログラムであって、表示画面に表示されるべき画面画像を取得する画面画像取得ステップと、前記画面画像に関連するデジタルデータを取得するデジタルデータ取得ステップと、前記画面画像と、画面画像に対応付けるべき付帯情報を識別する付帯情報識別情報とを対応付ける画面画像テーブルを生成する前記画面画像生成ステップと、前記デジタルデータ取得ステップにおいて取得されたデジタルデータに基づいて、付帯情報を生成する付帯情報生成ステップと、前記付帯情報生成ステップにおいて生成され、前記対応テーブルにおいて前記画面画像に対応付けられている前記付帯情報識別情報により識別される前記付帯情報を、当該付帯情報識別情報に対応付ける対応付ステップとをコンピュータに実行させることを特徴とする。
【００２８】
この請求項１１の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。
【００２９】
【発明の実施の形態】
図１は、この発明の実施の形態である情報編集装置５を含む情報編集システム１の全体構成を示している。
【００３０】
情報編集システム１は、プレゼンテーション資料３１を格納するプレゼンテーション装置２と、このプレゼンテーション装置２と接続し、プレゼンテーション資料３１を表示するプロジェクター等の投影機３と、投影機３により投影された画像を表示する表示画面３０と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、ＤＶカメラ４が取り込んだ音声を含む動画情報（以下単に「動画情報」と称す）を編集する情報編集装置５とを備えている。ここで、プレゼンテーション資料３１は、プレゼンテーションの際に表示させる複数の画面画像データで構成されている。画面画像データは、例えばＰＰＴデータなどの静止画データである。また、動画情報は、本発明のデジタルデータに相当する。
【００３１】
ＤＶカメラ４と情報編集装置５は、例えば、ＩＥＥＥ１３９４などのインターフェイスで接続されている。また、プレゼンテーション装置２と情報編集装置５は、ＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット（Ｒ）によるピア・ツー・ピア接続であってもよい。
【００３２】
プレゼンテーション装置２は、単にプレゼンテーション資料３１を格納しており、投影機３と通信可能であればよく、例えば、プレゼンターの所有するＰＣであってもよい。
【００３３】
編集者は、プレゼンターがプレゼンテーション資料３１を表示画面３０に表示させながらプレゼンテーションを行っている様子を、ＤＶカメラ４を用いて撮影する。ここで、編集者とは、情報編集システム１を利用して動画を編集する者のことである。
【００３４】
撮影が終了すると、情報編集装置５は、プレゼンテーション装置２からプレゼンテーション資料３１を取得し、さらに、ＤＶカメラ４からプレゼンテーションの様子を示す動画情報を取得する。そして、情報編集装置５は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料３１を対応付けた動画ファイルを生成する。
【００３５】
図２は、本実施の形態にかかる情報編集システム１に特徴的な処理を行う情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。
【００３６】
イベント処理部３２は、プレゼンテーション装置２に接続されたキーボード２１やマウス１５からの入力により、プレゼンテーションに関するイベントを示すイベント情報を取得するイベントキャプチャ部３３と、イベントキャプチャ部３３が取得したイベント情報を記録するイベント記録部３４と、イベント情報およびプレゼンテーション資料３１を情報編集装置５に送信する送信部４４とを有している。
【００３７】
また、情報編集部３５は、受信部３６と、イベント制御部３７と、イベント記録部３８と、イベント情報解釈部４２と、動画情報キャプチャ部４０と、動画情報管理部４１と、撮影機器制御部３９と、付帯情報生成部６１と、動画ファイル生成部４３と、付帯情報付帯情報ＩＤ付与部６０と、画面画像テーブル保持部６２と、印刷用データ生成部６５と、雛型保持部６６と、指示受付部５４と、出力部５０と、通信部６７とを有している。
【００３８】
受信部３６は、送信部４４からイベント情報およびプレゼンテーション資料３１を受け取る。イベント制御部３７は、受信部３６が受け取ったイベント情報を制御する。イベント記録部３８は、イベント制御部３７からイベント情報を受け取り、イベント情報を記録する。
【００３９】
撮影機器制御部３９は、ＤＶカメラ４を制御する。動画情報キャプチャ部４０は、動画ファイル生成部４３が生成した動画ファイルを外部に出力すると、ＤＶカメラ４が取り込んだ動画情報をキャプチャする。動画情報管理部４１は、動画情報を管理する。
【００４０】
イベント情報解釈部４２は、イベント記録部３８からイベント情報を取得し、イベント情報の内容を解釈する。付帯情報生成部６１は、イベント情報解釈部４２によって解釈されたイベント情報に基づいて、プレゼンテーション資料３１を構成する各画面画像データに対応付けるべき付帯情報を生成する。
【００４１】
動画ファイル生成部４３は、イベント情報解釈部４２によって解釈されたイベント情報に基づいて動画情報を編集し、動画ファイルを生成する。具体的には、付帯情報生成部６１が生成した付帯情報および画面画像データを動画情報に対応付ける。
【００４２】
付帯情報ＩＤ付与部６０は、受信部３６が受け取ったプレゼンテーション資料３１に含まれる各画面画像データに付帯情報ＩＤを対応付けて画面画像テーブルを生成する。ここで、付帯情報ＩＤとは、画面画像データに後に対応付けるべき付帯情報を識別する情報である。
【００４３】
保持部６４は、動画ファイル生成部４３が生成した動画ファイルを保持する。雛型保持部６６は、印刷用データ生成部６５が利用する雛型を保持する。
【００４４】
印刷用データ生成部６５は、動画ファイルを利用して印刷用データを生成する。具体的には、画面画像テーブル保持部６２に保持されている画面画像テーブルにおいて画面画像データに対応付けられている付帯情報ＩＤを、雛型保持部６６に保持されている雛型に埋め込むことにより印刷用データを生成する。ここで、印刷用データ生成部６２は、本発明の出力情報生成手段を構成する。また、印刷用データは、本発明の出力用画面画像データに相当する。
【００４５】
通信部６７は、ネットワーク８を介して外部と通信する。具体的には、付帯情報ＩＤを利用者から受信し、印刷用データ生成部６５に送る。また、印刷用データ生成部６５が生成した印刷用データを外部に送信する。出力部５０は、保持部６４に保持されている動画ファイルや、印刷用データ生成部６５において生成された印刷用データを出力する。
【００４６】
ここで、通信部６７および出力部５０は、本発明における配信手段を構成する。
【００４７】
指示受付部５４は、編集者等からの指示を受け付け、付帯情報生成部６１、動画ファイル生成部４３、および印刷用データ生成部６５に送る。
【００４８】
ここで、受信部３６、および動画情報キャプチャ部４０は、それぞれ本発明のイベント情報取得手段、画面画像情報取得手段、および動画情報取得手段を構成する。
【００４９】
次に、図３を参照しつつ、プレゼンテーション資料３１について説明する。プレゼンテーション資料３１は、プレゼンテーションの際に表示画面３０に表示すべき画面画像データ３１１，３１２，３１４，３１６，３１８，３２０を含んでいる。各画面画像データ３１１，３１２，３１４，３１６，３１８，３２０には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料３１を構成する画面画像は、当該プレゼンテーション資料３１の作成者が定めた順番に配列されている。図３に示すプレゼンテーション資料３１は、６ページ分の画面画像データを含んでいる。これらは、プレゼンターからの指示により、１ページ、２ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料３１は、Ｍｉｃｒｏｓｏｆｔ（Ｒ）社製のＰｏｗｅｒＰｏｉｎｔ（Ｒ）のファイルである。
【００５０】
通常、プレゼンテーションにおいて、プレゼンターは、以下の操作を行う。
１．プレゼンテーション装置２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作による、プレゼンテーション資料３１のページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．プレゼンテーション装置２の終了
ここで、ページめくりとは、表示画面３０に表示させる、プレゼンテーション資料３１を１ページから次のページすなわち２ページに切り替えることである。
【００５１】
以上の操作は、いずれもマウス１５またはキーボード２１における所定の操作に対応付けられている。例えば、プレゼンテーション装置２の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス１５によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。
【００５２】
イベント記録部３４は、このイベント情報のログを記録し、送信部４４は通信インターフェイスを介して情報編集部３５に送信する。撮影機器制御部３９は、イベント情報に基づいてＤＶカメラ４を制御する。イベント記録部３８は、イベント処理部３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も記録する。
【００５３】
例えば、プレゼンテーション・ソフトの起動というイベントが発生したときは、このイベント情報をイベント記録部３８で記録する。さらに、撮影機器制御部３９により、ＤＶカメラ４からの動画情報取り込みを開始する。プレゼンテーション・ソフトが終了したときは、撮影機器制御部３９は、ＤＶカメラ４からの動画情報の取り込みを終了する。そして、イベント制御部３７は、プレゼンテーション・ソフトの終了をイベントとするイベント情報をイベント記録部３８に記録する。
【００５４】
イベント情報解釈部４２は、イベント情報の内容を解釈する。そして、動画ファイル生成部４３は、イベント情報解釈部４２によって解釈されたイベント情報の内容を参照し、プレゼンテーション資料３１及び動画情報に基づいて動画ファイルを生成する。
【００５５】
このように、情報編集部３５は、ＤＶカメラ４から取り込んだ動画情報中のイベントのイベント情報を動画情報とともに管理することができる。つまり、ＤＶカメラ４で撮影され取り込まれた動画情報は、時間の推移を規定する時間情報を付されて保存される。また、記録されたイベント情報は、動画ファイル生成部４３により、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により管理される。
【００５６】
図４は、イベント情報リスト３００のデータ構成を模式的に示している。イベント情報リスト３００には、イベント情報３４１，３４２，３４３・・・が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびイベントが発生した日時が含まれている。例えばページ２が表示されると、「ページ２に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始した表示開始時刻および表示を終了した終了時刻を認識することができる。
【００５７】
図５は、図２において説明した、動画ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。動画ファイル生成部４３は、区間決定部４３０と、区間調整部４３１と、同期部４３３と、目次項目抽出部４３４と、対応付部４３５と、同期調整部４３６と、目次項目抽出部４３７とを有する。
【００５８】
区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報３４０に基づいて、複数の区間に分割する。具体的には、区間決定部４３０は、ページめくりを示すイベント情報３５０が示す時刻に録画されたフレーム位置を動画情報の区間の境界位置として決定する。すなわち、一のページが表示されている区間は、同一区間となり、ページが切り替わるタイミングが、区間の境界に対応する。
【００５９】
区間調整部４３１は、区間決定部４３０が分割した区間の長さを調整する。具体的には、区間決定部４３０により決定された区間の長さが、予め定められた規定長に比べて短い場合に、この規定長よりも短い区間、すなわち規定長外区間を、当該規定長区間の直前または直後の区間に統合する。ここで、規定長は、変更可能である。例えば、指示受付部５４を介して編集者等から指定された長さに定められてもよい。
【００６０】
同期部４３３は、イベント情報３５０に基づいて、動画情報６００とプレゼンテーション資料３１との同期を取る。すなわち、動画情報６００の各区間を表示させるときに同時に表示させるべきプレゼンテーション資料３１の一のページを、各区間に対応付ける。
【００６１】
同期調整部４３６は、動画情報６００の規定外区間に対して、同期部４３３が同期させたプレゼンテーション資料３１のページにかえて、規定外区間の統合先の区間に同期されたページを同期させる。
【００６２】
目次項目抽出部４３４は、プレゼンテーション資料３１から、動画情報６００の目次の項目となるべき文字情報を抽出する。対応付部４３５は、目次項目抽出部４３４が抽出した目次項目を、当該目次項目の抽出元である、プレゼンテーション資料３１の各ページに対応付ける。対応付部４３５は、付帯情報４００をプレゼンテーション資料３１の各ページに対応付ける。目次項目抽出部４３７は、目次項目抽出部４３４が抽出した目次項目を削除する。
【００６３】
図６は、情報編集部３５が生成した動画ファイルを示している。動画ファイルは、動画情報６００と、動画情報６００の各区間６１０に対応付けられた複数の画面画像データ３１１，３１２・・・と、各区間６１０に対応付けられた付帯情報ＩＤ４１１，４１２・・・と、付帯情報ＩＤ４１１，４１２・・・で特定される付帯情報４２１，４２２・・・とを有している。なお、動画情報６００の各区間６１０は、複数のフレーム６２０を含んでいる。各区間６１０の長さは、イベント情報により決定される。
【００６４】
本実施の形態における付帯情報ＩＤ４１０は、当該付帯情報ＩＤにより特定される付帯情報の格納されている位置を示すＵＲＬである。また、付帯情報４２１は、対応する画面画像に関連するテキストデータである。テキストデータの内容は、例えば、画面画像に対応する区間における動画情報に含まれる音声に対応する内容であってもよい。また、他の例としては、編集者から指示受付部５４を介して入力された内容であってもよい。いずれにせよ、付帯情報の内容は、本実施の形態に限定されるものではない。
【００６５】
このように、動画情報６００は、プレゼンテーション資料３１の各画面画像３１１，３１２・・・と対応付けられているので、動画情報６００とプレゼンテーション資料３１の各画面画像データ３１１，３１２・・・とを同期して表示させることができる。
【００６６】
図７は、出力部５０から出力された動画ファイルを示している。図７に示す表示部５００には、動画情報６００と、プレゼンテーション資料３１のうち、表示部５００に表示されている区間に同期されたページ３３０と、動画情報６００の目次８００とが表示されている。なお、目次８００と動画情報６００とはリンクしており、例えば、目次８００中の「テーマ１：製造業の空洞化」という項目が選択されると、そのとき表示されている動画の区間にかかわらず、動画情報６００の区間１が再生される。なお、区間１とは、映像中に含まれる表示画面３０にテーマ１が表示されている区間である。このように、目次を選択することにより、利用者の所望の区間を表示させることができる。
【００６７】
なお、本実施の形態においては、動画ファイル生成部４３は、ＳＭＩＬ（ＳｙｎｃｈｒｏｎｉｚｅｄＭｕｌｔｉｍｅｄｉａＩｎｔｅｇｒａｔｉｏｎＬａｎｇｕａｇｅ）を利用して動画ファイルを生成する。ここで、ＳＭＩＬとは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させる言語のことであり、ＸＭＬで記述されている。ＳＭＩＬを用いることにより、表示画面における表示位置、表示させるタイミング、表示させる時間などを指定することができる。
【００６８】
次に、印刷用データ生成部６５が保持部６４に保持されている動画ファイルに基づいて印刷用データを生成する処理について説明する。
【００６９】
図８、印刷用データ生成部６５の詳細な機能構成を示すブロック図である。印刷用データ生成部６５は、画面画像データと付帯情報とが対応付けられた印刷用データを生成する。
【００７０】
印刷用データ生成部６５は、映像構造解釈部１０３、登録部１１１を含む映像要約生成部１０５、印刷整形部１０６、印刷言語生成部１０７、映像参照フレーム抽出部１０９、バーコード付加部１１０を備えている。
【００７１】
また、保持部６４に保持されている動画ファイルは、映像情報（映像本体）１０２と、映像情報１０２に付され、かつ、映像の構造を木構造で表す映像構造インデックス１０１とからなっている。
【００７２】
図９は、映像構造インデックス１０１を説明するための図である。映像構造インデックス１０１は、階層的な木構造として構成されている。木構造の階層は、情報の詳細さの度合いによって分けられていて、下位の階層ほど映像に関する詳細な情報を保持している。図示した木構造は、記録メディア全体に対して１つのルート・ディレクトリ２０１を持つ映像管理データを表すものである。
【００７３】
映像構造インデックス１０１は、映像情報１０２を構造化して表すデータである。映像情報１０２の構造化とは、映像情報で表される映像を連続するフレーム画像（動画を分割して作成された画像）としてとらえ、フレーム画像を所定の単位にまとめる処理をいう。構造化によってまとめられた複数のフレーム画像のまとまりは、セグメントとよばれる。映像構造インデックス１０１によれば、各セグメントがどのような画像のまとまりであるかを示す情報を得ることができる。
【００７４】
本実施の形態では、撮影ごとにセグメントを作成し、撮影ごとにまとめられたセグメントをさらにカット・ショット変化点ごとにまとめてセグメントを作成した。カット・ショット変化点とは、映像の記録開始から起算される記録時間、あるいは画像記録数に基づいて配列されたフレーム画像において、隣り合って配列され、かつ特徴量の差が所定の値よりも大きいフレーム画像間に設けられるものである。なお、特徴量としては、例えば以下のものがある。
・カラーヒストグラム
・空間色分布
・空間エッジ分布
・空間テクスチャ分布
・オブジェクト形状
【００７５】
図９に示すＸは環境情報を示し、Ｙはカメラ情報を表し、Ｚは代表フレームの静止画特徴量をそれぞれ表すものとする。環境情報Ｘとは、撮影時の外部環境に関する情報であって、日時、位置（緯度および経度）、高度、気温、湿度に関する情報を含んでいる。なお、映像構造インデックス１０１を作成する映像構造化装置は、このような情報を取得するための時計（ＧＭＴ時間を標準とする）、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）、気圧センサ、温度センサ、湿度センサを備えている。
【００７６】
また、カメラ情報Ｙとは、あるセグメントに含まれるフレーム画像（動画像を分割して作成された画像）を撮影したときの焦点距離、絞り値、シャッタースピード、ピント合焦距離といった情報を含んでいる。このような情報のうち、焦点距離に関する情報からは、フレーム画像の撮影対象物が風景か、あるいは人物や物といったオブジェクトか、広角撮影かあるいは望遠撮影かといった点ついて推測することができる。また、絞り値に関する情報からは、撮影対象物が風景か、あるいはオブジェクトかといった判断に加えて、撮影場所の明暗についても推測することができる。
【００７７】
また、シャッタースピードに関する情報からは、撮影対象物が静止したものか、あるいは移動しているものかについて、さらに撮影場所の明暗について推測することができる。そして、ピント合焦距離に関する情報からは、映像記録装置のカメラ部分と撮影対象物との距離がおおよそ推測できる。上記した情報を複合的に解釈することにより、例えば、シャッタースピードに関わらず絞り値が低く、合焦距離が近くて焦点距離が遠いこと場合には、オブジェクトを撮影した可能性が高いというような推測ができるようになる。
【００７８】
さらに、静止画特徴量Ｚとは、フレーム画像を静止画像として見た場合の、特徴量を表す情報である。
【００７９】
ルート・ディレクトリ２０１の直下に位置するカット・ショット統括情報２０２Ａ、カット・ショット情報２０３Ａは、映像情報１０２すべてに共通の情報である。さらに、カット・ショット統括情報２０２Ｂは、カット・ショット情報２０３Ａによって管理されるセグメントのカット・ショット変化点に関する統括的な情報である。
【００８０】
図９に示した木構造中には、撮影が進むにつれて作成された撮影ごとのセグメントが２つあって、２つのセグメントにはそれぞれカット・ショット情報２０３Ｂ、２０３Ｃが付されている。また２つのセグメントのいずれにもカメラ情報Ｙが付加されている。
【００８１】
さらに、カット・ショット情報２０３Ｂ、２２０３Ｃが付加されたセグメントの下位には、各セグメントに含まれるカット・ショットセグメントが４つ配置されている。４つのセグメントは、カット・ショット情報２０３Ｂが付加されたセグメントをカット・ショット変化点で分割して作成されたものである。そして、４つのカット・ショットセグメントには、それぞれカット・ショット情報２０３Ｄ、２０３Ｅ、２０３Ｆ、２０３Ｇが配置されている。また、カット・ショット情報２０３Ｃが付加されたセグメントの下位に配置された４つのセグメントには、カット・ショット情報２０３Ｈ、２０３Ｌ、２０３Ｊ、２０３Ｋが付加されている。カット・ショット情報２０３Ｄ〜Ｇ、カット・ショット情報２０３Ｈ〜Ｋには、それぞれカメラ情報Ｙが付加されている。
【００８２】
さらに、カット・ショット情報２０３Ｄ〜Ｇ、カット・ショット情報２０３Ｈ〜Ｋには、各カット・ショット情報が付加されたセグメントに含まれるフレーム画像を代表する代表フレーム（キーフレームともいう）画像の情報（代表フレーム情報）２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄと、代表フレーム情報２０４Ｅ、２０４Ｆ、２０４Ｇ、２０４Ｈとがそれぞれ付加されている。さらに、代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈには、各代表フレームの静止画特徴量Ｚが付加されている。
【００８３】
代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈは、各代表フレームの静止画特徴量Ｚの他、それぞれの代表フレームを説明する文書を含んでいる。代表フレームを説明する文書は、映像構造インデックス１０１の作成時に編集者によって作成されたもの、あるいは特徴量に応じて自動的に付加されたサンプル文書である。映像構造インデックス１０１においては、各代表フレームを説明する文書を含む代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈとが印刷可能な情報である。
【００８４】
映像要約生成部１０５は、指示受付部４５を介して要約に使用される条件である要約条件（図中条件Ａと記す）、印刷整形部１０６による情報の整形に使用される印刷書式（図中条件Ｂと記す）を取得する。そして、取得した要約条件、印刷書式は、映像要約生成部１０５に設定される。また、映像構造解釈部１０３は、映像構造インデックス１０１の構造を解釈する。映像要約生成部１０５、映像参照フレーム抽出部１０９は、映像構造解釈部１０３によって解釈された映像構造インデックス１０１と要約条件とに基づいて映像情報１０２を要約する。印刷整形部１０６は、映像要約生成部１０５、映像参照フレーム抽出部１０９が映像情報１０２を要約して生成した情報（映像要約）を印刷書式に基づいて印刷可能な形式にする（整形）。
【００８５】
なお、本実施の形態は、要約条件として映像要約のうちに画像が占める割合および文字が占める割合、要約時の精度、映像参照フレーム抽出部１０９において行われる参照フレーム（印刷されるフレーム画像）の抽出条件、抽出される参照フレームの数を設定する。また、印刷書式として印刷時の雛型を設定するものとした。要約条件および印刷書式は、指示受付部５４を介して取得する他、映像要約生成部１０５の登録部１１１に予め登録しておくこともできる。
【００８６】
上記した要約条件のうち、要約時の精度は、木構造の階層を指定することによって設定される。また、参照フレームの抽出条件は、編集者から指示受付部５４を介して取得したキーワードや画像、あるいは登録部１１１に登録されているキーワードや画像によって設定される。
【００８７】
設定されたキーワードや画像は、映像要約生成部１０５を介して映像参照フレーム抽出部１０９に送られる。映像参照フレーム抽出部１０９は、キーワードに基づいてフレーム画像（本実施の形態では代表フレームを対象にするものとする）を検索し、該当する代表フレームを抽出する。あるいは抽出条件に設定された画像と類似する画像を抽出する。抽出された画像が要約条件の参照フレームの数よりも多い場合、映像参照フレーム抽出部１０９は、図１０に示す方法で代表フレームを絞り込む。
【００８８】
すなわち、図１０によれば、抽出の初期の段階で代表フレームａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇの７枚が抽出された場合、代表フレームａ〜ｇ間で互いの類似度を比較する。この類似度は、例えば、特徴量によって判別しても良い。類似度の比較の結果、代表フレームａと代表フレームｅとが類似する（例えば特徴量の相違が予め設定されている基準よりも小さい）と判断された場合、映像参照フレーム抽出部１０９は、代表フレームａまたは代表フレームｅの一方だけを残す。残った代表フレームａまたはｅは、代表フレームｈとなる。すなわち、代表フレームｈは、代表フレームａとｅとを代表することになる。同様に、代表フレームｃと代表フレームｆとが類似すると判断された場合、代表フレームｃまたは代表フレームｆの一方だけを残すことによって代表フレームｃ、代表フレームｆを代表フレームｊで代表する。以上の処理により、代表フレームａ〜ｇの７枚は、代表フレームｈ、ｉ、ｊ、ｋ、ｌの５枚に絞り込まれる。
【００８９】
さらに、映像参照フレーム抽出部１０９は、代表フレームｈ〜ｌの５枚に対して代表フレームａ〜ｇに対して行った絞り込みの処理と同様の処理を施し、代表フレームｈ〜ｌの５枚を代表フレームｍ、ｎ、ｏの３枚に絞り込む。３という数値が要約条件として設定された抽出すべき参照フレームの数に合致する場合、映像参照フレーム抽出部１０９は、代表フレームｍ〜ｏを抽出したという情報を映像要約生成部１０５および印刷整形部１０６に送る。
【００９０】
映像要約生成部１０５は、代表フレームｍ〜ｏと代表フレームｍ〜ｏに付されている文書との量を要約条件として設定された画像が占める割合および文字が占める割合と比較する。代表フレームｍ〜ｏと代表フレームｍ〜ｏに付されている文書との量は、例えば、印刷された画像において抽出された参照フレームが占める面積比と文字が占める面積比とをシミュレーションによって求めるものであっても良い。このとき、要約条件として設定された画像が占める割合および文字が占める割合とは、印刷された画像において画像が占める面積比と文字が占める面積比とによって設定される。
【００９１】
そして、映像要約生成部１０５は、参照フレームとして抽出された代表フレーム（以下、参照フレームと記す）が占める割合と文字が占める割合とが要約条件に一致しなかった場合、参照フレームが占める割合と文字が占める割合とが要約条件に一致するように調整する。この調整は、例えば、抽出された参照フレームを削除してその空間を文字にあてる、あるいは文字で表される情報を削除する方法によって行われる。なお、文字情報を削除する場合、映像要約生成部１０５は、例えば、文字情報を対象にして重要な語句を抽出する。そして、重要な語句が多く含まれている文書ほど重要度が高く、少ない文書ほど重要度が低いと判断し、重要度が低いと判断された文書を優先して削除するようにしても良い。
【００９２】
さらに、映像要約生成部１０５は、以上のようにして割合を調整した参照フレームと文書とに関する情報を印刷整形部１０６に送る。印刷整形部１０６は、参照フレームと文書とを印刷書式として設定された雛型にしたがって配置し、印刷言語生成部１０７に送る。また、この際、印刷整形部１０６は、参照フレームに関する情報から参照フレームの映像における位置をバーコード付加部１１０に送る。バーコード付加部１１０は、参照フレームの映像における位置をバーコードで表す情報に変換し、印刷言語生成部１０７に出力する。なお、参照フレームの映像における位置は、参照フレームが映像を構成するフレーム画像において何番目に位置するか、あるいは参照フレームが映像の再生開始から何時間（分、秒）後に再生されるかで示される時間的位置であっても良い。
【００９３】
図１１（ａ）、（ｂ）、（ｃ）は、印刷書式として設定される雛型を例示する図である。これらは、雛型保持部６６に保持される雛型により実現される雛型である。図１１（ａ）は、画像を主体とする画像主体の雛型である。また、（ｂ）は、画像と文書とが比較的近い割合で配分された画像・文字混合型の雛型である。また、図１１（ｃ）は、文書を主体とした文字主体の雛型である。
【００９４】
本実施の形態では、雛型保持部６６はさらに、ビデオテープやＤＶＤといった映像メディアの識別ラベル（付箋紙）を対象とした雛型をも保持している。そして、指示受付部５４を介して利用者から印刷書式の指定を受付け、さらに図示しない表示部に雛型の一覧を表示し、利用者から任意の雛型の指定を受け付ける。また、雛型は、予め保存されるものに限るものでなく、指示受付部５４を介して登録することもできる。
【００９５】
雛型に沿って印刷整形された参照フォームおよび文書は、印刷整形部１０６から印刷言語生成部１０７に出力される。また、バーコード付加部１１０は、バーコードに変換した参照フレームの映像における位置を印刷言語生成部１０７に送る。印刷言語生成部１０７は、印刷整形された参照フォームおよび文書とバーコードとを出力部５０で使用されている印刷言語に変換して出力部５０に送る。出力部５０は、参照フォームおよび文書とバーコードとを同一の用紙上に印刷出力する。この際、雛型にバーコード専用の領域を設けておくようにしても良い。
【００９６】
以下、図１２を参照しつつ、情報編集部３５が動画ファイルを作成するときの情報編集処理について説明する。まず、受信部３６は、イベント処理部３２の送信部からプレゼンテーション資料３１を受信する（ステップＳ９０）。次に、受信したプレゼンテーション資料３１に含まれる各画面画像データに対して、付帯情報ＩＤを付与する（ステップＳ９２）。そして、画面画像テーブル保持部６２は、画面画像データを識別する画面画像データＩＤと、付帯情報ＩＤとを対応付けた画面画像テーブルを保持する（ステップＳ９４）。次に、出力部５０は、画面画像テーブルにおいて対応付けられている画面画像データと、付帯情報ＩＤとを対応付けた印刷物を出力する。（ステップＳ９６）。
【００９７】
図１３に、このとき出力された印刷物を示す。印刷物には、プレゼンテーション資料３１を構成する各画面画像データ３１０と、２次元バーコード４３０とが対応付けて印刷されている。なお、ここで、２次元バーコード４３０は、付帯情報ＩＤ４２０に基づいて生成されたものである。すなわち、この２次元バーコード４３０から付帯情報ＩＤを特定することができる。
【００９８】
ここで、２次元バーコードとは、従来の１次元のバーコードよりも多くの情報を表すことができる。２次元バーコードとしては、１次元のバーコードを積み上げたものと、水平方向と垂直方向にそれぞれ情報を表すものとが知られている。本実施の形態においては、水平方向と垂直方向にそれぞれ情報を表現することのできるいわゆるＱＲコードが印刷されている。
【００９９】
実際にプレゼンテーションが始まる前に、プレゼンテーション資料３１を構成する各画面画像データと、画面画像データに対応する付帯情報ＩＤとを対応付けた印刷物をプレゼンテーションに出席した聴講者に配布しておく。
【０１００】
そして、プレゼンテーションが始まると、プレゼンテーションの様子を示す動画を、ＤＶカメラ４を用いて撮影する。
【０１０１】
次に、図１４を参照しつつ、ＤＶカメラ４により撮影された動画情報と、先に取得したプレゼンテーション資料３１等から情報ファイルを生成するときの情報編集処理について説明する。まず、区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報３４０に基づいて複数の区間に分割する（ステップＳ１００）。具体的には、「発生日時１０時１０分、イベント種類ページ２に切り替え」及び「発生日時１０時１６分、イベント種類ページ３に切り替え」を示す連続して記録された２つのイベント情報を取得した場合には、動画情報６００のうち１０時１０分から１０時１６分の間に録画された区間はページ２に対応する区間と決定される。すなわち、１０時１０分および１０時１６分の位置を境界位置とする区間に分割する。
【０１０２】
次に、区間調整部４３１は、区間決定部４３０によって決定された各区間の長さを、予め定められた規定長と比較する。そして、規定長に比べて短い区間、すなわち規定長外区間があった場合（ステップＳ１０２，Ｙｅｓ）、規定長外区間を調整する（ステップＳ１０４）。
【０１０３】
ここで、図１５を参照しつつ、区間調整部４３１が規定長外区間を調整する方法について説明する。図１５は、動画情報６００を時間軸に沿って模式的に示している。例えば、「テーマ１」の区間は、動画情報６００のうち、動画情報６００に映像として含まれている表示画面３０に「テーマ１」の表題のページ、すなわち１ページが表示されている区間を示している。このように、各区間は、表示画面３０に表示された画面画像の切り替りを境界として定められている。
【０１０４】
また、ｔ１は、「テーマ１」に対応する区間を再生するのに要する再生時間である。すなわち、ｔ１は、テーマ１のページであるページ１の表示終了時刻と開始時刻の差分値である。ここで、先に述べた規定長は、ｔｓで示される。すなわち、規定長は再生時間の単位で定められている。
【０１０５】
区間の長さｔｘ（ｘ＝１〜６）の各々について規定長ｔｓと比較し、規定長ｔｓに比べて短い区間は、規定長ｔｓよりも長い他の区間に統合する。例えば、図１５（Ａ）に示す「テーマ４」を表示する区間の長さｔ４および「テーマ５」の区間の長さｔ５は規定長に比べて短い。従って、「テーマ４」の区間および「テーマ５」の区間は、規定外区間と判断される。この場合、図１５（Ｂ）に示すように、規定外区間は、その直後の区間に統合される。すなわち、「テーマ５」の区間は、「テーマ６」の区間に統合される。また、「テーマ４」の直後の区間、すなわち「テーマ５」の区間は規定外区間であるので、「テーマ４」の区間は、さらにその直後の区間、すなわち「テーマ６」の区間に統合される。すなわち、「テーマ４」の区間、「テーマ５」の区間、および「テーマ６」の区間が１つの区間に統合され、いずれも区間４に含まれることになる。
【０１０６】
プレゼンテーションにおいては、時間の都合上、途中のページの説明を省略する場合がある。図１５の「テーマ４」の区間および「テーマ５」の区間ように、その表示時間が短い場合、これらの画面画像は「テーマ６」を表示させるため表示されたに過ぎず、画面画像に対する説明は省略されていると推測される。このように、説明の対象となっていないと予想される、表示時間の短い画面画像に対応する区間を省略することで、より見やすい情報に編集することができる。
【０１０７】
プレゼンテーション資料３１の途中の画面画像の説明を省略する場合、省略する画面画像を表示させている間、プレゼンターは、次に説明する画面画像に関する内容を意識している場合が多い。このため、表示画面３０に省略された画面画像が表示されている間は、その次に説明の対象となるページにおいて説明すべき事項に関連する説明をしていると予想される。また、実際のプレゼンテーションにおいても、このようなケースが多い。そこで、本実施の形態においては、規定外区間は、便宜的にその直後の区間に含めることにした。これにより、内容的に統一された区間を１つの区間とすることができる。
【０１０８】
説明を図１２に戻す。動画情報が複数の区間に分割されると、次に、同期部４３３は、イベント情報３４０に基づいて、動画情報６００とプレゼンテーション資料３１とを同期させる（ステップＳ１０６）。次に、目次項目抽出部４３４は、プレゼンテーション資料３１から動画情報６００の目次として文字情報を抽出する（ステップＳ１０８）。具体的には、プレゼンテーション資料３１の各画面画像は、タイトル属性が付与された文字情報を含んでおり、目次項目抽出部４３４は、タイトル属性に対応付けられた文字情報を抽出する。目次項目抽出部４３４は、プレゼンテーション資料３１に含まれるすべてのページの画面画像から文字情報を抽出する。なお、本実施の形態においては、各画面画像における「テーマ・・・」という文字情報が、タイトル属性として記述されている。
【０１０９】
次に、目次項目抽出部４３４は、抽出いた目次項目を含む目次を生成する（ステップＳ１０９）。次に、対応付部４３５は、目次項目抽出部４３４が抽出した文字情報、すなわち目次項目を、当該目次項目を抽出した画面画像に対応付ける（ステップＳ１１０）。画面画像は、動画情報６００の各区間に対応付けられている。従って、各目次項目は、画面画像を介して動画情報６００の各区間に対応付けられる。
【０１１０】
ステップＳ１０２，ステップＳ１０４において、区間を統合した場合には（ステップＳ１１２，Ｙｅｓ）、同期調整部４３６は、動画情報６００とプレゼンテーション資料３１の同期を調整する（ステップＳ１１４）。
【０１１１】
ここで、図１６を参照しつつ同期調整部４３６が同期を調整する方法について説明する。図１６に示すように、動画情報６００の各区間と、当該区間と同時に表示すべきプレゼンテーション資料３１の各ページは同期している。規定外区間である「テーマ４」の区間および「テーマ５」の区間には、それぞれプレゼンテーション資料３１のうち「テーマ４」を示す４ページと５ページが同期している。この場合、同期調整部４３６は、「テーマ４」の区間および「テーマ５」の区間を含む区間４全体に対してプレゼンテーション資料３１の６ページを同期させる。すなわち、同期調整部４３６は、「テーマ４」の区間に対して、４ページにかえて６ページを同期させ、かつ「テーマ５」の区間に対して、５ページにかえて６ページを同期させる。
【０１１２】
規定外区間において表示画面３０に表示される画面画像は、該当するページにおいて、その説明が省略されており、表示させる必要がない場合が多い。また、先に説明したように、これらの画面画像を表示しているとき、プレゼンターはその後に表示する画面画像に関する内容について説明している場合が多い。このため、同期部４３３によって同期された画面画像を同期させるよりも、その後に表示するページを同期したほうが、利用者は内容を理解しやすい。
【０１１３】
再び、図１２を参照しつつ情報編集処理について説明する。同期調整が完了すると、次に、目次項目抽出部４３７は規定外区間に対応する目次項目を削除する（ステップＳ１１６）。
【０１１４】
図１７は、図１６に示す動画情報６００の目次項目を示している。図１７（Ａ）は削除前の目次項目を示している。図１７（Ｂ）は削除後の目次項目を示している。図１６に示すように、規定外区間である「テーマ４」の区間および「テーマ５」の区間は、いずれも「テーマ６」の区間に統合されている。そこで、これら３つの区間を含む区間４に対しては、統合先の区間に同期するページ６のページ属性を目次項目として抽出する。これにより、目次項目が無駄に多くなるのを避けることができる。以上の処理により、図１２に示す動画情報６００に対する情報編集処理が全て完了する。
【０１１５】
次に、プレゼンテーションにおいて、本来表示すべき順番と逆の順番でプレゼンテーション資料３１の画面画像が表示された場合の情報編集部３５の処理について、図１８を参照しつつ説明する。図１８に示す動画情報６１０には、プレゼンテーション資料３１のページ順と逆の順番にページが表示される部分が含まれている。すなわち、動画情報に含まれる表示画面３０は、「テーマ５」を表示したのちに、再度「テーマ４」の画面画像、「テーマ３」の画面画像、および「テーマ２」の画面画像の順に表示している。
【０１１６】
なお、情報編集部３５は、ページの切り替えをイベント種類として含むイベント情報に基づいて、ページ順と逆の順番に表示されていることを認識することができる。
【０１１７】
プレゼンテーションにおいては、既に説明した内容を、再び関連する画面画像を再度表示させて説明する場合がある。このような場合には、プレゼンターは、利用者インターフェースを用いて操作することにより。図１８に示すように順にページを戻していく。この場合も情報編集部３５は、図１４から図１７を参照しつつ説明した情報編集処理によって、規定長外区間を、当該規定長外区間の直後の区間に統合する。具体的には、図１８に示すテーマ５の区間に続いて順に表示されるテーマ４の区間およびテーマ３の区間が規定外区間である場合には、「テーマ４」の区間および「テーマ３」の区間を「テーマ２」の区間に統合する。
【０１１８】
その一方で、ページ順に「テーマ１」の区間から「テーマ５」の区間の間に含まれる規定外区間である「テーマ４」の区間に対しては、直後の区間に含める処理を行わない。このように、一旦表示させたページを、再度ページを遡って表示させる場合に限り直後の区間に統合することとしてもよい。
【０１１９】
ページ順にプレゼンテーション資料３１を表示させているときは、各ページについての説明を省略していても、聴講者の理解のためには画面画像の表示は残したほうがよい場合もある。このような場合には、本例のように、逆順にページが切り替る場合のみ規定外区間を統合することにより、より理解しやすい情報にすることができる。
【０１２０】
逆順にページが切り替る場合は、それ以前に既に、省略されたページについての説明がなされている場合が多い。従って、逆順にページが切り替る区間内の規定外区間を統合することにより、より適切な目次を生成することができる。
【０１２１】
次に、２次元バーコードを取得した場合の、印刷用データ生成部６５の処理について説明する。２次元バーコードは、上述のように、所定の画面画像に付与された付帯情報の付帯情報ＩＤを示している。２次元バーコードを取得すると、映像要約生成部１０５は、２次元バーコードを解読して、付帯情報ＩＤを特定し、当該付帯情報ＩＤに対する付帯情報と、この付帯情報に対応する画面画像データを特定する。そして、画面画像データと付帯情報を含む印刷用データを生成する。図１９は、出力された印刷用データを示している。このように、２次元バーコードを取得すると、指定された２次元バーコードにより特定される付帯情報を印刷した印刷物を出力することができる。従って、利用者は、プレゼンテーション前に配布された印刷物に印刷された２次元バーコードにより、プレゼンテーション終了後に、所望の画面画像データに関連する情報を取得することができる。
【０１２２】
図２０は、２次元バーコードリーダ６を示している。２次元バーコードリーダ６は、携帯電話に着脱可能に設けられている。２次元バーコードリーダ６は、図１３において説明した印刷物に印刷された２次元バーコードを読み取り、これを解読する。これにより、２次元バーコードからＵＲＬが特定される。そして、利用者の携帯端末７を介して、２次元バーコードから特定されたＵＲＬが、ネットワーク８を介して、情報編集装置５の通信部６７に送られる。そして、通信部６７から印刷用データ生成部６５にＵＲＬが送られ、印刷用データ生成部６５は、ＵＲＬにより特定される付帯情報等を利用して、印刷用データを生成する。以下、図２１を参照しつつ、印刷用データを生成する処理について詳述する。
【０１２３】
まず、図示しない表示部に要約条件、印刷書式入力を入力する画面を表示することによって要約条件と印刷書式とを入力する（ステップＳ５０１）。ここで、要約条件とは、付帯情報を生成するための条件である。
【０１２４】
このとき、利用者が登録部１１１に登録されている要約条件（キーワードなど）や印刷書式（雛型など）を指定したか否か判断し（ステップＳ５０２）、登録データが指定された場合には（ステップＳ５０２：Ｙｅｓ）、登録部１１１から登録データを読み出す（ステップＳ５１０）。また、登録データが指定されていない場合には（ステップＳ５０２：Ｎｏ）、映像構造インデックス１０１に基づいて映像情報１０２で表される映像の構造を解釈する（ステップＳ５０３）。
【０１２５】
次に、印刷用データ生成部６５は、映像要約作成サブルーチンを実行する（ステップＳ５０４）。映像要約作成サブルーチンは、映像要約生成部１０５、映像参照フレーム抽出部１０９においてなされる処理である。そして、要約条件にしたがって参照フレームを抽出する処理、抽出された参照フレームに付加されている文書と参照フレームとの割合を調整する処理、参照フレームの映像における位置を特定する処理を含むものである。
【０１２６】
次に、印刷用データ生成部６５は、映像要約サブルーチンの処理によって得られる参照フレームおよび文書を印刷書式に基づいて雛型に配置し、参照フレームおよび文書を印刷時の様式に整形する（ステップＳ５０５）。また、参照フレームの位置に関する情報をバーコード付加部１１０でバーコードに変換すると共に参照フレームおよび文書に付加する（ステップＳ５０６）。そして、印刷時の様式に整形された参照フレームおよび文書とバーコードとを出力部５０で使用される言語に変換して印刷言語を生成し（ステップＳ５０７）出力部５０で印刷する（ステップＳ５０８）。
【０１２７】
さらに、映像要約生成部１０５は、今回使用した要約条件と印刷書式とを編集者が登録するか否か判断し（ステップＳ５０９）、登録する場合には（ステップＳ５０９：Ｙｅｓ）、要約条件および印刷書式を登録部１１１に登録する（ステップＳ５１１）。また、登録しない場合には（ステップＳ５０９：Ｎｏ）、登録を行うことなく処理を終了する。
【０１２８】
なお、本実施の形態で説明した映像情報要約方法は、予め用意されたプログラムをパーソナル・コンピューターやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フロッピー（Ｒ）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、伝送媒体としてまたは上記記録媒体を介して、インターネット等のネットワークを介して配布することができる。
【０１２９】
以上のように、映像構造インデックスを利用して映像を表す画像および文書を映像情報から抽出することにより効率的に映像情報を検索し、参照フレームを抽出することができる。また、参照フレームを説明するための文書を比較的簡易に取得することができる。
【０１３０】
また、編集者が設定した要約条件に沿って映像を要約し、編集者が設定した印刷書式に沿って印刷することにより、参照フレームおよび文書の選択に利用者の目的や嗜好を反映させることができる。また、参照フレームおよび文書を印刷する際の雛型にも利用者の目的や嗜好を反映させることができる。さらに、要約条件や印刷書式を編集者が登録することにより、任意の要約条件によって抽出された参照フレームおよび文書を任意の雛型で印刷することができる。印刷物を映像記録媒体のインデックスに利用すれば、各利用者にオリジナルのインデックスを作成することができる。
【０１３１】
図２２は、実施の形態にかかる情報編集装置５のハードウェア構成を示す図である。情報編集装置５は、図２、図５、および図８を参照しつつ説明した、情報編集部３５の情報編集プログラムなどが格納されているＲＯＭ５２、ＲＯＭ５２内のプログラムに従って情報編集装置５の各部を制御し、情報編集処理等を実行するＣＰＵ５１、ワークエリアが形成され、情報編集装置５の制御に必要な種々のデータが記憶されているＲＡＭ５３、ネットワークに接続して、通信を行う通信Ｉ／Ｆ５７、および各部を接続するバス５８を備えている。
【０１３２】
先に述べた情報編集装置５における情報編集処理を実行する情報編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３３】
また、本実施形態の情報編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１３４】
この場合には、情報編集プログラムは、情報編集装置５において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１３５】
また、プレゼンテーション装置２のハードウェア構成は、図２２を参照しつつ説明した情報編集装置５のハードウェア構成と同様であるので、説明を省略する。
【０１３６】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【０１３７】
そうした第１変更例としては、本実施の携帯においては、２次元バーコードリーダ６により２次元バーコードを読み取ったが、これにかえて、スキャナにより２次元バーコードを画像として読み込んでもよい。この場合、情報編集装置５は２次元バーコードを解読する２次元バーコード読取部をさらに備える。そして、印刷用データ生成部６５は、２次元バーコード読取部が解読したＵＲＬにより特定される付帯情報等を利用して、印刷用データを生成する。この場合、利用者は端末から情報編集部３５に対してアクセスし、当該ＵＲＬにより付帯情報を要求する。
【０１３８】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。
【０１３９】
また、このように、デジタルデータを生成する前に画面画像と付帯情報識別情報とを対応付けた印刷物を配布することができる。従って、利用者は、デジタルデータとして撮影される講演等を視聴する場合、講演の間、講演内容に沿って、画面画像等が記載された印刷物にメモを取り、後日、付帯情報識別情報に基づいて付帯情報を取得することができる。これにより、講演中の自分のメモと付帯情報との対応付けを容易に行うことができるという効果を奏する。
【０１４０】
請求項２にかかる発明によれば、利用者は、後に印刷物に記載された付帯情報識別情報に基づいて付帯情報を取得することができるという効果を奏する。
【０１４１】
請求項３にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。
【０１４２】
また、請求項４にかかる発明によれば、画面画像と付帯情報識別情報とを対応付けた出力用画面情報を印刷物として出力することができる。従って、利用者は、この印刷物において、画面画像に対応付けられた付帯情報識別情報を利用して、画面画像に対する付帯情報を取得することができるという効果を奏する。
【０１４３】
また、請求項５にかかる発明によれば、付帯情報識別情報は、ＵＲＬであるので、利用者は、ＵＲＬにアクセスすることによって、容易に付帯情報を取得することができるという効果を奏する。
【０１４４】
また、請求項６にかかる発明によれば、付帯情報識別情報は、２次元バーコードとして印刷されるので、利用者は、この２次元バーコードを、バーコードリーダ等で読み取らせ、付帯情報識別情報を取得することができるという効果を奏する。
【０１４５】
また、請求項７にかかる発明によれば、画面画像関連情報要求は付帯情報識別情報を含むので、利用者から画面画像関連情報要求を受け付けると、付帯情報識別情報により付帯情報を特定し、特定した付帯情報を利用者に提供することができる。このように、利用者は、容易に所望の付帯情報を取得することができるという効果を奏する。
【０１４６】
また、請求項８にかかる発明によれば、雛型保持部は、画面画像関連情報を生成するときに利用する雛型を格納しているので、画像関連情報生成手段は、この雛型を利用することにより容易に画面画像関連情報を生成することができるという効果を奏する。
【０１４７】
また、請求項９にかかる発明によれば、対応付手段は、表示画面に画面画像が表示されている間に記録された情報を付帯情報として、当該画面画像に対応付けるので、画面画像に関連する情報を効率的に付帯情報として特定することができるという効果を奏する。
【０１４８】
また、請求項１０にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。
【０１４９】
また、請求項１１にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。
【図面の簡単な説明】
【図１】情報編集システム１の全体構成を示す図である。
【図２】情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。
【図３】プレゼンテーション資料３１を模式的に示す図である。
【図４】イベント情報リスト３４０のデータ構成を模式的に示す図である。
【図５】動画ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。
【図６】情報編集部３５が生成した情報ファイルを示す図である。
【図７】出力部５０から出力された情報ファイルを示す図である。
【図８】印刷用データ生成部６５の詳細な機能構成を示す機能ブロック図である。
【図９】映像構造インデックスを説明するための図である。
【図１０】参照フレームの絞り込みを説明するための図である。
【図１１】印刷書式として設定される雛型を例示する図である。
【図１２】情報編集部３５が動画ファイルを生成するときの処理を示すフローチャートである。
【図１３】動画ファイルの印刷物を示す図である。
【図１４】情報編集部３５が情報ファイルを作成するときの情報編集処理を示すフローチャートである。
【図１５】動画情報６００を時間軸に沿って模式的に示す図である。
【図１６】同期調整部４３６による同期の調整方法を説明するための図である。
【図１７】図１６に示す動画情報６００の目次を示す図である。
【図１８】動画情報６１０を示す図である。
【図１９】出力された印刷用データを示す図である。
【図２０】２次元バーコードリーダを示す図である。
【図２１】印刷用データを生成する処理を示すフローチャートである。
【図２２】情報編集装置５のハードウェア構成を示す図である。
【符号の説明】
１情報編集システム
２プレゼンテーション装置
３投影機
４ＤＶカメラ
５情報編集装置
６２次元バーコードリーダ
７携帯端末
８ネットワーク
１５マウス
２１キーボード
３０表示画面
３１プレゼンテーション資料
３２イベント処理部
３３イベントキャプチャ部
３４イベント記録部
３５情報編集部
３６受信部
３７イベント制御部
３８イベント記録部
３９撮影機器制御部
４０動画情報キャプチャ部
４１動画情報管理部
４２イベント情報解釈部
４３動画ファイル生成部
４４送信部
５０出力部
５４指示受付部
６０付与部
６１付帯情報生成部
６２印刷用データ生成部
６２画面画像テーブル保持部
６４保持部
６５印刷用データ生成部
６６雛型保持部
６７通信部
１０１映像構造インデックス
１０３映像構造解釈部
１０５映像要約生成部
１０６印刷整形部
１０７印刷言語生成部
１０９映像参照フレーム抽出部
１１０バーコード付加部
１１１登録部
４３０区間決定部
４３１区間調整部
４３３同期部
４３４目次項目抽出部
４３５対応付部
４３６同期調整部
４３７目次項目抽出部
５００表示部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information editing apparatus, an information editing method, and an information editing program for editing digital data including at least one of moving image data and audio data.
[0002]
[Prior art]
There is a demand to view only a desired part of a long-time video. In order to meet this demand, an indexing technique has recently been developed as a method for easily searching or searching for a desired portion. The indexing technology is a technology that divides the entire video into a plurality of portions along a time axis and associates each portion with descriptive information so as to be searchable. Further, there is known a technique of printing a summary of digital data subjected to an indexing process in accordance with a predetermined print format (for example, Patent Document 1).
[0003]
[Patent Document 1]
JP-A-2002-232858
[0004]
[Problems to be solved by the invention]
However, according to the above printing technique, a printed matter in which a summary of digital data or the like is described can be obtained only after the indexing process on the digital data is completed. For this reason, for example, when photographing a state of a lecture as digital data, a printed matter in which information on a summary of digital data is described beforehand cannot be distributed to viewers before the lecture starts.
[0005]
The present invention has been made in view of the above, and an object of the present invention is to obtain an information editing apparatus, an information editing method, and an information editing program that can more efficiently provide a user with information on a summary of digital data and the like. I do.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is an information editing method for editing digital data including at least one of moving image data and audio data, wherein each screen image to be sequentially displayed on a display screen, A table generating step of generating a correspondence table for associating additional information identification information for identifying additional information to be associated with the screen image, an additional information obtaining step of obtaining the additional information, and the additional information generating step, A correspondence step of associating the additional information identified by the additional information identification information associated with the screen image in the association table with the additional information identification information, and associating the screen image with the additional information identification information. An output step of outputting a printed matter attached to the printed matter; Before generating the over data, and having a distribution step of distributing to the user.
[0007]
According to the first aspect of the present invention, it is possible to associate the additional information identification information with the screen image before the additional information is generated, so that the additional information is provided to the user before the additional information is generated. Can be notified of the additional information identification information used to acquire the information.
[0008]
Further, as described above, it is possible to distribute a printed matter in which the screen image and the accompanying information identification information are associated with each other before the digital data is generated. Therefore, when viewing a lecture or the like photographed as digital data, the user makes a memo on a printed matter on which a screen image or the like is described according to the contents of the lecture during the lecture, and based on the accompanying information identification information at a later date. Incidental information can be obtained. As a result, it is possible to easily associate the user's memo during the lecture with the accompanying information.
[0009]
Further, claim 2 is the information editing method according to claim 1, wherein the step of obtaining the additional information identification information described on the printed matter from the user, wherein the identification information is identified by the additional information identification information. Providing the additional information to the user.
[0010]
According to the second aspect of the invention, the user can acquire the additional information based on the additional information identification information described later on the printed matter.
[0011]
The invention according to claim 3 is an information editing device that edits digital data including at least one of moving image data and audio data, wherein the screen image acquiring unit acquires a screen image to be displayed on a display screen, and the screen Digital data acquisition means for acquiring digital data related to an image, a screen image table for associating the screen image with supplementary information identifying information for identifying supplementary information to be associated with the screen image, and the digital data acquisition means acquiring Additional information generating means for generating additional information based on digital data; and the additional information generated by the additional information generating means and identified by the additional information identification information associated with the screen image in the correspondence table. Associating means for associating information with the incidental information identification information.
[0012]
According to the third aspect of the present invention, it is possible to associate the additional information identification information with the screen image before the additional information is generated, so that the additional information is provided to the user before the additional information is generated. The additional information identification information used for acquiring the information can be notified.
[0013]
According to a fourth aspect of the present invention, there is provided the information editing apparatus according to the third aspect, wherein the output screen image information includes the screen image associated with the screen image table and the supplementary information identification information. Output information generating means for generating the information.
[0014]
According to the invention of claim 4, it is possible to output the output screen information in which the screen image is associated with the accompanying information identification information as a printed matter. Therefore, the user can use the additional information identification information associated with the screen image to obtain the additional information for the screen image in the printed matter.
[0015]
The invention according to claim 5 is the information editing apparatus according to claim 3 or 4, wherein the additional information identification information is a URL indicating a location where the additional information is stored. I do.
[0016]
According to the invention of claim 5, since the additional information identification information is a URL, the user can easily acquire the additional information by accessing the URL.
[0017]
The invention according to claim 6 is the information editing device according to claim 4 or 5, wherein the output information generating unit generates and generates a two-dimensional barcode based on the incidental information identification information. The output screen information including a two-dimensional barcode and the screen image is generated.
[0018]
According to the invention of claim 6, since the supplementary information identification information is printed as a two-dimensional barcode, the user reads this two-dimensional barcode with a barcode reader or the like, and reads the supplementary information identification information. Can be obtained.
[0019]
The invention according to claim 7 is the information editing apparatus according to any one of claims 3 to 6, wherein the instruction receiving unit receives a screen image related information request including the additional information identification information from a user. Extracting the additional information identification information included in the screen image related information request received by the instruction receiving unit, and in the screen image table, the screen image associated with the additional information identification information; Image-related information generating means for generating screen image-related information including the additional information specified by the additional information identification information; and distributing the screen image-related information generated by the image-related information generating means to the user. And a distribution means.
[0020]
According to the invention of claim 7, since the screen image related information request includes the additional information identification information, when the screen image related information request is received from the user, the additional information is identified by the additional information identification information, and the identified additional information is identified. Information can be provided to users. As described above, the user can easily obtain desired supplementary information.
[0021]
The invention according to claim 8 is the information editing apparatus according to claim 7, further comprising a template holding unit for holding a template for embedding the screen image and the supplementary information, The means is characterized in that the screen image-related information is generated by embedding the screen image and the supplementary information in the template held in the template holding means.
[0022]
According to the eighth aspect of the present invention, since the template holding unit stores the template used when generating the screen image-related information, the image-related information generating means uses the template. Thus, screen image related information can be easily generated.
[0023]
According to a ninth aspect of the present invention, in the information editing apparatus according to any one of the third to eighth aspects, the supplementary information acquiring unit is configured to perform the operation while the screen image is being displayed on the display screen. Acquiring the incidental information recorded in the incidental information acquired by the incidental information acquiring means as an entity of the incidental information identification information associated with the screen image in the screen image table. Is associated with the supplementary information identification information.
[0024]
According to the ninth aspect of the present invention, the associating means associates information recorded while the screen image is being displayed on the display screen with the screen image as supplementary information. It can be specified efficiently as supplementary information.
[0025]
The invention according to claim 10 is an information editing method for editing digital data including at least one of moving image data and audio data, and associates each screen image to be sequentially displayed on a display screen with the screen image. A table generating step of generating a correspondence table for associating additional information identifying information for identifying additional information, an additional information obtaining step of obtaining the additional information, and a screen generated in the additional information generating step, and A step of associating the additional information identified by the additional information identification information associated with the image with the additional information identification information.
[0026]
According to the tenth aspect of the present invention, it is possible to associate the additional information identification information with the screen image before the additional information is generated, so that the additional information is provided to the user before the additional information is generated. The additional information identification information used for acquiring the information can be notified.
[0027]
An invention according to claim 11 is an information editing program for causing a computer to execute an information editing process of editing digital data including at least one of moving image data and audio data, wherein a screen image to be displayed on a display screen is displayed. A screen image obtaining step for obtaining, a digital data obtaining step for obtaining digital data related to the screen image, and a screen image table for associating the screen image with additional information identification information for identifying additional information to be associated with the screen image The screen image generating step of generating, based on the digital data obtained in the digital data obtaining step, an additional information generating step of generating additional information, and generated in the additional information generating step, the Associated with the screen image The supplementary information identified by the accompanying information identification information, characterized in that to execute the associating step for associating to the supplementary information identification information into the computer.
[0028]
According to the eleventh aspect of the present invention, it is possible to associate the additional information identification information with the screen image before the additional information is generated, so that the additional information is provided to the user before the additional information is generated. The additional information identification information used for acquiring the information can be notified.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an overall configuration of an information editing system 1 including an information editing device 5 according to an embodiment of the present invention.
[0030]
The information editing system 1 displays a presentation device 2 that stores a presentation material 31, a projector 3 such as a projector that is connected to the presentation device 2 and displays the presentation material 31, and displays an image projected by the projector 3. A display screen 30, a DV camera 4 with a sound capturing function for capturing a moving image of a presentation situation together with sound, and information editing for editing moving image information (hereinafter simply referred to as “moving image information”) including sound captured by the DV camera 4. Device 5. Here, the presentation material 31 is composed of a plurality of screen image data to be displayed during the presentation. The screen image data is, for example, still image data such as PPT data. The moving image information corresponds to the digital data of the present invention.
[0031]
The DV camera 4 and the information editing device 5 are connected by an interface such as IEEE1394. The presentation device 2 and the information editing device 5 are connected by a communication interface such as IEEE802.11b. If there is no wireless communication environment, a normal Ethernet (R) peer-to-peer connection may be used.
[0032]
The presentation device 2 simply stores the presentation material 31 and may communicate with the projector 3. For example, the presentation device 2 may be a PC owned by the presenter.
[0033]
The editor uses the DV camera 4 to take a picture of the presenter giving a presentation while displaying the presentation material 31 on the display screen 30. Here, the editor is a person who edits a moving image using the information editing system 1.
[0034]
When the photographing is completed, the information editing device 5 acquires the presentation material 31 from the presentation device 2 and further acquires the moving image information indicating the state of the presentation from the DV camera 4. Then, the information editing device 5 edits the moving image information. That is, a moving image file in which the presentation material 31 is associated with the moving image information is generated.
[0035]
FIG. 2 is a block diagram illustrating a functional configuration of the information editing unit 35 of the information editing device 5 that performs a characteristic process of the information editing system 1 according to the present embodiment, and the event processing unit 32 of the presentation device 2.
[0036]
The event processing unit 32 records an event capture unit 33 that acquires event information indicating an event related to a presentation based on an input from the keyboard 21 and the mouse 15 connected to the presentation device 2, and records the event information acquired by the event capture unit 33. An event recording unit 34 for transmitting the event information and the presentation material 31 to the information editing device 5 is provided.
[0037]
The information editing unit 35 includes a receiving unit 36, an event control unit 37, an event recording unit 38, an event information interpretation unit 42, a moving image information capture unit 40, a moving image information management unit 41, a photographing device control unit 39, an additional information generating unit 61, a moving image file generating unit 43, an additional information additional information ID assigning unit 60, a screen image table holding unit 62, a print data generating unit 65, a template holding unit 66, It has an instruction receiving unit 54, an output unit 50, and a communication unit 67.
[0038]
The receiving unit 36 receives the event information and the presentation material 31 from the transmitting unit 44. The event control unit 37 controls the event information received by the receiving unit 36. The event recording unit 38 receives the event information from the event control unit 37 and records the event information.
[0039]
The photographing device control unit 39 controls the DV camera 4. When outputting the moving image file generated by the moving image file generating unit 43 to the outside, the moving image information capturing unit 40 captures the moving image information captured by the DV camera 4. The moving image information management unit 41 manages moving image information.
[0040]
The event information interpreting section 42 acquires the event information from the event recording section 38 and interprets the contents of the event information. The additional information generating unit 61 generates additional information to be associated with each screen image data constituting the presentation material 31 based on the event information interpreted by the event information interpreting unit 42.
[0041]
The moving image file generation unit 43 edits the moving image information based on the event information interpreted by the event information interpreting unit 42, and generates a moving image file. Specifically, the additional information and the screen image data generated by the additional information generation unit 61 are associated with the moving image information.
[0042]
The supplementary information ID assigning unit 60 generates a screen image table by associating each screen image data included in the presentation material 31 received by the receiving unit 36 with the supplementary information ID. Here, the additional information ID is information for identifying additional information to be associated with the screen image data later.
[0043]
The holding unit 64 holds the moving image file generated by the moving image file generating unit 43. The template holding unit 66 holds a template used by the print data generation unit 65.
[0044]
The print data generation unit 65 generates print data using a moving image file. More specifically, by embedding the additional information ID associated with the screen image data in the screen image table held in the screen image table holding unit 62 in the template held in the template holding unit 66. Generate print data. Here, the print data generation unit 62 constitutes an output information generation unit of the present invention. The print data corresponds to the output screen image data of the present invention.
[0045]
The communication unit 67 communicates with the outside via the network 8. More specifically, the additional information ID is received from the user and sent to the print data generation unit 65. Further, the print data generated by the print data generation unit 65 is transmitted to the outside. The output unit 50 outputs the moving image file stored in the storage unit 64 and the print data generated by the print data generation unit 65.
[0046]
Here, the communication unit 67 and the output unit 50 constitute a distribution unit in the present invention.
[0047]
The instruction receiving unit 54 receives an instruction from an editor or the like, and sends the instruction to the additional information generating unit 61, the moving image file generating unit 43, and the print data generating unit 65.
[0048]
Here, the receiving unit 36 and the moving image information capturing unit 40 constitute an event information acquiring unit, a screen image information acquiring unit, and a moving image information acquiring unit of the present invention, respectively.
[0049]
Next, the presentation material 31 will be described with reference to FIG. The presentation material 31 includes screen image data 311, 312, 314, 316, 318, 320 to be displayed on the display screen 30 at the time of a presentation. Each of the screen image data 311, 312, 314, 316, 318, and 320 is associated with a page number and displayed in the order of the page number. That is, the screen images constituting the presentation material 31 are arranged in the order determined by the creator of the presentation material 31. The presentation material 31 shown in FIG. 3 includes screen image data for six pages. These are displayed in order of page 1, page 2,... In accordance with an instruction from the presenter. Note that the presentation material 31 in the present embodiment is a file of Power Point (R) manufactured by Microsoft (R).
[0050]
Usually, in a presentation, the presenter performs the following operations.
1. Starting the presentation device 2
2. Starting presentation software
3. Start of presentation
4. Turning the page of the presentation material 31 by operating the keyboard 21 or the mouse 15
5. End of presentation
6. End of presentation software
7. End of presentation device 2
Here, turning the page means switching the presentation material 31 to be displayed on the display screen 30 from one page to the next page, that is, two pages.
[0051]
The above operations are all associated with predetermined operations on the mouse 15 or the keyboard 21. For example, an operation of clicking the icon of the presentation software displayed on the display screen of the presentation device 2 with the mouse 15 is associated with an event of starting the presentation software.
[0052]
The event recording unit 34 records a log of the event information, and the transmission unit 44 transmits the log to the information editing unit 35 via the communication interface. The imaging device control unit 39 controls the DV camera 4 based on the event information. The event recording unit 38 records not only the event information received from the event processing unit 32 but also the event information of the control of the DV camera 4.
[0053]
For example, when an event of starting the presentation software occurs, this event information is recorded in the event recording unit 38. Further, the capturing device control unit 39 starts capturing moving image information from the DV camera 4. When the presentation software ends, the photographing device control unit 39 ends the import of the moving image information from the DV camera 4. Then, the event control unit 37 records, in the event recording unit 38, event information in which the end of the presentation software is set as an event.
[0054]
The event information interpreter 42 interprets the contents of the event information. Then, the moving image file generation unit 43 refers to the contents of the event information interpreted by the event information interpretation unit 42, and generates a moving image file based on the presentation material 31 and the moving image information.
[0055]
As described above, the information editing unit 35 can manage the event information of the event in the moving image information captured from the DV camera 4 together with the moving image information. That is, the moving image information captured and captured by the DV camera 4 is stored with time information defining the transition of time. The recorded event information is merged with the presentation material 31 by the moving image file generation unit 43 and managed by a content description language (MPEG-7 or the like).
[0056]
FIG. 4 schematically shows a data configuration of the event information list 300. In the event information list 300, event information 341, 342, 343,... Are arranged in the order of occurrence of each event. The event information includes the type of event that has occurred and the date and time when the event occurred. For example, when page 2 is displayed, event information “switch to page 2” is recorded. Thereby, it is possible to recognize the display start time at which the display of each page is started and the end time at which the display is ended.
[0057]
FIG. 5 is a functional block diagram illustrating a detailed functional configuration of the moving image file generation unit 43 described in FIG. The moving image file generation unit 43 includes a section determination unit 430, a section adjustment unit 431, a synchronization unit 433, a table of contents item extraction unit 434, an association unit 435, a synchronization adjustment unit 436, and a table of contents item extraction unit 437. Have.
[0058]
The section determination unit 430 divides the moving image information 600 acquired from the DV camera 4 into a plurality of sections based on the event information 340 acquired from the presentation device 2. Specifically, the section determination unit 430 determines the frame position recorded at the time indicated by the event information 350 indicating the page turning as the boundary position of the section of the moving image information. That is, the section in which one page is displayed is the same section, and the timing at which the page is switched corresponds to the boundary of the section.
[0059]
The section adjuster 431 adjusts the length of the section divided by the section determiner 430. Specifically, when the length of the section determined by the section determination unit 430 is shorter than a predetermined specified length, a section shorter than the specified length, that is, a section outside the specified length is set to the specified length. Merge into the section immediately before or immediately after the section. Here, the specified length can be changed. For example, the length may be set to a length specified by an editor or the like via the instruction receiving unit 54.
[0060]
The synchronization unit 433 synchronizes the moving image information 600 with the presentation material 31 based on the event information 350. That is, one page of the presentation material 31 to be simultaneously displayed when each section of the moving image information 600 is displayed is associated with each section.
[0061]
The synchronization adjustment unit 436 synchronizes the page synchronized with the section to which the non-defined section is integrated with the non-defined section of the moving image information 600, in place of the page of the presentation material 31 synchronized by the synchronization unit 433.
[0062]
The table-of-contents item extraction unit 434 extracts, from the presentation material 31, character information to be a table-of-contents item of the moving image information 600. The associating unit 435 associates the table of contents item extracted by the table of contents item extracting unit 434 with each page of the presentation material 31 from which the table of contents item is extracted. The association unit 435 associates the supplementary information 400 with each page of the presentation material 31. The table of contents item extraction unit 437 deletes the table of contents items extracted by the table of contents item extraction unit 434.
[0063]
FIG. 6 shows a moving image file generated by the information editing unit 35. The moving image file includes moving image information 600, a plurality of screen image data 311, 312... Associated with each section 610 of the moving image information 600, and additional information IDs 411, 412. , And additional information 421, 422,... Specified by the additional information IDs 411, 412,. Each section 610 of the moving image information 600 includes a plurality of frames 620. The length of each section 610 is determined by event information.
[0064]
The supplementary information ID 410 in the present embodiment is a URL indicating the position where the supplementary information specified by the supplementary information ID is stored. The additional information 421 is text data related to the corresponding screen image. The content of the text data may be, for example, the content corresponding to the sound included in the moving image information in the section corresponding to the screen image. As another example, the content may be input from the editor via the instruction receiving unit 54. In any case, the content of the supplementary information is not limited to the present embodiment.
[0065]
As described above, the moving image information 600 is associated with each screen image 311, 312... Of the presentation material 31, so that the moving image information 600 and each screen image data 311, 312. They can be displayed synchronously.
[0066]
FIG. 7 shows a moving image file output from the output unit 50. The display unit 500 illustrated in FIG. 7 displays the moving image information 600, the page 330 of the presentation material 31 synchronized with the section displayed on the display unit 500, and the table of contents 800 of the moving image information 600. . Note that the table of contents 800 and the moving image information 600 are linked. For example, when the item “Theme 1: hollowing out of the manufacturing industry” in the table of contents 800 is selected, regardless of the section of the moving image displayed at that time, Instead, section 1 of the moving image information 600 is reproduced. The section 1 is a section where the theme 1 is displayed on the display screen 30 included in the video. Thus, by selecting the table of contents, it is possible to display a desired section of the user.
[0067]
In the present embodiment, the moving image file generation unit 43 generates a moving image file using SMIL (Synchronized Multimedia Integration Language). Here, SMIL is a language that controls and synchronizes the reproduction of various types of data such as moving images, still images, sounds, music, and characters, and is described in XML. By using SMIL, a display position on a display screen, display timing, display time, and the like can be specified.
[0068]
Next, a process in which the print data generation unit 65 generates print data based on the moving image file stored in the storage unit 64 will be described.
[0069]
FIG. 8 is a block diagram illustrating a detailed functional configuration of the print data generation unit 65. The print data generation unit 65 generates print data in which the screen image data and the accompanying information are associated with each other.
[0070]
The print data generation unit 65 includes a video structure interpretation unit 103, a video summary generation unit 105 including a registration unit 111, a print shaping unit 106, a print language generation unit 107, a video reference frame extraction unit 109, and a barcode addition unit 110. ing.
[0071]
The moving image file held in the holding unit 64 includes video information (video main body) 102 and a video structure index 101 attached to the video information 102 and representing a video structure in a tree structure.
[0072]
FIG. 9 is a diagram for explaining the video structure index 101. The video structure index 101 is configured as a hierarchical tree structure. The hierarchy of the tree structure is divided according to the level of detail of the information, and the lower hierarchy holds more detailed information about the video. The illustrated tree structure represents video management data having one root directory 201 for the entire recording medium.
[0073]
The video structure index 101 is data representing the video information 102 in a structured manner. The structuring of the video information 102 refers to a process of capturing a video represented by the video information as a continuous frame image (an image created by dividing a moving image) and combining the frame images into predetermined units. A group of a plurality of frame images organized by structuring is called a segment. According to the video structure index 101, it is possible to obtain information indicating what kind of image each segment is composed of.
[0074]
In the present embodiment, a segment is created for each shooting, and the segments combined for each shooting are further combined for each cut / shot change point to create a segment. The cut / shot change point is a recording time calculated from the start of recording a video, or a frame image arranged based on the number of recorded images, which are arranged side by side, and a difference between feature amounts is smaller than a predetermined value. This is provided between large frame images. Note that, for example, there are the following features.
・ Color histogram
・ Spatial color distribution
・ Spatial edge distribution
・ Spatial texture distribution
・ Object shape
[0075]
X shown in FIG. 9 indicates environment information, Y indicates camera information, and Z indicates a still image feature amount of a representative frame. The environment information X is information on the external environment at the time of shooting, and includes information on date and time, position (latitude and longitude), altitude, temperature, and humidity. The image structuring apparatus that creates the image structure index 101 includes a clock (GMT time as a standard), a GPS (Global Positioning System), a barometric pressure sensor, a temperature sensor, and a humidity sensor for acquiring such information. Have.
[0076]
Further, the camera information Y includes information such as a focal length, an aperture value, a shutter speed, and a focus distance when a frame image (an image created by dividing a moving image) included in a certain segment is captured. I have. From such information, it can be inferred from the information on the focal length as to whether the photographing target of the frame image is a landscape, an object such as a person or an object, or whether it is wide-angle photographing or telephoto photographing. Further, from the information on the aperture value, it is possible to estimate the brightness of the shooting location in addition to determining whether the shooting target is a landscape or an object.
[0077]
Further, from the information on the shutter speed, it can be inferred whether the object to be photographed is stationary or moving, and further, the brightness of the photographing place. The distance between the camera part of the video recording device and the object to be photographed can be roughly estimated from the information on the focusing distance. By interpreting the above information in a compound manner, for example, if the aperture value is low regardless of the shutter speed, the focusing distance is short and the focal length is long, it is highly likely that the object has been shot. Be able to guess.
[0078]
Further, the still image feature amount Z is information representing a feature amount when a frame image is viewed as a still image.
[0079]
Cut shot general information 202A and cut shot information 203A located immediately below the root directory 201 are information common to all the video information 102. Further, the cut / shot general information 202B is general information on cut / shot change points of the segment managed by the cut / shot information 203A.
[0080]
In the tree structure shown in FIG. 9, there are two segments for each shooting created as the shooting progresses, and the two segments are provided with cut / shot information 203B and 203C, respectively. Camera information Y is added to each of the two segments.
[0081]
Further, below the segment to which the cut shot information 203B and 2203C are added, four cut shot segments included in each segment are arranged. The four segments are created by dividing the segment to which the cut shot information 203B is added at cut / shot change points. Then, cut shot information 203D, 203E, 203F, and 203G are arranged in the four cut shot segments, respectively. Further, cut shot information 203H, 203L, 203J, and 203K are added to four segments arranged below the segment to which the cut shot information 203C is added. Camera information Y is added to the cut shot information 203D to 203G and the cut shot information 203H to 203K, respectively.
[0082]
Further, the cut shot information 203D to 203G and the cut shot information 203H to 203K include information of a representative frame (also referred to as a key frame) image representing a frame image included in the segment to which each piece of cut shot information is added (refer to FIG. Representative frame information) 204A, 204B, 204C, 204D and representative frame information 204E, 204F, 204G, 204H are added, respectively. Furthermore, the representative frame information 204A to 204D and the representative frame information 204E to 204H include a still image feature amount Z of each representative frame.
[0083]
The representative frame information 204A to 204D and the representative frame information 204E to H include a document describing each representative frame in addition to the still image feature amount Z of each representative frame. The document describing the representative frame is a document created by the editor when the video structure index 101 is created, or a sample document automatically added according to the feature amount. In the video structure index 101, representative frame information 204A to 204D and representative frame information 204E to 204H including a document describing each representative frame are printable information.
[0084]
The video summary generation unit 105 includes a summary condition (referred to as condition A in the figure) which is a condition used for summarization via the instruction receiving unit 45, and a print format (in the figure) used for shaping information by the print shaping unit 106. Condition B) is obtained. Then, the obtained summary condition and print format are set in the video summary generation unit 105. Also, the video structure interpretation unit 103 interprets the structure of the video structure index 101. The video summary generation unit 105 and the video reference frame extraction unit 109 summarize the video information 102 based on the video structure index 101 interpreted by the video structure interpretation unit 103 and the summarization condition. The print shaping unit 106 converts the information (video summary) generated by summarizing the video information 102 by the video summary generation unit 105 and the video reference frame extraction unit 109 into a printable format based on a print format (shaping).
[0085]
In this embodiment, the summarization conditions include the proportion of the image and the proportion of the character in the video summary, the accuracy at the time of summarization, and the reference frame (frame image to be printed) performed by the video reference frame extraction unit 109. Set the extraction conditions and the number of reference frames to be extracted. In addition, a template for printing is set as a print format. The summary condition and the print format can be acquired via the instruction receiving unit 54 or can be registered in the registration unit 111 of the video summary generation unit 105 in advance.
[0086]
Among the summarization conditions described above, the accuracy at the time of summarization is set by designating the hierarchy of the tree structure. In addition, the extraction condition of the reference frame is set based on a keyword or an image acquired from the editor via the instruction receiving unit 54, or a keyword or an image registered in the registration unit 111.
[0087]
The set keywords and images are sent to the video reference frame extraction unit 109 via the video summary generation unit 105. The video reference frame extraction unit 109 searches for a frame image (representative frame is assumed in the present embodiment) based on the keyword, and extracts a corresponding representative frame. Alternatively, an image similar to the image set in the extraction condition is extracted. If the number of extracted images is larger than the number of reference frames in the summary condition, the video reference frame extraction unit 109 narrows down the representative frames by the method shown in FIG.
[0088]
That is, according to FIG. 10, when seven representative frames a, b, c, d, e, f, and g are extracted at the initial stage of extraction, the similarity between the representative frames a to g is determined. Compare. This similarity may be determined by, for example, a feature amount. As a result of the similarity comparison, when it is determined that the representative frame a and the representative frame e are similar (for example, the difference in the feature amount is smaller than a preset reference), the video reference frame extraction unit 109 sets the representative frame Only one of the frame a or the representative frame e is left. The remaining representative frame a or e becomes the representative frame h. That is, the representative frame h represents the representative frames a and e. Similarly, when it is determined that the representative frame c and the representative frame f are similar, the representative frame c and the representative frame f are represented by the representative frame j by leaving only one of the representative frame c and the representative frame f. Through the above processing, the seven representative frames a to g are narrowed down to five representative frames h, i, j, k, and l.
[0089]
Further, the video reference frame extracting unit 109 performs the same processing as the narrowing-down process performed on the representative frames a to g on the five representative frames h to l, and extracts the five representative frames h to l. Narrow down to three representative frames m, n, and o. When the numerical value of 3 matches the number of reference frames to be extracted set as the summarization condition, the video reference frame extraction unit 109 outputs the information that the representative frames m to o have been extracted to the video summary generation unit 105 and the print shaping unit. Send to 106.
[0090]
The video summary generation unit 105 compares the amounts of the representative frames m to o and the documents attached to the representative frames m to o with the ratio occupied by the images and the ratio occupied by the characters set as the summary conditions. The amounts of the representative frames m to o and the documents attached to the representative frames m to o are obtained, for example, by simulating the area ratio occupied by the reference frame extracted and the area ratio occupied by the characters in the printed image. It may be. At this time, the ratio occupied by the image and the ratio occupied by the characters set as the summary condition are set by the area ratio occupied by the image and the area ratio occupied by the characters in the printed image.
[0091]
If the ratio occupied by the representative frame (hereinafter, referred to as a reference frame) and the ratio occupied by the characters do not match the summarization condition, the video summary generation unit 105 determines the ratio occupied by the reference frame. Adjust so that the ratio occupied by characters matches the summary condition. This adjustment is performed by, for example, deleting the extracted reference frame and assigning the space to characters, or deleting information represented by characters. When deleting text information, the video summary generation unit 105 extracts important words from text information, for example. Then, it may be determined that a document containing many important phrases has higher importance, and a document having less important words has lower importance, and the document determined to have lower importance may be preferentially deleted.
[0092]
Further, the video summary generation unit 105 sends information on the reference frame and the document whose ratio has been adjusted as described above to the print shaping unit 106. The print shaping unit 106 arranges the reference frame and the document according to the template set as the print format, and sends it to the print language generation unit 107. At this time, the print shaping unit 106 sends the position of the reference frame in the video to the barcode adding unit 110 from the information on the reference frame. The barcode adding unit 110 converts the position of the reference frame in the video into information represented by a barcode, and outputs the information to the print language generating unit 107. The position of the reference frame in the video indicates the position of the reference frame in the frame image forming the video or the number of minutes (minutes or seconds) after the start of the reproduction of the video. Time position.
[0093]
FIGS. 11A, 11B, and 11C are diagrams illustrating a template set as a print format. These are templates realized by the templates held in the template holding unit 66. FIG. 11A illustrates an image-based template mainly including an image. (B) is an image / character mixed type template in which images and documents are distributed at a relatively close ratio. FIG. 11C shows a character-based template mainly composed of a document.
[0094]
In the present embodiment, the template holding unit 66 also holds templates for identification labels (sticky notes) of video media such as video tapes and DVDs. Then, the specification of the printing format is received from the user via the instruction receiving unit 54, a list of templates is displayed on a display unit (not shown), and the specification of an arbitrary template is received from the user. Further, the template is not limited to the one stored in advance, and can be registered via the instruction receiving unit 54.
[0095]
The reference form and the document printed and shaped according to the template are output from the print shaping unit 106 to the print language generating unit 107. Further, the barcode addition unit 110 sends the position in the video of the reference frame converted into the barcode to the print language generation unit 107. The print language generation unit 107 converts the print-shaped reference form, document, and barcode into the print language used by the output unit 50 and sends the print language to the output unit 50. The output unit 50 prints out the reference form, the document, and the barcode on the same sheet. At this time, an area dedicated to the barcode may be provided in the template.
[0096]
Hereinafter, the information editing processing when the information editing unit 35 creates a moving image file will be described with reference to FIG. First, the receiving unit 36 receives the presentation material 31 from the transmitting unit of the event processing unit 32 (Step S90). Next, additional information ID is given to each screen image data included in the received presentation material 31 (step S92). Then, the screen image table holding unit 62 holds a screen image table in which the screen image data ID for identifying the screen image data is associated with the supplementary information ID (step S94). Next, the output unit 50 outputs a printed matter in which the screen image data associated with the screen image table and the additional information ID are associated. (Step S96).
[0097]
FIG. 13 shows the printed matter output at this time. On the printed matter, each screen image data 310 constituting the presentation material 31 and the two-dimensional barcode 430 are printed in association with each other. Here, the two-dimensional barcode 430 is generated based on the incidental information ID 420. That is, the supplementary information ID can be specified from the two-dimensional barcode 430.
[0098]
Here, a two-dimensional barcode can represent more information than a conventional one-dimensional barcode. Known two-dimensional barcodes include a stack of one-dimensional barcodes and a barcode representing information in the horizontal and vertical directions. In the present embodiment, a so-called QR code capable of expressing information in the horizontal direction and the vertical direction is printed.
[0099]
Before the actual presentation starts, a printed matter in which each screen image data constituting the presentation material 31 is associated with the supplementary information ID corresponding to the screen image data is distributed to the attendees attending the presentation.
[0100]
Then, when the presentation starts, a moving image showing the state of the presentation is shot using the DV camera 4.
[0101]
Next, an information editing process for generating an information file from the moving image information captured by the DV camera 4 and the previously acquired presentation material 31 or the like will be described with reference to FIG. First, the section determination unit 430 divides the moving image information 600 acquired from the DV camera 4 into a plurality of sections based on the event information 340 acquired from the presentation device 2 (Step S100). Specifically, two consecutively recorded pieces of event information indicating “switch to the event type page 2 at the occurrence date and time 10:10, and switch to the event type page 3 at the occurrence date and time 10:16” are obtained. In this case, the section recorded from 10:10 to 10:16 in the moving image information 600 is determined as the section corresponding to page 2. That is, it is divided into sections with the positions at 10:10 and 10:16 as boundary positions.
[0102]
Next, the section adjuster 431 compares the length of each section determined by the section determiner 430 with a predetermined length. If there is a section shorter than the specified length, that is, a section outside the specified length (step S102, Yes), the section outside the specified length is adjusted (step S104).
[0103]
Here, a method in which the section adjusting unit 431 adjusts the section outside the specified length will be described with reference to FIG. FIG. 15 schematically shows the moving image information 600 along the time axis. For example, the section of “Theme 1” indicates a section of the moving image information 600 in which the page titled “Theme 1” is displayed on the display screen 30 included as a video in the moving image information 600, that is, a section in which one page is displayed. ing. As described above, each section is defined as a boundary between switching of the screen image displayed on the display screen 30.
[0104]
Further, t1 is a reproduction time required to reproduce a section corresponding to “theme 1”. That is, t1 is a difference value between the display end time and the start time of page 1 which is the page of theme 1. Here, the prescribed length described above is indicated by ts. That is, the specified length is determined in units of the reproduction time.
[0105]
Each of the section lengths tx (x = 1 to 6) is compared with the specified length ts, and a section shorter than the specified length ts is integrated with another section longer than the specified length ts. For example, the length t4 of the section displaying “Theme 4” and the length t5 of the section of “Theme 5” shown in FIG. 15A are shorter than the specified length. Therefore, the section of “theme 4” and the section of “theme 5” are determined to be non-defined sections. In this case, as shown in FIG. 15B, the non-defined section is integrated into the section immediately after it. That is, the section of “theme 5” is integrated with the section of “theme 6”. Further, since the section immediately after “Theme 4”, that is, the section of “Theme 5” is an unspecified section, the section of “Theme 4” is further integrated into the section immediately after that, ie, the section of “Theme 6”. You. That is, the section of “theme 4”, the section of “theme 5”, and the section of “theme 6” are integrated into one section, and all are included in the section 4.
[0106]
In a presentation, explanation of a page in the middle may be omitted due to time limitations. When the display time is short, such as the section of “Theme 4” and the section of “Theme 5” in FIG. 15, these screen images are only displayed to display “Theme 6”, and the explanation for the screen images will be described. Is presumed to be omitted. As described above, by omitting the section corresponding to the screen image having a short display time, which is expected not to be the target of the description, it is possible to edit the information to be more easily viewable.
[0107]
When omitting the description of the screen image in the middle of the presentation material 31, while presenting the screen image to be omitted, the presenter is often conscious of the content related to the screen image described below. For this reason, while the abbreviated screen image is displayed on the display screen 30, it is expected that the explanation related to the item to be explained on the page to be explained next is given. Such cases are also common in actual presentations. Therefore, in the present embodiment, the non-defined section is included in the section immediately after it for convenience. As a result, a section whose content is unified can be defined as one section.
[0108]
The description returns to FIG. When the moving image information is divided into a plurality of sections, next, the synchronization unit 433 synchronizes the moving image information 600 with the presentation material 31 based on the event information 340 (Step S106). Next, the table-of-contents item extraction unit 434 extracts character information from the presentation material 31 as a table of contents of the moving image information 600 (step S108). Specifically, each screen image of the presentation material 31 includes character information to which a title attribute has been assigned, and the table of contents item extraction unit 434 extracts character information associated with the title attribute. The table of contents item extraction unit 434 extracts character information from the screen images of all pages included in the presentation material 31. In the present embodiment, character information “theme...” In each screen image is described as a title attribute.
[0109]
Next, the table of contents item extraction unit 434 generates a table of contents including the extracted table of contents items (step S109). Next, the associating unit 435 associates the character information extracted by the index item extracting unit 434, that is, the index item, with the screen image from which the index item is extracted (step S110). The screen image is associated with each section of the moving image information 600. Therefore, each table of contents item is associated with each section of the moving image information 600 via the screen image.
[0110]
When the sections are integrated in steps S102 and S104 (step S112, Yes), the synchronization adjustment unit 436 adjusts the synchronization between the moving image information 600 and the presentation material 31 (step S114).
[0111]
Here, a method in which the synchronization adjustment unit 436 adjusts synchronization will be described with reference to FIG. As shown in FIG. 16, each section of the moving image information 600 and each page of the presentation material 31 to be displayed simultaneously with the section are synchronized. In the section of “theme 4” and the section of “theme 5” which are the non-defined sections, the 4th and 5th pages indicating “theme 4” of the presentation material 31 are synchronized with each other. In this case, the synchronization adjustment unit 436 synchronizes six pages of the presentation material 31 with respect to the entire section 4 including the section of “theme 4” and the section of “theme 5”. That is, the synchronization adjustment unit 436 synchronizes six pages instead of four pages for the section of “theme 4” and synchronizes six pages instead of five pages for the section of “theme 5”. .
[0112]
The description of the screen image displayed on the display screen 30 in the non-specified section is omitted in the corresponding page, and it is often unnecessary to display the screen image. In addition, as described above, when these screen images are displayed, the presenter often describes the contents related to the screen image to be displayed thereafter. For this reason, it is easier for the user to understand the contents when synchronizing the pages displayed later than synchronizing the screen images synchronized by the synchronizing unit 433.
[0113]
The information editing process will be described again with reference to FIG. When the synchronization adjustment is completed, next, the table-of-contents item extraction unit 437 deletes the table-of-contents item corresponding to the non-defined section (step S116).
[0114]
FIG. 17 shows a table of contents of the moving image information 600 shown in FIG. FIG. 17A shows a table of contents before deletion. FIG. 17B shows the table of contents after deletion. As shown in FIG. 16, the “theme 4” section and the “theme 5” section, which are non-defined sections, are both integrated into the “theme 6” section. Therefore, for the section 4 including these three sections, the page attribute of the page 6 synchronized with the integration destination section is extracted as a table of contents item. As a result, it is possible to avoid an unnecessary increase in the table of contents items. With the above processing, all the information editing processing for the moving image information 600 shown in FIG. 12 is completed.
[0115]
Next, a process performed by the information editing unit 35 when a screen image of the presentation material 31 is displayed in a reverse order to the order in which it should be originally displayed in a presentation will be described with reference to FIG. The moving image information 610 shown in FIG. 18 includes a portion in which pages are displayed in the reverse order of the page order of the presentation material 31. That is, the display screen 30 included in the moving image information displays “theme 5”, and then displays the “theme 4” screen image, the “theme 3” screen image, and the “theme 2” screen image again in this order. are doing.
[0116]
The information editing unit 35 can recognize that the pages are displayed in the reverse order to the page order based on the event information including the page switching as the event type.
[0117]
In a presentation, the content already described may be described by displaying a related screen image again. In such a case, the presenter operates by using the user interface. The pages are sequentially returned as shown in FIG. Also in this case, the information editing unit 35 integrates the section outside the specified length into the section immediately after the section outside the specified length by the information editing process described with reference to FIGS. 14 to 17. Specifically, when the section of theme 4 and the section of theme 3 displayed sequentially after the section of theme 5 shown in FIG. 18 are non-defined sections, the section of “theme 4” and the section of “theme 3” Are integrated into the section of “Theme 2”.
[0118]
On the other hand, for the section of “theme 4”, which is a non-defined section included between the section of “theme 1” and the section of “theme 5” in the page order, the process of including it in the immediately following section is not performed. In this way, the page once displayed may be integrated into the immediately succeeding section only when the page is displayed retrospectively.
[0119]
When the presentation materials 31 are displayed in the page order, it may be better to keep the screen image displayed for the audience to understand even if the explanation of each page is omitted. In such a case, as in the present example, the non-specified sections are integrated only when the pages are switched in the reverse order, thereby making the information easier to understand.
[0120]
When the pages are switched in the reverse order, the omitted page is often described before that. Therefore, a more appropriate table of contents can be generated by integrating non-defined sections in the section in which pages are switched in reverse order.
[0121]
Next, processing of the print data generation unit 65 when a two-dimensional barcode is acquired will be described. As described above, the two-dimensional barcode indicates the supplementary information ID of the supplementary information added to the predetermined screen image. Upon acquiring the two-dimensional barcode, the video summary generation unit 105 decodes the two-dimensional barcode, specifies the supplementary information ID, and generates the supplementary information corresponding to the supplementary information ID and the screen image data corresponding to the supplementary information. Identify. Then, print data including screen image data and additional information is generated. FIG. 19 shows the output print data. As described above, when the two-dimensional barcode is acquired, it is possible to output a printed matter on which the additional information specified by the specified two-dimensional barcode is printed. Therefore, the user can acquire information related to desired screen image data after the presentation is completed, using the two-dimensional barcode printed on the printed matter distributed before the presentation.
[0122]
FIG. 20 shows the two-dimensional barcode reader 6. The two-dimensional barcode reader 6 is provided detachably on a mobile phone. The two-dimensional barcode reader 6 reads the two-dimensional barcode printed on the printed matter described with reference to FIG. 13 and decodes it. Thus, the URL is specified from the two-dimensional barcode. Then, the URL specified from the two-dimensional barcode is transmitted to the communication unit 67 of the information editing device 5 via the network 8 via the portable terminal 7 of the user. Then, the URL is transmitted from the communication unit 67 to the print data generation unit 65, and the print data generation unit 65 generates the print data using the additional information specified by the URL. Hereinafter, the process of generating print data will be described in detail with reference to FIG.
[0123]
First, a summary condition and a print format are input by displaying a screen for inputting a summary condition and a print format on a display unit (not shown) (step S501). Here, the summary condition is a condition for generating additional information.
[0124]
At this time, it is determined whether the user has specified a summary condition (keyword or the like) or a print format (model or the like) registered in the registration unit 111 (step S502). (Step S502: Yes), the registration data is read from the registration unit 111 (Step S510). If the registration data is not specified (step S502: No), the structure of the video represented by the video information 102 is interpreted based on the video structure index 101 (step S503).
[0125]
Next, the print data generation unit 65 executes a video summary creation subroutine (step S504). The video summary creation subroutine is a process performed by the video summary generation unit 105 and the video reference frame extraction unit 109. The process includes a process of extracting a reference frame according to the summary condition, a process of adjusting the ratio of a document added to the extracted reference frame to the reference frame, and a process of specifying the position of the reference frame in the video.
[0126]
Next, the print data generation unit 65 arranges the reference frame and the document obtained by the processing of the video summarization subroutine in a template based on the print format, and shapes the reference frame and the document into a printing style (step S505). ). Further, the information relating to the position of the reference frame is converted into a barcode by the barcode addition unit 110 and is added to the reference frame and the document (step S506). Then, the reference frame, the document, and the barcode, which have been formatted in the format at the time of printing, are converted into a language used in the output unit 50 to generate a print language (Step S507), and printed by the output unit 50 (Step S508). .
[0127]
Further, the video summary generation unit 105 determines whether or not the editor registers the summary conditions and the print format used this time (step S509). If the summary is used (step S509: Yes), the editor sets the summary conditions and the print format. The format is registered in the registration unit 111 (step S511). If the registration is not performed (step S509: No), the process ends without performing the registration.
[0128]
The video information summarizing method described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a floppy (R) disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. In addition, this program can be distributed via a network such as the Internet as a transmission medium or via the recording medium.
[0129]
As described above, by extracting an image and a document representing a video from the video information using the video structure index, the video information can be efficiently searched and the reference frame can be extracted. Further, a document for explaining the reference frame can be obtained relatively easily.
[0130]
In addition, by summarizing the video according to the summarization conditions set by the editor and printing it according to the print format set by the editor, it is possible to reflect the user's purpose and preference in the selection of reference frames and documents. it can. In addition, the purpose and preference of the user can be reflected in the template for printing the reference frame and the document. Furthermore, by registering the digest condition and the print format by the editor, the reference frame and the document extracted under the arbitrary digest condition can be printed in an arbitrary template. If a printed matter is used as an index of a video recording medium, an original index can be created for each user.
[0131]
FIG. 22 is a diagram illustrating a hardware configuration of the information editing device 5 according to the embodiment. The information editing device 5 includes a ROM 52 storing an information editing program of the information editing unit 35 described with reference to FIGS. 2, 5, and 8, and each unit of the information editing device 5 according to a program in the ROM 52. A CPU 51 for controlling and executing information editing processing and the like, a RAM 53 in which a work area is formed and various data necessary for control of the information editing apparatus 5 are stored, a communication I / F 57 for connecting to a network and performing communication , And a bus 58 for connecting each part.
[0132]
The information editing program for executing the information editing process in the information editing apparatus 5 described above is a file of an installable format or an executable format in a computer such as a CD-ROM, a floppy (R) disk (FD), or a DVD. It is provided by being recorded on a readable recording medium.
[0133]
Further, the information editing program of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network.
[0134]
In this case, the information editing program is read from the recording medium and executed by the information editing device 5 to be loaded on the main storage device, and each unit described in the software configuration is generated on the main storage device. It has become.
[0135]
Also, the hardware configuration of the presentation device 2 is the same as the hardware configuration of the information editing device 5 described with reference to FIG.
[0136]
As described above, the present invention has been described using the embodiment. However, various changes or improvements can be added to the above embodiment.
[0137]
As a first modification example, in the mobile phone of the present embodiment, the two-dimensional barcode is read by the two-dimensional barcode reader 6, but instead, the two-dimensional barcode may be read as an image by a scanner. In this case, the information editing device 5 further includes a two-dimensional barcode reading unit that decodes a two-dimensional barcode. Then, the print data generating unit 65 generates the print data using the additional information specified by the URL decoded by the two-dimensional barcode reading unit. In this case, the user accesses the information editing unit 35 from the terminal and requests the additional information by the URL.
[0138]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to associate the additional information identification information with the screen image before the additional information is generated. This makes it possible to notify the user of the additional information identification information used to acquire the additional information.
[0139]
Further, as described above, it is possible to distribute a printed matter in which the screen image and the accompanying information identification information are associated with each other before the digital data is generated. Therefore, when viewing a lecture or the like photographed as digital data, the user makes a memo on a printed matter on which a screen image or the like is described according to the contents of the lecture during the lecture, and based on the accompanying information identification information at a later date. Incidental information can be obtained. As a result, there is an effect that it is possible to easily associate the user's memo during the lecture with the accompanying information.
[0140]
According to the invention according to claim 2, there is an effect that the user can acquire the additional information based on the additional information identification information described later on the printed matter.
[0141]
According to the third aspect of the present invention, the additional information identification information and the screen image can be associated in advance before the additional information is generated, so that the additional information is provided to the user before the additional information is generated. There is an effect that the additional information identification information used for acquiring the information can be notified.
[0142]
Further, according to the invention of claim 4, it is possible to output the output screen information in which the screen image and the accompanying information identification information are associated with each other as a printed matter. Therefore, there is an effect that the user can acquire the supplementary information for the screen image by using the supplementary information identification information associated with the screen image in this printed matter.
[0143]
Further, according to the invention of claim 5, since the additional information identification information is a URL, there is an effect that the user can easily acquire the additional information by accessing the URL.
[0144]
Further, according to the invention of claim 6, since the additional information identification information is printed as a two-dimensional barcode, the user can read this two-dimensional barcode with a barcode reader or the like, and There is an effect that information can be obtained.
[0145]
According to the invention of claim 7, since the screen image related information request includes the additional information identification information, when the screen image related information request is received from the user, the additional information is identified by the additional information identification information, and the identification is performed. Such additional information can be provided to the user. In this manner, the user can easily obtain desired supplementary information.
[0146]
According to the invention of claim 8, since the template holding unit stores the template used when generating the screen image related information, the image related information generating means uses the template. This makes it possible to easily generate screen image related information.
[0147]
According to the ninth aspect of the present invention, the associating means associates information recorded while the screen image is being displayed on the display screen with the screen image as supplementary information. There is an effect that information can be efficiently specified as supplementary information.
[0148]
According to the tenth aspect, before the additional information is generated, the additional information identification information and the screen image can be associated in advance, so that the user is notified before the additional information is generated. This makes it possible to notify the additional information identification information used to acquire the additional information.
[0149]
Further, according to the eleventh aspect, before the additional information is generated, the additional information identification information and the screen image can be associated in advance, so that the user is notified before the additional information is generated. This makes it possible to notify the additional information identification information used to acquire the additional information.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an information editing system 1.
FIG. 2 is a block diagram showing a functional configuration of an information editing unit 35 of the information editing device 5 and an event processing unit 32 of the presentation device 2.
FIG. 3 is a diagram schematically showing a presentation material 31;
FIG. 4 is a diagram schematically showing a data configuration of an event information list 340.
FIG. 5 is a functional block diagram illustrating a detailed functional configuration of a moving image file generation unit 43.
FIG. 6 is a diagram showing an information file generated by an information editing unit 35.
FIG. 7 is a diagram showing an information file output from an output unit 50.
FIG. 8 is a functional block diagram illustrating a detailed functional configuration of a print data generation unit 65;
FIG. 9 is a diagram for explaining a video structure index.
FIG. 10 is a diagram for describing narrowing down of reference frames.
FIG. 11 is a diagram illustrating a template set as a print format.
FIG. 12 is a flowchart illustrating a process when the information editing unit 35 generates a moving image file.
FIG. 13 is a diagram illustrating a printed matter of a moving image file.
FIG. 14 is a flowchart showing an information editing process when the information editing unit 35 creates an information file.
FIG. 15 is a diagram schematically showing moving image information 600 along a time axis.
FIG. 16 is a diagram for explaining a method of adjusting synchronization by a synchronization adjustment unit 436.
17 is a diagram showing a table of contents of the moving image information 600 shown in FIG.
FIG. 18 is a diagram showing moving image information 610.
FIG. 19 is a diagram illustrating output print data.
FIG. 20 is a diagram showing a two-dimensional barcode reader.
FIG. 21 is a flowchart illustrating a process of generating print data.
FIG. 22 is a diagram showing a hardware configuration of the information editing device 5.
[Explanation of symbols]
1 Information editing system
2 Presentation device
3 Projector
4 DV camera
5 Information editing device
6 2D barcode reader
7 Mobile terminal
8 Network
15 mouse
21 Keyboard
30 Display screen
31 Presentation Materials
32 Event processing unit
33 Event Capture Unit
34 Event Recorder
35 Information Editing Department
36 Receiver
37 Event control unit
38 Event Recorder
39 Camera control unit
40 Video information capture unit
41 Movie Information Management Department
42 Event information interpreter
43 Movie file generator
44 Transmitter
50 Output unit
54 Instruction reception unit
60 application part
61 Additional information generation unit
62 Print Data Generation Unit
62 Screen image table holding unit
64 Holder
65 Print Data Generator
66 Template Holder
67 Communication unit
101 Video Structure Index
103 Image structure interpreter
105 Video Summary Generation Unit
106 Print Formatter
107 Print Language Generator
109 Video Reference Frame Extraction Unit
110 Barcode addition section
111 registration unit
430 Section determination unit
431 Section adjustment unit
433 Synchronization unit
434 Table of Contents Item Extraction Unit
435 Correspondence part
436 Synchronization adjustment unit
437 Table of Contents Item Extraction Unit
500 display

Claims

An information editing method for editing digital data including at least one of video data and audio data,
A table generation step of generating a correspondence table that associates each screen image to be sequentially displayed on the display screen with additional information identification information that identifies additional information to be associated with the screen image;
Supplementary information acquisition step of acquiring the supplementary information,
An association step that is generated in the additional information generation step and that is associated with the additional information identified by the additional information identification information that is associated with the screen image in the correspondence table;
An output step of outputting a printed matter in which the screen image and the incidental information identification information are described in association with each other,
Distributing the printed matter to users before generating the digital data.

From the user, acquiring the incidental information identification information described in the printed matter,
Providing the additional information identified by the additional information identification information to the user; and providing the additional information to the user.

An information editing device for editing digital data including at least one of video data and audio data,
Screen image acquisition means for acquiring a screen image to be displayed on the display screen,
Digital data acquisition means for acquiring digital data related to the screen image,
A screen image table that associates the screen image with additional information identification information that identifies additional information to be associated with the screen image;
Based on the digital data acquired by the digital data acquisition means, additional information generation means for generating additional information,
An association unit that is generated by the additional information generation unit and that associates the additional information identified by the additional information identification information associated with the screen image in the correspondence table with the additional information identification information. An information editing device, characterized in that:

4. The information according to claim 3, further comprising output information generating means for generating output screen image information including the screen image and the supplementary information identification information associated with each other in the screen image table. Editing device.

The information editing apparatus according to claim 3, wherein the additional information identification information is a URL indicating a location where the additional information is stored.

The output information generating unit generates a two-dimensional barcode based on the incidental information identification information, and generates the output screen information including the generated two-dimensional barcode and the screen image. The information editing device according to 4 or 5.

Instruction receiving means for receiving a screen image related information request including the additional information identification information from a user;
Extracting the additional information identification information included in the screen image related information request received by the instruction receiving unit, and, in the screen image table, the screen image associated with the additional information identification information; Image-related information generating means for generating screen image-related information including the supplementary information specified by the identification information,
7. The information editing apparatus according to claim 3, further comprising: a distribution unit configured to distribute the screen image-related information generated by the image-related information generation unit to the user. 8. .

Further comprising a template holding means for holding a template for embedding the screen image and the accompanying information,
8. The screen image related information according to claim 7, wherein the image related information generating unit generates the screen image related information by embedding the screen image and the supplementary information in the template held in the template holding unit. Information editing device as described.

The incidental information acquiring unit acquires the incidental information recorded while the screen image is displayed on the display screen,
The association means associates the additional information acquired by the additional information acquisition means with the additional information identification information as an entity of the additional information identification information associated with the screen image in the screen image table. The information editing apparatus according to any one of claims 3 to 8, wherein:

An information editing method for editing digital data including at least one of video data and audio data,
A table generation step of generating a correspondence table that associates each screen image to be sequentially displayed on the display screen with additional information identification information that identifies additional information to be associated with the screen image;
Supplementary information acquisition step of acquiring the supplementary information,
Associating the additional information generated by the additional information generation step with the additional information identification information associated with the screen image in the correspondence table, with the additional information identification information. An information editing method characterized by the following.

An information editing program that causes a computer to execute an information editing process of editing digital data including at least one of video data and audio data,
A screen image acquisition step of acquiring a screen image to be displayed on the display screen;
Digital data acquisition step of acquiring digital data related to the screen image,
The screen image, the screen image generation step of generating a screen image table that associates additional information identification information that identifies additional information to be associated with the screen image, based on the digital data acquired in the digital data acquisition step, An additional information generating step of generating additional information;
An association step, which is generated in the additional information generation step and is associated with the additional information identified by the additional information identification information associated with the screen image in the correspondence table, with the additional information identification information, An information editing program characterized by being executed.