JP2004234568A - タイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラム - Google Patents
タイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラム Download PDFInfo
- Publication number
- JP2004234568A JP2004234568A JP2003025201A JP2003025201A JP2004234568A JP 2004234568 A JP2004234568 A JP 2004234568A JP 2003025201 A JP2003025201 A JP 2003025201A JP 2003025201 A JP2003025201 A JP 2003025201A JP 2004234568 A JP2004234568 A JP 2004234568A
- Authority
- JP
- Japan
- Prior art keywords
- application
- timing
- image display
- state
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】連続する画像表示を行うアプリケーションによる画像表示状態が所定の画像表示状態となったタイミングを自動的に取得する。
【解決手段】ＰＣ１１０では、文書データ作成編集アプリケーション４０１が動作し、文書画像等を表示させる。イベントデータ取得アプリケーション４０２は、ユーザからのスクロール指示等にしたがって行われる文書データ作成編集アプリケーション４０１による画像表示状態を取得し、かかる画像表示状態が予め設定された状態、例えばページの切り替わり部分が表示される等の状態となった場合に、そのタイミングを含むイベントデータを作成記録する。
【選択図】 図２
【解決手段】ＰＣ１１０では、文書データ作成編集アプリケーション４０１が動作し、文書画像等を表示させる。イベントデータ取得アプリケーション４０２は、ユーザからのスクロール指示等にしたがって行われる文書データ作成編集アプリケーション４０１による画像表示状態を取得し、かかる画像表示状態が予め設定された状態、例えばページの切り替わり部分が表示される等の状態となった場合に、そのタイミングを含むイベントデータを作成記録する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、アプリケーションによって表示される画像の状態が所定の状態になったタイミングを取得するタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムに関する。
【０００２】
【従来の技術】
従来より、会議等でプレゼンテーションを行う際に、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）およびプロジェクター装置、またはＯＨＰ（オーバヘッドプロジェクタ）装置等を用い、複数の画像を順次切り替えてスクリーン等に表示させながら説明等を行う手法がとられることがある。
【０００３】
また、上記のような手法で行ったプレゼンテーションの様子をビデオカメラで撮影することもある。そして、このビデオカメラで撮影した録画データを再生することで、プレゼンテーションの再現を行うのである。
【０００４】
しかしながら、単にスクリーン等に表示される画像を含めてプレゼンテーションの様子をビデオカメラで録画し、それを再生するだけでは、スクリーンに表示される画像が鮮明に再現できない場合が多い。
【０００５】
また、プレゼンテーションは、グラフ、表、文書などの資料を表示する複数のスライド画像を順次表示させながら、表示されている資料について説明等を行うといった形式で行われるのが一般的である。したがって、上記のように単にプレゼンテーションの様子を録画し再生する方法では、ある１つの画像に表示されている資料についての説明等のみを再現したい場合に、ビデオ再生を早送りする等の操作を行って所望の再生位置を探し出すといった煩雑な操作を行わなくてはならない。
【０００６】
そこで、プレゼンテーションの様子をビデオに録画するとともに、プレゼンテーションの際に説明者が、各々の資料画像をスクリーンに表示させたタイミング情報を取得するといった技術が提案されている（例えば、特許文献１参照）。
【０００７】
かかる技術では、プレゼンテーションの様子を録画した映像を再生する際に、取得した各画像の表示タイミング情報を参照することで、プレゼンテーション映像の再生時刻がある画像の表示タイミングとなった時点で当該ある画像を、その画像データに基づいて表示させるようにしている。このように録画映像とは別に資料等を表示させるために用意されている画像データに基づいて資料画像を表示させることで、資料等の画像を鮮明に表示させることができる。
【０００８】
ところで、近年では、ＯＨＰ装置を利用するのではなく、ＰＣでプレゼンテーション用アプリケーションを動作させ、ユーザのキー操作に応じて順次画像データに基づく画像を表示させながらプレゼンテーションを行うのが主流となりつつある。
【０００９】
このようにＰＣで動作するプレゼンテーション用アプリケーションを利用する場合、スライド画像データがページ単位で用意されているので、表示対象となるスライド画像を切り替えたタイミングを取得することができる。
【００１０】
【特許文献１】
特開平１０−５５３９１号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、従来技術では、１枚、１枚のスライド画像といった単位で切り替えて画像表示を行うプレゼンテーション用アプリケーションを利用したプレゼンテーションであれば、切り替えタイミング情報を取得することができるものの、文書作成編集（いわゆるワードプロセッサ）アプリケーションで作成された文書画像を表示させながら、説明等を行う場合には文書中のページ切り替わり等のタイミング情報を取得することができない。
【００１２】
すなわち、文書作成編集アプリケーションによって作成される文書データは、１ページといった単位でデータを切り替えて表示させるといったものではなく、１つの文書データ中に複数ページにわたる文書が含まれ、表示画面に表示させる際にはこのような複数ページにわたる文書を表示範囲を順次スクロールさせながら連続して表示させている。
【００１３】
したがって、プレゼンテーション用アプリケーションのようにページ単位で用意されたスライド画像データの表示、つまり連続しない各画像ごとの表示を行う場合にはその切り替えタイミングを取得することができるが、文書作成編集アプリケーションのような連続して画像を表示させるアプリケーションについては表示ページが切り替わったなどの画像表示状態の変動タイミング等を取得することができないのである。
【００１４】
同様に連続して画像を表示させるアプリケーションとしては、動画像データに基づく映像を再生表示させるアプリケーションがあり、このようなアプリケーションについては再生上切り替わりといった概念がなく、再生シーンが切り替わった等のアプリケーションの所定の再生状態になったタイミングを取得することができない。
【００１５】
以上のように文書データ作成編集アプリケーションなどのように連続して画像を表示させるアプリケーションによる画像表示を行わせた場合に、ページの切り替わり等、所定の表示状態のタイミングを得るためには、ユーザがスクリーンを参照しながら表示状態が所定のタイミングになったことを確認し、その時刻等をメモに記載しておくといった煩雑な操作を行わなくてはならなかった。
【００１６】
この発明は上記に鑑みてなされたもので、プレゼンテーション用アプリケーションのようにページ単位で用意された画像を個別に表示するのではなく、連続する画像表示を行うアプリケーションによる画像表示状態が所定の画像表示状態となったタイミングを自動的に取得することができるタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムを得ることを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段とを具備することを特徴とするタイミング情報取得装置である。
【００１８】
請求項１にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となる。
【００１９】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、文書データの作成編集機能を実現するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記文書データに基づいて表示される文書のページの切り替わり部分が表示画面内の決められた位置に表示されるという状態となったタイミングを取得することを特徴とする。
【００２０】
請求項２にかかる発明によれば、文書データ作成編集機能を実現するアプリケーションによる画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。つまり、ページの切り替わったタイミングを自動的に取得することができる。
【００２１】
また、請求項３にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、グラフ表示を含む表計算機能を実現するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、グラフが表示画面に表示されるという状態になったタイミングを取得することを特徴とする。
【００２２】
請求項３にかかる発明によれば、表計算機能を実現するアプリケーションによる画像表示状態が、グラフが表示されるといった状態となった場合そのタイミングが自動的に取得される。
【００２３】
また、請求項４にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、動画像データに基づいて動画像を再生するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記動画像データに基づいて映像の切り替わり部分を表示するという状態になったタイミングを取得することを特徴とする。
【００２４】
請求項４にかかる発明によれば、動画像再生アプリケーションによる画像表示状態が、シーン切り替わりなどの映像が切り替わる状態となった場合にそのタイミングを自動的に取得することができる。
【００２５】
また、請求項５にかかる発明は、撮影装置によって撮影される、または録音装置によって録音される再現データを記録する記録手段と、ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段と、前記記録手段によって記録される再現データと、前記タイミング取得手段によって取得されたタイミングにおける前記アプリケーションの動作状態とを、前記タイミング取得手段によって取得されたタイミングに基づいて時系列に対応づけるインデキシング手段とを具備することを特徴とするインデキシング装置である。
【００２６】
請求項５にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができる。そして、取得したタイミングにおける画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような画像表示状態となったかがわかり、アプリケーションによって表示された画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となる。
【００２７】
また、請求項６にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得ステップと、前記状態取得ステップで取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得ステップとを具備することを特徴とするタイミング情報取得方法である。
【００２８】
請求項６にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となる。
【００２９】
また、請求項７にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションが動作するコンピュータを、前記アプリケーションによる画像表示状態を取得する状態取得手段、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段として機能させるためのプログラムである。
【００３０】
請求項７にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができる。
【００３１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムの好適な実施の形態を詳細に説明する。
【００３２】
Ａ．実施形態
図１は、本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。同図に示すように、このインデキシングシステム１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１１０と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１２０と、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）カメラ１３０と、投影機１４０とを備える。
【００３３】
ＰＣ１１０は、プロジェクター装置等である投影機１４０とＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４等のインターフェースを介して接続されており、このような通信手段を介して両者間でデータの授受を行うことができるようになっている。ＰＣ１２０は、ＤＶカメラ１３０とＩＥＥＥ１３９４等のインターフェースを介して接続されており、このような通信手段を介して両者の間でデータの授受を行うことができるようになっている。
【００３４】
また、ＰＣ１１０とＰＣ１２０とは、ＩＥＥＥ８０２．１１ｂ等の無線通信インターフェースもしくは有線通信インターフェース等を介して接続されており、両者間でデータの授受を行うことができるようになっている。
【００３５】
ＰＣ１１０の電源を投入すると、ＣＰＵが、ファイル管理、メモリ管理、入出力の管理、ユーザインターフェース等の提供を行う基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を読み出して起動し、その後ユーザが指定したアプリケーション等がＣＰＵによって外部記憶装置から読み出されて実行され、種々の機能が実現できるようになっている。
【００３６】
ＰＣ１１０の外部記憶装置には、文書データ作成編集アプリケーション（ワードプロセッサアプリケーション）、表計算アプリケーション、動画像再生アプリケーションといった種々の機能を実現するアプリケーション等が格納されている。
【００３７】
かかるＰＣ１１０において、これらのアプリケーションを起動させることで、文書データ作成編集、表計算、動画像再生といった機能を実現することができる。例えば、文書データ作成編集アプリケーション（例えば、マイクロソフト社の「ｗｏｒｄ」など）によれば、ディスプレイ等に表示させながら、文書データを作成することができ、作成した文書データに基づく文書を表示させたり、紙に印刷させたりすることができる。また、表計算アプリケーション（例えば、マイクロソフト社の「ｅｘｃｅｌ」など）によれば、数値データの集計・分析、数値データのグラフ化等の処理が行え、集計表やグラフなどをディスプレイに表示させたり、紙に印刷させたりすることができる。また、動画像再生アプリケーションによれば、所定の形式（例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２）の動画像データを再生し、再生画像をディスプレイ等に出力表示させることができる。
【００３８】
上述したようにＰＣ１１０は、投影機１４０と接続されているので、上記のような各アプリケーションによって実現される文書、グラフ、動画像等の表示をスクリーン上になすことができる。したがって、ユーザはＰＣ１１０を適宜操作することで、スクリーン上に文書、グラフ、動画像等を表示させながら、その表示された内容について説明等を行うといったプレゼンテーションができる。
【００３９】
なお、文書データ作成編集アプリケーションによる画像表示、表計算アプリケーションによる画像表示および動画像再生アプリケーションによる画像表示は、プレンゼーテーション用のアプリケーション（例えば、マイクロソフト社の「ＰｏｗｅｒＰｏｉｎｔ」等）のようにスライド単位で画像を表示させ、ユーザ指示に応じて表示画像を切り替えるといったものではなく、ユーザの指示にしたがって一連の文書等をスクロールさせながら表示したり、映像を再生するといった連続した画像表示である。
【００４０】
したがって、上記のアプリケーションによる画像表示には、１枚、１枚用意されているスライド画像を切り替えるといった明確な区切りがない。本実施形態では、上記のように画像表示状態の明確な区切りのない場合であっても、文書データ作成編集アプリケーションによって表示される文書のページが切り替わりといった画像表示状態の変化タイミングおよび変化内容といったイベントデータを取得する機能を実現するため、ＰＣ１１０の外部記憶装置にはイベントデータ取得アプリケーションが格納されている。イベントデータ取得アプリケーションによって実現される機能の詳細については後述する。
【００４１】
一方、ＰＣ１２０の外部記憶装置にはインデキシングアプリケーションが格納されており、かかるインデキシングアプリケーションを起動することで、ＰＣ１２０においてＤＶカメラ１３０によって撮影された撮影データと、上述したＰＣ１１０で動作するイベントデータ取得アプリケーションによって取得されたイベントデータとを対応つけることができる。そして、インデキシングアプリケーションはこのような対応つけによって、ＤＶカメラ１３０によって撮影された撮影データに基づく動画像再生と、文書データ作成編集アプリケーション等によって表示された画像の表示とを同期させることができる同期再生用データを作成する。
【００４２】
次に、上記のような同期再生用データを作成する場合のインデキシングシステム１００について説明する。かかるインデキシングシステム１００を利用し、プレゼンテーション等の様子を撮影した画像等を表示させる同期再生データを作成する場合、説明者がＰＣ１１０を操作して投影機１４０によってスクリーン等に所望の画像を表示させながら説明を行い、その説明をしている様子をＤＶカメラ１３０で撮影する必要がある。また、プレゼンテーションを行う前にユーザはＰＣ１２０においてインデキシングアプリケーションを起動させ、ＰＣ１１０において文書データ編集アプリケーションとイベントデータ取得アプリケーションを起動させる。なお、ＰＣ１１０で表計算アプリケーションや動画像再生アプリケーションを起動した場合であっても同期再生用データを作成することができるが、これについては後述する。
【００４３】
そして、これらのアプリケーションをＰＣ１１０およびＰＣ１２０において起動させたときのインデキシングシステム１００の機能構成を図２に示す。以下においては、これらの構成（アプリケーション等）を動作主体として説明するが、実際の動作主体はＣＰＵ等のハードウェアである。
【００４４】
同図に示すように、このインデキシングシステム１００におけるＰＣ１１０は、キーボードやマウス等を有するユーザインターフェース（Ｉ／Ｆ）１０７と、文書データ作成編集アプリケーション４０１と、イベントデータ取得アプリケーション４０２と、文書データ作成編集アプリケーションによって作成された文書データ等を記憶するハードディスクドライブ等の記憶部１０５とを備える。
【００４５】
上述したようにＰＣ１１０における文書データ作成編集アプリケーション４０１は、ユーザインターフェース１０７を介して入力されるユーザの操作指示内容にしたがって文書データに基づく文書画像を表示させる。かかるシステムにおいては、表示画像に対応するデータがＰＣ１１０から投影機１４０（図１参照）に出力されるので、文書画像は図示せぬスクリーン上に表示されることになる。そして、ユーザが表示スクロールを指示すれば、その指示にしたがって図示せぬ画面（スクリーン）上に表示される文書がスクロールされ、ユーザはかかる複数ページ分にわたる文書画像を順次スクロール表示させながら説明等を行う。
【００４６】
すなわち、図３に示すように、文書データ作成編集アプリケーション４０１によって作成された文書データに基づいて表示される画像は、印刷時にはページごとに用紙に印刷されるものの、画像表示の際には各ページの文書は独立したものではなく連続したものである。そして、これらの文書はページごとに個別に表示されるのではなく、表示範囲に入った部分が表示され、ユーザのスクロール指示によってその表示範囲を変動させることで、文書全体を表示させることができるのである。
【００４７】
イベントデータ取得アプリケーション４０２は、画像表示状態取得部４０５と、イベントデータ記録送信部４０６とを有している。画像表示状態取得部４０５は、上記のように文書データに基づく文書画像を表示させる文書データ作成編集アプリケーション４０１による画像の表示状態を取得する。画像の表示状態とは、文書データ作成編集アプリケーション４０１によって、文書データにおけるどの位置の文書が画面（スクリーン）上のどの位置に表示されているかといった状態である。画像表示状態取得部４０５は文書データ作成編集アプリケーション４０１による画像表示状態を常時監視して取得し、これをイベントデータ記録送信部４０６に供給する。
【００４８】
ここで、画像表示状態取得部４０５は、文書データ作成編集アプリケーション４０１から供給されるアプリケーションの状態を示す情報を取得することによって、画像表示状態を取得する。
【００４９】
例えば、文書データ作成編集アプリケーションがマイクロソフト社の「ｗｏｒｄ」である場合にはＯＬＥ（Ｏｂｊｅｃｔ Ｌｉｎｋｉｎｇ ａｎｄ Ｅｍｂｅｄｄｉｎｇ）と呼ばれる技術を利用し、文書の○○行目を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている文書データ作成編集アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。
【００５０】
なお、このようなＯＬＥ技術を利用して文書データ作成編集アプリケーション４０１の状態を示す情報を取得し、文書データ作成編集アプリケーション４０１による画像表示状態（文書データに対応する文書のどの位置が画面上のどの位置に表示されるかといった状態）を取得することができるが、画像表示状態の取得方法はこれに限定されるものではない。例えば、文書データ作成編集アプリケーションによる画像表示状態を、当該アプリケーションが逐一イベントデータ取得アプリケーション４０２に対して通知する処理を実行するよう構成された文書データ作成編集アプリケーションを用いるようにしてもよい。
【００５１】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から供給される画像表示状態に基づいてイベントデータを作成記録するとともに、文書データ作成編集アプリケーション４０１による画像表示を利用して行われるプレゼンテーション等が終了した旨の指示があると、記録しておいたイベントデータと、文書画像表示に用いられた文書データとをＰＣ１２０に送信するようＰＣ１１０の通信インターフェース等を制御する。
【００５２】
より具体的にはイベントデータ記録送信部４０６は図４に示すような処理を行う。まず、イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給されたか否かを判別する（ステップＳａ１）。そして、画像表示状態が供給された場合には、その画像表示状態が予め設定されている画像表示状態であるか否かを判別する（ステップＳａ２）。
【００５３】
ここで、予め設定された状態とは、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の状態を設定することができるが、本実施形態においてはかかる状態として、文書データによって表示される文書のページ切り替わり部分（図３中一点差線で示す部分）が表示範囲の上端位置に表示された状態が設定されている。つまり、１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置にあるということは、図３右側に示すように表示範囲には２ページ目の文書が表示されていることになる。なお、ページの切り替わり部分には、予め文書のページ設定情報で設定されている行数に文書が達したためにページが切り替わる部分や、改ページを挿入したことで設定行数に達していなくてもページが切り替わる部分も含む。
【００５４】
すなわち、イベントデータ記録送信部４０６は、ユーザのスクロール指示等にしたがって文書データ作成編集アプリケーション４０１が、文書のあるページの切り替わり部分を表示範囲の上端位置に表示させた場合、予め設定された画像表示状態となったと判別するのである。
【００５５】
このように画像表示状態が予め設定された状態となると、イベントデータ記録送信部４０６は、その画像表示状態の内容と、その表示状態となったタイミングとを含むイベントデータを作成し、作成したイベントデータを記録する（ステップＳａ３）。ここで、画像表示状態の内容とは、「ＸページとＸ＋１ページの切り替わり部分が表示上端位置に表示された」という内容であり、かかる画像表示状態内容と「０：１５」等のタイミング情報とを含むイベントデータを記録する。なお、タイミング情報は、その表示状態となった時の絶対時刻でもよいし、ユーザによる指示があった時点等の所定の開始時からの経過時間であってもよい。
【００５６】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給される毎に以上のようなステップＳａ１〜ステップＳａ３までの処理を行い、これにより１ページ目と２ページ目の切り替わり部分が上端位置に表示されたタイミング、２ページ目と３ページ目の切り替わり部分が上端位置に表示されたタイミングといった各ページの切り替わり部分が上端位置に表示されたタイミングを取得することができ、かかるタイミングを含むイベントデータを記録することができる。
【００５７】
一方、文書データ作成編集アプリケーション４０１による画像表示を行いながらの説明等が終了し、ユーザがその旨をＰＣ１１０のユーザインターフェース１０７を介して入力すると、終了指示がイベントデータ取得アプリケーション４０２に供給される。
【００５８】
かかる終了指示があると（ステップＳａ４の判別「Ｙｅｓ」）、イベントデータ記録送信部４０６は、終了指示時刻を含む終了イベントデータを作成するとともに、今まで記録していたイベントデータをＰＣ１２０に送信するよう通信インターフェースを制御する（ステップＳａ５）。また、イベントデータ記録送信部４０６は、文書データ作成編集アプリケーション４０１によって画像表示がなされていた元となる文書データを記憶部１０５から読み出して取得し、この文書データをＰＣ１２０に送信する制御を行い、処理を終了する。
【００５９】
図２に戻り、同期再生データ作成時におけるＰＣ１２０は、録画部４１１と、インデキシングアプリケーション４１２とを備える。
【００６０】
録画部４１１は、ソフトウェアである録画アプリケーションまたはハードウェア回路によって構成されるキャプチャボード等であり、ＤＶカメラ１３０に対して撮影開始、撮影終了等の指示を行うとともに、ＤＶカメラ１３０によって撮影されてＰＣ１２０に供給される映像データを外部記憶装置に記憶（録画）する。
【００６１】
同期再生データを作成する際において、撮影開始の指示は説明者によるプレゼンテーション等の開始と同期してユーザがＰＣ１２０に対して、もしくＤＶカメラ１３０に対して直接行うようにしてもよいし、以下のように自動的にプレゼンテーション開始と同期して撮影が行われるようにしてもよい。すなわち、上述したようにイベントデータ取得アプリケーション４０２に対してユーザが開始指示を行った場合に、それをイベントデータ取得アプリケーション４０２がＰＣ１２０に通知する。そして、この通知を受けた録画部４１１がＤＶカメラ１３０に対して撮影開始指示を行うようにしてもよい。このようにすることで、ユーザは、ＰＣ１１０に対するプレゼンテーション開始の指示と、ＰＣ１２０またはＤＶカメラ１３０に対する撮影開始の指示を同時に行うといった煩雑な操作を行わなくてもよくなる。
【００６２】
また、撮影終了も上記のようにイベントデータ取得アプリケーション４０２に対するユーザの終了指示に応じて録画部４１１が自動的に行うようにしてもよいし、ユーザがプレゼンテーションが終了したときに自ら終了指示をＰＣ１２０またはＤＶカメラ１３０に対して行うようにしてもよい。
【００６３】
そして、録画部４１１は、以上のようなＤＶカメラ１３０によるプレゼンテーションの様子の撮影が終了すると、撮影開始から撮影終了までに録画したデータを映像ファイルとして外部記憶装置に記憶させ、その保存ディレクトリやファイル名等の保存個所特定情報（パス情報）をインデキシングアプリケーション４１２に通知する。
【００６４】
インデキシングアプリケーション４１２は、上述したようにプレゼンテーション等が終了した後にＰＣ１１０で動作するイベントデータ取得アプリケーション４０２から供給されるイベントデータおよび文書データと、録画部４１１によって録画された映像ファイルとに基づいて、録画映像と文書画像とを同期再生させることができる同期再生データを作成する。
【００６５】
このように画像、映像、文字等の種々の異なる形式のデータの再生を制御して同期させるデータフォーマットとしては、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）形式があり、本実施形態におけるインデキシングアプリケーション４１２は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００６６】
このような同期再生データをＰＣ等で所定の再生ソフトウェア（例えばＳＭＩＬ形式データを再生するソフトウェア）により再生することで、その表示画面には図５に示すような表示がなされることになる。
【００６７】
同図に示すように、この表示画面には、ＤＶカメラ１３０が撮影したプレゼンテーションの様子を表示する映像表示欄５００と、プレゼンテーション中において映像表示欄５００にその時点で表示されている映像の撮影時に表示されていた文書ページを表示する文書表示欄５１０と、このプレゼンテーションで利用された文書ページを一覧表示する目次欄５２０とが表示されるようになっている。
【００６８】
また、目次欄５２０に表示されたページ番号をマウスによってクリック等することで、そのページの文書画像が文書表示欄５１０に表示されるとともに、そのページの文書画像を表示していたときに撮影された映像が映像表示欄５００に表示されるようになっている。
【００６９】
同期再生データとは、以上のような映像、文書画像、ページ番号等の文字を同期して再生表示させることを可能とするデータであり、以下、同期再生データ作成処理の詳細について説明する。
【００７０】
まず、インデキシングアプリケーション４１２は、ＰＣ１１０のイベントデータ取得アプリケーション４０２から供給された文書データに基づき、当該文書の各ページの画像を所定の形式（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔｓＧｒｏｕｐ）などの汎用の形式）の文書ページ表示用のデータに変換して保存する。
【００７１】
次に、インデキシングアプリケーション４１２は、イベントデータ取得アプリケーション４０２から供給されるイベントデータ、文書画像表示用データおよび録画部４１１によって作成された映像ファイルに基づいて、図５に示されるように当該映像データに基づく映像と、スライド画像ファイル中のスライド画像表示用データに基づくスライド画像と、これらのスライド画像のタイトル等の文字情報を同期して表示させることができる同期再生データを作成する。
【００７２】
上述したように本実施形態では、このような同期再生データとしてＳＭＩＬ形式のデータを作成することとしており、インデキシングアプリケーション４１２は、供給される各データから、以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式のプレゼンテーションデータを作成する。
（１）各ページの切り替わりタイミング（開始時刻、終了時刻）
（２）各ページの文書画像表示データ（ＪＰＥＧ等）の保存場所（ファイルパス情報）
（３）各ページの文書画像表示に対応する映像ファイルの保存場所（ファイルパス情報）
（４）映像表示欄５００、文書表示欄５１０、目次欄５２０（図５参照）をどのように配置するかを示すレイアウトデータ
【００７３】
なお、（４）のレイアウト情報については、イベントデータ等の供給されるデータからではなく、ユーザが設定指示したレイアウトにしたがって作成されたデータである。
【００７４】
また、（１）の情報については、イベントデータに含まれるページの切り替わりタイミング、つまりページの切り替わり部分が表示範囲の上端位置に達したタイミングであり、例えば１ページと２ページの切り替わり部分が表示範囲の上端位置に達したタイミングが２ページの表示開始タイミングかつ１ページの表示終了タイミングとして取得される。
【００７５】
このように作成される同期再生データにおける、ページ文書画像データと映像ファイルとの同期の対応関係について図６に模式的に示す。同図に示す例では、プレゼンテーション時にユーザの文書データ作成編集アプリケーション４０１に対する操作により、最初に１ページ目の文書が表示され、その後のスクロール指示等によって１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置に「１：１５」の時点で達し、２ページ目と３ページ目の切り替わり部分が表示範囲の上端位置に「２：４３」の時点で達し、３ページ目と４ページ目の切り替わり部分が表示範囲の上端位置「３：５３」の時点で達したものとする。
【００７６】
プレゼンテーション時に以上のようなタイミングで文書画像のスクロール表示が行われると、１ページ目の文書画像が表示されている間（時刻０：００〜１：１５）に撮影された映像ファイルと１ページ目の文書画像表示用データとが対応つけられ、２ページ目の文書画像が表示されている間（時刻１：１５〜２：４５）に撮影されていた映像ファイルと２ページ目の文書画像表示用データとが対応つけられ、さらに３ページ目の文書画像が表示されている間（時刻２：４５〜３：５３）に撮影された映像ファイルが３ページ目の文書画像表示用データに対応つけられる。
【００７７】
インデキシングアプリケーション４１２は、ページごとの文書画像という静止画、プレゼンテーションの様子を撮影した映像ファイルといった異なる形式のデータの再生を上記のような対応関係に基づいて制御して同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７８】
かかる同期再生データをＰＣ等で所定の再生ソフトウェアにより再生することで、その表示画面には図５に示すような表示がなされることになる。この表示を参照しているユーザが目次欄５２０の「２ページ」をクリックすれば、同期再生データにはこの表示に２ページ目の文書画像表示用データへのパスおよびこれに対応する映像ファイル（開始時刻１：１５〜）のリンクが記述されているので、再生ソフトウェアによってこれに対応する２ページ目の文書画像が文書表示欄５１０に表示されるとともに、時刻１：１５から映像ファイルの再生が開始され映像表示欄５００に表示される。また、「３ページ」をクリックすれば、３ページ目の文書画像および映像ファイル（開始時刻２：４５）へのパスがリンクされているので、上記と３ページ目の文書画像が文書表示欄５１０に表示されるとともに、映像表示欄５００には時刻２：４５からの映像ファイルの再生映像が表示される。
【００７９】
もちろん、映像表示欄５００に表示される映像の時刻をユーザが指定することで、その指定時刻に表示されていたページの文書画像を文書表示欄５１０に表示させることもできる。例えば、ユーザが２：３０からの映像再生を指示した場合には、同期再生データにしたがって再生ソフトウェアが、その時刻からの映像再生を行うとともに、指定時刻２：３０に対応つけられている２ページの文書画像（１：１５〜２：４５の映像に対応している）を読み出して文書表示欄５１０に表示させる。
【００８０】
したがって、この再生内容を視聴した視聴者は、プレゼンテーションの様子を映像表示欄５００を参照しながら、映像表示欄５００で再生されるプレゼンテーションの各々の時刻でそれぞれスクリーンに表示されていたページの文書画像を、映像表示欄５００に表示される再生映像ではなく別個に文書表示欄５１０で参照することができる。
【００８１】
上記のようにプレゼンテーション等の様子を撮影した映像（音声付）と、そのプレゼンテーションの際にスクリーン上に表示されていた文書画像とを同期させて表示させることができる同期再生データは、プレゼンテーションの様子を再現するデータとして非常に優れたものである。このような同期再生データを作成するためには、上述したようにスクリーン上に表示される文書のページの切り替わりタイミングを含むイベントデータを取得する必要がある。
【００８２】
本実施形態では、上記のようにスライド画像毎の表示用データが用意され、かかる表示用データを切り替えてスライド画像を表示させるプレゼンテーション用アプリケーションを用いずに、複数ページにわたる文書画像を表示範囲をスクロールさせながら連続して表示する文書データ作成編集アプリケーションを用いた場合であっても、その文書のページの表示切り替わりタイミングを含むイベントデータを自動的に取得することができる。
【００８３】
したがって、プレゼンテーションの発表者以外の者が、発表者がスライド画像表示を切り替えた時刻や切り替えたページ番号等を逐一メモに記載するなどの煩雑な操作を行うことなく、ページ切り替わりといった画像表示状態が発生したタイミングを含むイベントデータを自動的に取得し、上記のような同期再生データの作成に用いることができるのである。
【００８４】
Ｂ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００８５】
（変形例１）
上述した実施形態においては、ユーザが文書データ作成編集アプリケーションによって文書画像を表示させたプレゼンテーションを行った場合について説明したが、文書データ作成編集アプリケーション以外であっても、連続して画像を表示させるアプリケーション、例えば動画像再生アプリケーションや表計算アプリケーション等であっても本発明を適用することができる。
【００８６】
例えば、表計算アプリケーションによって画像を表示させながらプレゼンテーション等を行う際に本発明を適用する場合、ＰＣ１１０で動作する表計算アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００８７】
なお、表計算アプリケーションがマイクロソフト社の「ｅｘｃｅｌ」である場合には上述したＯＬＥと呼ばれる技術を利用し、どのグラフや表を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている表計算アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。また、ＯＬＥ技術を利用せずに、予めアプリケーション状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された表計算アプリケーションを用いるようにしてもよい。
【００８８】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば表計算アプリケーションによって作成された複数のグラフ等を表示させる表計算データによって、図７に示すように１つのグラフの全体が表示範囲に表示されるといった表示状態などを設定することができる。
【００８９】
このような状態を設定しておいた場合、ユーザのスクロール指示等によって表示状態がグラフＡの全体が表示範囲内に表示されるといった状態に至ると、イベントデータ取得アプリケーション４０２がその表示状態に至ったタイミングを取得し、かかるタイミングを含むグラフＡを表示させたというイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、グラフＢが表示されると、そのタイミングを含むグラフＢを表示させたというイベントデータが記録され、グラフＣが表示されると、そのタイミングを含むグラフＣを表示させたというイベントデータが記録されることになる。
【００９０】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９１】
このように表計算アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、グラフや集計表を表示させる状態）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【００９２】
（変形例２）
また、連続して画像を表示させる動画像再生アプリケーションによって画像を表示させながら説明等を行う際にも、本発明を適用することができる。例えば、スポーツ映像を動画像再生アプリケーションによって再生させながら、再生されているスポーツ（例えば、野球映像ならバッティングフォーム等）について解説等を行う様子をＤＶカメラ１３０で撮影する場合などがある。
【００９３】
この場合、ＰＣ１１０で動作する動画像再生アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００９４】
動画像再生アプリケーションとしては、ＭＰＥＧ２データを再生するアプリケーション等があり、その動画像再生状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された動画像再生アプリケーションを用いるようにすればよい。
【００９５】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば動画像再生アプリケーションによって再生される映像のシーンの切り替わりといった状態や、動画像データが編集作業によって複数の動画像がつなぎ合わされたものである場合にはその編集による接続部分の直前または直後を再生して表示させた状態など、映像についての何らかの切り替わり部分が表示された状態を設定することができる。
【００９６】
シーンの切り替わりを取得する方法としては、動画像データ中の再生時間において隣り合うフレームの画像内容の比較し、両画像の内容が大きく異なる場合にシーン切り替えがあったと判別する方法があり、かかる方法を用いてイベントデータ取得アプリケーションがシーンの切り替わりを検出すればよい。より具体的には、フレーム画像の色、配色、エッジ、テクスチャ情報などを利用し、時間的に隣り合うフレームの各情報に示される情報の変化が予め決められた条件となった場合にシーンが切り替わったと判別するようにすればよい。
【００９７】
このような状態を設定しておいた場合、動画像再生アプリケーションによる再生画像のシーンが切り替わると、イベントデータ取得アプリケーション４０２がその切り替わりタイミングを取得し、かかるタイミングを含むイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、その後シーンが切り替わると、そのタイミングを含むイベントデータが記録されることになる。
【００９８】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９９】
このように動画像再生アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、シーンの切り替わり）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【０１００】
（変形例３）
また、上述した実施形態では、文書データ作成編集アプリケーションから、「○○行目を表示している」等のアプリケーションの状態の通知を受けてイベントデータ取得アプリケーション４０２が画像表示状態を取得するようにしていたが、文書データ作成編集アプリケーションや表計算アプリケーションに対してユーザが行った操作指示内容を取得し、かかる操作指示内容に基づいてイベントデータ取得アプリケーション４０２が文書データ作成編集アプリケーションによる画像表示状態を求めるようにしてもよい。
【０１０１】
このようにして画像表示状態を取得する場合、まずイベントデータ取得アプリケーション４０２は文書データ作成編集アプリケーションから表示している文書のページ設定情報（縦横の文字数や印刷する際の用紙サイズ等）を取得しておく。そして、文書データに基づく文書画像が最初に表示された時点（１ページ目が表示されている状態）からのユーザの操作指示内容およびページ設定情報に基づいて、表示範囲のスクロール量を求め、現在どのような範囲の文書が表示されているかという画像表示状態を判別する。
【０１０２】
例えば、図８に例示するように、ページ設定情報に示される文書１ページの行数がＸ行であり、導出した初期状態からのスクロール量が２Ｘ行に相当する場合には、その時点では３ページ目の文書が表示範囲にあるといったように画像表示状態を判別することができるのである。
【０１０３】
このようにして判別した画像表示状態が、予め設定された画像表示状態（例えば、ページの切り替わり部分が表示範囲の上端位置に達した状態）となった場合に、上記実施形態と同様イベントデータ取得アプリケーション４０２がそのタイミングを含むイベントデータを記録するといった処理を行うようにすればよい（図４参照）。
【０１０４】
以上のようにすることで、上記実施形態と同様、自動的にイベントデータを取得することができ、同期再生データを容易に作成することができる。
【０１０５】
（変形例４）
また、上述した実施形態および変形例では、ＤＶカメラ１３０による撮影を行ったプレゼンテーション等が、１つのアプリケーションによって表示された画像を参照しながら行うといったケースを想定していたが、ＤＶカメラ１３０によって撮影される１つのプレゼンテーション等において、まず文書データ作成編集アプリケーションによる画像表示を行い、次に表計算アプリケーションによるグラフ等の表示を行い、その後動画像再生アプリケーションによる動画像表示を行うといったように複数のアプリケーションによる画像表示を行った場合であっても本発明を適用することができる。
【０１０６】
すなわち、イベントデータ取得アプリケーション４０２が、上述した実施形態および変形例で説明したように各々のアプリケーションによる画像表示状態を取得し、取得した画像表示状態が各々のアプリケーションについて予め設定されている画像表示状態となった場合に、そのタイミングを含むイベントデータを記録するようにすればよい。
【０１０７】
（変形例５）
また、上述した実施形態および変形例では、プレゼンテーション等を撮影した映像データと、文書画像等といった異なる形式のデータの再生を制御して同期させることができるＳＭＩＬ形式のデータを作成していたが、プレゼンテーション等を撮影した映像データに限らず、プレゼンテーション等を録音した音声データに基づく音声再生に、上記のように取得したイベントデータを用いて文書画像等の表示を同期させる同期再生データを生成するようにしてもよい。
【０１０８】
（変形例６）
また、上述した実施形態では、インデキシングアプリケーション４１２が、イベントデータ、ページ文書画像表示用データおよび映像ファイルに基づいて、映像と文書画像とを同期して表示させることができる同期再生データとしてＳＭＩＬ形式のデータを作成するようにしていた。
【０１０９】
このように同期再生データとしてＳＭＩＬ形式のデータを作成するようにしてもよいが、ＳＭＩＬ以外のデータであっても、映像（または音声等）と、文書画像等と撮影映像といった異なる形式のデータの再生を制御して同期させることができる形式のデータであればよく、ＳＭＩＬ形式以外の形式のデータを作成するようにしてもよい。
【０１１０】
（変形例７）
また、上述した実施形態では、ＰＣ１１０において文書データ作成編集アプリケーション４０１およびイベントデータ取得アプリケーション４０２が動作し、ＰＣ１２０においてインデキシングアプリケーション４１２が動作するといったように互いにデータの授受が可能な２台のＰＣが処理を分担して同期再生データを作成するようにしていたが、単独のＰＣ等の装置で同期再生データ作成を行うようにしてもよいし、３台以上の互いにデータの授受が可能なＰＣに処理を分担させて同期再生データの作成を実現するようにしてもよい。
【０１１１】
（変形例８）
また、上述した実施形態や変形例においては、ＰＣ１１０のＣＰＵがイベントデータ取得アプリケーション４０２の機能を実現するようにしていたが、これと同じイベントデータ取得処理を、コンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を行う専用のハードウェア回路によって実現する装置として構成し、ユーザに提供等するようにしてもよい。
【０１１２】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となるという効果を奏する。
【０１１３】
また、請求項２にかかる発明によれば、文書データ作成編集機能を実現するアプリケーションによる画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得できるという効果を奏する。
【０１１４】
また、請求項３にかかる発明によれば、表計算機能を実現するアプリケーションによる画像表示状態が、グラフが表示されるといった状態となった場合そのタイミングが自動的に取得できるという効果を奏する。
【０１１５】
また、請求項４にかかる発明によれば、動画像再生アプリケーションによる画像表示状態が、シーン切り替わりなどの映像が切り替わる状態となった場合にそのタイミングを自動的に取得することができるという効果を奏する。
【０１１６】
また、請求項５にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができる。そして、取得したタイミングにおける画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけることができ、アプリケーションによって表示された画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となるという効果を奏する。
【０１１７】
また、請求項６にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となったタイミングを自動的に取得することができるという効果を奏する。
【０１１８】
また、請求項７にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。
【図２】前記インデキシングシステムの機能構成を示すブロック図である。
【図３】前記インデキシングシステムの構成要素であるＰＣで動作する文書データ作成編集アプリケーションによる文書画像表示について説明する図である。
【図４】前記インデキシングシステムの構成要素であるイベントデータ取得アプリケーションによって行われる処理の手順を示すフローチャートである。
【図５】前記インデキシングシステムによって作成された同期再生データに基づく再生画像の一例を示す図である。
【図６】映像および文書画像といった異なる形式のデータを同期再生させる前記同期再生データにおける、映像と文書画像との対応関係を模式的に示す図である。
【図７】前記インデキシングシステムによって表計算アプリケーションによる画像表示状態を取得する方法を説明するための図である。
【図８】前記インデキシングシステムの変形例において、文書データ作成編集アプリケーションによる画像表示状態を取得する手法を説明するための図である。
【符号の説明】
１００ インデキシングシステム
１０５ 記憶部
１０７ インターフェース
１０７ ユーザインターフェース
１３０ ＤＶカメラ
１４０ 投影機
４０１ 文書データ作成編集アプリケーション
４０２ イベントデータ取得アプリケーション
４０５ 画像表示状態取得部
４０６ イベントデータ記録送信部
４１１ 録画部
４１２ インデキシングアプリケーション
【発明の属する技術分野】
この発明は、アプリケーションによって表示される画像の状態が所定の状態になったタイミングを取得するタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムに関する。
【０００２】
【従来の技術】
従来より、会議等でプレゼンテーションを行う際に、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）およびプロジェクター装置、またはＯＨＰ（オーバヘッドプロジェクタ）装置等を用い、複数の画像を順次切り替えてスクリーン等に表示させながら説明等を行う手法がとられることがある。
【０００３】
また、上記のような手法で行ったプレゼンテーションの様子をビデオカメラで撮影することもある。そして、このビデオカメラで撮影した録画データを再生することで、プレゼンテーションの再現を行うのである。
【０００４】
しかしながら、単にスクリーン等に表示される画像を含めてプレゼンテーションの様子をビデオカメラで録画し、それを再生するだけでは、スクリーンに表示される画像が鮮明に再現できない場合が多い。
【０００５】
また、プレゼンテーションは、グラフ、表、文書などの資料を表示する複数のスライド画像を順次表示させながら、表示されている資料について説明等を行うといった形式で行われるのが一般的である。したがって、上記のように単にプレゼンテーションの様子を録画し再生する方法では、ある１つの画像に表示されている資料についての説明等のみを再現したい場合に、ビデオ再生を早送りする等の操作を行って所望の再生位置を探し出すといった煩雑な操作を行わなくてはならない。
【０００６】
そこで、プレゼンテーションの様子をビデオに録画するとともに、プレゼンテーションの際に説明者が、各々の資料画像をスクリーンに表示させたタイミング情報を取得するといった技術が提案されている（例えば、特許文献１参照）。
【０００７】
かかる技術では、プレゼンテーションの様子を録画した映像を再生する際に、取得した各画像の表示タイミング情報を参照することで、プレゼンテーション映像の再生時刻がある画像の表示タイミングとなった時点で当該ある画像を、その画像データに基づいて表示させるようにしている。このように録画映像とは別に資料等を表示させるために用意されている画像データに基づいて資料画像を表示させることで、資料等の画像を鮮明に表示させることができる。
【０００８】
ところで、近年では、ＯＨＰ装置を利用するのではなく、ＰＣでプレゼンテーション用アプリケーションを動作させ、ユーザのキー操作に応じて順次画像データに基づく画像を表示させながらプレゼンテーションを行うのが主流となりつつある。
【０００９】
このようにＰＣで動作するプレゼンテーション用アプリケーションを利用する場合、スライド画像データがページ単位で用意されているので、表示対象となるスライド画像を切り替えたタイミングを取得することができる。
【００１０】
【特許文献１】
特開平１０−５５３９１号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、従来技術では、１枚、１枚のスライド画像といった単位で切り替えて画像表示を行うプレゼンテーション用アプリケーションを利用したプレゼンテーションであれば、切り替えタイミング情報を取得することができるものの、文書作成編集（いわゆるワードプロセッサ）アプリケーションで作成された文書画像を表示させながら、説明等を行う場合には文書中のページ切り替わり等のタイミング情報を取得することができない。
【００１２】
すなわち、文書作成編集アプリケーションによって作成される文書データは、１ページといった単位でデータを切り替えて表示させるといったものではなく、１つの文書データ中に複数ページにわたる文書が含まれ、表示画面に表示させる際にはこのような複数ページにわたる文書を表示範囲を順次スクロールさせながら連続して表示させている。
【００１３】
したがって、プレゼンテーション用アプリケーションのようにページ単位で用意されたスライド画像データの表示、つまり連続しない各画像ごとの表示を行う場合にはその切り替えタイミングを取得することができるが、文書作成編集アプリケーションのような連続して画像を表示させるアプリケーションについては表示ページが切り替わったなどの画像表示状態の変動タイミング等を取得することができないのである。
【００１４】
同様に連続して画像を表示させるアプリケーションとしては、動画像データに基づく映像を再生表示させるアプリケーションがあり、このようなアプリケーションについては再生上切り替わりといった概念がなく、再生シーンが切り替わった等のアプリケーションの所定の再生状態になったタイミングを取得することができない。
【００１５】
以上のように文書データ作成編集アプリケーションなどのように連続して画像を表示させるアプリケーションによる画像表示を行わせた場合に、ページの切り替わり等、所定の表示状態のタイミングを得るためには、ユーザがスクリーンを参照しながら表示状態が所定のタイミングになったことを確認し、その時刻等をメモに記載しておくといった煩雑な操作を行わなくてはならなかった。
【００１６】
この発明は上記に鑑みてなされたもので、プレゼンテーション用アプリケーションのようにページ単位で用意された画像を個別に表示するのではなく、連続する画像表示を行うアプリケーションによる画像表示状態が所定の画像表示状態となったタイミングを自動的に取得することができるタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムを得ることを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段とを具備することを特徴とするタイミング情報取得装置である。
【００１８】
請求項１にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となる。
【００１９】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、文書データの作成編集機能を実現するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記文書データに基づいて表示される文書のページの切り替わり部分が表示画面内の決められた位置に表示されるという状態となったタイミングを取得することを特徴とする。
【００２０】
請求項２にかかる発明によれば、文書データ作成編集機能を実現するアプリケーションによる画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。つまり、ページの切り替わったタイミングを自動的に取得することができる。
【００２１】
また、請求項３にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、グラフ表示を含む表計算機能を実現するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、グラフが表示画面に表示されるという状態になったタイミングを取得することを特徴とする。
【００２２】
請求項３にかかる発明によれば、表計算機能を実現するアプリケーションによる画像表示状態が、グラフが表示されるといった状態となった場合そのタイミングが自動的に取得される。
【００２３】
また、請求項４にかかる発明は、請求項１にかかる発明の構成において、前記アプリケーションは、動画像データに基づいて動画像を再生するアプリケーションであり、前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記動画像データに基づいて映像の切り替わり部分を表示するという状態になったタイミングを取得することを特徴とする。
【００２４】
請求項４にかかる発明によれば、動画像再生アプリケーションによる画像表示状態が、シーン切り替わりなどの映像が切り替わる状態となった場合にそのタイミングを自動的に取得することができる。
【００２５】
また、請求項５にかかる発明は、撮影装置によって撮影される、または録音装置によって録音される再現データを記録する記録手段と、ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段と、前記記録手段によって記録される再現データと、前記タイミング取得手段によって取得されたタイミングにおける前記アプリケーションの動作状態とを、前記タイミング取得手段によって取得されたタイミングに基づいて時系列に対応づけるインデキシング手段とを具備することを特徴とするインデキシング装置である。
【００２６】
請求項５にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができる。そして、取得したタイミングにおける画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような画像表示状態となったかがわかり、アプリケーションによって表示された画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となる。
【００２７】
また、請求項６にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得ステップと、前記状態取得ステップで取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得ステップとを具備することを特徴とするタイミング情報取得方法である。
【００２８】
請求項６にかかる発明によれば、ユーザ操作に応じてアプリケーションデータに基づく連続する画像表示を行うアプリケーションによる画像表示状態が、予め設定された画像表示状態、例えばページの切り替わりを表示する状態等となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となる。
【００２９】
また、請求項７にかかる発明は、ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションが動作するコンピュータを、前記アプリケーションによる画像表示状態を取得する状態取得手段、前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段として機能させるためのプログラムである。
【００３０】
請求項７にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができる。
【００３１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるタイミング情報取得装置、インデキシング装置、タイミング情報取得方法およびプログラムの好適な実施の形態を詳細に説明する。
【００３２】
Ａ．実施形態
図１は、本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。同図に示すように、このインデキシングシステム１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１１０と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１２０と、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）カメラ１３０と、投影機１４０とを備える。
【００３３】
ＰＣ１１０は、プロジェクター装置等である投影機１４０とＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４等のインターフェースを介して接続されており、このような通信手段を介して両者間でデータの授受を行うことができるようになっている。ＰＣ１２０は、ＤＶカメラ１３０とＩＥＥＥ１３９４等のインターフェースを介して接続されており、このような通信手段を介して両者の間でデータの授受を行うことができるようになっている。
【００３４】
また、ＰＣ１１０とＰＣ１２０とは、ＩＥＥＥ８０２．１１ｂ等の無線通信インターフェースもしくは有線通信インターフェース等を介して接続されており、両者間でデータの授受を行うことができるようになっている。
【００３５】
ＰＣ１１０の電源を投入すると、ＣＰＵが、ファイル管理、メモリ管理、入出力の管理、ユーザインターフェース等の提供を行う基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を読み出して起動し、その後ユーザが指定したアプリケーション等がＣＰＵによって外部記憶装置から読み出されて実行され、種々の機能が実現できるようになっている。
【００３６】
ＰＣ１１０の外部記憶装置には、文書データ作成編集アプリケーション（ワードプロセッサアプリケーション）、表計算アプリケーション、動画像再生アプリケーションといった種々の機能を実現するアプリケーション等が格納されている。
【００３７】
かかるＰＣ１１０において、これらのアプリケーションを起動させることで、文書データ作成編集、表計算、動画像再生といった機能を実現することができる。例えば、文書データ作成編集アプリケーション（例えば、マイクロソフト社の「ｗｏｒｄ」など）によれば、ディスプレイ等に表示させながら、文書データを作成することができ、作成した文書データに基づく文書を表示させたり、紙に印刷させたりすることができる。また、表計算アプリケーション（例えば、マイクロソフト社の「ｅｘｃｅｌ」など）によれば、数値データの集計・分析、数値データのグラフ化等の処理が行え、集計表やグラフなどをディスプレイに表示させたり、紙に印刷させたりすることができる。また、動画像再生アプリケーションによれば、所定の形式（例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２）の動画像データを再生し、再生画像をディスプレイ等に出力表示させることができる。
【００３８】
上述したようにＰＣ１１０は、投影機１４０と接続されているので、上記のような各アプリケーションによって実現される文書、グラフ、動画像等の表示をスクリーン上になすことができる。したがって、ユーザはＰＣ１１０を適宜操作することで、スクリーン上に文書、グラフ、動画像等を表示させながら、その表示された内容について説明等を行うといったプレゼンテーションができる。
【００３９】
なお、文書データ作成編集アプリケーションによる画像表示、表計算アプリケーションによる画像表示および動画像再生アプリケーションによる画像表示は、プレンゼーテーション用のアプリケーション（例えば、マイクロソフト社の「ＰｏｗｅｒＰｏｉｎｔ」等）のようにスライド単位で画像を表示させ、ユーザ指示に応じて表示画像を切り替えるといったものではなく、ユーザの指示にしたがって一連の文書等をスクロールさせながら表示したり、映像を再生するといった連続した画像表示である。
【００４０】
したがって、上記のアプリケーションによる画像表示には、１枚、１枚用意されているスライド画像を切り替えるといった明確な区切りがない。本実施形態では、上記のように画像表示状態の明確な区切りのない場合であっても、文書データ作成編集アプリケーションによって表示される文書のページが切り替わりといった画像表示状態の変化タイミングおよび変化内容といったイベントデータを取得する機能を実現するため、ＰＣ１１０の外部記憶装置にはイベントデータ取得アプリケーションが格納されている。イベントデータ取得アプリケーションによって実現される機能の詳細については後述する。
【００４１】
一方、ＰＣ１２０の外部記憶装置にはインデキシングアプリケーションが格納されており、かかるインデキシングアプリケーションを起動することで、ＰＣ１２０においてＤＶカメラ１３０によって撮影された撮影データと、上述したＰＣ１１０で動作するイベントデータ取得アプリケーションによって取得されたイベントデータとを対応つけることができる。そして、インデキシングアプリケーションはこのような対応つけによって、ＤＶカメラ１３０によって撮影された撮影データに基づく動画像再生と、文書データ作成編集アプリケーション等によって表示された画像の表示とを同期させることができる同期再生用データを作成する。
【００４２】
次に、上記のような同期再生用データを作成する場合のインデキシングシステム１００について説明する。かかるインデキシングシステム１００を利用し、プレゼンテーション等の様子を撮影した画像等を表示させる同期再生データを作成する場合、説明者がＰＣ１１０を操作して投影機１４０によってスクリーン等に所望の画像を表示させながら説明を行い、その説明をしている様子をＤＶカメラ１３０で撮影する必要がある。また、プレゼンテーションを行う前にユーザはＰＣ１２０においてインデキシングアプリケーションを起動させ、ＰＣ１１０において文書データ編集アプリケーションとイベントデータ取得アプリケーションを起動させる。なお、ＰＣ１１０で表計算アプリケーションや動画像再生アプリケーションを起動した場合であっても同期再生用データを作成することができるが、これについては後述する。
【００４３】
そして、これらのアプリケーションをＰＣ１１０およびＰＣ１２０において起動させたときのインデキシングシステム１００の機能構成を図２に示す。以下においては、これらの構成（アプリケーション等）を動作主体として説明するが、実際の動作主体はＣＰＵ等のハードウェアである。
【００４４】
同図に示すように、このインデキシングシステム１００におけるＰＣ１１０は、キーボードやマウス等を有するユーザインターフェース（Ｉ／Ｆ）１０７と、文書データ作成編集アプリケーション４０１と、イベントデータ取得アプリケーション４０２と、文書データ作成編集アプリケーションによって作成された文書データ等を記憶するハードディスクドライブ等の記憶部１０５とを備える。
【００４５】
上述したようにＰＣ１１０における文書データ作成編集アプリケーション４０１は、ユーザインターフェース１０７を介して入力されるユーザの操作指示内容にしたがって文書データに基づく文書画像を表示させる。かかるシステムにおいては、表示画像に対応するデータがＰＣ１１０から投影機１４０（図１参照）に出力されるので、文書画像は図示せぬスクリーン上に表示されることになる。そして、ユーザが表示スクロールを指示すれば、その指示にしたがって図示せぬ画面（スクリーン）上に表示される文書がスクロールされ、ユーザはかかる複数ページ分にわたる文書画像を順次スクロール表示させながら説明等を行う。
【００４６】
すなわち、図３に示すように、文書データ作成編集アプリケーション４０１によって作成された文書データに基づいて表示される画像は、印刷時にはページごとに用紙に印刷されるものの、画像表示の際には各ページの文書は独立したものではなく連続したものである。そして、これらの文書はページごとに個別に表示されるのではなく、表示範囲に入った部分が表示され、ユーザのスクロール指示によってその表示範囲を変動させることで、文書全体を表示させることができるのである。
【００４７】
イベントデータ取得アプリケーション４０２は、画像表示状態取得部４０５と、イベントデータ記録送信部４０６とを有している。画像表示状態取得部４０５は、上記のように文書データに基づく文書画像を表示させる文書データ作成編集アプリケーション４０１による画像の表示状態を取得する。画像の表示状態とは、文書データ作成編集アプリケーション４０１によって、文書データにおけるどの位置の文書が画面（スクリーン）上のどの位置に表示されているかといった状態である。画像表示状態取得部４０５は文書データ作成編集アプリケーション４０１による画像表示状態を常時監視して取得し、これをイベントデータ記録送信部４０６に供給する。
【００４８】
ここで、画像表示状態取得部４０５は、文書データ作成編集アプリケーション４０１から供給されるアプリケーションの状態を示す情報を取得することによって、画像表示状態を取得する。
【００４９】
例えば、文書データ作成編集アプリケーションがマイクロソフト社の「ｗｏｒｄ」である場合にはＯＬＥ（Ｏｂｊｅｃｔ Ｌｉｎｋｉｎｇ ａｎｄ Ｅｍｂｅｄｄｉｎｇ）と呼ばれる技術を利用し、文書の○○行目を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている文書データ作成編集アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。
【００５０】
なお、このようなＯＬＥ技術を利用して文書データ作成編集アプリケーション４０１の状態を示す情報を取得し、文書データ作成編集アプリケーション４０１による画像表示状態（文書データに対応する文書のどの位置が画面上のどの位置に表示されるかといった状態）を取得することができるが、画像表示状態の取得方法はこれに限定されるものではない。例えば、文書データ作成編集アプリケーションによる画像表示状態を、当該アプリケーションが逐一イベントデータ取得アプリケーション４０２に対して通知する処理を実行するよう構成された文書データ作成編集アプリケーションを用いるようにしてもよい。
【００５１】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から供給される画像表示状態に基づいてイベントデータを作成記録するとともに、文書データ作成編集アプリケーション４０１による画像表示を利用して行われるプレゼンテーション等が終了した旨の指示があると、記録しておいたイベントデータと、文書画像表示に用いられた文書データとをＰＣ１２０に送信するようＰＣ１１０の通信インターフェース等を制御する。
【００５２】
より具体的にはイベントデータ記録送信部４０６は図４に示すような処理を行う。まず、イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給されたか否かを判別する（ステップＳａ１）。そして、画像表示状態が供給された場合には、その画像表示状態が予め設定されている画像表示状態であるか否かを判別する（ステップＳａ２）。
【００５３】
ここで、予め設定された状態とは、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の状態を設定することができるが、本実施形態においてはかかる状態として、文書データによって表示される文書のページ切り替わり部分（図３中一点差線で示す部分）が表示範囲の上端位置に表示された状態が設定されている。つまり、１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置にあるということは、図３右側に示すように表示範囲には２ページ目の文書が表示されていることになる。なお、ページの切り替わり部分には、予め文書のページ設定情報で設定されている行数に文書が達したためにページが切り替わる部分や、改ページを挿入したことで設定行数に達していなくてもページが切り替わる部分も含む。
【００５４】
すなわち、イベントデータ記録送信部４０６は、ユーザのスクロール指示等にしたがって文書データ作成編集アプリケーション４０１が、文書のあるページの切り替わり部分を表示範囲の上端位置に表示させた場合、予め設定された画像表示状態となったと判別するのである。
【００５５】
このように画像表示状態が予め設定された状態となると、イベントデータ記録送信部４０６は、その画像表示状態の内容と、その表示状態となったタイミングとを含むイベントデータを作成し、作成したイベントデータを記録する（ステップＳａ３）。ここで、画像表示状態の内容とは、「ＸページとＸ＋１ページの切り替わり部分が表示上端位置に表示された」という内容であり、かかる画像表示状態内容と「０：１５」等のタイミング情報とを含むイベントデータを記録する。なお、タイミング情報は、その表示状態となった時の絶対時刻でもよいし、ユーザによる指示があった時点等の所定の開始時からの経過時間であってもよい。
【００５６】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給される毎に以上のようなステップＳａ１〜ステップＳａ３までの処理を行い、これにより１ページ目と２ページ目の切り替わり部分が上端位置に表示されたタイミング、２ページ目と３ページ目の切り替わり部分が上端位置に表示されたタイミングといった各ページの切り替わり部分が上端位置に表示されたタイミングを取得することができ、かかるタイミングを含むイベントデータを記録することができる。
【００５７】
一方、文書データ作成編集アプリケーション４０１による画像表示を行いながらの説明等が終了し、ユーザがその旨をＰＣ１１０のユーザインターフェース１０７を介して入力すると、終了指示がイベントデータ取得アプリケーション４０２に供給される。
【００５８】
かかる終了指示があると（ステップＳａ４の判別「Ｙｅｓ」）、イベントデータ記録送信部４０６は、終了指示時刻を含む終了イベントデータを作成するとともに、今まで記録していたイベントデータをＰＣ１２０に送信するよう通信インターフェースを制御する（ステップＳａ５）。また、イベントデータ記録送信部４０６は、文書データ作成編集アプリケーション４０１によって画像表示がなされていた元となる文書データを記憶部１０５から読み出して取得し、この文書データをＰＣ１２０に送信する制御を行い、処理を終了する。
【００５９】
図２に戻り、同期再生データ作成時におけるＰＣ１２０は、録画部４１１と、インデキシングアプリケーション４１２とを備える。
【００６０】
録画部４１１は、ソフトウェアである録画アプリケーションまたはハードウェア回路によって構成されるキャプチャボード等であり、ＤＶカメラ１３０に対して撮影開始、撮影終了等の指示を行うとともに、ＤＶカメラ１３０によって撮影されてＰＣ１２０に供給される映像データを外部記憶装置に記憶（録画）する。
【００６１】
同期再生データを作成する際において、撮影開始の指示は説明者によるプレゼンテーション等の開始と同期してユーザがＰＣ１２０に対して、もしくＤＶカメラ１３０に対して直接行うようにしてもよいし、以下のように自動的にプレゼンテーション開始と同期して撮影が行われるようにしてもよい。すなわち、上述したようにイベントデータ取得アプリケーション４０２に対してユーザが開始指示を行った場合に、それをイベントデータ取得アプリケーション４０２がＰＣ１２０に通知する。そして、この通知を受けた録画部４１１がＤＶカメラ１３０に対して撮影開始指示を行うようにしてもよい。このようにすることで、ユーザは、ＰＣ１１０に対するプレゼンテーション開始の指示と、ＰＣ１２０またはＤＶカメラ１３０に対する撮影開始の指示を同時に行うといった煩雑な操作を行わなくてもよくなる。
【００６２】
また、撮影終了も上記のようにイベントデータ取得アプリケーション４０２に対するユーザの終了指示に応じて録画部４１１が自動的に行うようにしてもよいし、ユーザがプレゼンテーションが終了したときに自ら終了指示をＰＣ１２０またはＤＶカメラ１３０に対して行うようにしてもよい。
【００６３】
そして、録画部４１１は、以上のようなＤＶカメラ１３０によるプレゼンテーションの様子の撮影が終了すると、撮影開始から撮影終了までに録画したデータを映像ファイルとして外部記憶装置に記憶させ、その保存ディレクトリやファイル名等の保存個所特定情報（パス情報）をインデキシングアプリケーション４１２に通知する。
【００６４】
インデキシングアプリケーション４１２は、上述したようにプレゼンテーション等が終了した後にＰＣ１１０で動作するイベントデータ取得アプリケーション４０２から供給されるイベントデータおよび文書データと、録画部４１１によって録画された映像ファイルとに基づいて、録画映像と文書画像とを同期再生させることができる同期再生データを作成する。
【００６５】
このように画像、映像、文字等の種々の異なる形式のデータの再生を制御して同期させるデータフォーマットとしては、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）形式があり、本実施形態におけるインデキシングアプリケーション４１２は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００６６】
このような同期再生データをＰＣ等で所定の再生ソフトウェア（例えばＳＭＩＬ形式データを再生するソフトウェア）により再生することで、その表示画面には図５に示すような表示がなされることになる。
【００６７】
同図に示すように、この表示画面には、ＤＶカメラ１３０が撮影したプレゼンテーションの様子を表示する映像表示欄５００と、プレゼンテーション中において映像表示欄５００にその時点で表示されている映像の撮影時に表示されていた文書ページを表示する文書表示欄５１０と、このプレゼンテーションで利用された文書ページを一覧表示する目次欄５２０とが表示されるようになっている。
【００６８】
また、目次欄５２０に表示されたページ番号をマウスによってクリック等することで、そのページの文書画像が文書表示欄５１０に表示されるとともに、そのページの文書画像を表示していたときに撮影された映像が映像表示欄５００に表示されるようになっている。
【００６９】
同期再生データとは、以上のような映像、文書画像、ページ番号等の文字を同期して再生表示させることを可能とするデータであり、以下、同期再生データ作成処理の詳細について説明する。
【００７０】
まず、インデキシングアプリケーション４１２は、ＰＣ１１０のイベントデータ取得アプリケーション４０２から供給された文書データに基づき、当該文書の各ページの画像を所定の形式（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔｓＧｒｏｕｐ）などの汎用の形式）の文書ページ表示用のデータに変換して保存する。
【００７１】
次に、インデキシングアプリケーション４１２は、イベントデータ取得アプリケーション４０２から供給されるイベントデータ、文書画像表示用データおよび録画部４１１によって作成された映像ファイルに基づいて、図５に示されるように当該映像データに基づく映像と、スライド画像ファイル中のスライド画像表示用データに基づくスライド画像と、これらのスライド画像のタイトル等の文字情報を同期して表示させることができる同期再生データを作成する。
【００７２】
上述したように本実施形態では、このような同期再生データとしてＳＭＩＬ形式のデータを作成することとしており、インデキシングアプリケーション４１２は、供給される各データから、以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式のプレゼンテーションデータを作成する。
（１）各ページの切り替わりタイミング（開始時刻、終了時刻）
（２）各ページの文書画像表示データ（ＪＰＥＧ等）の保存場所（ファイルパス情報）
（３）各ページの文書画像表示に対応する映像ファイルの保存場所（ファイルパス情報）
（４）映像表示欄５００、文書表示欄５１０、目次欄５２０（図５参照）をどのように配置するかを示すレイアウトデータ
【００７３】
なお、（４）のレイアウト情報については、イベントデータ等の供給されるデータからではなく、ユーザが設定指示したレイアウトにしたがって作成されたデータである。
【００７４】
また、（１）の情報については、イベントデータに含まれるページの切り替わりタイミング、つまりページの切り替わり部分が表示範囲の上端位置に達したタイミングであり、例えば１ページと２ページの切り替わり部分が表示範囲の上端位置に達したタイミングが２ページの表示開始タイミングかつ１ページの表示終了タイミングとして取得される。
【００７５】
このように作成される同期再生データにおける、ページ文書画像データと映像ファイルとの同期の対応関係について図６に模式的に示す。同図に示す例では、プレゼンテーション時にユーザの文書データ作成編集アプリケーション４０１に対する操作により、最初に１ページ目の文書が表示され、その後のスクロール指示等によって１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置に「１：１５」の時点で達し、２ページ目と３ページ目の切り替わり部分が表示範囲の上端位置に「２：４３」の時点で達し、３ページ目と４ページ目の切り替わり部分が表示範囲の上端位置「３：５３」の時点で達したものとする。
【００７６】
プレゼンテーション時に以上のようなタイミングで文書画像のスクロール表示が行われると、１ページ目の文書画像が表示されている間（時刻０：００〜１：１５）に撮影された映像ファイルと１ページ目の文書画像表示用データとが対応つけられ、２ページ目の文書画像が表示されている間（時刻１：１５〜２：４５）に撮影されていた映像ファイルと２ページ目の文書画像表示用データとが対応つけられ、さらに３ページ目の文書画像が表示されている間（時刻２：４５〜３：５３）に撮影された映像ファイルが３ページ目の文書画像表示用データに対応つけられる。
【００７７】
インデキシングアプリケーション４１２は、ページごとの文書画像という静止画、プレゼンテーションの様子を撮影した映像ファイルといった異なる形式のデータの再生を上記のような対応関係に基づいて制御して同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７８】
かかる同期再生データをＰＣ等で所定の再生ソフトウェアにより再生することで、その表示画面には図５に示すような表示がなされることになる。この表示を参照しているユーザが目次欄５２０の「２ページ」をクリックすれば、同期再生データにはこの表示に２ページ目の文書画像表示用データへのパスおよびこれに対応する映像ファイル（開始時刻１：１５〜）のリンクが記述されているので、再生ソフトウェアによってこれに対応する２ページ目の文書画像が文書表示欄５１０に表示されるとともに、時刻１：１５から映像ファイルの再生が開始され映像表示欄５００に表示される。また、「３ページ」をクリックすれば、３ページ目の文書画像および映像ファイル（開始時刻２：４５）へのパスがリンクされているので、上記と３ページ目の文書画像が文書表示欄５１０に表示されるとともに、映像表示欄５００には時刻２：４５からの映像ファイルの再生映像が表示される。
【００７９】
もちろん、映像表示欄５００に表示される映像の時刻をユーザが指定することで、その指定時刻に表示されていたページの文書画像を文書表示欄５１０に表示させることもできる。例えば、ユーザが２：３０からの映像再生を指示した場合には、同期再生データにしたがって再生ソフトウェアが、その時刻からの映像再生を行うとともに、指定時刻２：３０に対応つけられている２ページの文書画像（１：１５〜２：４５の映像に対応している）を読み出して文書表示欄５１０に表示させる。
【００８０】
したがって、この再生内容を視聴した視聴者は、プレゼンテーションの様子を映像表示欄５００を参照しながら、映像表示欄５００で再生されるプレゼンテーションの各々の時刻でそれぞれスクリーンに表示されていたページの文書画像を、映像表示欄５００に表示される再生映像ではなく別個に文書表示欄５１０で参照することができる。
【００８１】
上記のようにプレゼンテーション等の様子を撮影した映像（音声付）と、そのプレゼンテーションの際にスクリーン上に表示されていた文書画像とを同期させて表示させることができる同期再生データは、プレゼンテーションの様子を再現するデータとして非常に優れたものである。このような同期再生データを作成するためには、上述したようにスクリーン上に表示される文書のページの切り替わりタイミングを含むイベントデータを取得する必要がある。
【００８２】
本実施形態では、上記のようにスライド画像毎の表示用データが用意され、かかる表示用データを切り替えてスライド画像を表示させるプレゼンテーション用アプリケーションを用いずに、複数ページにわたる文書画像を表示範囲をスクロールさせながら連続して表示する文書データ作成編集アプリケーションを用いた場合であっても、その文書のページの表示切り替わりタイミングを含むイベントデータを自動的に取得することができる。
【００８３】
したがって、プレゼンテーションの発表者以外の者が、発表者がスライド画像表示を切り替えた時刻や切り替えたページ番号等を逐一メモに記載するなどの煩雑な操作を行うことなく、ページ切り替わりといった画像表示状態が発生したタイミングを含むイベントデータを自動的に取得し、上記のような同期再生データの作成に用いることができるのである。
【００８４】
Ｂ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００８５】
（変形例１）
上述した実施形態においては、ユーザが文書データ作成編集アプリケーションによって文書画像を表示させたプレゼンテーションを行った場合について説明したが、文書データ作成編集アプリケーション以外であっても、連続して画像を表示させるアプリケーション、例えば動画像再生アプリケーションや表計算アプリケーション等であっても本発明を適用することができる。
【００８６】
例えば、表計算アプリケーションによって画像を表示させながらプレゼンテーション等を行う際に本発明を適用する場合、ＰＣ１１０で動作する表計算アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００８７】
なお、表計算アプリケーションがマイクロソフト社の「ｅｘｃｅｌ」である場合には上述したＯＬＥと呼ばれる技術を利用し、どのグラフや表を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている表計算アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。また、ＯＬＥ技術を利用せずに、予めアプリケーション状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された表計算アプリケーションを用いるようにしてもよい。
【００８８】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば表計算アプリケーションによって作成された複数のグラフ等を表示させる表計算データによって、図７に示すように１つのグラフの全体が表示範囲に表示されるといった表示状態などを設定することができる。
【００８９】
このような状態を設定しておいた場合、ユーザのスクロール指示等によって表示状態がグラフＡの全体が表示範囲内に表示されるといった状態に至ると、イベントデータ取得アプリケーション４０２がその表示状態に至ったタイミングを取得し、かかるタイミングを含むグラフＡを表示させたというイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、グラフＢが表示されると、そのタイミングを含むグラフＢを表示させたというイベントデータが記録され、グラフＣが表示されると、そのタイミングを含むグラフＣを表示させたというイベントデータが記録されることになる。
【００９０】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９１】
このように表計算アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、グラフや集計表を表示させる状態）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【００９２】
（変形例２）
また、連続して画像を表示させる動画像再生アプリケーションによって画像を表示させながら説明等を行う際にも、本発明を適用することができる。例えば、スポーツ映像を動画像再生アプリケーションによって再生させながら、再生されているスポーツ（例えば、野球映像ならバッティングフォーム等）について解説等を行う様子をＤＶカメラ１３０で撮影する場合などがある。
【００９３】
この場合、ＰＣ１１０で動作する動画像再生アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００９４】
動画像再生アプリケーションとしては、ＭＰＥＧ２データを再生するアプリケーション等があり、その動画像再生状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された動画像再生アプリケーションを用いるようにすればよい。
【００９５】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば動画像再生アプリケーションによって再生される映像のシーンの切り替わりといった状態や、動画像データが編集作業によって複数の動画像がつなぎ合わされたものである場合にはその編集による接続部分の直前または直後を再生して表示させた状態など、映像についての何らかの切り替わり部分が表示された状態を設定することができる。
【００９６】
シーンの切り替わりを取得する方法としては、動画像データ中の再生時間において隣り合うフレームの画像内容の比較し、両画像の内容が大きく異なる場合にシーン切り替えがあったと判別する方法があり、かかる方法を用いてイベントデータ取得アプリケーションがシーンの切り替わりを検出すればよい。より具体的には、フレーム画像の色、配色、エッジ、テクスチャ情報などを利用し、時間的に隣り合うフレームの各情報に示される情報の変化が予め決められた条件となった場合にシーンが切り替わったと判別するようにすればよい。
【００９７】
このような状態を設定しておいた場合、動画像再生アプリケーションによる再生画像のシーンが切り替わると、イベントデータ取得アプリケーション４０２がその切り替わりタイミングを取得し、かかるタイミングを含むイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、その後シーンが切り替わると、そのタイミングを含むイベントデータが記録されることになる。
【００９８】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９９】
このように動画像再生アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、シーンの切り替わり）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【０１００】
（変形例３）
また、上述した実施形態では、文書データ作成編集アプリケーションから、「○○行目を表示している」等のアプリケーションの状態の通知を受けてイベントデータ取得アプリケーション４０２が画像表示状態を取得するようにしていたが、文書データ作成編集アプリケーションや表計算アプリケーションに対してユーザが行った操作指示内容を取得し、かかる操作指示内容に基づいてイベントデータ取得アプリケーション４０２が文書データ作成編集アプリケーションによる画像表示状態を求めるようにしてもよい。
【０１０１】
このようにして画像表示状態を取得する場合、まずイベントデータ取得アプリケーション４０２は文書データ作成編集アプリケーションから表示している文書のページ設定情報（縦横の文字数や印刷する際の用紙サイズ等）を取得しておく。そして、文書データに基づく文書画像が最初に表示された時点（１ページ目が表示されている状態）からのユーザの操作指示内容およびページ設定情報に基づいて、表示範囲のスクロール量を求め、現在どのような範囲の文書が表示されているかという画像表示状態を判別する。
【０１０２】
例えば、図８に例示するように、ページ設定情報に示される文書１ページの行数がＸ行であり、導出した初期状態からのスクロール量が２Ｘ行に相当する場合には、その時点では３ページ目の文書が表示範囲にあるといったように画像表示状態を判別することができるのである。
【０１０３】
このようにして判別した画像表示状態が、予め設定された画像表示状態（例えば、ページの切り替わり部分が表示範囲の上端位置に達した状態）となった場合に、上記実施形態と同様イベントデータ取得アプリケーション４０２がそのタイミングを含むイベントデータを記録するといった処理を行うようにすればよい（図４参照）。
【０１０４】
以上のようにすることで、上記実施形態と同様、自動的にイベントデータを取得することができ、同期再生データを容易に作成することができる。
【０１０５】
（変形例４）
また、上述した実施形態および変形例では、ＤＶカメラ１３０による撮影を行ったプレゼンテーション等が、１つのアプリケーションによって表示された画像を参照しながら行うといったケースを想定していたが、ＤＶカメラ１３０によって撮影される１つのプレゼンテーション等において、まず文書データ作成編集アプリケーションによる画像表示を行い、次に表計算アプリケーションによるグラフ等の表示を行い、その後動画像再生アプリケーションによる動画像表示を行うといったように複数のアプリケーションによる画像表示を行った場合であっても本発明を適用することができる。
【０１０６】
すなわち、イベントデータ取得アプリケーション４０２が、上述した実施形態および変形例で説明したように各々のアプリケーションによる画像表示状態を取得し、取得した画像表示状態が各々のアプリケーションについて予め設定されている画像表示状態となった場合に、そのタイミングを含むイベントデータを記録するようにすればよい。
【０１０７】
（変形例５）
また、上述した実施形態および変形例では、プレゼンテーション等を撮影した映像データと、文書画像等といった異なる形式のデータの再生を制御して同期させることができるＳＭＩＬ形式のデータを作成していたが、プレゼンテーション等を撮影した映像データに限らず、プレゼンテーション等を録音した音声データに基づく音声再生に、上記のように取得したイベントデータを用いて文書画像等の表示を同期させる同期再生データを生成するようにしてもよい。
【０１０８】
（変形例６）
また、上述した実施形態では、インデキシングアプリケーション４１２が、イベントデータ、ページ文書画像表示用データおよび映像ファイルに基づいて、映像と文書画像とを同期して表示させることができる同期再生データとしてＳＭＩＬ形式のデータを作成するようにしていた。
【０１０９】
このように同期再生データとしてＳＭＩＬ形式のデータを作成するようにしてもよいが、ＳＭＩＬ以外のデータであっても、映像（または音声等）と、文書画像等と撮影映像といった異なる形式のデータの再生を制御して同期させることができる形式のデータであればよく、ＳＭＩＬ形式以外の形式のデータを作成するようにしてもよい。
【０１１０】
（変形例７）
また、上述した実施形態では、ＰＣ１１０において文書データ作成編集アプリケーション４０１およびイベントデータ取得アプリケーション４０２が動作し、ＰＣ１２０においてインデキシングアプリケーション４１２が動作するといったように互いにデータの授受が可能な２台のＰＣが処理を分担して同期再生データを作成するようにしていたが、単独のＰＣ等の装置で同期再生データ作成を行うようにしてもよいし、３台以上の互いにデータの授受が可能なＰＣに処理を分担させて同期再生データの作成を実現するようにしてもよい。
【０１１１】
（変形例８）
また、上述した実施形態や変形例においては、ＰＣ１１０のＣＰＵがイベントデータ取得アプリケーション４０２の機能を実現するようにしていたが、これと同じイベントデータ取得処理を、コンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を行う専用のハードウェア回路によって実現する装置として構成し、ユーザに提供等するようにしてもよい。
【０１１２】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができ、人が表示状態を監視して所定の表示状態となったタイミングをメモに記載するといった煩雑な操作が不要となるという効果を奏する。
【０１１３】
また、請求項２にかかる発明によれば、文書データ作成編集機能を実現するアプリケーションによる画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得できるという効果を奏する。
【０１１４】
また、請求項３にかかる発明によれば、表計算機能を実現するアプリケーションによる画像表示状態が、グラフが表示されるといった状態となった場合そのタイミングが自動的に取得できるという効果を奏する。
【０１１５】
また、請求項４にかかる発明によれば、動画像再生アプリケーションによる画像表示状態が、シーン切り替わりなどの映像が切り替わる状態となった場合にそのタイミングを自動的に取得することができるという効果を奏する。
【０１１６】
また、請求項５にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができる。そして、取得したタイミングにおける画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけることができ、アプリケーションによって表示された画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となるという効果を奏する。
【０１１７】
また、請求項６にかかる発明によれば、アプリケーションによる画像表示状態が、予め設定された画像表示状態となったタイミングを自動的に取得することができるという効果を奏する。
【０１１８】
また、請求項７にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、アプリケーションによる画像表示状態が、予め設定された画像表示状態となった場合に、その状態となったタイミングを自動的に取得することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。
【図２】前記インデキシングシステムの機能構成を示すブロック図である。
【図３】前記インデキシングシステムの構成要素であるＰＣで動作する文書データ作成編集アプリケーションによる文書画像表示について説明する図である。
【図４】前記インデキシングシステムの構成要素であるイベントデータ取得アプリケーションによって行われる処理の手順を示すフローチャートである。
【図５】前記インデキシングシステムによって作成された同期再生データに基づく再生画像の一例を示す図である。
【図６】映像および文書画像といった異なる形式のデータを同期再生させる前記同期再生データにおける、映像と文書画像との対応関係を模式的に示す図である。
【図７】前記インデキシングシステムによって表計算アプリケーションによる画像表示状態を取得する方法を説明するための図である。
【図８】前記インデキシングシステムの変形例において、文書データ作成編集アプリケーションによる画像表示状態を取得する手法を説明するための図である。
【符号の説明】
１００ インデキシングシステム
１０５ 記憶部
１０７ インターフェース
１０７ ユーザインターフェース
１３０ ＤＶカメラ
１４０ 投影機
４０１ 文書データ作成編集アプリケーション
４０２ イベントデータ取得アプリケーション
４０５ 画像表示状態取得部
４０６ イベントデータ記録送信部
４１１ 録画部
４１２ インデキシングアプリケーション
Claims (7)
- ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、
前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段と
を具備することを特徴とするタイミング情報取得装置。 - 前記アプリケーションは、文書データの作成編集機能を実現するアプリケーションであり、
前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記文書データに基づいて表示される文書のページの切り替わり部分が表示画面内の決められた位置に表示されるという状態となったタイミングを取得する
ことを特徴とする請求項１に記載のタイミング情報取得装置。 - 前記アプリケーションは、グラフ表示を含む表計算機能を実現するアプリケーションであり、
前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、グラフが表示画面に表示されるという状態になったタイミングを取得する
ことを特徴とする請求項１に記載のタイミング情報取得装置。 - 前記アプリケーションは、動画像データに基づいて動画像を再生するアプリケーションであり、
前記タイミング取得手段は、前記状態取得手段によって取得された前記アプリケーションによる画像表示状態が、前記動画像データに基づいて映像の切り替わり部分を表示するという状態になったタイミングを取得する
ことを特徴とする請求項１に記載のタイミング情報取得装置。 - 撮影装置によって撮影される、または録音装置によって録音される再現データを記録する記録手段と、
ユーザ操作に応じてアプリケーションデータに基づいた連続する画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得手段と、
前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段と、
前記記録手段によって記録される再現データと、前記タイミング取得手段によって取得されたタイミングにおける前記アプリケーションの動作状態とを、前記タイミング取得手段によって取得されたタイミングに基づいて時系列に対応づけるインデキシング手段と
を具備することを特徴とするインデキシング装置。 - ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションによる画像表示状態を取得する状態取得ステップと、
前記状態取得ステップで取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得ステップと
を具備することを特徴とするタイミング情報取得方法。 - ユーザ操作に応じてアプリケーションデータに基づいた画像表示を含む機能を実現するアプリケーションが動作するコンピュータを、
前記アプリケーションによる画像表示状態を取得する状態取得手段、
前記状態取得手段によって取得された画像表示状態が予め設定された画像表示状態となったタイミングを取得するタイミング取得手段
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025201A JP4149825B2 (ja) | 2003-01-31 | 2003-01-31 | インデキシング装置、インデキシング方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025201A JP4149825B2 (ja) | 2003-01-31 | 2003-01-31 | インデキシング装置、インデキシング方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004234568A true JP2004234568A (ja) | 2004-08-19 |
| JP4149825B2 JP4149825B2 (ja) | 2008-09-17 |
Family
ID=32953542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003025201A Expired - Fee Related JP4149825B2 (ja) | 2003-01-31 | 2003-01-31 | インデキシング装置、インデキシング方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4149825B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006148730A (ja) * | 2004-11-24 | 2006-06-08 | Hitachi Omron Terminal Solutions Corp | 会議システム及び会議情報提供方法 |
| JP2013223086A (ja) * | 2012-04-16 | 2013-10-28 | Sharp Corp | 情報同期装置、記録媒体、および情報同期方法 |
-
2003
- 2003-01-31 JP JP2003025201A patent/JP4149825B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006148730A (ja) * | 2004-11-24 | 2006-06-08 | Hitachi Omron Terminal Solutions Corp | 会議システム及び会議情報提供方法 |
| JP2013223086A (ja) * | 2012-04-16 | 2013-10-28 | Sharp Corp | 情報同期装置、記録媒体、および情報同期方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4149825B2 (ja) | 2008-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4288879B2 (ja) | ネットワーク情報処理システムおよび情報処理方法 | |
| JP3664132B2 (ja) | ネットワーク情報処理システム及び情報処理方法 | |
| JP2007526659A5 (ja) | ||
| JP2007036752A (ja) | コンテンツ再生システム、コンテンツ再生方法およびコンテンツ再生プログラム | |
| JP2004227514A (ja) | メモリユニット、プレゼンテーションデータ作成装置、プレゼンテーションデータ作成システム、プレゼンテーションデータ作成方法およびプレゼンテーション方法 | |
| JP4695609B2 (ja) | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム | |
| JP3389545B2 (ja) | 記録装置、再生装置およびこれらを接続した記録再生装置 | |
| JPH1055391A (ja) | 情報再生装置および資料提示装置 | |
| JP2005252574A (ja) | マルチメディアコンテンツ生成装置、マルチメディアコンテンツ生成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ生成システム | |
| JP2005092464A (ja) | 情報編集装置、情報編集方法およびその方法をコンピュータに実行させるプログラム | |
| JP4149825B2 (ja) | インデキシング装置、インデキシング方法およびプログラム | |
| JP2000267639A (ja) | 情報処理装置 | |
| US12003882B2 (en) | Information processing devices, methods, and computer-readable medium for performing information processing to output video content using video from multiple video sources including one or more pan-tilt-zoom (PTZ)-enabled network cameras | |
| JP4149824B2 (ja) | 識別情報表示制御装置、プレゼンテーションデータ作成装置、プログラムおよび記録媒体 | |
| JP2005260513A (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2007318436A (ja) | 記録再生装置及びスライドショー再生リスト生成方法 | |
| JP2006174178A (ja) | フォトムービーのインデックス画像作成装置及びインデックス画像作成プログラム | |
| JP2004135256A (ja) | 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体 | |
| JP2005072964A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4358533B2 (ja) | イベント取得装置、インデキシング装置、イベント取得方法およびプログラム | |
| JP2000270299A (ja) | 画像記録再生装置 | |
| JP4171316B2 (ja) | 情報編集装置、情報編集方法、および情報編集プログラム | |
| JP4295532B2 (ja) | 情報編集装置、情報編集方法、および情報編集プログラム | |
| JP2004302681A (ja) | 情報編集装置、情報編集方法、および情報編集プログラム | |
| JP2004362392A (ja) | プログラム及び画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080626 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |