JP2015002533A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ホワイトボードなどを用いた会議を動画像で撮影し、後で所望の時点の会議の様子を参照するという場面が考えられるが、実態に即した手法が存在しない。【解決手段】情報処理装置は、動画像に含まれる静止画像同士を比較することで、静止画像同士の間で差のある前記動画像における領域、および、前記領域に対応付ける前記動画像における時刻を特定する。そして、前記領域と前記時刻とを関連付ける。後から動画像を参照する際には、ディスプレイに表示された、動画像に含まれる静止画像内の領域をユーザーが指し示す。この領域が特定した領域に対応する場合、関連付けられた時刻に基づいて動画像の再生をする。【選択図】図１

Description

本発明は、動画像を扱う情報処理装置、情報処理方法およびプログラムに関する。

過去に行われたプレゼンテーションを後から振り返ることを容易にする手法が知られている。例えば特許文献１の技術は、プレゼンテーションの動画像と、プレゼンターが使用したプレゼンテーション資料に対する操作履歴と、時刻とを保存する。そして、後でそのプレゼンテーションを参照する時に、プレゼンテーション資料上の位置を指定し、その位置に関連する時刻からプレゼンテーション動画像を再生する。

また一方でホワイトボードを用いた会議等を後から振り返ることを可能にする手法が知られている。例えば特許文献２の技術では、ホワイトボードをカメラで静止画撮影した画像を時系列で比較する。そして、画像の差分が検出された場合もしくは紙文書の貼り付けが検出された場合はその差分情報と時刻とを関連付けて保存する。そして、参照時にはこれら保存された差分情報と時刻とを元にプロジェクタで画像投影する。これにより、画像の差分だけでなく紙文書の情報を含むホワイトボードの状態を後から再現することを可能にする。

特開２０１２−６５１７０号公報 特開２０１０−２２４６６６号公報

ホワイトボードなどを用いた会議を動画像で撮影し、後で所望の時点の会議の様子を参照するという場面が考えられるが、実態に即した手法が存在しない。

特許文献１の手法は、プレゼンテーション資料を説明した際のカーソル位置と時刻とを関連付けるものであり、既存の資料を用いて説明を行う場面に適用することは可能であるが、ホワイトボードのように新しく資料を作成する場面においては適していない。例えば、特許文献１の技術は同一ページ内のオブジェクトを最初に説明する際の時刻情報が付されるものであり、オブジェクトに関連付けられる時刻情報が１つに限られている。従って、ホワイトボード内の資料のように同一の構図内でオブジェクトが時系列に変化し得る場面では所望の箇所を後から簡易に参照できない。

また特許文献２の手法はホワイトボードの静止画の差分のみに焦点を置いており、後から参照する際にどのような会議の流れでホワイトボードの書き込みがなされたかを把握することは困難である。また、ホワイトボードに対して紙文書の貼り付けや専用マーカーによる書込みが追加される場合しか考慮されておらず、紙文書をはがした場合や書込みが消された場合のホワイトボードの状態を後から再現させることは困難である。

本発明に係る情報処理装置は、動画像に含まれる静止画像同士を比較することで、静止画像同士の間で差のある前記動画像における領域、および、前記領域に対応付ける前記動画像における時刻を特定する特定手段と、前記領域と前記時刻とを関連付ける関連付け手段と、を有することを特徴とする。

本発明によれば、所望の時点における動画像の再生が簡易に可能となる。

動画像撮影再生システムのハードウエア構成例を示す図である。 情報処理装置のハードウエア内部構成を示す図である。 動画像撮影再生システムの機能構成の例を示す図である。 動画像から静止画像を抽出した例の概略を示す図である。 領域時刻関連情報を生成する処理の一例を示すフローチャートである。 動画像から抽出された静止画像と差分領域を一覧にした例を示す図である。 差分情報の例を示す図である。 領域差分の例を示す図である。 動画像の再生を行う処理の一例を示すフローチャートである。 再生処理の初期画面表示の例を示す図である。 サムネイル画像の表示例を示す図である。 動画像の再生を行う処理の他の例を示すフローチャートである。 再生処理における表示例を示す図である。 動画像の再生を行う処理の他の例を示すフローチャートである。 再生処理における表示例を示す図である。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。

始めに本実施例の適用が想定される場面について説明する。例えば会議参加者がそれぞれホワイトボードに文字や図形などを書き込む会議を行うことがある。このような会議において、会議の内容を保存する方法としては、ホワイトボードの様子を撮影して静止画像として記録する方法がある。しかし会議中の細かな会話の内容や議論の経緯などは文字や図形で残りにくく、後から保存された静止画像を参照しても思い出すことが困難であることが多い。

そこで本実施例では、会議の内容を音声付きの動画像で全て保存しておき、後から参照するシステムを提供する。後から参照する際にはホワイトボードの静止画像から参照したい任意の書込み領域を選択し、任意の再生開始時刻から動画像が再生されるようにすることで動画参照の補助を行う。もちろん、会議のほかにも、授業の板書を音声付の動画像で保存するような場面においても本実施例を適用することができる。

図１は本実施例における動画像撮影再生システムのハードウエア構成例を示したものである。

図示するようにこの動画像撮影再生システムは、情報処理装置１００と、ホワイトボード１１０と、ビデオカメラ１２０と、マイクロフォン１３０とにを含むシステムよって構成されている。

情報処理装置１００は、ビデオカメラ１２０がホワイトボード１１０を撮影した動画像とマイクロフォン１３０から送られてくる音声とを保存する。また情報処理装置１００は、後述する処理を行い内蔵する表示装置で静止画像や動画像の表示を行う。この情報処理装置１００は、ビデオカメラとマイクロフォンが接続できるパーソナルコンピュータやワークステーションに限られることはなく、ビデオカメラとマイクロフォンを内蔵するタブレットなどのコンピュータシステムを用いても良い。すなわち、図１の例では情報処理装置とビデオカメラとマイクロフォンとが別々の装置である例を示しているが、これらを一体型にした単一の装置を用いてもよい。また、情報処理装置が表示装置を内蔵していなくてもよく、外部の表示装置に情報処理装置が静止画像や動画像を表示させてもよい。

ホワイトボード１１０は、専用のマーカーペンで文字や図形などを書込むのに用いる白い板で、専用のイレーサーを使うことで書込みを何度でも消去できる。壁面に貼るタイプの巻取り式のシート状のものを用いても良い。もちろん、ホワイトボードではなく黒板でもよく、資料や成果物等を対話等を通じて作成するような場面に用いられるものであればいずれの形状のものであってもよい。

ビデオカメラ１２０は、ホワイトボード１１０に書き込まれた文字や図形を撮影して動画像データを得る。ビデオカメラ１２０は動画像データを情報処理装置１００へ送信する。ビデオカメラ１２０は動画像データを２次記憶等へ保存する機能を持っていても良いし、単に情報処理装置に送信する機能を持っていても良い。マイクロフォン１３０は、会議参加者の会話などの音声を音声データに変換し、情報処理装置１００へ送信する。

ここではビデオカメラ１２０とマイクロフォン１３０は別体型を用いているが、マイクロフォンの機能を内蔵した一体型のビデオカメラを用いるようにしても良い。

図２は、情報処理装置１００のハードウエア内部構成例を示す図である。情報理装置１００は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、ＨＤＤ２０３、ディスプレイ２０４、カメラＩ／Ｆ２０５、マイクＩ／Ｆ２０６、キーボード２０７、マウス２０８を有し、それらはシステムバス２０９によって接続されている。

ＣＰＵ（プロセッサ）２００は、情報処理装置１００全体の制御を行うものであり、ＲＯＭ２０１やＨＤＤ２０３などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、情報処理装置１００のＣＰＵ２００は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する制御部として機能する。ＲＯＭ２０１は、ＣＰＵ２００を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。

ＨＤＤ２０３はビデオカメラ１２０で得られた動画像データやマイクロフォン１３０から得られた音声データを保存する。また、動画像データと音声データとが重畳されエンコードされたＭＰＥＧ、ＡＶＩ等の動画ファイルを保存してもよい。ディスプレイ２０４は動画像や静止画像を表示する。カメラＩ／Ｆ２０５はビデオカメラ１２０からの動画像データを入力する。マイクＩ／Ｆ２０６はマイクロフォン１３０からの音声データを入力する。キーボード２０７やマウス２０８はユーザーからの操作指示を入力する。なお、キーボード２０７やマウス２０８の代わりにディスプレイ２０４と一体となったタッチパネルを用いてユーザーからの操作指示を入力してもよい。

図３は、動画像撮影再生システムの機能構成例を示す図である。

制御部３００は、関連情報生成処理３１０に関連する機能部と動画像再生処理３２０に関する機能部とを有する。

関連情報生成処理３１０に関連する機能部は、動画像受信部３１１と、静止画像抽出部３１２と、時刻抽出部３１３と、差分抽出部３１４と、関連情報生成部３１５とである。

動画像生成処理３２０に関連する機能部は、動画像再生部３２１と、静止画像再生部３２２と、領域選択部３２３と、選択情報生成部３２４と、画像合成部３２５とである。

まず、関連情報生成処理３１０に関連する機能部について個々に説明する。

動画像受信部３１１は、動画像撮影部３３０から動画像データを受信して記憶部３６０へ動画像データ３６１として保存する。この動画像データは、前述のとおり動画像と音声とが重畳されたデータであってもよいし、音声を含まない動画像のみのデータであってもよい。

静止画像抽出部３１２は、動画像データ３６１から所定のタイミングで静止画像を抽出し、静止画像データ３６２として記憶部３６０に保存する。静止画像を抽出するタイミングについては、例えばユーザーが操作部３５０を用いて手動で指示したタイミングを用いて抽出したり、図示しない時刻計数部を用いて一定時刻間隔で取り出したりすることが考えられる。本実施例では、ユーザーが操作部３５０を用いて手動で指示したタイミングを用いて動画像データ３６１から静止画像データ３６２を抽出すると仮定する。

時刻抽出部３１３は、静止画像抽出部３１２が静止画像データを抽出した際の動画像中の時刻情報を抽出してその静止画像データに関連付ける。

差分抽出部３１４は、静止画像抽出部３１２が抽出した静止画像データを時系列順に比較し、差分情報を抽出する。すなわち、差分抽出部３１４は、時系列で隣接する静止画像同士を比較してその差分情報を抽出する。差分情報は例えば、前の時刻の静止画像から追加、変更、または削除された部分の領域を示す情報となる。詳細については後述する。

関連情報生成部３１５は、時刻抽出部３１３が抽出した時刻情報と、差分抽出部３１４が抽出した差分情報とを関連付け、領域時刻関連情報３６３を生成する。領域時刻関連情報は、静止画像間の差分領域を表す差分情報と、比較した静止画像のうち前の時刻の静止画像の抽出時刻とを関連付けた情報を少なくとも含む情報である。すなわち、領域時刻関連情報は、差分があった場合に、その差分が生じる直前の静止画像を抽出した時刻と差分情報とを関連付けた情報ともいえる。差分が生じる直前の静止画像の抽出時刻を関連付けておくことにより、後から再生する際にその直前の静止画像の抽出時刻から再生を開始することができる。従って、どのような経緯でその差分が形成されたのかを容易に参照することができる。領域時刻関連情報の詳細については後述する。生成した領域時刻関連情報３６３は記憶部３６０に保存される。

次に、動画像再生処理３２０に関連する各機能部について説明する。

動画再生部３２１は、領域時刻関連情報３６３に基づいて、動画像データ３６１を指定された再生開始時刻から読み出し、表示部３４０で表示する。静止画像再生部３２２は、静止画像データ３６２を読み出し、表示部３４０で表示する。記憶部３６０に保存されている動画像データ３６１が動画像のみを含み、音声を含まない場合には、動画像再生部３２１は、当該動画像の再生開始時刻に対応する音声データについても同様の再生開始時刻から再生する。

領域選択部３２３は、ユーザーが操作部３５０を操作することによって得られた領域選択情報を取得する。ユーザーが行う操作部３５０の操作は、座標情報の入力が可能なマウス２０８のクリック操作を用いる。また、表示部３４０に図示しない座標情報が得られるタッチ式の入力装置を付加し、画像を見ながらのタッチ入力によって情報を得るようにしても良い。

また、領域選択部３２３は、取得した領域選択情報によって特定される静止画像の領域を用いて、領域時刻関連情報３６３を走査する。すなわち、領域選択情報によって特定される静止画像の領域と、領域時刻関連情報に含まれる差分領域とを比較して、領域選択情報によって特定される領域と一致する差分領域を決定する。領域選択部３２３は、決定した差分領域に関連付けられている時刻情報を用いて動画像の再生開始時刻を決定し、動画像再生部３２１へ動画再生の指示を行う。

選択情報生成部３２４は、領域選択部３２３が領域時刻関連情報３６３を走査した結果、決定した差分領域に関連付けられている再生開始時刻が複数存在した場合の処理を行う。具体的には、選択情報生成部３２４は、該当する再生開始時刻の静止画像を複数読みだしてユーザーに選択を促すための表示画面用の画像（以下、サムネイル画像と称する）を生成する。

画像合成部３２５は、選択情報生成部３２４が生成したサムネイル画像などの複数の静止画像を同時に表示するために合成処理を行い、合成された画像を表示部３４０に表示する。

図４は動画像から静止画像を抽出する概略を示す図である。なお、以下では説明の簡略のため、動画像データのことを単に動画像と称し、静止画像データのことを静止画像と称する。

この例では、動画像４００の中から動画像の最初のフレームの静止画像４１０、動画の最後のフレームの静止画像４５０までの間に、ユーザーが３”３２、７”０９、１２”４９の時刻で静止画像の抽出指示を行う例を示している。なお、３”３２は、この動画像の開始から３分３２秒経過したときの時刻を表す。図４は、この抽出指示の結果、静止画像４１０から静止画像４５０の合計５つの静止画像が得られたことを示している。また、静止画像４４０は、静止画像４３０と比較して一部の領域の書込みが削除されている画像を表している。

図５は、関連情報生成部３１５が、静止画像抽出部３１２によって抽出された静止画像を時系列順に比較し、領域時刻関連情報を生成する処理の一例を示すフローチャートである。図５に示す処理は、差分抽出部３１４と関連情報生成部３１５とによって処理される。より具体的には、ＲＡＭ２０２に読み出されたプログラムをＣＰＵ２００が実行することによって実現される。なお、以降のフローチャートに示す各処理についても同様に、ＲＡＭ２０２に読み出されたプログラムをＣＰＵ２００が実行することによって実現される。

差分抽出部３１４は、ステップＳ５０１からステップＳ５０６までの処理をＩＤの値１で初期化し、ループ処理の繰り返しごとにＩＤの値を加算しながら、比較する静止画像が存在する範囲で繰り返し実行する。ＩＤの値は、静止画像抽出部３１２によって抽出された静止画像に対して時系列順に付された値であるとする。

ステップＳ５０２で差分抽出部３１４は、時系列順のＩＤ番目の静止画像と（ＩＤ＋１）番目の静止画像とを比較することで静止画像の差分情報の抽出を行う。ステップＳ５０３で関連情報生成部３１５はステップＳ５０２の抽出の結果から得られる差分情報から差分の有無を判定する。すなわち、関連情報生成部３１５は、前の時刻の静止画像から追加、変更、または削除された部分の領域を示す情報が、後の時刻の静止画像に含まれるかを判定する。差分があった場合に関連情報生成部３１５は、さらにその差分が下地色であるか否かの判定をする。すなわちステップＳ５０４で関連情報生成部３１５は、ホワイトボード上に書かれてあった書込みが削除されたことに起因する差分であるかの確認を行う。差分が下地色でない場合、すなわち、前の時刻の静止画像から追加または変更があった場合はステップＳ５０５において関連情報生成部３１５は、領域時刻関連情報の生成を行う。領域時刻関連情報は画像の差分情報と、差分があった時の静止画像のＩＤ番目を抽出した時刻情報とを関連付けたものである。先に説明したように、静止時刻関連情報は、比較した静止画像同士のうち、時系列で前の静止画像を抽出した時刻情報と、差分情報とを少なくとも関連付けたものである。

一方、関連情報生成部３１５は、ステップＳ５０３で差分が無いと判定した場合またはステップＳ５０４で差分が下地であると判定した場合には、領域時刻関連情報を生成せずにステップＳ５０６へ処理を移す。ここで、差分が下地である場合に、領域時刻関連情報を生成しない理由について説明する。本実施例では、後述するように動画像の最終フレームの静止画像にホワイトボードの記載が全て含まれるであろうという観点から、最終フレームの静止画像をユーザーに提示して、再生を所望する領域を指定させる処理を行う。また、領域時刻関連情報を走査して、その領域に対応する複数の差分情報がある場合には、それらの複数の差分を表すサムネイル画像をユーザーに提示して、ユーザーから指示を受け付ける。ここで、差分が下地である場合、すなわち、記載を削除した場合には、サムネイル画像として元の記載が削除された時点の静止画像がユーザーに提示されることになる。ユーザーとしては、「ある記載」がされるに至った経緯などを後から参照したいにも関わらず、差分が下地の場合には、そもそも「ある記載」がない状態の画像が提示されることになってしまう。よって、ユーザーが簡易に参照したい項目を選択できるようにするために、差分が下地である場合に、領域時刻関連情報を生成しないことが好ましい。

ステップＳ５０６で差分抽出部３１４はＩＤの値を１加算して抽出された静止画像の数と比較し、同じ値になったら繰り返し処理を終了する。ＩＤの値が静止画像の数に達していなかった場合には、差分抽出部３１４はステップＳ５０１から再度処理を行う。

図６は動画像から抽出された静止画像を入力した場合にステップＳ５０２の静止画像の差分抽出処理によって得られる静止画像の差分（差分領域）を一覧にしたものである。また、静止画像と静止画像を抽出した際の時刻（撮影時刻）と、抽出した静止画像に対して時系列順に付したＩＤと、を示している。また、ある静止画像Ａとその静止画像Ａの直後の静止画像Ｂとの差分を静止画像Ｂに関連付けている。図６の例では、例えばＩＤの値として２が付された静止画像のことをＰ（２）と特定する。また、そのＩＤの値として２が付された静止画像に関連付けられた差分領域のことをＤ（２）と特定する。

例えば、ステップ５０２を実行する時にＩＤの値が１だった場合は、静止画像Ｐ（１）と静止画像Ｐ（２）とを比較し、その結果として差分領域Ｄ（２）が得られる。差分領域Ｄ（２）は、点線の矩形内の領域Ａが差分領域として抽出されることを示している。差分領域Ｄ（２）においては、差分が下地色ではないため、この場合は領域時刻関連情報が生成される。すなわち、少なくとも差分領域Ｄ（２）（領域Ａ）を示す差分情報と、比較した静止画像のうち前の時刻の静止画像の抽出時刻である撮影時刻０”００とを関連付けた情報とが生成される。

またステップＳ５０２を実行する時にＩＤの値が３だった場合は、静止画像Ｐ（３）と静止画像Ｐ（４）とを比較し、その結果として差分領域Ｄ（４）が得られる。このときの差分領域Ｄ（４）（すなわち、点線の矩形内の領域Ｂ´）は、書込み６１０が消された下地色である。従って、この場合は領域時刻関連情報は生成されない。すなわち、差分領域Ｄ（４）（領域Ｂ´）に対応する領域時刻関連情報は生成されない。なお、図６の例では、領域Ａと領域Ｂは位置的に異なる箇所であるが、領域Ｂと領域Ｂ´と、領域Ｂ”とは、位置的に同一箇所であると仮定する。

図７は、図６に示す静止画像を入力した場合にステップＳ６０５の領域時刻関連情報生成処理において生成される領域時刻関連情報を示したものである。

領域時刻関連情報は、例えば図７に示すように関連付けた項目を識別するためのＩＤ７０１と、差分情報７０２と、再生開始時刻情報７０３と、静止画像時刻情報７０４とを有する。差分情報７０２は、差分領域を示す情報のことである。再生開始時刻情報は、先に説明した、比較した静止画像のうち前の時刻の静止画像の抽出時刻のことである。図７の例では、４つの項目が関連付けられている情報を例として説明しているが、少なくとも差分情報７０２と再生開始時刻情報７０３（比較した静止画像のうち前の時刻の静止画像の抽出時刻）とが関連付けられていればよい。なお、静止画像時刻情報は、後述するサムネイル画像を生成する際に用いられるものである。再生開始時刻情報７０３と、静止画像時刻情報７０４とは、静止画像同士の間で差のある領域に対応付ける、動画像における時刻ともいえる。

差分情報７０２は静止画像の差分の領域を示す情報であり、領域を一意に特定できればどのようなデータ構造でも良い。図８を用いて差分情報の例について説明する。図８は、ユーザーによって追加された記載事項を静止画像の差分として抽出した結果の例を示す図である。例えば図８にある領域８０１のように、静止画像の差分に外接する矩形領域であれば、左上の座標であるＸ１，Ｙ１、右下であるＸ２，Ｙ２の情報を差分情報として保存すれば良い。また、領域８０２のように静止画像の差分の輪郭領域であれば、輪郭を示す座標の集合の情報を差分情報として保存すれば良い。再生開始時刻情報７０３は、比較した静止画像のうち前の時刻の静止画像の抽出時刻のことである。換言すれば、再生開始時刻情報７０３は、該当する領域に対して書込みが始まる時刻情報といえる。また静止画像時刻情報７０４は、比較した静止画像のうち後の時刻の静止画像の抽出時刻のことである。換言すれば、静止画像時刻情報７０４は該当する領域に対して書込みが終了した時刻情報といえる。

図７の領域時刻関連情報を図６の例を用いて具体的に説明する。図６において、ＩＤの値が１であるときには、静止画像Ｐ（１）と静止画像Ｐ（２）との比較を行い、差分領域Ｄ（２）が抽出される。この差分領域Ｄ（２）を示す差分情報を領域Ａとして図７のＩＤの値１の項目に保存する。また、差分領域の書込みが始まる時刻情報は比較した静止画像のうち前の時刻の静止画像の抽出時刻のことであるので、図６におけるＩＤが１であるときの撮影時刻である０“００を再生開始時刻として図７のＩＤの値が１の項目に保存する。また、書込みが終了した時刻情報は比較した静止画像のうち後の時刻の静止画像の抽出時刻のことであるので、図６におけるＩＤが２であるときの撮影時刻である３”２２を静止画像時刻情報として図７のＩＤの値が１の項目に保存する。また同様に図６の例において、ＩＤの値が２の場合と４の場合に領域時刻関連情報が生成される。

図９は、領域時刻関連情報と動画像と静止画像とを利用して任意の再生開始時刻から動画像の再生を行う処理の一例を示すフローチャートである。

まずステップＳ９０１において、静止画像再生部３２２は、最終静止画像を表示部３４０に表示する。この最終静止画像とは、静止画像抽出部３１２で抽出された、動画像における時系列の最後の静止画像のことである。図６の示す静止画像の例では静止画像Ｐ（５）が最終静止画像である。従って、ステップＳ９０１において、表示部３４０は図１０のような表示をする。なお、図１０の点線で示す矩形１００２と１００３とは差分を明示的に示しているものであり、表示部３４０では点線は表示されない。

ステップＳ９０１で最終静止画像を表示する理由について説明する。最終静止画像は、会議などが終了したときの最終的なホワイトボードの内容を撮影したものである。一般に、会議の終了時にはホワイトボードはメモ等で埋め尽くされていることが多い。従って、最終静止画像は、換言すれば、差分が次々に形成された最終結果を表す画像となる。このため、後からユーザーが参照する際に最終静止画像を用いることで、容易に所望の箇所を参照可能となる。なお、図９の例では、最終静止画像を用いる例を説明しているが、これに限られることはない。例えば、会議終了後に動画像の撮影を終了しておらず、ホワイトボードの記載を全て消去した場面の静止画像が最終静止画像となる場合もあり得る。このような場合には、最終静止画像を用いるのではなく、その前の静止画像を用いてもよい。

次にステップＳ９０２で領域選択部３２３は、ユーザーの操作部３５０に対する操作によって最終静止画像内に対する座標情報の入力を待つ。座標情報の入力を待つとは、前述のように、カーソルを所定の位置においた状態でのマウスクリックや、タッチパネルの所定位置のタッチを検出があるまで待つことである。ユーザーからの入力があった場合にはステップＳ９０３で領域選択部３２３は、入力された座標情報を元に差分領域時刻情報を走査する。より具体的には、入力された座標情報が差分領域時刻情報内の差分情報によって特定される各領域内に含まれているか否か走査する。次にＳ９０４で領域選択部３２３は、その走査の結果該当する領域（差分情報）がないと判定し場合には、ステップＳ９０２で再びユーザーの操作入力を待つ。一方、該当する領域があると判定した場合には、領域選択部３２３はステップＳ９０５に処理を進める。

次にステップＳ９０５において領域選択部３２３は、ステップＳ９０３による走査の結果、座標情報に対応する領域（差分情報）が複数存在するかを判定する。ここで複数あった場合の処理については後述し、先に座標情報に対応する差分情報が１つだけ存在する場合の処理の説明を行う。これは例えば図１０の最終静止画像を表示部３４０に表示している場合に、領域１００２内の座標がユーザーによって指定された場合である。座標情報に対応する差分情報が１つだけ存在する場合、領域選択部３２３は当該差分情報に関連付けられている再生開始時刻情報の時刻を、再生開始時刻として決定し、ステップＳ９０６に処理を進める。

ステップＳ９０６で動画像再生部３２１は、決定された再生開始時刻から、動画像の再生を開始する。次に動画像再生部３２１は、ステップＳ９０７でユーザーの操作部３５０を介した入力を待つ。入力があった場合は、たとえばユーザーが動画像を再生したものの、所望の箇所からの再生でないことが考えられる。従って、入力があった場合には、ステップＳ９０８で動画像の再生を中断した後にステップＳ９０１に処理を戻し、再び静止画像再生部３２２による静止画像の表示が行われる。一方、入力がなかった場合にはステップＳ９０９で動画像の再生が最後まで到達したかを判定する。動画像の再生が最後まで到達していなかった場合に動画像再生部３２１はステップＳ９０７で再びユーザーの操作入力を待ち、最後まで到達していた場合にはステップＳ９０１に処理を戻し、再び静止画像の表示を行う。

次にステップＳ９０２でユーザー入力された座標情報に対する領域の情報が、ステップＳ９０３の領域時刻関連情報の走査の結果、複数存在する場合の処理について説明する。これは例えば図１０の最終静止画像を表示している場合において、領域１００３内の座標が指定された場合である。

ステップＳ９１０で選択情報生成部３２４は、ユーザーが入力した座標情報に対応する領域（差分情報）に関連付けられた静止画像時刻情報が示す時刻の静止画像と、その領域に関連付けられた再生開始時刻情報とを含むサムネイル画像を、それぞれ生成する。そして、画像合成部３２５は生成された複数のサムネイル画像を最終静止画像に合成して表示部３４０に表示する。ここで、静止画像時刻情報が示す時刻の静止画像は、先に説明したように、静止画像抽出部３１２で抽出された静止画像を用いても良いし、抽出された静止画像の解像度などのサイズを縮小した画像であってもよい。

次に、図７のような領域時刻関連情報が記憶部３６０に保存されている場合に、ユーザーが入力した座標情報が領域Ｂであった場合について詳しく説明する。なお、先に説明したように、領域Ｂと領域Ｂ”とは同じ座標情報を有するものと仮定する。ステップＳ９０３による走査の結果、ユーザーが入力した座標情報に合致する差分情報は、図７のＩＤ値が２と３の差分情報である。ここで、選択情報生成部３２４は、ＩＤ値が２の静止画像時刻情報は７“０９であるためこの時の静止画像と、再生開始時刻情報が３”３２であるためこの時刻を表す画像とを含むサムネイル画像を生成する。同様にＩＤ値が３の場合のサムネイル画像を生成する。そして、画像合成部３２５が、これらの生成されたサムネイル画像を合成して表示部３４０に表示する。図１１は合成されたサムネイル画像が表示部３４０に表示される例である。ＩＤ値が２のサムネイル画像が１１０１，ＩＤ値が３のサムネイル画像が１１０２である。なお、本例では、ユーザーが入力した座標情報に対応する領域（差分情報）に関連付けられた静止画像時刻情報が示す時刻の静止画像と、その領域に関連付けられた再生開始時刻情報とを含むサムネイル画像を生成する例を説明した。しかしながら、例えば再生開始時刻の代わりに、単に時間軸の前後関係を表すような情報を含むサムネイル画像を生成してもよい。また、静止画像のみから所望の箇所をユーザーが推定することができる場合も想定されるので、再生開始時刻がサムネイル画像に含まれていなくても良い。また、サムネイル画像に含まれる静止画像についても、例えば差分の領域のみを切り出した静止画像を用いても良い。

次にステップＳ９１１で領域選択部３２３は、ユーザーの操作部３５０に対する操作による座標情報の入力を待つ。入力があった場合にはステップＳ９１２で領域選択部３２３は、入力された座標情報が表示部３４０で表示されているサムネイル画像内であるかを判定する。座標情報がサムネイル画像外であった場合には、ステップＳ９０１に処理を戻し、静止画像再生部３２２が再び静止画像の表示を行う。これによってステップＳ９１０で表示されたサムネイル画像は表示部３４０から消去される。座標情報がサムネイル画像内であった場合には、ステップＳ９１３で領域選択部３２３は、その選択されたサムネイル画像に関連付けられた再生開始時刻を再生開始時刻として決定する。続く、ステップＳ９００６で動画像再生部３２１は、決定された再生開始時刻から動画像の再生を開始する。

以上の処理により、表示された静止画像から注目したい箇所を指定することで、その領域に関連付けられた再生開始時刻から動画像の再生が開始される。またその箇所に複数の再生開始時刻が関連付けられていた場合でも、再生開始候補の画像を表示し選択を促すことで複数の中から１つを選択可能になる。従ってたとえばホワイトボードの各書込みに対して、書込みが開始されるところからの動画像が参照できる。また、誰が書込みを書いたかを容易に参照することができる。また、書込みに対する動画像中の音声を聞くことで会議中の会話や様子など、書込みがあった経緯を容易に把握することが可能になる。

実施例１では、動画像から抽出した静止画像を表示し、ユーザーからの入力を受け付ける例を説明した。しかしながら、ユーザーがどの領域を選択すればよいか判断に困る場面も想定される。

実施例２では動画像再生処理のユーザーからの入力を待つ状態で、入力可能な領域を明確に示すための手法について説明する。

実施例２におけるハードウエア構成や機能構成については実施例１で説明したものと同様のものとすることができるので、ここでの説明は省略する。

図１２は本実施例における動画像の再生を行う処理の一例を示すフローチャートである。

まずステップＳ９０１において、静止画像再生部３２２は、最終静止画像を表示部３４０に表示する。この最終静止画像とは、静止画像抽出部３１２で抽出され記憶部３６０に保存した静止画像の中で、時系列において最後の静止画像のことである。図６の静止画像の例では静止画像Ｐ（５）が対応する。次にステップＳ１２０１において、領域選択部３２３は、指定可能な領域を表示する処理を行う。すなわち、差分領域として抽出されている領域を強調表示する。この処理は図７に示すような領域時刻関連情報を走査し、最終静止画像の中で図７に示すような各ＩＤの差分情報７０２によって特定される領域に着色処理を行う。図１３は、図７のような領域時刻関連情報を用いた着色の表示例である。図７のＩＤ値が１の箇所の着色例が領域１３０１であり、ＩＤ値が２及び３の箇所の着色例が領域１３０２である。領域選択部３２３は、ＩＤの値ごとに着色する色や背景模様を変更してもよい。また、領域選択部３２３は、同一領域に複数の時刻情報が関連付けられている場合にはそれを示すような色や背景模様に変更する処理をしてもよい。

以降のステップＳ９０２からステップＳ９１３までの処理については、実施例１記載の処理と同等であるため、説明を割愛する。

以上の処理により、静止画像表示中のユーザーからの入力待ち状態において、ユーザーが入力可能な領域が明確になり、ユーザーの利便性が向上する。

実施例１および２では、ユーザーからの入力があった時点で、その入力された座標情報に基づいて処理を行う例を説明した。

実施例３では動画再生処理のユーザーからの入力を待つ状態で、複数の再生開始時刻情報を持った領域にマウスカーソルがかかった場合、すなわちマウスオーバーの場合に、自動的に再生候補時刻の表示を行う手法について説明する。

実施例３におけるハードウエア構成や機能構成については実施例１で説明したものと同様のものとすることができるので、ここでの説明は省略する。

図１４は本実施例における動画像の再生を行う処理の一例を示すフローチャートである。

まずステップＳ９０１において、静止画像再生部３２２は、最終静止画像を表示部３４０に表示する。この最終静止画像とは、静止画像抽出部３１２で抽出され記憶部３６０に保存した静止画像の中で、時系列において最後の静止画像のことである。図６の静止画像の例では静止画像Ｐ（５）が対応する。

次に領域選択部３２３は、ステップＳ１４０１からＳ１４０３までの繰り返し処理を開始する。この処理はユーザーによる操作部３５０を介した座標の入力が行われるまでの間繰り返し実行される。すなわち、ユーザーによってマウスがクリックされることによる座標が入力されるまで繰り返し実行される。

ステップＳ１４０２で領域選択部３２３は、ユーザーの操作部３５０からの操作によって座標情報に変化があったかを判定する。例えば、マウスカーソルを移動させる操作を行った場合などに座標情報に変化があったと判定する。座標の変化があった場合には領域選択部３２３は、ステップＳ９０３からステップＳ９０５までの処理を実行する。本処理は基本的に実施例１記載の処理と同等である。本実施例では、マウスクリックされた座標情報ではなく、マウスが移動した際の座標情報を用いる点で異なる。

ステップＳ１４０１からＳ１４０３までの繰り返し処理を実行中に、ユーザーから操作部３５０を介する座標入力が行われた場合は繰り返し処理を終了する。すなわち、マウスを移動した後に、マウスクリックがされた場合には、繰り返し処理を終了する。そして、ステップＳ１４０４において領域選択部３２３は、入力された座標情報を元に領域時刻関連情報を走査する。この処理は符号が異なるだけでステップＳ９０３の処理と同等であるため説明を割愛する。次にステップＳ１４０５において領域選択部３２３は、ステップＳ１４０４による走査の結果、座標情報に対応する差分情報が存在するかを判定する。座標情報に対応する差分情報がないと判定した場合には、領域選択部３２３はステップＳ９０１に処理を戻し、静止画像再生部３２２が再び静止画像を表示部３４０に表示する。座標情報に対応する差分情報があると判定した場合には、ステップＳ９０６において動画像再生部３２１は、差分情報に対応する再生開始時刻情報より得られた再生開始時刻から、動画像の再生を開始する。以降のステップＳ９０７からＳ９０９までの処理については、実施例１記載の処理と同等であるため、説明を割愛する。

次にステップＳ１４０１からＳ１４０３までの繰り返し処理を実行中にユーザーから操作部３５０を介した座標入力が行われないまま、複数の再生開始時刻情報を持った領域に座標情報が変化した場合について説明する。これは図１５に示すような、マウスカーソル１５２０が、マウスカーソル１５３０のように領域１５１０内へ移動した場合に相当する。この状態を検出するにはステップＳ９０３からＳ９０５までの同じ処理で判定可能であるため、説明を割愛する。

マウスカーソルが領域１５１０へ移動したらステップＳ９１０で選択情報生成部３２４は、ユーザーが入力した座標情報に対応する領域に関連付けられた複数の静止画像時刻情報に対応する静止画像と、再生開始時刻情報とを含むサムネイル画像を生成する。画像合成部３２５は、生成したサムネイル画像を最終静止画像に合成して表示部３４０に表示する。これは実施例１で説明した処理と同じである。次にステップＳ１４０６において領域選択部３２３は、ユーザーからの操作部３５０を介した座標入力が行われるのを待つ。この間に座標情報に変化があった場合はマウスカーソルの表示を移動させるが、次の処理には移行しない。ユーザーからの操作部３５０を介した座標入力が行われた場合はステップＳ９１２で領域選択部３２３は、座標情報がサムネイル画像内であるか判定する。座標情報がサムネイル画像外であった場合には、ステップＳ９０１に処理を戻し、静止画像再生部３２２が再び静止画像を表示部３４０に表示する。これによってステップＳ９１０で表示されたサムネイル画像は表示部３４０から消去される。座標情報がサムネイル画像内であった場合には、ステップＳ９１３で領域選択部３２３は、その選択されたサムネイル画像に関連付けられた再生開始時刻を再生開始時刻として決定する。そして、ステップＳ９０６で動画像再生部３２１はその再生開始時刻から動画像の再生を開始する。

以上処理により、静止画像表示中のユーザーからの入力を待つ状態で、複数の再生開始時刻情報を持った領域にマウスカーソルがかかった場合に、自動的に再生候補時刻の表示を行うようになり、ユーザーの利便性が向上する。

なお、実施例３では、複数の再生開始時刻情報を持った領域にマウスオーバーされた場合に、サムネイル画像を表示する例を説明した。しかしながら、１つの再生開始時刻情報を持った領域にマウスオーバーされた場合にも、その１つの再生開始時刻情報に対応するサムネイル画像を表示してもよい。すなわち、図１４のステップＳ９０５を削除してステップＳ９０４の後にステップＳ９１０の処理を行うようにしてもよい。これにより、少なくとも再生開始時刻情報に対応する領域をマウスオーバーした場合にサムネイル画像が表示されるので、ユーザーの利便性が向上する。

＜その他の実施例＞
なお本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変形が可能である。例えば図１のハードウエア構成例に、ホワイトボードを撮影するビデオカメラだけでなく会議参加者の様子を撮影するビデオカメラを追加し動画像を２種類保存し、動画像の再生時にピクチャーインピクチャーで両方の動画像を同時に再生してもよい。これにより会議の会話だけでなく参加者の様子も同時に確認できるため、より詳細な事後確認が可能になる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 動画像に含まれる静止画像同士を比較することで、静止画像同士の間で差のある前記動画像における領域、および、前記領域に対応付ける前記動画像における時刻を特定する特定手段と、
   前記領域と前記時刻とを関連付ける関連付け手段と、
   を有することを特徴とする情報処理装置。
2. 前記特定手段は、前記領域に対応付ける前記動画像における前記時刻として、比較した静止画像のうち時系列で前の静止画像を抽出した時刻を特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記動画像に含まれる静止画像を表示手段に表示させる手段と、
   前記表示手段に表示された静止画像内の領域をユーザーが指し示すことで、当該領域に対応する前記動画像における領域を特定する手段と、
   ユーザーの前記指し示しによって特定された前記領域が、前記特定手段によって特定された前記領域に対応する場合に、前記特定手段によって特定された前記領域に関連付けられた前記時刻に基づいて、前記動画像の再生を行う手段と、
   を有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記特定手段は、複数の領域を特定し、
   前記再生を行う手段は、ユーザーの前記指し示しによって特定された前記領域が、前記特定手段によって特定された前記複数の領域に対応する場合に、前記複数の領域それぞれに対応する複数の時刻のいずれに基づいて前記動画像の再生を行うかをユーザーに選択させ、ユーザーによって選択された時刻に基づいて前記動画像の再生を行うことを特徴とする請求項３に記載の情報処理装置。
5. 前記関連付け手段は、前記領域に対応付ける前記動画像における前記時刻として、比較した静止画像のうち時系列で前の静止画像を抽出した時刻と、比較した静止画像のうち時系列で後の静止画像を抽出した時刻とを前記領域に関連付けることを特徴とする請求項４に記載の情報処理装置。
6. 前記静止画像を表示手段に表示させる手段は、ユーザーの前記指し示しによって特定された前記領域が、前記特定手段によって特定された前記複数の領域に対応する場合に、前記複数の領域それぞれについて、関連付けられている後の静止画像を抽出した時刻に対応する静止画像を前記表示手段に表示させることを特徴とする請求項５に記載の情報処理装置。
7. 前記静止画像を表示手段に表示させる手段は、関連付けられている前の静止画像を抽出した時刻を前記後の静止画像に対応する静止画像とともに前記表示手段に表示させることを特徴とする請求項６に記載の情報処理装置。
8. 前記ユーザーによる選択は、マウスのクリックによって行われ、ユーザーの前記指し示しはマウスオーバーによって行われることを特徴とする請求項４から７のいずれか一項に記載の情報処理装置。
9. 前記動画像に含まれる静止画像を表示手段に表示させる手段は、前記特定手段で特定された前記領域に対応する前記静止画像内の領域を強調表示させることを特徴とする請求項３から８のいずれか一項に記載の情報処理装置。
10. 前記動画像に含まれる静止画像を表示手段に表示させる手段は、前記動画像に含まれる静止画像のうち時系列で最後の静止画像を前記表示手段に表示させることを特徴とする請求項３から９のいずれか一項に記載の情報処理装置。
11. 前記関連付け手段は、前記特定手段で特定された領域の差が下地色である場合、当該領域の関連付けを行わないことを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
12. 動画像に含まれる静止画像同士の間で差がある領域と、前記領域に対応付けられる時刻とを関連付けた情報を取得する手段と、
    前記動画像に含まれる静止画像を表示手段に表示させる手段と、
    前記表示手段に表示された静止画像内の領域をユーザーが指し示すことで、当該領域に対応する前記動画像における領域を特定する手段と、
    ユーザーの前記指し示しによって特定された前記領域が、取得した情報に含まれる領域に対応する場合に、該領域に関連付けられた前記時刻に基づいて、前記動画像の再生を行う手段と
    を有することを特徴とする情報処理装置。
13. 動画像に含まれる静止画像同士を比較することで、静止画像同士の間で差のある前記動画像における領域、および、前記領域に対応付ける前記動画像における時刻を特定する特定工程と、
    前記領域と前記時刻とを関連付ける関連付け工程と、
    を有することを特徴とする情報処理方法。
14. 動画像に含まれる静止画像同士の間で差がある領域と、前記領域に対応付けられる時刻とを関連付けた情報を取得する工程と、
    前記動画像に含まれる静止画像を表示手段に表示させる工程と、
    前記表示手段に表示された静止画像内の領域をユーザーが指し示すことで、当該領域に対応する前記動画像における領域を特定する工程と、
    ユーザーの前記指し示しによって特定された前記領域が、取得した情報に含まれる領域に対応する場合に、該領域に関連付けられた前記時刻に基づいて、前記動画像の再生を行う工程と
    を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１から１２のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
    

Images