JP2010081494A

JP2010081494A - クリッカブル動画実現方法及びクリッカブル動画実現プログラム

Info

Publication number: JP2010081494A
Application number: JP2008249931A
Authority: JP
Inventors: Takaho Hatanaka; 隆穂畑中; Kazutaka Mizukoshi; 一貴水越
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-09-29
Filing date: 2008-09-29
Publication date: 2010-04-08

Abstract

【課題】
動画内に表示されるオブジェクトがクリック等されたら所定のアクションが実行可能とする。
【解決手段】（１）動画再生可能なソフトウェアに動画を再生させるステップと、（２）動画が再生されている間に、イベント発生位置を検知可能な不可視のクリッカブルレイヤ上で第１のイベントが発生した場合に、イベント発生位置を検知するステップと、（３）イベント発生位置が、動画の再生開始時刻からの経過時間に応じてサイズ、形状及び位置が変化可能なクリッカブル領域内かを判断するステップと、（４）イベント発生位置が、クリッカブル領域内であると判断された場合は、クリッカブル領域に関連付けられている第２のイベントの実行開始を指示するが、イベント発生位置が、クリッカブル領域外であると判断された場合は、クリッカブル領域に関連付けられている第２のイベントの実行開始を指示しないステップと、を含む。
【選択図】図５

Description

本発明は、動画上の任意オブジェクトに情報を埋め込む手法に関し、例えば動画再生画面の一部をクリック等するとクリック等が実行された際に、クリック等が実行された位置に表示されているオブジェクトに関連する情報を表示可能なクリッカブル動画実現方法及びクリッカブル動画実現プログラムに関する。

動画、静止画を問わず画像データの閲覧というものは、これまで文字との親和性が低く、画像を加工して画像内に文字を埋め込むような方法が主流であった。特に動画においては音声と画像によって情報量が増しているにもかかわらず、膨大な量の文字情報であるWeb等との連携においては、字幕などの手法は存在するものの、十分な連携が取れていないのが現状である。現在新規の技術として動画にリンクを埋め込み可視化を行う技術が台頭しつつあるが、埋め込める対象がURLのみであり外部情報へのリンクのみに対応するものである（例えば、特許文献１）。
特開２００２−２１８４３３号公報

特許文献１に開示の技術はファイル一つで動画を再生可能ではあるものの、動画ファイルが専用フォーマットとなってしまい、再生できるソフトウェアが限られる。また、動画コンテンツそのものにも手を加えるため再利用性に欠く。また従来手法では通常の動画再生とは別に、クリック可能な領域を不可視の影絵を動かすような手法で同期再生する必要があり、再生における処理が多くコンピュータへの負荷が非常に高い。

既存の手法では動画ファイル内に、クリックが可能な領域やクリック後に表示する情報を埋め込むため、動画だけを専用プレーヤ以外で再生するなどが行えず、専用以外の動画フォーマットにも対応できない。また、動画と埋め込む情報を同一ファイル内に常に必要とするため、埋め込む情報を複数通りのバリエーションで保存したい場合にはファイル容量が大きくなってしまう。

埋め込める情報が外部リンクのみの場合では、表示方法や表示内容が限定的になってしまう。その他、既存の手法では動画に付随する情報ファイルを動画再生と同期して再生する必要があり、コンピュータへの負荷が非常に高い。
これら全ての課題を解決する手法は現状では存在しない。

本発明のクリッカブル動画実現方法は、（１）動画再生可能なソフトウェアに動画を再生させるステップと、（２）前記動画が再生されている間に、イベント発生位置を検知可能な不可視のクリッカブルレイヤ上で第１のイベントが発生した場合に、イベント発生位置を検知するステップと、（３）前記イベント発生位置が、前記動画の再生開始時刻からの経過時間に応じてサイズ、形状及び位置が変化可能なクリッカブル領域内かを判断するステップと、（４）前記イベント発生位置が、前記クリッカブル領域内であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示するが、前記イベント発生位置が、前記クリッカブル領域外であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示しないステップと、を含むことを特徴とする。
また、本発明のクリッカブル動画実現プログラムは、コンピュータに、（１）動画再生可能なソフトウェアに動画を再生させるステップと、（２）前記動画が再生されている間に、イベント発生位置を検知可能な不可視のクリッカブルレイヤ上で第１のイベントが発生した場合に、イベント発生位置を検知するステップと、（３）前記イベント発生位置が、前記動画の再生開始時刻からの経過時間に応じてサイズ、形状及び位置が変化可能なクリッカブル領域内かを判断するステップと、（４）前記イベント発生位置が、前記クリッカブル領域内であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示するが、前記イベント発生位置が、前記クリッカブル領域外であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示しないステップと、を実行させることを特徴とする。

本発明を利用することによって、動画再生ソフトウェアに依存することなく、また動画ファイルに一切手を加えずに動画上の任意のオブジェクトに情報を関連付けることができ、クリックにより情報を表示することが実現可能となる。以下、このような動画を「クリッカブル動画」と呼ぶ。クリック後に表示する情報は、情報の種類によらず、専用のイベントマップファイル内に保存可能で、外部へのリンクも保存が可能となっており、情報の保存されている場所（例えば、ローカルなハード・ディスク・ドライブかインターネットを介してアクセス可能なWEBサーバか）を区別すること無く視聴者はクリッカブル動画の視聴が可能となる。

また、本発明によるクリッカブル動画はイベントが発生した後に内容の取得・表示を行うために、不可視の影絵のような動画を同期再生する必要が無く、既存の手法と比べるとコンピュータへの負荷が非常に低い。以上二点において、他の手法と比較した場合に本発明は決定的に優位ということが出来る。

本手法によって、動画中の任意のオブジェクトに対して情報を関連付けることが可能になる。オブジェクトの詳細な情報（以下、付随情報と呼ぶ。）やオブジェクトと関連する別の物の情報（以下、付加情報と呼ぶ。）を視聴者は直感的な方法で取得することができる。これによって視聴者の情報取得手段に多様性が生まれる。また、オブジェクトの形状を抽出したり、オブジェクトの移動にともなって別レイヤを同期再生したりする必要がなくなるため、これまでの手法よりも負荷を軽減することが可能である。

（機能概要）
本発明は、動画上の任意のオブジェクトに対して情報を関連付けることを可能とする手法である。動画上の任意のオブジェクトとは、動画中に再生される人物、装飾品、物体（車、木、建物、看板等）、文字等を指す。動画上の任意オブジェクトをポインティングデバイス等で選択することによってオブジェクトを特定する。オブジェクトの選択は、動画再生ソフトウェアの前面に透明なレイヤであるクリッカブルレイヤを設置しておき、クリッカブルレイヤがユーザ操作や関連する情報を処理することで、クリック可能な動画再生機能を実現する。

本発明によるクリッカブル動画と既存技術との大きな違いは、同期再生が必要ない事によりコンピュータへの負荷が非常に低い事と、埋め込むデータの形式に制限が無いことである。

既存技術によって本発明と同様の機能を実現するためには、埋め込みデータを動画と同期再生する必要があり、コンピュータへの負荷が非常に高く実用的ではない。それに対し、本発明では完全なイベントドリブン方式を採用しているため、視聴者が何も操作を行っていない間は通常の動画再生と同じだけの処理能力で再生を行うことが出来る。

また、ＵＲＬなどのリンク情報しか埋め込むことができない既存技術に対して、本発明では、データの形式を問わずに関連付けが可能で、他のネットワーク（インターネット等）に接続されていない環境下でもローカルの参照可能なハードウェアに記憶されている情報であれば表示することが可能である。ハードウェアには、ＨＤＤ（ハード・ディスク・ドライブ）、ＤＶＤ（デジタル・ヴァーサタイル・ディスク）、ＢＤ（ブルーレイ・ディスク）、シリコンディスク（ＳＳＤ：ソリッド・ステート・ドライブ）、メモリステック、ＳＤカードなどが含まれる。

クリッカブルレイヤは専用のイベントマップファイル（以下、ＥＶＦと呼ぶ。）を読み取り、ポインティングデバイス等からの位置情報や操作の種別などのイベント情報を元に、表示対象となる動画内のオブジェクトに関連する情報（以下、関連情報と呼ぶ）を選択し表示を行う。関連情報は、付随情報と付加情報とを合わせたものである。

クリッカブルレイヤが透過する動画再生ソフトウェア上のオブジェクトと対応付けされた関連情報の表示を行うことで、視聴者は動画に関連情報が埋め込まれたかのように扱うことが可能となる。この手法によって実現する機能をクリッカブル動画と呼ぶ。

（クリッカブル動画の基本レイアウト）
図１に、クリッカブル動画の基本的な流れを示す。まず、クリッカブル動画0120に必要なのは動画ファイル0110とEVFファイル0111の二つのファイルと、クリッカブルレイヤ0101と動画再生ソフトウェア0100の二つのソフトウェアである。動画ファイル0110と動画再生ソフトウェア0100は動画の再生を行う。クリッカブルレイヤ0101とEVFファイル0111は再生される動画に対してクリックを検知し関連情報を選択表示する。本発明における「クリック」とは、マウス操作におけるクリックには限定されず、入力装置全般からの入力を指す。クリックに対する詳細はオブジェクトの選択方法で後述する。

動画再生とクリッカブル動画0120を実現するためのクリッカブルレイヤ0101は完全に分離しており、独立してどちらか片方だけでの動作も可能である。本発明においては動画ファイル0110には一切手を加えずファイル形式に依存しないので、対象となる動画ファイル0110はmpegやaviなど、どのような形式であってもかまわない。EVFファイル0111にはクリッカブルレイヤ0101が検知したイベントに対して、何時、何処で、どんな操作が行われたかに対して、対応する情報が格納されている。イベントに対応する関連情報が存在する場合にはクリッカブルレイヤ0101は関連情報の表示を行う。クリッカブル動画0120の再生は動画再生とクリッカブルレイヤ0101の二つの機能をもって行われる。

（クリッカブル動画の再生）
図２は、自動車レースの模様をクリッカブル動画0200で視聴している場合の例である。動画再生画面0210には、路上を各自動車が走行しており、道端にはレースのスポンサーや関係企業からの広告やメッセージといった看板が設置されている。この画面上では二つのクリック可能なオブジェクト（以下、クリッカブルオブジェクト）が設定されている。ひとつは、道端の看板に対して設定されている看板クリッカブル領域0201である。もうひとつは、走行中の自動車に対して設定されている自動車クリッカブル領域0202である。これらのクリッカブルオブジェクトは、それぞれ対象となるオブジェクトに合わせて任意の形で設定されている。その設定された領域内をポインティングデバイス0211でクリックすることによって、各クリッカブルオブジェクトに設定された情報を取得することが可能である。

看板クリッカブルオブジェクト0201にはクリッカブルオブジェクトが指定した看板に関する関連情報0230が設定されており、それがURLである例になっている。この場合、領域をクリックするとWebブラウザなどのURLから関連情報へアクセスできるソフトウェアへURLを引き渡す。引き渡されたアプリケーションがURLを処理し、看板に関する関連情報0231を表示する。

自動車クリッカブル領域0202には、クリッカブルオブジェクトが指定した自動車に関する関連情報0230が設定されており、それが文字情報である例になっている。この場合、領域0202がクリックされると文字情報がポップアップウィンドウなどの表示方法を使って表示される。例では、文字情報としてレース中のタイムや周回数、ドライバーの戦績などや、乗車している自動車のメーカやレーシングチームやセッティング情報などが表示される。この方法で表示された文字情報に対してもハイパーリンクを埋め込んだり、新たな画像や動画を表示したり、ハイパーリンクを使ってさらに新しいポップアップウィンドウを表示することができる。そのためクリッカブルオブジェクトのクリックに限らず、様々な関連情報網への接続が可能となる。

以下、クリッカブル動画を構成する各機能の詳細を説明する。
（クリッカブルレイヤ）
本項ではクリッカブルレイヤについて説明する。クリッカブルレイヤはイベント処理を行うことが可能で、様々なソフトウェアに重ね合わせることが出来る透明なレイヤである。イベントに関する詳細はオブジェクトの選択方法に後述する。

クリッカブルレイヤはEVFファイルを読み込み（図４のStart S0410）、ファイル内に記述された動画ファイルのパス情報を動画再生ソフトウェアに引き渡し、動画ファイルの再生ソフトウェアを起動する（S0421）。またタイマイベントなどの自動で起動するイベント情報を読み込み、関連情報の表示を行う準備を行う。
起動後はEVFファイル内に記述されたクリッカブルレイヤの表示位置を元に動画再生ソフトウェアの描画領域にクリッカブルレイヤの一部もしくは全ての領域を重ね合わせることで初期化する（S0411）。
EVFファイルに記述されたクリッカブルレイヤの表示位置情報は、どの画面上のどの位置にクリッカブルレイヤを表示するかの座標情報が、重ね合わせる動画再生ソフトウェアの描画領域との相対座標で記されている（S0412）。
初期化が終了すると、イベントを検知するまで待機する（S0413）。

待機中のクリッカブルレイヤは、イベントにより待機状態から抜けてイベント判別処理を行い、対応する関連情報が存在する場合は関連情報の表示処理を行う（S0414）。

イベント判別処理では、該当のイベントがEVFファイル上の関連情報の表示を行う対象となるイベントであるかを検索し（図５のS0513）、表示対象となるイベントだった場合には関連情報の表示処理へと引き渡す（S0513でYES）。関連情報の表示処理では、EVFファイル内の関連情報を元に関連情報の表示を行う（S0514）。これらの動作はイベントにより起動されるため、動画再生とは非同期に行われる。

クリッカブルレイヤは透明なレイヤだが、関連情報を自身の領域上で可視化することが出来る。動画に重なっていても良いし、オフセットした領域上で可視化しても良い。それらの情報はEVFファイルに保存する。

関連情報の表示には大きく分けて3 通りの方法が存在し、関連情報に表示方法を指定することで複数の表示方法から選択する。以下に箇条書きにする。
１．クリッカブルレイヤの表示領域上に表示
２．クリッカブルレイヤの子ウィンドウとして表示
３．OS 等自分が動作している機器へ引き渡して表示
それぞれの表示方法について自動車レースの動画を再生した様子を示した図８を用いて説明する。

１．関連情報がクリッカブルレイヤ上で表示するように指定がされている場合に、この表示処理を行う。透明なクリッカブルレイヤ上に不透明な目視することが可能な状態で関連情報を表示する方法である。
例えば自動車レースの動画0801を再生中にレース進行に会わせて順位などの文字情報0811を表示させ、トップを走る自動車の別の角度からの動画0812や、ドライバーの情報0813を画像と文字の組み合わせで表示する。

２．関連情報がクリッカブルレイヤの子ウィンドウとして表示するように指定されている場合に、この表示処理を行う。クリッカブルレイヤは自身の子ウィンドウを作製し指定された情報の描画を行う。

図８では、タイヤの情報を表示している第1のウィンドウ0821や、表示されたドライバーの情報0813について、更に詳細に動画と文字を使用して説明する第２のウィンドウ0822などの表示を行う。

３．関連情報がクリッカブルレイヤ以外の表示方法で表示するように指定されている場合
に、この表示処理を行う。この方法が選択された場合にクリッカブルレイヤは、自身では
関連情報の表示処理を行わず、当発明によるソフトウェアが動作する機器やソフトウェア
（OSなど）に対して表示要求を行う。
イベントが発生し、URLをOSから引き渡され、起動されるメディアプレーヤ0831やwebブラウザ0832などの動作が、クリッカブルレイヤ上以外で関連情報を表示する場合の例となる。

（オブジェクトの選択方法）
クリックについて説明する。クリックとはマウスデバイスを用いた左クリックに限定されず、動画内のオブジェクトを選択する行動を指す。また動画内のオブジェクトの選択行動により発生し、プログラムに発信される信号をイベントと呼ぶ。
イベントは大きく分けて二種類ある。視聴者が行う入力装置からの入力とEVFファイルもしくは本発明によるソフトウェアに設定された任意のタイミングや、入力の有無で発生するイベントである。
入力装置はタッチデバイス、ボタンデバイス、ポインティングデバイス、カードリーダ等を含むがこれらのハードウェアに限定されない。イベントとはイベントドリブン方式のプログラムにおけるイベントを指す。また、ユーザ操作によらないタイムライン上の任意のタイミングに自動的に起動されるイベントも含む。

以下にイベントの一例を示す。これらは単体操作による単純なものから複数操作の組み合わせによる複雑なイベントまでを設定することが可能である。

視聴者の操作によるイベントは、クリッカブルレイヤが動作する機器が認識出来るハードウェアからの入力であれば、上記以外の機器による入力であってもイベント情報として定義することが可能であり、対応機器についての制限は存在しない。また、動画中に特定の形状をもったオブジェクトが現れた場合やネットワーク入力による信号によって対応する関連情報を定義することも可能である。

コンテンツ制作者によるイベントは、任意の再生時刻までに特定のイベントが発生しない場合に関連情報を表示するなどの定義も可能である。

（EVFファイル）
EVFファイルの内容について説明する。EVFファイルには関連情報が格納されている。関連情報はどの様なイベントに対応するかの情報（以下、イベント情報と呼ぶ）と、表示対象となる情報（以下、表示情報と呼ぶ）の二つの組み合わせで構成される。

イベント情報にはクリックで定義されたイベントに対する情報が格納されており、その一部として、クリッカブルレイヤ上の座標と時間情報がある。動画内でのオブジェクトを追跡するために、位置と時間毎の座標、または移動速度や時間などの情報を格納するなどしても良いし、別途画像のトラッキング技術を使ってもかまわない。

クリッカブル動画を実現するために必要なEVFファイルの記載内容について以下に示す。EVFファイルにはイベント情報、表示情報が含まれる。イベント情報には時間、座標が含まれる。
時間には、再生時刻やフレーム番号等の動画制御単位時刻が含まれる。
再生時刻とは、例えば動画ファイルの再生開始位置からの経過時間をミリ秒で示した物がある。5000ミリ秒とした場合には再生開始位置から5000ミリ秒経過した時刻を指す。
フレーム番号とは、例えば動画ファイルの再生開始位置をゼロフレーム目としたフレーム数がある。フレームレートが30fpsの動画で6000フレーム目とした場合には、再生開始位置から6000フレーム再生した時刻つまり200秒（200000ミリ秒）の時刻を指す。
座標には、X,Y等の位置を特定できる値が含まれる。
X,Y等の位置を特定できる値とは、例えばクリッカブルレイヤの左上の角をX=0 Y=0の起点としたピクセル単位の相対座標がある。値がX=100 Y=200で合った場合は、クリッカブルレイヤの起点となる位置から右方向に100ピクセル、下方向に200ピクセル移動した点を指す。
なお、イベント情報に含まれる座標及び時間はこれらに限定されない。

表示情報（関連情報）に関してはデータ形式を問わない。そのため、クリッカブル動画が動作する機器で読み取り可能なデータ（URL、画像、動画、文字列等）であればどの様な物にも対応可能である。

クリッカブル動画を実現するためにイベント情報を使用して、画面上のオブジェクトを追跡する方法は特に限定されないが、以下に例を示す。
（例１）
図９に示すように、任意のキーフレーム毎の座標を格納し、クリッカブルレイヤでその間の補間処理を行うことで動画内のオブジェクトを追跡する。
図９（ａ）は、サイズは不変だが、１フレームごとに位置が変化するクリッカブル領域を示す。
図９（ｂ）もサイズは不変だが、１フレームごとに位置が変化するクリッカブル領域を
示す。図９（ｂ）は、直線補間（線形補完）によって、キーフレーム間のフレーム中のク
リッカブル領域を求める例を示す。例えば、キーフレーム0921中のクリッカブル領域0922と、キーフレーム0925中のクリッカブル領域0926とに基づいて、線形補間によって、フレーム0923中のクリッカブル領域0924を求める。
図９（ｃ）は、キーフレーム0931中のクリッカブル領域0932と、キーフレーム0935中のクリッカブル領域0936とに基づいて、曲線補間によって、フレーム0933中のクリッカブル領域0934を求める。この曲線補間の計算アルゴリズムとしては、ベジェ曲線による補間、Ｂ−スプライン曲線、スプライン、NURBS等による補間など、どのようなものを使用しても構わない。
（例２）
表示開始位置の座標を格納し、その後は画像トラッキング技術を用いて動画上のオブジェクトを追跡する。

表示情報はクリッカブルレイヤにより表示され、クリッカブルレイヤの領域内でも外でも表示を行うことが可能である。また、クリッカブルレイヤ自体が表示する情報の形式に対応していない場合にはオペレーティングシステム等の、本発明によるソフトウェアが動作する機器へ引き渡す事により、クリッカブルレイヤが対応する形式だけではなく、動作する機器が対応している形式であれば利用することが可能である。

図３に、EVFファイルの構成要素と動画の関係を示す。クリッカブル動画0300は動画再生中の各シーンを表している。また、再生時刻は左から右へと経過していく。EVFファイル中の情報0330には、クリッカブルレイヤ上のクリック可能な領域（以下、クリッカブル領域）の関連情報が記述されている。クリッカブル動画0300とEVFファイル中の情報0330は同期再生されることなく独立して状態遷移を行う。

クリッカブル動画の最初のシーンは自動車が迫ってくる第１のシーン0310である。ここでは、自動車オブジェクト１0340に対してクリッカブル領域0320が設定されている。ここがクリックされるとEVFファイル中の情報0330から自動車のクリッカブル領域0320に該当する関連情報を取得する。

クリッカブル動画上の自動車のクリッカブル領域0320は、クリッカブル動画上にEVFファイル中の情報0330を参照して作成されているのではなく、その部分をクリックした際にポインティングデバイスの位置から該当する関連情報を特定する。
第２のシーン0311は路面脇に看板があるシーンである。看板には看板のクリッカブル領域0321が設定されている。この領域はその次の第３のシーン0312でも引き続き出現するため看板のクリッカブル領域0321は第２のシーン0311、第３のシーン0312と続くことになる。看板のクリッカブル領域0321は第３のシーン0312において設定される位置が変化している。しかし、看板のクリッカブル領域0321の位置情報はシーンによって別々に記述してあるため、移動していても同一オブジェクトとして認識可能である。第３のシーン0312では、看板のクリッカブル領域0321の他に自動車のクリッカブル領域0322が設定されている。第３のシーン0312から分かるように、クリッカブル領域は同一シーン上に任意の数を設定することが可能である。

（クリッカブル動画の再生フローチャート）
クリッカブル動画における流れを図４に示す。本発明における動画再生ソフトウェアは外部からのコントロールが可能であることを前提としている。現在流通している動画再生ソフトウェアはブラウザなどに埋め込んで利用することが前提となっており、大半は外部からのコントロールが可能となっている。

はじめにクリッカブルレイヤはEVFファイル0400を読み込み（S0410）、動画ファイルのパスを取得し動画再生ソフトウェアに引き渡す。クリッカブルレイヤの初期化（S0411）を終了した後、内部時計の開始と同時に動画の再生を開始する（S0420）。EVFファイル0400の読み込み時にエラーが発生しても、動画ファイルを取得できれば動画再生ソフトウェア側フローだけで動画を通常再生できる。また、動画再生に使用する動画ファイルは、当処理が行われるコンピュータ上だけではなく、ネットワーク上のストリーミングサーバやファイルサーバ等からも取得可能である。

クリッカブルレイヤは初期化処理S0411の中で、以下の処理を行う。
・内部時計の初期化
・EVFファイルを読み込む（以下、EVFファイルの設定に従う）
・動画再生ソフトウェアに動画ファイルをセットする
・自動起動のイベントのタイマをセットする
・動画再生ソフトウェアの座標を元に自分自身の座標を取得する

初期化処理が終了すると、次にクリッカブルレイヤの領域の大きさと座標を初期化処理S0411で取得した情報を元に移動・調整して位置調整を行う（S0412）。

クリッカブルレイヤは動画再生開始（S0420）した後、イベントが発生するまで待機する（S0413）。動画再生ソフトウェアは通常の動画再生を行う（S0421）。イベントが発生した場合にはイベント処理を行い（S0414）、クリッカブル動画の再生が最後まで行われたかを判定する（S0415）。クリッカブル動画の再生が最後まで行われていない場合はイベント待機（S0413）へ戻る。クリッカブル動画の再生が最後まで行われていれば、クリッカブルレイヤの処理を終了し（S0416）かつ動画再生ソフトウェアの処理を終了する（S0422）。

次にイベント処理における流れを図５に示す。クリッカブルレイヤがイベントを検知した際は、待機状態から復帰し（S0510）、イベント情報を取得し、対応する関連情報の有無をEVFファイル0400内から検索する（S0520）。対応するイベント情報を含む関連情報が見つかった場合（S0513でYES）には該当する表示情報の表示を行い（S0514）、イベント処理を終了する（S0515)。対応するイベント情報を含む関連情報が見つからなかった場合（S0513でNO)には表示情報を表示することなく、イベント処理を終了する（S0515）。

オプションとして外部からの再生時刻等の取得や一時停止などの動画再生制御を行うことが可能な動画再生ソフトウェアの場合にはより精密にタイミングを合わせるために、クリッカブルレイヤから再生時刻を取得しイベント情報との厳密なマッチングを行うことが可能である。

外部からの動画再生制御機能を使用して、表示情報の一環として動画再生の一時停止やスロー再生、または指定再生時刻への移動などの動画再生への介入が可能である。

クリッカブルレイヤの終了に関しては起動時にタイマをセットし終了時刻をセットしても良いし、動画再生が終了したかどうか、任意の周期で終了確認を行っても良い。またクリッカブルレイヤの終了するタイミングは動画再生の途中でも良いし、動画の再生とは関わりなく任意のタイミングで終了することが出来る。

（関連事項）
（クリック可能な領域）
クリックによって選択可能な領域について説明する。これまでの説明においてクリッカブル領域は図６中の0600のように対象オブジェクトを含む矩形領域であるようになっていた。しかし、実際には図６中の0610ように対象オブジェクトそのものの形でもかまわない。また、オブジェクトの形にとらわれず、動画全体を含むような領域を設定することも可能である。なぜならば、本発明におけるクリッカブル領域とは、仮想領域であり、実際には動画の上にあるクリッカブルレイヤのクリック位置情報を取得し、対象オブジェクトを特定しているからである。

（データ以外の関連情報）
データ以外の関連情報には、本発明によるソフトウェアが動作するハードウェアから制御可能なハードウェアへの制御信号と、ソフトウェアへの信号やハードウェアで処理可能な情報がある。これらを関連情報と呼ぶ。対象となるハードウェアおよびソフトウェアは限定されない。以下に例の一部を示す。

ハードウェア
出力装置（ディスプレイ、スピーカ、プリンタ、ネットワークアダプタ）
記憶装置（フレキシブルディスク、MO、PD、ハードディスク、USBメモリ）
ソフトウェア
イベント
文字列（URL、Text、HTML、XML情報等）
数値
動画
静止画
音声
ソフトウェア用記録ファイル
デジタル証明書
再生制御情報

（クリッカブル動画の配信方法）
動画ファイルとEVFファイルの配信方法について説明する。クリッカブル動画を再生するために必要な動画ファイルとEVFファイルの配信方法を図７に示す。図７左側の動画ファイル0700とEVFファイル0701はメディア0710を通してクリッカブル動画再生コンポーネント0720と関連情報表示コンポーネント0721に送られる。両ファイルの配信は、地上波放送、衛星放送、ケーブルテレビ放送、記録メディア、コンピュータネットワーク、ローカルストレージ等のメディアによって行われる。また、動画ファイル0700とEVFファイル0701はそれぞれ別のメディアを通して配信されてもかまわない。クリッカブル動画再生コンポーネント0720は、クリッカブル動画を再生し、図７右側の各視聴機器0730に表示を行う。ここではクリッカブル動画の再生の他に各機器が持つポインティングデバイス等からの入力などのイベントを処理する。関連情報表示コンポーネント0721では、イベント等で発生した関連情報を処理し、クリッカブル動画を再生している機器上で表示や必要な動作を行う。

図３と図５に基づいて、クリッカブル動画の動作について説明する。
図３では自動車レースの模様をクリッカブル動画として再生している時の、クリッカブルレイヤの動作について説明している。各シーンにはクリッカブル領域が設定されており、クリッカブル領域に埋め込まれた関連情報を表示するか否かは、EVFファイル中情報0330の中のイベント情報を元に判定する。

イベント情報には再生時刻と位置情報が記述されており、再生時刻にはイベントが有効である時間を定義し、位置情報にはクリックされた場合に有効な座標についての情報が記述される。
数値の単位に関してはEVFファイル内で定義し、それに基づいてクリッカブルレイヤはイベント情報を判定する。

再生時刻として記述される内容は、動画再生の開始時刻からの時間でも良いし、動作する機器の時計やタイマの時刻でも良い。時間の単位はミリ秒、秒、分、時間、動画のフレーム数など何を使用しても良い。
座標の始点となるのは本例ではクリッカブルレイヤの左上の点とするが、クリッカブルレイヤ上の任意の点とすることができる。例えば、動画再生ソフトウェアの表示領域とクリッカブルレイヤの重なる位置をずらして表示する場合などには、任意の点を始点とすることが出来る。

次に図３の各シーンで以下の表３及び４に示した関連情報が存在する状況で、イベントが発生した場合の動作について説明する。

第1のシーン0310は自動車がカメラに向かって走って来るシーンで、動画再生開始時刻から1000秒が経過している。第1のシーン0310で表示されている自動車には自動車のクリッカブル領域１0320が設定されており、このシーンの時間は動画再生開始時刻から1000秒〜1001秒の間の1000ミリ秒とする。クリッカブル領域は矩形の各頂点をabcdとしてクリッカブルレイヤの左上（X座標0，Y座標0）を始点Aとする。始点Aからの距離としキーフレームとなる1000秒と1001秒の二つの再生時刻の座標が記述されており、その間のオブジェクトの移動は別項で述べる補間処理を行い補う。

もし第1のシーン0310で視聴者によるイベントが発生した場合、図５で示したイベンント処理が行われる。何もイベントが発生しなかった場合には通常の動画再生ソフトウェアによる動画再生が行われ、クリッカブルレイヤは待機状態のままとなる。動画再生時刻が1000.5秒のときに、クリックされた座標がクリッカブルレイヤの始点Aから見てX方向に400ピクセルY方向に150ピクセルの位置だとして説明する。

イベント処理ではまず、再生時刻取得S0511で動画再生開始時刻から経過した時間（1000.5秒）を取得し、次に位置情報取得S0512でクリックされた位置（X=400ピクセル, Y=150ピクセル）を取得する。イベント情報の取得が終わると、対応するイベント情報が見つかったか判定を行う（S0513）。ステップS0513では取得されたパラメータに対応するクリッカブルオブジェクトが存在するかどうかを検索する。1000.5秒の再生時刻では再生時刻は自動車のクリッカブル領域１0320の有効な時刻であり、座標は線形補間を行い1000秒時と1001秒時の中間点となり、自動車のクリッカブル領域１0320のクリッカブル領域と一致するので表示情報の表示を行う（S0514）。

表示情報の表示S0514では、自動車のクリッカブル領域１0320の表示する情報の種類と内容を元に図８に示した文字情報0811、トップを走る自動車の別の角度からの動画0812、ドライバーの情報0813の表示を行う。

次に第3のシーン0312は、自動車が奥から手前方向にカーブを曲がり右端に走り抜けるシーンで、このシーンの時間は動画再生開始から1002秒が経過している。第3のシーン0312で表示されている左側の自動車（自動車のクリッカブル領域0322）と左側の看板（看板のクリッカブル領域0321）にはそれぞれクリッカブル領域が定義されている。このシーンは1002秒から1005秒までの3秒間とする。第1のシーン0310と同様にキーフレームとなる1002秒と1005秒の二つの再生時刻の座標が記述されており、その間のオブジェクトの移動は別項で述べる補間処理を行い補う。

もし第３のシーン0312で視聴者によるイベントが発生した場合、図５で示したイベント処理が行われる。詳細な処理に関してはシーン1 0310と同様となるので、差異のある部分のみユーザ操作によるイベント毎に説明する。

ユーザ操作によって表５に示すイベント２が発生した場合、イベント発生位置がクリッカブル領域0321、0322の外であるため、表示対象となる関連情報が存在せず、表示情報の表示処理は行われずにイベント処理は終了する（S0515）。
ユーザ操作によって表５に示すイベント３が発生した場合、イベント発生位置がクリッカブル領域1 0321の中であるため、WebブラウザがOSにより起動されクリッカブルレイヤ外に自動車メーカのWebページ0231が表示される。
ユーザ操作によって表５に示すイベント４が発生した場合、イベント発生位置がクリッカブル領域２ 0322の中であるため、クリッカブルレイヤ上に自動車のドライバーの戦績などに関する情報0230が表示される。

本発明におけるクリッカブル動画の全体像を示す図である。本発明におけるクリッカブル動画で自動車レースを視聴している例を示す図である。本発明におけるEVFファイルの構成要素と動画の関係を示す図である。本発明におけるクリッカブル動画再生の流れを示すフローチャートである。本発明におけるイベント処理の流れを示すフローチャートである。本発明におけるクリック可能な領域の例を示す図である。本発明におけるクリッカブル動画の配信方法を示す図である。本発明における透明レイヤの表示例、及び関連情報の表示例を示す図である。本発明において、キーフレーム間のフレームに表示されるクリッカブル領域を、補間処理によって求める方法を示す図である。

符号の説明

０１００動画再生ソフトウェア
０１０１クリッカブルレイヤ
０１１０動画ファイル
０１１１ＥＶＦファイル
０１２０クリッカブル動画

Claims

動画再生可能なソフトウェアに動画を再生させるステップと、
前記動画が再生されている間に、イベント発生位置を検知可能な不可視のクリッカブルレイヤ上で第１のイベントが発生した場合に、イベント発生位置を検知するステップと、
前記イベント発生位置が、前記動画の再生開始時刻からの経過時間に応じてサイズ、形状及び位置が変化可能なクリッカブル領域内かを判断するステップと、
前記イベント発生位置が、前記クリッカブル領域内であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示するが、前記イベント発生位置が、前記クリッカブル領域外であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示しないステップと、を含むことを特徴とするクリッカブル動画実現方法。
コンピュータに、
動画再生可能なソフトウェアに動画を再生させるステップと、
前記動画が再生されている間に、イベント発生位置を検知可能な不可視のクリッカブルレイヤ上で第１のイベントが発生した場合に、イベント発生位置を検知するステップと、
前記イベント発生位置が、前記動画の再生開始時刻からの経過時間に応じてサイズ、形状及び位置が変化可能なクリッカブル領域内かを判断するステップと、
前記イベント発生位置が、前記クリッカブル領域内であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示するが、前記イベント発生位置が、前記クリッカブル領域外であると判断された場合は、前記クリッカブル領域に関連付けられている第２のイベントの実行開始を指示しないステップと、を実行させることを特徴とするクリッカブル動画実現プログラム。