JP2009043225A - 動画再生プログラム - Google Patents

Abstract

【課題】動画データの直感的な頭出し操作を可能とする。
【解決手段】動画とともに動画データから切り出された複数のサムネイル画像のうちの一つのサムネイル画像を表示する。次にサムネイル画像表示領域４１におけるポインティングデバイス１１（５５）のジェスチャ動作を検出し、ジェスチャ動作に応じて、サムネイル画像を「早送り」又は「巻き戻し」する。そして、ジェスチャ動作の完了に応じて、表示中のサムネイル画像に対応した位置から動画データを再生する。
【選択図】図５

Description

本発明は、動画データを再生する際に直感的な再生位置の頭出しをする動画再生プログラムに関するものである。

パーソナルコンピュータにて動画データを再生する際、再生位置の頭出し（早送りや巻き戻しを含む）をするために、専用のボタン（例えばＦＦボタンやＲＷボタン）を操作したりすることが一般的である。また、動画データの時間軸に相当するタイムバー（スクロールバー）を表示し、そのタイムバーをポインティングデバイス等で操作して頭出しをすることも知られている（下記特許文献１ 段落０１６１等）。さらに、タッチパネルを備えたナビゲーションシステムにおいて動画を再生する際、タッチパネル上におけるタッチ位置の左右への移動操作に応じて、動画の早送りや巻き戻し等を制御することも知られている（下記特許文献２ 段落００８１等）。

前記動画データを再生する際、前記動画データをその先頭から通して再生するだけでなく、注目する部分を探し出したり、繰り返し見たりするために、頻繁に頭出しすることがある。特に、動画の内容が学習・教習を目的とする教習用ビデオである場合、頭出し操作は頻繁に行われる。しかし、前記従来の装置では、頭出しの際には、ボタン又はタイムバーを操作するため、操作している対象（ボタン等）と表示される動画の内容とが直接対応しておらず、ユーザは、頭出し操作中には、動画の内容を、前記タイムバー上のインジケータの位置又は併記して表示されるタイムコードの値等で予測するしかなかった。また、どのような場面から再生されるかは、実際に頭出し操作を完了して再生を開始するまで知ることができなかった。

さらに、早送りや巻き戻しの際に、「早送り再生」及び「巻き戻し再生」を行おうとすると、前記動画データを構成する画像フレームを適宜間引いて表示する処理が必要である。しかし、ストリーム配信にて動画データの提供を受ける場合であって、「早送り再生」及び「巻き戻し再生」にて表示すべきデータ自体が未取得である場合、再生画像自体を表示できない。
特許第３７３３９８４号公報 特開２００５−３３９４２０号公報

この発明が解決しようとする課題は、パーソナルコンピュータにて動画データを再生する際、特にストリーム配信にて取得する動画データを再生する際、その動画の直感的な頭出し操作が困難であった点である。

上記問題に対処するために、本発明の特徴は、動画を表していて、供給された動画データを記憶する動画データ記憶装置と、動画データの再生時間位置にそれぞれ対応した複数のサムネイル画像を表していて、供給されたサムネイル画像データを記憶するサムネイル記憶装置と、ユーザによるジェスチャ動作を入力する入力装置と、表示器とを備えたコンピュータ装置に適用される動画再生プログラムであって、コンピュータ装置に、ユーザによるジェスチャ動作を検出する検出ステップと、前記検出されたジェスチャ動作が第１のジェスチャ動作であった場合、複数のサムネイル画像を順方向に順次選択し、前記検出されたジェスチャ動作が第1のジェスチャ動作とは異なる第２のジェスチャ動作であった場合、複数のサムネイル画像を逆方向に順次選択する選択ステップと、複数のサムネイル画像のうち、前記選択されたサムネイル画像を表示器にて表示するサムネイル画像表示ステップと、ユーザによるジェスチャ動作が終了したとき、供給されて動画データ記憶装置に記憶されている動画データを、前記選択されたサムネイル画像に対応する再生時間位置から表示器にて表示する動画表示ステップとを実行させることにある。

この場合、ジェスチャ動作とは、例えば、入力装置のボタン操作及び入力装置により入力されるカーソルの所定の軌跡を作る動作を言う。また、例えば、前記供給される動画データは、ストリームデータであり、前記供給されるサムネイル画像データは１乃至複数の静止画データである。また、例えば、前記検出ステップは、表示器にてサムネイル画像が表示される領域におけるジェスチャ動作を検出するものである。

これによれば、動画データから予め切り出された複数のサムネイル画像のうち、一つのサムネイル画像を入力装置により入力されるユーザのジェスチャ動作に応じて選択することができる。そして、そのサムネイル画像に対応する場面（シーン）から動画データを再生することができるので、ユーザの直感的な操作で動画の頭出しができる。

また、本発明の他の特徴は、前記検出されたジェスチャ動作の操作に関連した物理量を検出し、前記検出した物理量に応じてサムネイル画像を順次選択する頻度を制御することにある。この場合、前記物理量は、例えばジェスチャ動作の操作量、操作速度又は操作加速度である。これによれば、ジェスチャ動作の操作量（例えばジェスチャ動作の大きさ）に応じてサムネイル画像を順次選択する頻度が制御されるので、動画の頭出し位置の大幅な移動及び微調整をユーザの直感的な動作で行うことができる。

また、本発明の他の特徴は、前記動画とサムネイル画像は、表示器の同一領域に表示されるものであり、前記サムネイル画像表示ステップは、ジェスチャ動作の開始時に前記領域内にてサムネイル画像の表示を開始し、ジェスチャ動作の終了時に動画の表示を開始することにある。これによれば、表示器の表示領域を有効に利用でき、小画面の表示器を利用することが可能となる。

a．全体構成
図1は本発明の適用されるパーソナルコンピュータを代表とするコンピュータ装置１０を概略的に示すブロック図である。コンピュータ装置１０は、ポインティングデバイス１１（例えばマウス）、表示器１２、ネットワーク用インターフェース回路１３、コンピュータ部１４、外部記憶装置１６、音源１７及びサウンドシステム１８を備えている。

ポインティングデバイス１１による操作はバス２１に接続された検出回路２２によって検出され、操作内容を表すデータがバス２１を介して、コンピュータ部１４に供給される。表示器１２は、液晶ディスプレイ、ＣＲＴなどで構成され、文字、数字、図形などを画面上に表示する。表示器１２はバス２１に接続された表示回路２３によって制御される。表示内容は、バス２１を介して、表示回路２３に供給される表示用の指示信号及びデータにより指定される。ネットワーク用インターフェース回路１３は、通信ネットワークＮＷを介して、コンピュータ装置１０をサーバ６０に接続する。コンピュータ部１４は、バス２１に接続されたＣＰＵ１４ａ、ＲＡＭ１４ｂ及びＲＯＭ１４ｃからなる。外部記憶装置１６は、コンピュータ装置１０に組み込まれたハードディスク及びフラッシュメモリ、コンピュータ装置１０に装着可能なコンパクトディスクなどの種々の記録媒体と、各記録媒体に対するドライブユニットを含むものであり、大量のデータ及びプログラムの記憶及び読み出しを可能にしている。音源１７は、バス２１に接続されていて、コンピュータ部１０からバス２１を介して供給される楽音制御データ（ノートデータ、キーオンデータ、キーオフデータ、音色制御データ、音量制御データなど）に基づいてディジタル楽音信号を生成し、生成したディジタル楽音信号をサウンドシステム１８に供給する。サウンドシステム１８は、Ｄ／Ａ変換器、アンプ、スピーカなどからなり、前記供給されたディジタル楽音信号をアナログ楽音信号に変換して、同アナログ楽音信号に対応した楽音を放音する。

ｂ．全体作動
本実施形態では、図２に示すように、表示器１２に閲覧ページウィンドウ４０が表示される。この閲覧ページウィンドウ４０内には、サムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３が配置される。閲覧ページウィンドウ４０に対応するプログラムは、例えばＷＷＷブラウザで構成され、サムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３に対応したプログラムに対し、親コンポーネントとして機能する。これらのプログラムは、例えばＪａｖａＳｃｒｉｐｔ（Ｊａｖａは登録商標）及びＦＬＡＳＨ（商標）用のスクリプト言語等で記述されたプログラムを含む。そして、コンピュータ部１４は、これらのプログラムを連携して又は独立して実行し、予め定義された処理を実行する。なお、これらのサムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３にそれぞれ対応したプログラムは、それらに必要なデータを合わせて、サムネイルオブジェクト、動画プラグインオブジェクト及び操作ボタンオブジェクトをそれぞれ構成する。

図３は、閲覧ページウィンドウ４０に対応するプログラムを説明した図である。以下の説明では、このプログラムをＷＷＷブラウザという。ユーザにより、ＷＷＷブラウザの起動が指示されると、コンピュータ部１４は、ステップＡ１１にてユーザによって指示されたＵＲＬにアクセスし、ステップＡ１３にて「閲覧ページ」を表示するための、サムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３に対応したプログラムを含むページソース（ＨＴＭＬソース）、サムネイル画像データ及びコンフィグデータをサーバ６０から取得する。なお、ステップＡ１２は、ステップＡ１１におけるアクセスに応答するサーバ６０による処理を示す。そして、コンピュータ部１４は、前記取得したページソース及び各種データをキャッシュメモリに一時的に記憶する。

ここで、サムネイル画像とコンフィグデータについて説明しておく。図４は、動画データ、サムネイル画像およびサムネイル画像データの関係を説明したものである。動画データ３０は、ＭＰＥＧ等として知られるデータフォーマットで、複数の画像フレームを時系列的に配列したデータである。一本の動画データについて、予め複数のタグポイントが設定されている。タグポイントには、動画の先頭から順次、固有のＩＤ番号（ＩＤ＝１，２，３，・・・Ｎ）が付されている。タグポイントは任意に設定してよく、例えば、場面（シーン）の切り替わりに設定してもよいし、等間隔（例えば１０秒ごと）に設定してもよい。タグポイント位置の一つの画像フレームをそれぞれ静止画像として切り出したものがサムネイル画像である。ただし、サムネイル画像は必ずしもタグポイント位置の一つの画像を切り出す必要はなく、そのタグポイントが対応する場面（シーン）の中の最も特徴的な画像フレームを切り出したものでもよい。

サムネイル画像は、予め定められたサイズ（例えば８０ピクセル×６０ピクセル）に縮小されている。そして、この縮小された複数のサムネイル画像を、タグポイントに付されたＩＤの順に結合した一つの静止画データが、サムネイル画像データ３１である。例えば、６５枚のサムネイル画像を横方向に結合して構成する場合、サムネイル画像データ３１のサイズは５２５０（＝８０＊６５）ピクセル×６０ピクセルになる。各サムネイル画像には、前記タグポイントの位置情報（時間位置を示すタイムコードやデータの番地を表すアドレス情報等）が対応しており、この対応関係を示したものがコンフィグデータである。

ふたたびＷＷＷブラウザの説明に戻る。前記ステップＡ１３の処理後、コンピュータ部１４は、ステップＡ１４にて、前記キャッシュメモリに一時記憶した各種データを用いて、閲覧ページウィンドウ４０を生成して表示器１２に表示する。すなわち、コンピュータ部１４は、サムネイル画像表示領域４１の画像データ、動画表示領域４２の画像データ、操作ボタン４３の画像データを生成し、閲覧ページウィンドウ４０内に配置して表示する。以降、閲覧ページウィンドウ４０は、ステップＡ１５にて画面クローズが指示されるまで、サムネイルオブジェクト、動画プラグインオブジェクト及び操作ボタンオブジェクトの親コンポーネントとして機能する。ユーザにより閲覧ページウィンドウ４０の画面クローズが指示されると、コンピュータ部１４は、ステップＡ１６にて、閲覧ページウィンドウ４０を破棄し、サムネイルオブジェクト、動画プラグインオブジェクト及び操作ボタンオブジェクトも破棄する。

次に、前述したＷＷＷブラウザの実行により、表示器１２に表示される表示画面について詳しく説明する。図２に示すように閲覧ページウィンドウ４０内には、この発明を構成する表示要素である、サムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３が表示される。サムネイル画像表示領域４１には、サムネイル画像が表示される。動画表示領域４２には、後述するストリームデータからなる動画データに従った動画が表示される。操作ボタン４３は、ポインティングデバイス１１（例えばマウス）のボタンプレス及びボタンリリース操作により動画データの再生・停止を交互に指示するために用いられる。なお、サムネイル画像表示領域４１、動画表示領域４２及び操作ボタン４３は、閲覧ページウィンドウ４０を親コンポーネントとするオブジェクトの一部であり、各オブジェクトは、それぞれ個々に操作イベントをハンドルすることが可能である。例えば、閲覧ページウィンドウ４０はＷＷＷブラウザの表示ウィンドウであり、サムネイル画像表示領域４１はＨＴＭＬ等のページ記述言語及びＪａｖａＳｃｒｉｐｔ（Ｊａｖａは登録商標）等のスクリプト言語に基づいて配置されるオブジェクトを構成し、動画表示領域４２は動画ストリームデータ再生機能を有する動画プラグインオブジェクトを構成し、操作ボタン４３は、ＷＷＷブラウザ組み込みの操作ボタン用のオブジェクト又は動画プラグインに組み込まれた操作ボタン用のオブジェクトを構成する。また、これらのオブジェクトは閲覧ページウィンドウ４０に埋め込まれている。これらのサムネイル表示領域４１、動画表示領域４２及び操作ボタン４３に関するオブジェクトのプログラム処理については、詳しく後述する。

ｃ．全体機能ブロック図
図５は、上記プログラムにより実現される機能をブロック図で示したものである。データ入力部５１は、図１のネットワーク用インターフェース回路１３に対応するものであり、動画のストリームデータを始めとする各種データを外部のサーバ６０から入力する。記憶部５２は図１のＲＡＭ１４ｂに対応するもので、データ入力部５１より入力された各種データを記憶する。記憶部５２は、少なくとも、動画のストリームデータを一時的に記憶するストリームバッファ５２ａ、サムネイル画像データを記憶するサムネイルバッファ５２ｂ及びサムネイル画像とストリームデータの位置（時間位置またはアドレス）との対応関係を規定したコンフィグデータを記憶するコンフィグバッファ５２ｃを有する。

制御部５３は、図１のＣＰＵ１４ａ，ＲＯＭ１４ｃ及び外部記憶装置１６に対応するもので、動画データの再生を制御するために、外部のサーバ６０にストリームデータの要求を出力したり、サムネイル画像の切り替え指示を出力したり、動画の再生・停止の指示を出力したりする。描画エンジン５４は、図１のＣＰＵ１４ａ、ＲＯＭ１４ｃ及び外部記憶装置１６に対応するもので、動画処理部５４ａ及びサムネイル描画部５４ｂからなる。動画処理部５４ａはストリームバッファ５２ａに記憶されているストリームデータを用いて、動画データのための各種表示要素を生成して、図１のＲＡＭ１４ｂ内に設けた図示しない出力用ビデオバッファに書き込む。サムネイル描画部５４ｂはサムネイルバッファに記憶されたサムネイル画像データを用いて、サムネイル画像のための各種表示要素を生成して、図１のＲＡＭ１４ｂ内に設けた図示しない出力用ビデオバッファに書き込む。

ポインティングデバイス（例えばマウス）５５は、図１のポインティングデバイス１１に対応するものであり、ユーザ操作に応じてマウスの指示する座標情報や備えられたボタンのボタンプレス及びボタンリリースを出力する。操作検出部５６は図１の検出回路２２に対応するもので、マウスから出力された情報を検出するとともに、操作指示動作の開始及び終了を検出する。出力部５７は図１の表示器１２及び表示回路２３に対応するもので、ＬＣＤ、ＣＲＴ等の表示デバイスを含み、描画エンジン５４にて出力用ビデオバッファに書き込まれた表示要素に基づいて、画像を表示する。

ｄ．表示制御部
閲覧ページウィンドウ４０に配置される動画プラグインオブジェクトに対応する処理プログラムについて説明する。以下の説明では、このプログラムを動画表示プログラムという。図６は、動画表示プログラムを説明した図である。説明の便宜上、略シーケンシャルな処理として書くが、複数種類のイベントに応じて起動される複数の処理ルーチンに適宜分けても良い。また、発生するイベントに応じた処理が繰り返し実行されるものであり、閲覧ページウィンドウ４０が破棄された時点で動画プラグインオブジェクトも破棄され、それ以降、動画表示プログラムは実行されない。

閲覧ページウィンドウ４０のＨＴＭＬソース中に、動画ストリームデータのソースアドレス（ＵＲＬ）が記述されており、ステップＢ１２にて、動画プラグインオブジェクト生成時にそのアドレスがセットされる。動画プラグインオブジェクトの生成が完了すると、ステップＢ１３にて動画の再生時間位置を先頭位置（タグポイントＩＤ＝１に対応する位置）にセットする。後述のとおり、プログラム開始直後は、操作ボタンオブジェクトからは停止指示がされている。従って、ステップＢ１４にて、停止指示であることを判別すると、ステップＢ１５にて、サーバ６０に対しストリームデータ配信停止を要求し、ステップＢ１６にて動画再生を停止する。その後、ステップＢ１４〜Ｂ１６からなる処理が繰り返し実行される。すなわち、この状態では、操作ボタンオブジェクトからの再生指示又はサムネイルオブジェクトからの再生時間位置情報の通知があるまで待機する。

さらに、閲覧ページウィンドウ４０に配置される操作ボタンオブジェクトに対応する処理プログラムについて説明する。以下の説明では、このプログラムを操作ボタンプログラムという。図７は、操作ボタンプログラムを説明した図である。説明の便宜上、略シーケンシャルな処理として書くが、複数種類のイベントに応じて起動される複数の処理ルーチンに適宜分けても良い。また、発生するイベントに応じた処理が繰り返し実行されるものであり、閲覧ページウィンドウ４０が破棄された時点で操作ボタンオブジェクトも破棄され、それ以降、操作ボタンプログラムは実行されない。

プログラム開始直後は、ステップＣ１２にて、再生フラグを「Ｆａｌｓｅ」に設定する。操作ボタン４３は、ステップＣ１３にて、ユーザによるマウスのボタン操作イベント（プレス）を検出するまで待機する。ステップＣ１３にて、ユーザによるマウスのボタン操作イベント（プレス）を検出すると、ステップＣ１４にて再生フラグをトグルする。そして、ステップＣ１５にて、現在の再生フラグを確認し、再生フラグが「Ｔｒｕｅ」のときは、ステップＣ１６にて、動画プラグインオブジェクトに対して再生指示（≒ストリームデータ要求指示）をする。また、再生フラグが「Ｆａｌｓｅ」のときは、ステップＣ１７にて、動画プラグインオブジェクトに対して停止指示をする。

さらに、閲覧ページウィンドウ４０内に配置されるサムネイルオブジェクトに対応する処理プログラムについて説明する。以下の説明では、このプログラムをサムネイルプログラムという。図８は、サムネイルプログラムを説明した図である。説明の便宜上、略シーケンシャルな処理として説明するが、複数種類のイベントに応じて起動される複数の処理ルーチンに適宜分けても良い。また、発生するイベントに応じた処理が繰り返し実行されるものであり、閲覧ページウィンドウ４０が破棄された時点でサムネイルオブジェクトも破棄され、それ以降、サムネイルプログラムは実行されない。

まず、サーバ６０からダウンロードされ、一時的にキャッシュメモリに保持されているサムネイル画像データを、ステップＤ１２にて、描画バッファに展開する。次に、ステップＤ１３にて、タグポイントＩＤを１（先頭のサムネイル画像）に設定し、さらにステップＤ１４にて、その画像に対応する矩形領域（図３の例の場合、サムネイル画像データ３１の左端の８０×６０ピクセルの領域）をサムネイル画像表示領域４１に表示する。この際、サムネイル画像は、サムネイル画像表示領域４１の表示サイズに合わせて、拡大又は縮小がなされる。そして、ステップＤ１５にて、所定のマウス操作があるまで待機する。所定のマウスの操作（ボタンプレス、ボタンリリース、ドラッグ）があると、ステップＤ１６にて、操作内容を判別し、それに対応する処理を実行する。

まず、サムネイル画像表示領域４１にてポインティングデバイス１１（５５）のボタンプレスがあると、ステップＤ１７にて動画再生を停止するよう、動画プラグインオブジェクトに対して通知する。また、ポインティングデバイス１１（５５）のドラッグ操作及びホールド操作があると、ステップＤ１９にて、後述するユーザのジェスチャ動作を認識する。そして、ステップＤ２０にて、認識したジェスチャ動作が「早送り」または「巻き戻し」のいずれであるかを判別する。ジェスチャ動作が「早送り」の場合、ステップＤ２１にてタグポイントＩＤをインクリメントする。ただし、タグポイントＩＤの現在値がＮ（図３に示す最終ＩＤ）のときはインクリメントしない。一方、ジェスチャ動作が「巻き戻し」の場合、ステップＤ２２にてタグポイントＩＤをデクリメントする。ただし、タグポイントＩＤの現在値が１のときはデクリメントしない。そして、ステップＤ１４に戻り、変更したタグポイントＩＤに対応するサムネイル画像がサムネイル表示領域４１に表示される。例えば、図３の例において、変更後のタグポイントＩＤがｍの場合、サムネイル画像データの左上を座標原点とすると、サムネイル画像データの｛（（ｍ−１）＊８０，０），
（ｍ＊８０，６０）｝の領域がサムネイル表示領域４１に表示される。また、ステップＤ１６にて、ポインティングデバイス１１（５５）のボタンリリース（＝ジェスチャ動作の終了指示）があると、ステップＤ２３にて、その時点でのタグポイントＩＤに対応する動画の再生時間位置情報をコンフィグデータから特定し、特定した再生時間位置情報を動画プラグインオブジェクトに通知する。

次にユーザのジェスチャ動作について説明する。図９（ａ）乃至図９（ｄ）は、ポインティングデバイス１１（５５）（例えばマウス）の操作に応じて検出部５６にて検出されるジェスチャの内容と対応する処理内容について説明した図である。マウスの出力に基づいて操作検出部５６にてジェスチャ動作の種別を判断する方法としては様々な態様が採用しうる。例えば、検知領域（サムネイル画像表示領域４１）を複数の小領域に分割し、ドラッグに伴いカーソルがどの領域を通過したかを検知することによる方法又は、ドラッグ中のマウスカーソルの座標を逐次監視し、単位時間あたりの移動方向、速さ、加速度等を算出し、これらの操作量パラメータに基づいて判断する方法を適宜採用しうる。

ｅ−１．ジェスチャ例１
図９（ａ）はユーザのジェスチャ動作の例を説明した図である。この例では、サムネイル表示領域４１におけるマウスの操作方向を検出する。ドラッグ（マウスボタンをプレスしたままマウスを動かす操作）が開始されたときのマウスカーソルの座標ｓを基準として、マウスカーソルがサムネイル表示領域内の右側にドラッグされているとき及びドラッグの後、座標ｓを基準としてサムネイル表示領域内の右側でホールド（マウスのボタンをプレスしたままマウスをその座標から動かさない）されているときはサムネイル画像を「早送り」する。座標ｓを基準として、マウスカーソルがサムネイル表示領域内の左側にドラッグされているとき、及びドラッグの後、座標ｓを基準としてサムネイル表示領域内の左側でホールドされているときはサムネイル画像を「巻き戻し」する。なお、マウスカーソルが、座標ｓの水平方向の座標と同じ座標にあるときはサムネイル画像を切り替えないよう制御する。

ｅ−２．ジェスチャ例２
図９（ｂ）はジェスチャ動作の他の例を説明した図である。この例では、サムネイル画像表示領域４１は不可視の分割線ｂにて左右の領域に区分けされており、マウスカーソルがどちらの領域に置かれているかを検出する。マウスボタンがプレスされたときのマウスカーソルの座標ｓがサムネイル画像表示領域４１の分割線ｂに対し右半分の領域であれば、ボタンプレスされた状態のまま、マウスカーソルの現在座標ｅがサムネイル画像表示領域４１の分割線ｂに対し右半分の領域にある限りサムネイル画像を「早送り」する。一方、座標ｓがサムネイル画像表示領域４１の分割線ｂに対し左半分の領域であれば、ボタンプレスされた状態のまま、マウスカーソルの現在座標ｅがサムネイル画像表示領域４１の分割線ｂに対し左半分の領域にある限りサムネイル画像を「巻き戻し」する。さらに、ドラッグによりマウスカーソルが他方の領域に進入すれば逆動作となるよう制御する。図９（ｂ）の場合、当初「巻き戻し」であり、マウスをドラッグして、マウスカーソルがサムネイル画像表示領域４１の分割線ｂに対し右半分の領域に侵入した時点でサムネイル画像を「早送り」し、マウスカーソルが再びサムネイル画像表示領域４１の分割線ｂに対し左半分の領域に戻ればサムネイル画像を「巻き戻し」する。

ｅ−３．ジェスチャ例３
図９（ｃ）はジェスチャ動作のさらに他の例を説明した図である。この例では、サムネイル画像表示領域４１における、マウスカーソルの円弧状の軌跡の方向を検出する。サムネイル画像表示領域４１において、ドラッグを開始した座標ｓを基準として、右回転（時計回り）の軌跡ｔ１を描くとサムネイル画像を「早送り」し、左回転（反時計回り）の軌跡ｔ２を描くとサムネイル画像を「巻き戻し」する。なお、ドラッグを停止（ホールド）した場合はサムネイル画像を切り替えないよう制御する。また、図１０に示すように、サムネイル画像表示領域４１を小領域（例えばＡ乃至Ｄ）に分割し、マウスカーソルが小領域を通過する順序を検出することで、近似的に図９（ｃ）に示す回転操作ジェスチャを検出し、マウスカーソルが各小領域を通過又は各小領域に侵入する毎にサムネイル画像を切り替えるようにしてもよい。すなわち、マウスカーソルが各小領域を第１の順序（例えばＡ,Ｂ,Ｃ,Ｄ,Ａの順序）で通過又は侵入する毎に、サムネイル画像を一つ「早送り」し、第２の順序（例えばＡ,Ｄ,Ｃ,Ｂ,Ａの順序）で通過又は侵入する毎に、サムネイル画像を一つ「巻き戻し」するようにしてもよい。

ｅ−４．ジェスチャ例４
図９（ｄ）は、ジェスチャ動作のさらに他の例を説明した図である。この例では、サムネイル画像表示領域４１においてマウスボタンがプレスされたときのマウスカーソルの座標ｓを検出する。サムネイル画像表示領域４１には、水平方向の座標に動画データの再生時間位置が対応付けられており（時間軸対応グリッドｇ）、座標ｓの水平方向の座標が「早送り」又は「巻き戻し」の基準（初期）時間位置として設定される。この場合には、まず、図８の破線で示すステップＤ１８にて、タグポイントＩＤを、サムネイル画像表示領域４１においてマウスボタンがプレスされたときのマウスカーソルの座標ｓに対応するタグポイントＩＤに設定する。その後は、前記ジェスチャ例１及びジェスチャ例３にて説明した態様にてサムネイル画像の「早送り」又は「巻き戻し」を制御する。

ふたたび動画表示プログラムの説明に戻る。上述の操作ボタンプログラムに従い、操作ボタンオブジェクトから再生指示があると、ステップＢ１７にて、“Ｙｅｓ”すなわち再生指示ありと判定される。そして、ステップＢ１8にて、現在の再生時間位置情報に対応する再生時間位置からのストリームデータを、先に設定した動画データのソースアドレス（ＵＲＬ）で示されるサーバ６０に要求し、その再生時間位置を起点としたストリームデータを受信する。次にステップＢ１９にて、受信したストリームデータが、動画プラグインオブジェクトにより再生され、動画表示領域４２に動画が表示される。

一方、上述のサムネイルプログラムに従い、サムネイルオブジェクトから再生時間位置情報の通知があった場合は、ステップＢ２０にて、“Ｙｅｓ”すなわち再生時間位置情報通知ありと判定される。そして、ステップＢ２１にて、現在の再生時間位置情報を前記通知された再生時間位置情報に更新する。次に、前述したステップＢ１８にて、更新後の再生時間位置情報に対応する再生時間位置からのストリームデータを、先に設定した動画データのソースアドレス（ＵＲＬ）で示されるサーバ６０に要求し、その再生位置を起点としたストリームデータを受信する。次に、受信したストリームデータは、前述と同様にステップＢ１９にて動画プラグインオブジェクトにより再生され、動画が表示される。

上記実施形態においては、サムネイルプログラムのステップＤ１４（図８）の処理により、動画データから予め切り出された複数のサムネイル画像のうちの一つが、サムネイル画像表示領域４１に表示される。その後、ユーザはカーソルをサムネイル画像表示領域４１に配置した状態で、ポインティングデバイス１１（５５）を用いて、カーソルを移動させることにより、ジェスチャ動作を入力する。このジェスチャ動作は、サムネイルプログラムのステップＤ１９（図８）の処理により認識される。サムネイルプログラムのステップＤ２０〜Ｄ２２（図８）の処理により、サムネイル画像が早送り又は巻き戻しされて、一つのサムネイル画像が選択される。そして、前記選択されたサムネイル画像に対応する場面（シーン）から動画データの再生を開始できるので、ユーザの直感的な操作で動画の頭出しができる。

上記実施形態では動画データはストリームであり、動画データ、ＨＴＭＬソース、サムネイル画像データ及びコンフィグデータがサーバ６０から通信ネットワークＮＷを介してデータ入力部５１に供給されるようにした。しかし、これに代えて、ハードディスク等の記憶装置により、動画データ、ＨＴＭＬソース、サムネイル画像データがデータ入力部５１に供給されるようにしてもよい。この場合、ＨＴＭＬソース中では、各種データの所在として、それらのデータが記憶されている記憶装置中のアドレスを示すようにする。そして、図１のステップＡ１１にてサーバ６０に対してＨＴＴＰリクエストする代わりに、記憶装置に記憶されたＨＴＭＬソースを指定することにより、上記実施形態と同様の動作が得られる。

また、上記実施形態ではポインティングデバイス１１（５５）としてマウスを用いたが、これをタッチパネル、トラックボール、ペンタブレット等としてもよい。

さらに、サムネイル画像を切り替えるにあたり、ポインティングデバイス１１（５５）の操作量をも検知し、その量に応じてサムネイル画像を切り替える頻度を調整してもよい。例えば、図９（ａ）に示すジェスチャを検出する場合、単位時間あたりにサムネイル画像を切り替える頻度（例えば、１秒間あたりにサムネイル画像を切り替える回数）を、マウスボタンがプレスされたときのマウスカーソルの座標ｓからマウスカーソルの現在座標ｅまでの距離との関係を定めた図１１に示す関数に従って調整してもよい。このように構成した場合、マウスカーソルの移動距離が長いほど頻度が増大する。ただし、一定の移動距離を超えるとサムネイル画像の切り替え頻度は一定となる。一方、マウスカーソルの移動距離が短いほど又サムネイル画像の切り替え頻度が減少する。従って、動画の頭出し位置の大幅な移動及び微調整をユーザの直感的な動作で行うことができる。

また、図９（ｃ）に示すジェスチャを検出する場合、単位時間あたりにサムネイル画像を切り替える頻度を、マウスカーソルの円弧状の軌跡の速度又は角速度との関係を定めた図１１に示す関数に従って調整してもよい。このように構成した場合、マウスカーソルの操作速度が速いほど、サムネイル画像の切り替え頻度が増大する。ただし、一定の操作速度を超えるとサムネイル画像の切り替え頻度は一定となる。一方、マウスカーソルの操作速度が遅いほどサムネイル画像の切り替え頻度が減少する。従って、動画の頭出し位置の大幅な移動及び微調整をユーザの直感的な動作で行うことができる。

なお、図９（ａ）に示すジェスチャを検出する場合、マウスカーソルの早さとの関係を定めた図１１に示す関数に従って頻度を調整してもよい。また、図９（ｃ）に示すジェスチャを検出する場合、マウスカーソルの円弧状の軌跡の移動距離との関係を定めた図１１に示す関数に従って頻度を調整してもよい。さらに、マウスカーソルの加速度と頻度の関係を図１１に示すような関数として定め、この関数に従って頻度を調整してもよい。すなわち、ジェスチャ動作の操作に関連した物理量（操作量、操作速度、操作加速度等）と頻度の関係を関数として定め、その関数に従って頻度を調整すればよい。関数は、図１１に示すものに限られず、他の関数を用いてもよい。

ただし、上述の通りサムネイル表示領域４１を小領域に分割して、近似的に図９（ｃ）に示す回転操作ジェスチャを検出する場合は、サムネイル画像の切り替え頻度は、マウスカーソルが小領域の境界を跨いだ頻度と同等となる。

さらに、上記のサムネイル画像表示領域４１を通常非表示に構成し、動画表示領域４２と重畳して表示するようにしてもよい。この場合、動画表示領域４２でのマウスボタンの操作開始を検知し、前記検知に応じてサムネイル画像表示領域４１を動画表示領域４２に重畳して表示されるよう可視化し、マウスボタンのリリースがあった時点で（ジェスチャ動作が終了した時点で）、頭出しした動画のストリームデータが入力され始めた時点で、又はストリームデータが再生され始めた時点でサムネイル画像表示領域４１を不可視にする。これは、出力部５７を構成する表示デバイスが小画面の場合等に有効である。

本発明の適用されるハードウェア構成を例示した図である。 表示される画面の例を示した図である。 閲覧ページウィンドウでの処理を説明した図である。 動画データとサムネイル画像データとの関係を説明した図である。 本発明の機能構成を示した図である。 動画データ表示領域での処理を説明した図である。 操作ボタンでの処理を説明した図である。 サムネイル表示領域での処理を説明した図である。 ジェスチャ動作の例を示した図である。 サムネイル表示領域の分割例を示した図である。 サムネイル画像の切り替え頻度の関数の例を示した図である。

符号の説明

３０…動画データ、３１…サムネイル画像データ
４０…閲覧ページウィンドウ、４１…サムネイル表示領域、４２…動画表示領域、４３…操作ボタン、５１…データ入力部、５２…記憶部、５３…制御部、５４…描画エンジン、５５…ポインティングデバイス、５６…操作検出部、５７…出力部、６０…サーバ、ＮＷ…通信ネットワーク、ｓ…ジェスチャ動作開始座標、ｅ…カーソル現在座標、ｔ…カーソルの移動軌跡、ｂ…領域分割線、ｇ…時間軸対応グリッド

Claims (5)

1. 動画を表していて、供給された動画データを記憶する動画データ記憶装置と、
   前記動画データの再生時間位置にそれぞれ対応した複数のサムネイル画像を表していて、供給されたサムネイル画像データを記憶するサムネイル記憶装置と、
   ユーザによるジェスチャ動作を入力する入力装置と、
   表示器と
   を備えたコンピュータ装置に適用される動画再生プログラムであって、コンピュータ装置に、
   前記ユーザによるジェスチャ動作を検出する検出ステップと、
   前記検出されたジェスチャ動作が第１のジェスチャ動作であった場合、前記複数のサムネイル画像を順方向に順次選択し、前記検出されたジェスチャ動作が前記第1のジェスチャ動作とは異なる第２のジェスチャ動作であった場合、前記複数のサムネイル画像を逆方向に順次選択する選択ステップと、
   前記複数のサムネイル画像のうち、前記選択されたサムネイル画像を前記表示器にて表示するサムネイル画像表示ステップと、
   前記ユーザによるジェスチャ動作が終了したとき、供給されて前記動画データ記憶装置に記憶されている動画データを、前記選択されたサムネイル画像に対応する再生時間位置から前記表示器にて表示する動画表示ステップと
   を実行させる動画再生プログラム。
2. 前記検出されたジェスチャ動作の操作に関連した物理量を検出し、前記検出した物理量に応じてサムネイル画像を順次選択する頻度を制御する頻度制御ステップをさらにコンピュータ装置に実行させる
   請求項１に記載の動画再生プログラム。
3. 前記供給される動画データはストリームデータであり、前記供給されるサムネイル画像データは１乃至複数の静止画データである
   請求項１に記載の動画再生プログラム。
4. 前記検出ステップは、前記表示器にて前記サムネイル画像が表示される領域におけるジェスチャ動作を検出する
   請求項１に記載の動画再生プログラム。
5. 前記動画と前記サムネイル画像は、前記表示器の同一領域に表示されるものであり、
   前記サムネイル画像表示ステップは、前記ジェスチャ動作の開始時に前記領域内にてサムネイル画像の表示を開始し、前記ジェスチャ動作の終了時に動画の表示を開始する
   請求項１に記載の動画再生プログラム。

Images