JP2006174309A - 動画再生装置、プログラム、及び記録媒体 - Google Patents

動画再生装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2006174309A
JP2006174309A JP2004366862A JP2004366862A JP2006174309A JP 2006174309 A JP2006174309 A JP 2006174309A JP 2004366862 A JP2004366862 A JP 2004366862A JP 2004366862 A JP2004366862 A JP 2004366862A JP 2006174309 A JP2006174309 A JP 2006174309A
Authority
JP
Japan
Prior art keywords
image
video
index
data
reproducing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004366862A
Other languages
English (en)
Inventor
Shin Aoki
青木  伸
Norihiko Murata
憲彦 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004366862A priority Critical patent/JP2006174309A/ja
Priority to US11/304,581 priority patent/US20060168298A1/en
Publication of JP2006174309A publication Critical patent/JP2006174309A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 ビデオ再生において、ストリーミング環境やフレーム間差分を利用した圧縮データであっても、ドラッグ操作によって表示画面をリアルタイムに変更でき、見たい部分を容易に検索することができる動画再生装置を提供する。
【解決手段】 ビデオデータをストリーミング通信で受信し再生する動画再生装置において、受信したビデオデータの各時刻に対応する複数のインデックス画像情報を記憶する記憶手段13、ビデオ表示時刻の変更を指示する指示手段14、15、記憶したインデックス画像のなかから、指示された表示時刻に対応する画像を選択し、ビデオ画像の表示領域に表示する表示手段16を備えた。
【選択図】 図2

Description

本発明は、動画データを再生する動画再生装置に関し、特にストリーミング環境でのランダム再生技術に関する。
近年、計算機上で動画などマルチメディアデータを扱うことが容易になってきた。計算機上でマルチメディアを扱う大きな利点は、ランダムアクセスにある。マイクロソフト社製メディアプレーヤなどの従来の一般的なビデオ再生ソフトウエアには、「シークバー」と呼ばれるユーザインタフェースがあり、シークバーに対するクリック、ドラッグ操作により、再生時刻を任意に変更、つまりランダムアクセスできる。
ここで一般的なドラッグ操作によるランダムアクセスの方法を説明する。図1に一般的なビデオ再生プログラムのユーザインタフェースを示す。画面上、一番上にビデオ表示領域1があり、ここにビデオ画面が表示される。一番下にはボタン類4があり、このボタンにより再生」、停止」などの操作を受け付ける。中央付近にある横長の線をシークバー2と呼ぶ。
シークバー2上にある四角をマーカ3と呼ぶ。シークバー2の長さは表示するビデオの時間的な長さに対応し、その左端が開始時刻、右端が終了時刻を表す。マーカ位置がビデオの現在表示中の時刻を表す。
ユーザがシークバー2のマーカ3をマウスでドラッグする(つまりマーカ3上にマウスポインタを移動させ、ボタンを押し下げ、ボタンを押したままマウスを移動させる)と、マーカ3がマウスに連れて左右に移動し、同時にビデオ表示画面もマーカ位置に対応する時刻の画面に逐次切り変わる。
実際には再生プログララムの構造やビデオデータの種類によって動作は異なるが、例えばマイクロソフト社製メディアプレーヤのバージョン6.4で非圧縮のビデオデータを再生すると、マウスドラッグに応じてリアルタイムに表示画面を更新することができる。
このようにリアルタイムに画面が更新されれば、ユーザはその表示画面から、自分の見たいシーンを確認し、そこでボタンを離すことで、見たいシーンだけを再生することができる。
しかし上記の通り、このようなシークバー2のドラッグによるランダムアクセスは常に可能な訳ではない。例えば上記のメディアプレーヤでも、ストリーミング通信時にはこのような動作はしない。
ストリーミングとは、ネットワーク接続された他の計算機上に記録されたデータを再生する方式であり、再生時にデータファイル全体を受信することなく、当面の再生に必要なデータのみを受信後すぐに再生を開始し、以降、データ受信と再生を並行して実行する方法である。
ストリーミングには、再生に先立ってすべてのデータを送受信する必要がないため、再生指示後(ファイル全体の受信を待たずに)再生が開始できるという利点がある。しかしこの特徴のために、再生時刻の非連続的な変更(シーク動作)に時間がかかるという欠点も存在する。
以下に、一般的なストリーム再生でのシーク動作の概要を説明する。
再生中にユーザがマウスでシークバーのマーカをドラッグする。ドラッグ中は、ビデオ再生は以前のまま継続する。
・マウスボタンアップ
ユーザが適当な位置でマウスボタンを離すと、その時点で再生プログラムは、マーカ位置に対応する時刻からのデータ送信をストリームサーバへ要求する。
・サーバ上での検索
サーバは現在送信中のデータを中断し、記録されたファイル内の要求された時刻のデータを検索し送信を開始する。
・バッファリング
ネットワーク帯域の変動を補償するため、再生プログラムは一定量のデータを受信した後、目指す時刻からの再生を開始する。
このように、ストリーミング再生時には、シーク命令のネットワーク通信や、バッファリングに時間がかかるため、マーカのドラッグに対しリアルタイムに表示画面を切り替えることができず、マウスボタンを離した後、再生が再開されるのを待たなければならない。したがってドラッグにより見たいシーンを検索することが困難である。
例えば、特許文献1には以下の技術が示されている。即ち、記録されたビデオデータのなかの、特定の時点から再生を開始する方法であって、サムネイル画像を並べてメニューとして表示し、そのうちのひとつを選択することにより、そのサムネイル画像に対応する時刻へシークして再生する。
次に、例えば、特許文献2には以下の技術が開示されている。即ち、ハードディスクに記録された間引き画像(シーンチェンジ場面の画像だけを集めた動画)を(スローまたは分割マルチ)再生して見たい場面を選択する。間引き画像の表示方法については、早送り巻き戻しなどが可能となっている。
非特許文献1の富士ゼロックス社製MediaDEPOというビデオ配信、検索システムには、スライダー検索と呼ばれる機能がある。これはシークバーをユーザが移動させることにより、シーンビューワーと呼ばれるビデオ再生画面とは別画面のサムネイル表示内容が逐次切り替わり、その後クリック動作により、その時刻からビデオ再生を開始するものである。
特開平2−113790号公報 特開平6−105280号公報 MediaDEPO <http://www.ubiquitous-media.com/Howto/search_slider.htm>
特許文献1のように、サムネイル画像を並置してメニューとして表示する方法は、ランダムアクセスを行うためのひとつのユーザインタフェースであり、DVDなどでも広く利用されている。しかしこのようなメニュー表示法では、サムネイル画像を平面上に並べて表示するので、メニュー表示の面積が必要である。特に多くのシークポイント(再生開始時刻)を設けるためには、多数のサムネイル画像が必要なため、表示面積が増え、メニューのスクロールやページ切替えなど別のユーザ操作が必要になってしまう。
特許文献2では、動画データはテープに記録されており、ストリーミング環境での構成について記述はない。また、ユーザのドラッグ操作による表示画面変更についての記述もない。
又、非特許文献1では、シーンビューワーがビデオ画面とは別に存在するため、上記のメディアプレーヤによる非圧縮データ再生時とは異なる表示となり、操作が直感的ではない。またスライダー検索を開始する前にデータを転送する長い時間が必要である。
本発明は、ビデオ再生において、ストリーミング環境やフレーム間差分を利用した圧縮データであっても、ドラッグ操作によって表示画面をリアルタイムに変更でき、見たい部分を容易に検索することができる動画再生装置を提供することを目的とする。
上記目的を達成するために、請求項1記載の発明は、ビデオデータをストリーミング通信で受信し再生する動画再生装置において、受信したビデオデータの各時刻に対応する複数のインデックス画像情報を記憶する記憶手段と、ビデオ表示時刻の変更を指示する指示手段と、記憶したインデックス画像のなかから、指示された表示時刻に対応する画像を選択し、ビデオ画像の表示領域に表示する表示手段と、を備えたことを特徴とする。
請求項2記載の発明は、請求項1の動画再生装置において、前記表示手段は、画像上の特定の一部分を表示することを特徴とする。
請求項3記載の発明は、請求項1の動画再生装置において、前記記憶手段は、受信した圧縮動画データを各フレーム画像へ展開し、展開された各フレーム画像をインデックス画像として記憶することを特徴とする。
請求項4記載の発明は、請求項1の動画再生装置において、ビデオ信号を入力する入力手段と、入力したビデオ信号を記録する記録手段と、入力したビデオ信号のなかから一部のフレームを選択する選択手段と、選択されたフレームを動画として圧縮、記録する圧縮、記録手段と、を有することを特徴とする。
請求項5記載の発明は、請求項1の動画再生装置において、インデックス画像情報を受信した後で動画ストリーミング再生を開始する開始手段を有することを特徴とする。
請求項6記載の発明は、請求項1の動画再生装置において、各インデックス画像の重要度を判定する判定手段と、判定された重要度の順にインデックス画像を受信する受信手段と、を有することを特徴とする。
請求項7記載の発明は、請求項1の動画再生装置において、各インデックス画像の重要度を判定する判定手段と、判定された重要度の順に送信する送信手段と、を有することを特徴とする。
請求項8記載の発明は、請求項1から7の動画再生装置が機能するためのコンピュータ読み取り可能なプログラムを最も主要な特徴とする。
請求項9記載の発明は、請求項8のプログラムを記録した記録媒体を最も主要な特徴とする。
本発明によれば、ビデオデータ以外にインデックス表示用の静止画データを使い、ドラッグ操作によって表示画面をリアルタイムに変更できるで、見たい部分を容易に検索することができる。
また、一枚の大きな画像をインデックスデータとして利用するので、通信やデータ記憶、表示切り替えのオーバーヘッドを低減し、高速に処理を実行することができる。
また、フレーム間相関を利用して圧縮することにより、インデックス情報のデータ量を低減し、転送時間、記憶容量を低減することできる。
また、インデックス情報を受信後、ビデオ再生を始めるので、ビデオ再生時にはいつでもシーク動作に対応できるよう状態を保障できる。
また、インデックス情報を全て受信する前でも、シーク操作によりビデオ内容の概略を表示し、検索の目安となる情報を提供するので、検索が容易になる。
以下、本発明の各実施例を図面にしたがって説明する。
図2は本発明の第1の実施形態に係る動画再生装置のシステム構成図である。本実施形態は一般的なPC上でソフトウエアを実行することにより実現する。システムはネットワーク接続された記録配信用PC11と再生用PC12からなる。
各PCはハードディスク13(図3参照)上に記録されたプログラムをCPU、メモリを利用して実行する。またキーボード14、マウス15が接続され、これらによりユーザの操作を入力する。また、ビデオインタフェース回路を介してCRTディスプレイ16が接続され、プログラム制御により画像をユーザへ出力する。記録配信用PC11にはビデオ入力ボードを介してビデオカメラ17が接続され、カメラ17で撮影したビデオ信号をPCに入力する。
・記録配信用PCソフトウエア
以下に本実施例の記録配信用PC11上で実行されるソフトウエアの構成と動作を説明する。記録配信用PC11では、データ生成、およびデータ配信の2つのプログラムを実行する。
・データ生成プログラム
本プログラムは、カメラから入力したビデオデータを圧縮処理しハードディスク13に記録する。また同時に対応するインデックス画像列を生成し記録する。図3にデータ生成プログラムのブロック図を示す。
・ビデオ入力20
カメラはNTSCフォーマットのアナログ信号を出力し、PC内のビデオキャプチャボードがそれをデジタル信号へ変換したデータをプログラムは読み取る。ここで入力するデジタルビデオデータは1秒間に30枚の320x240画素サイズの画像データ列である。
・ビデオ圧縮21
データ生成プログラムはデジタルビデオデータを圧縮処理する。ここでは公知のMPEG1圧縮アルゴリズムを利用する。圧縮処理したビデオデータは、PC内のハードディスクに記録する。
・画像選択22
インデックス画像とするために、入力した画像列から一定間隔にフレームを抜き出す。ここでは1分(30(フレーム)×60(秒)=1800フレーム)のビデオ入力ごとに1枚のフレームを選択する。
・静止画圧縮23
抜き出した画像は、それぞれ圧縮処理を施し、ハードディスクにファイルとして保存する。圧縮には公知のJPEG圧縮アルゴリズムを用い、ファイルには時間順に一連の番号と名前をつける。
・インデックス時刻データ生成25
同時に記録したビデオファイルとインデックス画像を対応づける情報を生成して記録する。以下これをインデックス時刻データと呼ぶ。これは図4のように、一行目にビデオファイル名、二行目以下に各インデックス画像ファイル名と対応する時刻(ビデオ記録開始からの秒数)を記述したテキストファイルである。
生成したデータは、後述のデータ送信プログラムで扱えるようそれぞれハードディスク内の適切な位置(ディレクトリ)に記録する。ここではインデックス画像データはビデオ画像データと同じ画素サイズとしたが、記録および転送データ容量を削減するために、JPEG圧縮前に縮小処理を施しても良い。その場合再生プログラムでは、ビデオ表示領域に表示するために拡大処理する必要がある。
・データ送信プログラム
本プログラムは、データ生成プログラムで生成記録されたデータを、再生用PC12からの要求に従ってネットワーク上へ送信する。ここで扱うデータは、ビデオデータ、インデックス時刻データ、インデックス画像の三種類である。
ビデオデータはストリーミングプロトコルで送信する。ここではストリーミングサーバプログラムとして、マイクロソフト社製のMediaServerを利用する。MediaServerを利用するとハードディスク内に記録したビデオデータをストリーミング送信することができる。
インデックス時刻データとインデックス画像は、周知のHTTPプロトコルで送信する。ここではHTTPサーバプログラムとしてマイクロソフト社製InternetInformationServerを利用する。
・再生プログラム
本ソフトウエアは、表示用PC上で動作し、記録配信PC12からデータを受信し、ユーザの指示に従いビデオをランダムアクセス表示する。以下にソフトウエアの構成と動作を説明する。
図5に本ソフトウエアの表示画面を示す。画面は縦に大きく2つの部分に分かれ、上からビデオ表示領域1、シークバー領域(シークバー)2、ボタン領域(ボタン類)4と呼ぶ。
ビデオ表示領域1はビデオデータおよびインデックス画像を表示する領域である。シークバー領域2は現在再生中のビデオの時刻を表示し、また、表示させたい時刻を指示する。ユーザがこの領域をマウスで操作することにより、ビデオ表示領域1に表示する内容を変更する。
水平線全体が、示中のビデオデータの全時間帯を表し、左端が開始時刻、右端が終了時刻に対応する。途中にあるマーカ3の位置が、現在ビデオ表示領域1に表示されているビデオ(またはインデックス画像)を表す(マーカ位置はマーカ中央の縦線の位置で表す)。
例えば、ビデオデータが1時間であり、シークバー全体が600画素の幅を持つとすると、シークバーの一画素がビデオ6秒分に対応する。またマーカ位置が左端から100画素にある時、ビデオ開始から10分目を表す。
ボタン領域4は通常のビデオ表示ソフトウエアと同様に、「開始」、「停止」「一時停止」操作を受け付ける。
・初期化
本プログラムは起動すると、以下の通り初期化処理を行う(図6参照)。
・インデックス時刻データ受信(S1)
あらかじめ登録された記録配信PC11へインデックス時刻データの送信要求を送り、インデックス時刻データを受信し、それをメモリ上に記録する。
・インデックス画像データ群受信(S2)
インデックス時刻データ内に記述されたインデックス画像となる各静止画の送信を要求し、受信して、それらをメモリ上に記録する。
・動画ストリーム受信開始(S3)
インデックス時刻データ内に記述されたビデオストリームデータの送信を要求する。
本実施形態では、表示するデータの所在、つまり記録配信PC11はあらかじめ登録されているものとしたが、データが多数ある場合リスト表示のなかから選択するなどの手順が望ましい。
また、本実施形態では静止画データ受信後にビデオ受信を開始したが、これはビデオ再生時にインデックス画像を利用できるよう、あらかじめインデックス画像を受信しておくことが目的である。実際には動画ストリームの受信にもある程度時間がかかるので、必ずしもすべての受信終了を待つ必要はなく、最後の静止画送信を要求した直後(受信完了前)に、動画送信を要求するなどの手順でタイミングを調整しても良い。
・動画表示
通常のストリーミングビデオ再生動作、つまり、ビデオデータをネットワークから受信しながら、その内容を画面表示する。また、一定時間おき(例えば1秒おき)に現在再生中のビデオ時刻に対応する位置にシークバー上のマーカ位置を移動し、再生中の時刻を画面表示する。
以下のボタン操作、およびシークバー操作ハンドラから停止、開始、シークなどの命令を受け、操作命令をネットワーク経由で配信プログラムへ送信し、データ送信動作の変更を要求する。このような機能は、例えばマイクロソフト社製メディアプレーヤコンポーネントを利用すれば実現することができる。
・ボタン操作ハンドラ
ボタン上でマウスクリックイベントが発生した時にこの処理を呼び出す。通常のビデオ表示ソフトウエアと同様に、開始、停止、一時停止、機能を実現するため、動画表示ブロックへ各命令を発行する。
・シークバー操作ハンドラ
マーカ上でマウスボタンダウン、アップ、ドラッグイベントが発生した時にそれぞれ以下の各処理を実行する。
・ボタンダウン
以下のように時刻指定操作を開始する。動画表示モジュールへ一時停止命令を発行する。ビデオ表示サイズを0x0画素に縮小することでビデオ表示領域を空ける。現在のマーカ位置に対応する時刻を求める。記録されたインデックス画像群から、マーカ時刻に対応する1枚を選択する。ここではマーカ時刻を越えない最大の対応時刻を持つインデックス画像を選択する。これによりマーカ時刻直前の画像を表示できる。選択されたインデックス画像を動画表示領域にビデオと同じサイズで表示する。
・ドラッグ
マウスポインタ位置へシークバーマーカを移動する。移動先のマーカ位置に対応する時刻を求める。上記ボタンダウン時と同様に、記録されたインデックス画像群から、マーカ時刻に対応する1枚を選択し表示する。この時、インデックス画像は既に再生PC上に個別に記憶されており、またビデオデータ自身のフレーム数よりもはるかに少ない枚数なので、ストリーミングサーバへ要求したり、フレーム間相関を利用した圧縮データを展開する場合に比べ、非常に高速にアクセスすることができる。
・ボタンアップ
現在のマーカ位置に対応する時刻へシークするよう、動画表示モジュールへ命令する。シーク後のバッファリングが完了した後、インデックス画像表示を消し、ビデオ表示サイズを元に戻してビデオ再生を再開する。
・動作例
以下にユーザ操作からみた本システムの動作例を示す。ここでは、記録配信PC11上で記録プログラムの処理を終了している、つまり配信すべきデータは既にハードディスク上に記録済みとする。
・起動
ユーザが表示プログラムを起動する。表示プログラムは起動後、記録配信PC11へネットワーク通信を試み、インデックス時刻データを受信する。その後さらにインデックス画像群を受信、記録し、ストリームビデオ通信を開始する。
・再生開始
ストリームデータのバッファリング終了後、画面にビデオ表示を開始する。
・シーク操作
ビデオ表示中にユーザがシークバーをマウス操作する。
・マーカ上でボタンを押す
ビデオ表示が停止し、代りにその時刻近辺の静止画が表示される。
そのまま左右にドラッグ
マウスカーソルに連れマーカが左右に移動し、ほぼ同時にビデオ表示領域に対応時刻近辺の静止画が表示される。静止画はビデオと比べてコマ数が少ない(1枚/分)が、内容はおよそ推測できる。
・ボタンを離す
しばらくは最後のインデックス画像が表示されたままだが、その後、マーカ位置に対応する時刻からビデオ再生が再開される。
第1の実施形態では、インデックス情報として多数の画像データを利用した。第2の実施形態では、複数のインデックス画像データを並べた一枚の画像の形で記録、通信する。 以下、第1の実施形態との違いを説明する。
・データ生成プログラム
記録配信PC11では、ビデオ記録終了後、生成したインデックス画像を縦方向に並べて連結し、一枚の大きな画像を生成する。また、インデックス時刻データとして、図7に示すように、ビデオデータファイル名、合成インデックス画像ファイル名、元のインデックス画像1枚分の高さ、各インデックス画像の合成画像上の位置(上端からの距離)と対応時刻、の形で生成、記録する。
・再生プログラム
再生プログラムは、インデックス時刻データファイルから、合成インデックス画像ファイルを読み取り、配信PCへ送信要求を送り、内容を受信記憶する。シークバーのドラッグ操作に対し、実施例1で対応インデックス画像を選択表示したが、本実施例では、合成インデックス画像の対応部分を切り出し表示する。
つまり、まずシークバーの移動位置から対応するインデックス画像番号を求め、次に記憶されたインデックス時刻データから、合成インデックス画像上の対応領域を求め、その領域をビデオ表示領域に切り出し表示する(図8参照)。
第3の実施形態では、インデックス画像データを動画として圧縮した形で配信する。再生用PC12では、受信後にデータを復元し、各フレームをインデックス画像として扱う。
特に監視用途のような固定カメラでは、フレーム間に強い相関がある可能性が高いので、データ容量削減が期待できる。これはインデックス情報の転送時間の削減、つまり、ユーザの指示があってから、実際に動画が再生されるまでの時間を短縮する効果をもたらす。
以下、第1の実施形態との違いを説明する。
・記録プログラム
記録配信用PC11では、ビデオ記録終了後、生成したインデックス画像を並べて動画と見倣し、MPEG1圧縮アルゴリズムで圧縮してファイルとして記録する。また、インデックス時刻データとして、図9に示すように、本編のビデオデータ、インデックス用のビデオデータ、インデックス用ビデオデータ各フレーム番号と対応時刻を採用する。
・再生プログラム
再生プログラムでは、初期化処理内で、圧縮されたインデックス画像ビデオファイルを受信後、展開し、各フレームを個別画像としてメモリ内に記憶する(図10S1〜S4参照)。以降、記憶されたインデックス画像を実施例1と同様に扱う。
第4の実施形態では、一定時間毎のフレーム画像をインデックス画像としたが、本実施例では、検索の役に立つよう、以前と比較して変化のあるフレームだけをインデックス画像として利用する。
また、インデックス画像とストリーミングビデオを並行して受信し、なおかつ変化の大きいインデックス画像から先に受信することにより、表示開始直後でもおおまかな動画の動きが表示できるようにする。
・記録プログラム
差分によりインデックス静止画を生成する。実施例1と同様に、1分毎のフレーム画像を抜き出すが、これをすべてインデックス画像とはしない。画面内の全画素について直前(1分前)のフレーム画像と画素ごとの差分を取り、その絶対値を平均する。この平均値が所定の閾値よりも大きいフレームだけをインデックス画像として利用する。
例えば、256階調のデータの場合、差分絶対値の平均が、5よりも大きい場合のみインデックス画像とする。またインデックス時刻データには、各インデックス画像毎にこの差分平均値も記録する(図11参照)。
・再生プログラム
初期化処理で、インデックス時刻データを受信後、インデックス画像を、その差分平均値の降順にソートする。ソート後、差分平均値の大きいものから順に送信要求を出し受信する。
インデックス画像の送信要求を出す直前に、ストリーミング動画再生を開始する。動画再生モジュールは以降インデックス画像データ受信と並行して、ビデオ再生処理を実行する。
すべてのインデックス画像を受信する前に、シークバー操作が発生した場合には、その時点までに受信したインデックス画像だけを対象として、画面更新を実行する。つまり、マーカ移動位置に対して、その時点で既に受信したインデックス画像の中から、マーカ時刻を越えない最大の対応時刻を持つインデックス画像を選択して表示する。
このような構成により、プログラム起動後、インデックス画像全体の受信を待たずにビデオ再生を開始することができる。また、インデクス画像は変化の大きいものから順に受信、利用するので、全画像を受信しなくても、ビデオのおおまかな変化を表現することができる(図12S1〜S4参照)。
第5の実施形態では、インデックス画像の送信順を再生用PC側からの要求により決定したが、本実施例では、記録配信用PC11で送信順序を決定することにより同様の効果を実現する。
・記録プログラム
第4の実施形態と同様に、差分絶対値の平均値に基づきインデックス画像を選択し記録する。ビデオ記録終了後、(実施例4の再生プログラムと同様に)インデックス画像を差分平均値でソートする。差分平均値の大きいものから順にフレームとして扱い、全体を動画としてMPEG圧縮する。インデックス時刻データは実施例3のものと同様になる(ただし対応時刻は昇順とは限らない)。
・再生プログラム
第4の実施形態と同様に、インデックス(ビデオ)データの受信完了を待たずにストリーム再生を開始する。MPEGデータはフレーム間差分を利用する圧縮アルゴリズムであるが、GOP(GroupofPicture)と呼ばれる単位ごとに復元可能である。そこで、インデックスビデオデータ受信中に、展開できる部分から処理し、第4の実施形態と同様にインデックス画像表示に利用する(図13S1〜S5参照)。
一般的なビデオ再生プログラムのユーザインタフェースを示す図である。 実施例1の動画再生装置のシステム構成を示す図である。 実施例1のデータ再生プログラムを示す図である。 実施例1のインデックス時刻データを示す図である。 実施例1の再生プログラムの表示画面を示す図である。 実施例1の再生プログラムの初期化処理を示す図である。 実施例2のインデックス時刻データを示す図である。 実施例2の合成インデックス画像の切り出し表示を示す図である。 実施例3のインデックス時刻データを示す図である。 実施例3の再生プログラムの初期化処理を示す図である。 実施例4のインデックス時刻データを示す図である。 実施例4の再生プログラムの初期化処理を示す図である。 実施例5の再生プログラムの初期化処理を示す図である。
符号の説明
11 記録配信用PC
12 再生用PC
13 ハードディスク(記憶手段)
14 キーボード(指示手段)
15 マウス(指示手段)
16 CRTディスプレイ(表示手段)

Claims (9)

  1. ビデオデータをストリーミング通信で受信し再生する動画再生装置において、
    受信したビデオデータの各時刻に対応する複数のインデックス画像情報を記憶する記憶手段と、ビデオ表示時刻の変更を指示する指示手段と、記憶したインデックス画像のなかから、指示された表示時刻に対応する画像を選択し、ビデオ画像の表示領域に表示する表示手段と、を備えたことを特徴とする動画再生装置。
  2. 請求項1の動画再生装置において、前記表示手段は、画像上の特定の一部分を表示することを特徴とする動画再生装置。
  3. 請求項1の動画再生装置において、前記記憶手段は、受信した圧縮動画データを各フレーム画像へ展開し、展開された各フレーム画像をインデックス画像として記憶することを特徴とする動画再生装置。
  4. 請求項1の動画再生装置において、ビデオ信号を入力する入力手段と、入力したビデオ信号を記録する記録手段と、入力したビデオ信号のなかから一部のフレームを選択する選択手段と、選択されたフレームを動画として圧縮、記録する圧縮、記録手段と、を有することを特徴とする動画再生装置。
  5. 請求項1の動画再生装置において、インデックス画像情報を受信した後で動画ストリーミング再生を開始する開始手段を有することを特徴とする動画再生装置。
  6. 請求項1の動画再生装置において、各インデックス画像の重要度を判定する判定手段と、判定された重要度の順にインデックス画像を受信する受信手段と、を有することを特徴とする動画再生装置。
  7. 請求項1の動画再生装置において、各インデックス画像の重要度を判定する判定手段と、判定された重要度の順に送信する送信手段と、を有することを特徴とする動画再生装置。
  8. 請求項1から7のいずれか一項に記載の動画再生装置が機能するためのコンピュータ読み取り可能なプログラム。
  9. 請求項8のプログラムを記録した記録媒体。
JP2004366862A 2004-12-17 2004-12-17 動画再生装置、プログラム、及び記録媒体 Pending JP2006174309A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004366862A JP2006174309A (ja) 2004-12-17 2004-12-17 動画再生装置、プログラム、及び記録媒体
US11/304,581 US20060168298A1 (en) 2004-12-17 2005-12-16 Desirous scene quickly viewable animation reproduction apparatus, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004366862A JP2006174309A (ja) 2004-12-17 2004-12-17 動画再生装置、プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2006174309A true JP2006174309A (ja) 2006-06-29

Family

ID=36674546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004366862A Pending JP2006174309A (ja) 2004-12-17 2004-12-17 動画再生装置、プログラム、及び記録媒体

Country Status (2)

Country Link
US (1) US20060168298A1 (ja)
JP (1) JP2006174309A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027051A (ja) * 2012-09-04 2013-02-04 Toshiba Corp 電子機器および再生制御方法
JP2013042534A (ja) * 2007-04-23 2013-02-28 Digital Fountain Inc ビデオ内容の低帯域幅再生位置プレビューを行うための装置および方法
RU2495478C2 (ru) * 2008-06-12 2013-10-10 Майкрософт Корпорейшн Копирование эффектов анимации из исходного объекта, по меньшей мере, в один целевой объект
JP2016181835A (ja) * 2015-03-24 2016-10-13 キヤノン株式会社 再生制御装置、再生制御方法
JP2016192743A (ja) * 2015-03-31 2016-11-10 株式会社バンダイナムコライツマーケティング ストリーミング動画配信システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US7526588B1 (en) 2004-04-27 2009-04-28 Apple Inc. Communication between an accessory and a media player using a protocol with multiple lingoes
US7529870B1 (en) 2004-04-27 2009-05-05 Apple Inc. Communication between an accessory and a media player with multiple lingoes
US8117651B2 (en) 2004-04-27 2012-02-14 Apple Inc. Method and system for authenticating an accessory
US7673083B2 (en) * 2004-04-27 2010-03-02 Apple Inc. Method and system for controlling video selection and playback in a portable media player
US7529872B1 (en) 2004-04-27 2009-05-05 Apple Inc. Communication between an accessory and a media player using a protocol with multiple lingoes
US7797471B2 (en) * 2004-04-27 2010-09-14 Apple Inc. Method and system for transferring album artwork between a media player and an accessory
US7441058B1 (en) 2006-09-11 2008-10-21 Apple Inc. Method and system for controlling an accessory having a tuner
US7441062B2 (en) * 2004-04-27 2008-10-21 Apple Inc. Connector interface system for enabling data communication with a multi-communication device
US7823214B2 (en) 2005-01-07 2010-10-26 Apple Inc. Accessory authentication for electronic devices
US20090013350A1 (en) * 2005-08-11 2009-01-08 Vvond, Llc Display of movie titles in a library
US8159959B2 (en) * 2005-11-07 2012-04-17 Vudu, Inc. Graphic user interface for playing video data
US7515710B2 (en) 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
US8006019B2 (en) * 2006-05-22 2011-08-23 Apple, Inc. Method and system for transferring stored data between a media player and an accessory
US7415563B1 (en) 2006-06-27 2008-08-19 Apple Inc. Method and system for allowing a media player to determine if it supports the capabilities of an accessory
JP2008017042A (ja) * 2006-07-04 2008-01-24 Sony Corp 情報処理装置および方法、並びにプログラム
US7558894B1 (en) 2006-09-11 2009-07-07 Apple Inc. Method and system for controlling power provided to an accessory
US7827490B2 (en) * 2006-11-30 2010-11-02 Microsoft Corporation Media state user interface
WO2008086313A1 (en) 2007-01-05 2008-07-17 Divx, Inc. Video distribution system including progressive playback
CN101399687B (zh) * 2007-09-25 2011-01-19 中兴通讯股份有限公司 一种移动流媒体直播准实时流业务中的随机定位方法
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
US8238811B2 (en) 2008-09-08 2012-08-07 Apple Inc. Cross-transport authentication
US8208853B2 (en) 2008-09-08 2012-06-26 Apple Inc. Accessory device authentication
US20100242066A1 (en) * 2009-03-19 2010-09-23 Cyberlink Corp. Method of Performing Random Seek Preview for Streaming Video
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
JP5440461B2 (ja) 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8806188B2 (en) 2011-08-31 2014-08-12 Sonic Ip, Inc. Systems and methods for performing adaptive bitrate streaming using automatically generated top level index files
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
KR102012682B1 (ko) 2015-01-06 2019-08-22 디브이엑스, 엘엘씨 디바이스들간에 콘텐트를 인코딩 및 공유하기 위한 시스템들 및 방법들
US11157556B2 (en) * 2019-12-20 2021-10-26 Sling Media Pvt Ltd Method and apparatus for thumbnail generation for a video device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202994A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像検索システム、サーバ、画像検索方法及び記録媒体
JP2002229535A (ja) * 2001-01-31 2002-08-16 Hitachi Ltd 映像処理装置
JP2002271739A (ja) * 2001-03-09 2002-09-20 Sanyo Electric Co Ltd 映像装置および再生制御情報配信方法
JP2003037796A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd 情報記録再生装置
JP2004072728A (ja) * 2002-06-11 2004-03-04 Sanyo Electric Co Ltd 画像記録方法、画像記録装置、画像記録再生装置、画像処理装置およびテレビジョン受像機

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513306A (en) * 1990-08-09 1996-04-30 Apple Computer, Inc. Temporal event viewing and editing system
US5355450A (en) * 1992-04-10 1994-10-11 Avid Technology, Inc. Media composer with adjustable source material compression
JPH08275170A (ja) * 1995-03-30 1996-10-18 Canon Inc 画像処理装置
US6041354A (en) * 1995-09-08 2000-03-21 Lucent Technologies Inc. Dynamic hierarchical network resource scheduling for continuous media
US5933603A (en) * 1995-10-27 1999-08-03 Emc Corporation Video file server maintaining sliding windows of a video data set in random access memories of stream server computers for immediate video-on-demand service beginning at any specified location
US5675511A (en) * 1995-12-21 1997-10-07 Intel Corporation Apparatus and method for event tagging for multiple audio, video, and data streams
KR100194923B1 (ko) * 1996-06-21 1999-06-15 윤종용 동영상 정보 검색장치 및 방법
US6128712A (en) * 1997-01-31 2000-10-03 Macromedia, Inc. Method and apparatus for improving playback of interactive multimedia works
US6560400B1 (en) * 1997-07-10 2003-05-06 Hitachi Denshi Kabushiki Kaisha Video information editing method and system, and recording medium having the editing method stored
JP3971487B2 (ja) * 1997-07-10 2007-09-05 ソニー株式会社 記録装置および記録方法、並びに記録媒体
JP3409834B2 (ja) * 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP3528524B2 (ja) * 1997-07-10 2004-05-17 ソニー株式会社 記録再生装置および記録再生方法、並びに記録媒体
US6417853B1 (en) * 1998-02-05 2002-07-09 Pinnacle Systems, Inc. Region based moving image editing system and method
IL123819A (en) * 1998-03-24 2001-09-13 Geo Interactive Media Group Lt Network media streaming
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6700893B1 (en) * 1999-11-15 2004-03-02 Koninklijke Philips Electronics N.V. System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
US7653925B2 (en) * 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US6658199B1 (en) * 1999-12-16 2003-12-02 Sharp Laboratories Of America, Inc. Method for temporally smooth, minimal memory MPEG-2 trick play transport stream construction
US6389467B1 (en) * 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US6882793B1 (en) * 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
US7107606B2 (en) * 2000-08-30 2006-09-12 The Chinese University Of Hong Kong System and method for highly scalable video on demand
GB2386724A (en) * 2000-10-16 2003-09-24 Tangis Corp Dynamically determining appropriate computer interfaces
US7401351B2 (en) * 2000-12-14 2008-07-15 Fuji Xerox Co., Ltd. System and method for video navigation and client side indexing
US6633317B2 (en) * 2001-01-02 2003-10-14 Microsoft Corporation Image-based walkthrough system and process employing spatial video streaming
CA2331474A1 (en) * 2001-01-19 2002-07-19 Stergios V. Anastasiadis Stride-based disk space allocation scheme
US6907570B2 (en) * 2001-03-29 2005-06-14 International Business Machines Corporation Video and multimedia browsing while switching between views
CN1461484A (zh) * 2001-04-17 2003-12-10 皇家菲利浦电子有限公司 选择图像序列中的位置的方法和装置
US6595781B2 (en) * 2001-06-20 2003-07-22 Aspen Research Method and apparatus for the production and integrated delivery of educational content in digital form
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US7218610B2 (en) * 2001-09-27 2007-05-15 Eg Technology, Inc. Communication system and techniques for transmission from source to destination
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US7345783B2 (en) * 2001-10-31 2008-03-18 Canon Kabushiki Kaisha Image processing method and apparatus for generating sequential still images by extracting still images from moving image data, and printing apparatus
US20040201610A1 (en) * 2001-11-13 2004-10-14 Rosen Robert E. Video player and authoring tool for presentions with tangential content
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US6700839B1 (en) * 2002-02-19 2004-03-02 Visteon Global Technologies, Inc. Fast seek between multiple selections in a multimedia player
US7844214B2 (en) * 2002-03-02 2010-11-30 Nokia Corporation System and method for broadband digital broadcasting
US7054888B2 (en) * 2002-10-16 2006-05-30 Microsoft Corporation Optimizing media player memory during rendering
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
JP2004215021A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101130368B1 (ko) * 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
US8117282B2 (en) * 2004-10-20 2012-02-14 Clearplay, Inc. Media player configured to receive playback filters from alternative storage mediums

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202994A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像検索システム、サーバ、画像検索方法及び記録媒体
JP2002229535A (ja) * 2001-01-31 2002-08-16 Hitachi Ltd 映像処理装置
JP2002271739A (ja) * 2001-03-09 2002-09-20 Sanyo Electric Co Ltd 映像装置および再生制御情報配信方法
JP2003037796A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd 情報記録再生装置
JP2004072728A (ja) * 2002-06-11 2004-03-04 Sanyo Electric Co Ltd 画像記録方法、画像記録装置、画像記録再生装置、画像処理装置およびテレビジョン受像機

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013042534A (ja) * 2007-04-23 2013-02-28 Digital Fountain Inc ビデオ内容の低帯域幅再生位置プレビューを行うための装置および方法
JP2013042535A (ja) * 2007-04-23 2013-02-28 Digital Fountain Inc ビデオ内容の低帯域幅再生位置プレビューを行うための装置および方法
US8850318B2 (en) 2007-04-23 2014-09-30 Digital Fountain, Inc. Apparatus and method for low bandwidth play position previewing of video content
RU2495478C2 (ru) * 2008-06-12 2013-10-10 Майкрософт Корпорейшн Копирование эффектов анимации из исходного объекта, по меньшей мере, в один целевой объект
US9589381B2 (en) 2008-06-12 2017-03-07 Microsoft Technology Licensing, Llc Copying of animation effects from a source object to at least one target object
JP2013027051A (ja) * 2012-09-04 2013-02-04 Toshiba Corp 電子機器および再生制御方法
JP2016181835A (ja) * 2015-03-24 2016-10-13 キヤノン株式会社 再生制御装置、再生制御方法
JP2016192743A (ja) * 2015-03-31 2016-11-10 株式会社バンダイナムコライツマーケティング ストリーミング動画配信システム

Also Published As

Publication number Publication date
US20060168298A1 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
JP2006174309A (ja) 動画再生装置、プログラム、及び記録媒体
CA2709680C (en) Trick play of streaming media
US11405437B2 (en) Media seek mechanisms
KR100806467B1 (ko) 사용자 특정 정보를 이용한 미디어 콘텐츠 애노테이팅
JP4955544B2 (ja) ズーム可能ユーザインターフェースのためのクライアント/サーバアーキテクチャおよび方法
US7979879B2 (en) Video contents display system, video contents display method, and program for the same
US20050047681A1 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
US20100303440A1 (en) Method and apparatus for simultaneously playing a media program and an arbitrarily chosen seek preview frame
JP2012123866A (ja) 情報処理装置、情報処理方法及びプログラム
US11570415B2 (en) Methods, systems, and media for generating a summarized video using frame rate modification
JP5397995B2 (ja) 通信端末、コンテンツ再生方法、プログラム、コンテンツ再生システム及びサーバ
KR101117915B1 (ko) 이종 기기간 동일 영상 재생 시스템 및 방법
KR101905638B1 (ko) 동영상 재생 장치 및 방법
JP2008015575A (ja) 情報処理装置
US20240146863A1 (en) Information processing device, information processing program, and recording medium
JP2009177431A (ja) 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等
JP2000350165A (ja) 動画像記録再生装置
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
JP2008166895A (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JP2012044451A (ja) 画像再生装置、その制御方法、及び画像再生プログラム、並びに記録媒体
JP2013090102A (ja) 配信システム
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2006339980A (ja) 映像再生装置
WO2014196009A1 (ja) 動画再生システム、及び動画データのサムネイル画像の表示方法
JP5642529B2 (ja) 画像再生装置及び画像再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071217

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301