JP2014176016A - 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム - Google Patents

Abstract

【課題】再生端末の処理能力に合わせてメインの映像とサムネイル映像とを同時に再生することができる映像再生装置、映像配信装置を提供する。
【解決手段】複数の映像それぞれのサムネイル映像と、複数のサムネイル映像の中から選択された選択映像とを再生する映像再生装置であって、選択映像と、サムネイル映像との配信を映像配信装置に対して要求し、該要求に応じて配信されたサムネイル映像の符号化データと、選択映像の符号化データとを受信する受信手段と、サムネイル映像の符号化データと、選択映像の符号化データとをそれぞれ復号する復号手段と、サムネイル映像の再生に必要な情報と、映像再生装置の処理能力の情報とに基づきサムネイル映像の再生すべきフレームを決定するフレーム決定手段と、決定されたサムネイル映像の再生すべきフレームと、選択映像のフレームとを同期して再生する再生手段とを備える。
【選択図】図１

Description

本発明は、映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラムに関する。

従来から、ユーザが表示したい画像が動画像ファイルの中盤に記録されている場合は、期待する動画像を探し出すのにとても時間がかかりユーザに負担がかかってしまうという問題を解決するために、サムネイル映像を用いた画像再生装置がある（例えば、特許文献１参照）。この画像再生装置は、静止画記録時間情報に含まれる静止画撮影時刻に対して同時刻の動画撮影時刻を含む動画記録時間情報が記録媒体に存在するときは、その旨を示すアイコンをサムネイル画像上に表示し、ユーザ操作によってアイコンが選択されると、その動画記録時間情報とそれに対応する動画情報を記録媒体から読み出し、動画記録時間情報における同時刻とされる静止画撮影時刻の近傍から動画情報の再生を開始するものである。

特開２００７−１８１１６４号公報

ところで、複数あるカメラ映像の中から選択したメインのカメラ映像を視聴しながら別のカメラ映像の状況を知るためには、複数のカメラ映像の一覧であるサムネイル映像とメインのカメラ映像とを同期して再生する必要がある。

しかしながら、映像再生を行う再生端末の処理能力によっては、メインのカメラ映像とサムネイル映像とを同時に再生できない場合があるという問題がある。

本発明は、このような事情に鑑みてなされたもので、再生端末の処理能力に合わせてメインの映像とサムネイル映像とを同時に再生することができる映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラムを提供することを目的とする。

本発明は、複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを再生する映像再生装置であって、前記サムネイル映像と、前記選択映像との配信を要求し、該要求に応じて配信された前記サムネイル映像の符号化データと、前記選択映像の符号化データとを受信する受信手段と、前記サムネイル映像の符号化データと、前記選択映像の符号化データとをそれぞれ復号する復号手段と、前記サムネイル映像の再生に必要な情報と、前記映像再生装置の処理能力の情報とに基づき前記サムネイル映像の再生すべきフレームを決定するフレーム決定手段と、決定された前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期して再生する再生手段とを備えることを特徴とする。

本発明は、前記再生手段は、前記サムネイル映像のフレームレート、ビットレート、画素数と、前記映像再生装置の再生に関わる処理能力に基づき、前記サムネイル映像の１ＧＯＰ毎の再生フレームを決定することを特徴とする。

本発明は、前記再生手段は、前記選択映像の符号化データを復号して得られる映像の再生時間を監視し、前記選択映像の同じ再生時間のフレームと同じタイミングで前記サムネイル映像の符号化データを復号して得られるサムネイル映像の再生フレームを再生することにより、前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期させることを特徴とする。

本発明は、複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを配信する映像配信装置であって、前記サムネイル映像と、前記選択映像との配信要求を受信する受信手段と、前記配信要求に応じて、前記サムネイル映像の符号化データと、前記選択映像の符号化データとを配信する配信手段とを備えることを特徴とする。

本発明は、複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを再生する映像再生装置が行う映像再生方法であって、前記サムネイル映像と、前記選択映像との配信を要求し、該要求に応じて配信された前記サムネイル映像の符号化データと、前記選択映像の符号化データとを受信する受信ステップと、前記サムネイル映像の符号化データと、前記選択映像の符号化データとをそれぞれ復号する復号ステップと、前記サムネイル映像の再生に必要な情報と、前記映像再生装置の処理能力の情報とに基づき前記サムネイル映像の再生すべきフレームを決定するフレーム決定ステップと、決定された前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期して再生する再生ステップとを有することを特徴とする。

本発明は、複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを配信する映像配信装置が行う映像配信方法であって、前記サムネイル映像と、前記選択映像との配信要求を受信する受信ステップと、前記配信要求に応じて、前記選択映像の符号化データと、前記サムネイル映像の符号化データとを配信する配信ステップとを有することを特徴とする。

本発明は、コンピュータを、前記映像再生装置として機能させるための映像再生プログラムである。

本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。

本発明によれば、再生端末の処理能力に合わせてメインの映像とサムネイル映像とを同時に再生することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す再生端末４０−１の構成を示すブロック図である。 図１に示す符号化装置１０−ｍの構成を示すブロック図である。 図１に示す符号化装置１０−１の構成を示すブロック図である。 多重化データの構成を示す図である。 多重化データの構成を示す図である。 配信サーバ３０の多重化処理の動作を示す図である。 多重化データの構成を示す図である。 配信サーバ３０の多重化処理の動作を示す図である。 サムネイル映像の座標を示す図である。 サムネイル映像座標情報を示す図である。 一時記憶部から要求されたカメラ映像を読み出す動作を示す図である。 一時記憶部から要求されたカメラ映像を読み出す動作を示す図である。 図１に示す配信サーバ３０の変形例の構成を示すブロック図である。 保存部３００から要求されたカメラ映像を読み出す動作を示す図である。 保存部３００から要求されたカメラ映像を読み出す動作を示す図である。 図１に示す再生端末４０−１の変形例の構成を示すブロック図である。 保存部４７から要求されたカメラ映像を読み出す動作を示す図である。

以下、図面を参照して、本発明の一実施形態による映像再生装置及び映像配信装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において出力装置１〜ｎは、映像データを出力する映像出力装置であり、カメラや映像データが記憶された記憶装置から構成され、カメラからのライブ映像データや記憶装置に記憶されている映像データを出力する。以後、出力装置１〜ｎが出力する映像データはカメラが出力する映像でデータであるものとし、この映像データをカメラ映像データと呼ぶ。

サムネイル映像作成のために出力装置１〜ｎから出力する全てのカメラ映像データは符号化装置１０−１〜１０−ｍのいずれか１台に出力する。サムネイル映像とは、各カメラ映像データを縮小し、１つの映像に結合した映像である。

符号化装置１０−１〜１０−ｍは、出力装置１〜ｎから出力されたカメラ映像データを符号化する。符号化条件は同じとする。符号化されたカメラ映像データをカメラ符号化データと呼ぶ。カメラ番号は、符号化した符号化装置の番号と対応する。符号化後、カメラ符号化データを多重化装置に送る。符号化装置１０−１〜１０−ｍと多重化装置２０との間にはネットワーク５０が設けられていてもよい。

符号化装置１０−１〜１０−ｍのいずれか１台は、サムネイル映像作成に用い、出力装置１〜ｎで出力される全てのカメラ映像データを受け取り、画素数を間引き、さらに、間引いた各映像を１枚の映像に結合し、サムネイル映像を作成する。ここでは、符号化装置１０−ｍをサムネイル映像作成に用いるものとする。符号化装置１０−ｍは、サムネイル映像を符号化する。符号化したサムネイル映像をサムネイル符号化データと呼ぶ。符号化装置１０−ｍは、サムネイル符号化データを多重化装置２０に送る。

多重化装置２０は、符号化装置１０−１〜１０−ｍのそれぞれからカメラ符号化データとサムネイル符号化データを受け取り、同じタイムスタンプのカメラ符号化データとサムネイル符号化データ毎に時系列に並べ、１ＧＯＰ（Group Of Pictures）分の多重化データを作成する。多重化装置２０は作成した多重化データを配信サーバ３０に送る。多重化装置２０と配信サーバ３０との間には、ネットワーク５１が設けられていてもよい。多重化装置２０は、カメラ符号化データを送信すべき符号化装置と、サムネイル符号化データを送信する符号化装置とは、事前に決められている。多重化装置は、ＧＯＰの先頭のタイムスタンプ、全カメラ番号とサムネイル映像が入ったＧＯＰ情報を作成する。ここでは、１ＧＯＰを０．５秒、１５フレームとするがこの限りではない。多重化装置２０は、１ＧＯＰ全情報、次に１ＧＯＰ分の全多重化データの順で順次配信サーバに送る。

配信サーバ３０は、多重化装置２０から１ＧＯＰ全情報、１ＧＯＰ全多重化データの順で受け取り、内部に備えている一時記憶部に１ＧＯＰ全情報、ＧＯＰ全多重化データを時系列に並べて、一時保存する。一時保存量が一定量になった時、ＧＯＰ単位で過去の多重化データ、ＧＯＰ情報から削除する。配信サーバ３０は、再生端末４０−１〜４０−ｋのそれぞれからカメラ映像配信要求を受け取ると、１ＧＯＰ全多重化データの中から、要求されたカメラ映像の符号化データとサムネイル符号化データを読み出し多重化し、ＧＯＰ情報を作成して要求元の再生端末へ、ＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。ＧＯＰ情報には、ＧＯＰの先頭のタイムスタンプ、要求されカメラ映像の番号、サムネイル映像の情報が入っている。１ＧＯＰ多重化データは、要求されたカメラ符号化データ、サムネイル符号化データで構成されている。

再生端末４０−１〜４０−ｋは、配信サーバ３０に対して視聴したいカメラ映像の配信要求を行い、配信要求したカメラ映像データとサムネイル映像データを受信して再生を行う。また、再生端末４０−１〜４０−ｋは、視聴したいカメラ映像をサムネイル映像から選択し、配信サーバ３０に配信要求する。

次に、図２を参照して、図１に示す再生端末４０−１〜４０−ｋの構成を説明する。図２は、図１に示す再生端末４０−１の構成を示すブロック図である。ここでは、再生端末４０−１の構成を説明するが、他の再生端末も同様の構成である。受信部４１は、配信サーバ３０から多重化データを受信し、復号部４２の振り分け部４２１へ送る。復号部４２は、振り分け部４２１、第１デコーダ部４２２、第２デコーダ部４２３、制御部４２４により構成する。振り分け部４２１は、多重化データをカメラ符号化データとサムネイル符号化データとに分け、カメラ符号化データを第１デコーダ部４２２、サムネイル符号化データを第２デコーダ部４２３に送る。

第１デコーダ部４２２は、カメラ符号化データを復号し、メイン映像表示部４３に送る。第２デコーダ部４２３は、サムネイル符号化データを復号し、サムネイル映像表示部４４に送る。第１デコーダ部４２２、第２デコーダ部４２３は、複数映像同時復号が可能である。復号は、ＧＯＰ単位で行う。

制御部４２４は、カメラ映像データを、再生するカメラ映像データのフレームレートで再生可能であり、カメラ映像データを再生しながら、サムネイル映像データのフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。カメラ映像データは、複数のカメラ映像データの中から選択された１つまたは２つ以上のカメラ映像である。

メイン映像表示部４３は、複数のカメラ映像データの中から選択された１つまたは２つ以上のカメラ映像データを再生する。サムネイル映像表示部４４はサムネイル映像を再生する。送信部４５は、視聴したいコンテンツ、カメラ映像データの配信要求を配信サーバ３０に対してに行う。入力部４６は、視聴したいコンテンツ、カメラ映像データを特定する情報を入力する。

次に、図３を参照して、図１に示す符号化装置１０−ｍの構成を説明する。図３は、図１に示す符号化装置１０−ｍの構成を示すブロック図である。符号化装置１０−ｍは、サムネイル映像を作成する符号化装置である。ここでは、４系統のカメラ映像データが、出力装置１〜４から出力されるものとして説明する。受信部１１−１〜１１−４は、カメラ映像データを受信し、受信したカメラ映像データの画素数を間引き縮小したカメラ映像データ１２−１〜１２−４を作成する。符号化装置１０−ｍは、出力装置１〜４からカメラ映像データが出力されることを事前に把握している。出力装置１〜ｎから出力される各カメラ映像データの画像数は同じとする。

結合部１３は、画素数が間引かれることにより縮小されたカメラ映像データ１２−１〜１２−４を入力し、横２つ縦２つに並べて１つの映像に結合したサムネイル映像を作成する。このとき、カメラ映像データ１２−１〜１２−４を並べる順番はラスタスキャンする順番と同じになるようにする。

符号化部１４は、１つに結合したサムネイル映像データを符号化し、符号化したサムネイル符号化データ１５を生成し、このサムネイル符号化データ１５を送信部１６を介して多重化装置２０送る。

次に、図４を参照して、図１に示す符号化装置１０−１の構成を説明する。図４は、図１に示す符号化装置１０−１の構成を示すブロック図である。符号化装置１０−ｍを除く符号化装置は、符号化装置１０−１と同様の構成を備えている。受信部１１は、カメラ映像データ１７を受信する。符号化部１４は、カメラ映像データ１７を符号化し、符号化したカメラ符号化データ１８を生成し、このカメラ符号化データ１８を送信部１６を介して多重化装置２０送る。

次に、図５、図６を参照して、多重化データの構成を説明する。図５、図６は、多重化データの構成を示す図である。ここでは、４台のカメラのカメラ映像データとサムネイル映像を多重化するものとする。

最初に、図５を参照して、多重化装置２０から配信サーバ３０へ出力する多重化データの構成について説明する。多重化装置２０は、カメラ符号化データが送信される符号化装置とサムネイル符号化データが送信される符号化装置を事前に分かっている。多重化装置２０は、符号化装置１０−１、１０−２、１０−３、１０−４からのカメラ符号化データ（１〜４カメラ符号化データ）と、符号化装置１０−ｍから４台分のサムネイル符号化データを受け取り、同じタイムスタンプのカメラ符号化データ、サムネイル符号化データ毎に時系列に並べ、１ＧＯＰ分の多重化データを作成する。

１ＧＯＰ全多重化データは、１，２，３，４カメラ符号化データ、サムネイル符号化データで構成されている。以下の説明において、１カメラとは、カメラ番号が１であるカメラのことである。同様に、２カメラとは、カメラ番号が２であるカメラのことである。多重化装置２０は、ＧＯＰの先頭のタイムスタンプ、全カメラ番号（１〜４）とサムネイル映像が入ったＧＯＰ情報を作成する。多重化装置は、ＧＯＰ全情報、次に１ＧＯＰ分の全符号化データの順で順次配信サーバ３０に送る。

次に、図６を参照して、配信サーバ３０から再生端末４０−１へ配信する多重化データの構成について説明する。ここでは、配信サーバ３０から要求元である再生端末４０−１へ２カメラ映像データを配信するものとする。配信サーバ３０は、多重化装置２０から受け取ったＧＯＰ全情報、１ＧＯＰ全多重化データを時系列に並べて一時保存し、一時保存している中から、例えば最新の１ＧＯＰ多重化データの先頭から要求された２カメラ符号化データとサムネイル符号化データを読み出し多重化し、ＧＯＰ情報を作成し要求元の再生端末４０−１に対してＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。

ＧＯＰ情報には、ＧＯＰの先頭のタイムスタンプ、カメラ番号の２、サムネイル映像の情報が入っている。また、１ＧＯＰ多重化データは、２カメラ符号化データ、サムネイル符号化データで構成されている。

ここで、図７を参照して、配信サーバ３０の多重化処理の動作を説明する。図７は、配信サーバ３０の多重化処理の動作を示す図である。配信サーバ３０は、受信部３１を介して多重化装置２０から受け取ったＧＯＰ全情報、１ＧＯＰ全多重化データを一時記憶部３４に時系列に並べて一時保存し、一時保存している中から、例えば最新の１ＧＯＰ多重化データの先頭から要求された２カメラ符号化データとサムネイル符号化データを読み出し多重化し、ＧＯＰ情報を作成し、送信部３３を介して要求元の再生端末４０−１に対してＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。

次に、図８を参照して、２以上の符号化した映像データを再生端末に配信する場合について説明する。図８は、多重化データの構成を示す図である。図６に示す多重化データでは、２カメラ符号化データを配信する場合のように、１つの符号化した映像データを再生端末に対して配信する場合について説明したが、２以上の符号化した映像データを再生端末に配信する場合についても図８に示すように同様に構成することが可能である。図８では、配信サーバ３０から要求元である再生端末４０−１に対して１カメラ、２カメラのカメラ符号化データを配信するものとする。

配信サーバ３０は、多重化装置２０から受け取ったＧＯＰ全情報、１ＧＯＰ全多重化データを時系列に並べて一時保存し、一時保存している中から、例えば最新の１ＧＯＰ多重化データの先頭から要求された１カメラ符号化データ、２カメラ符号化データとサムネイル符号化データを読み出し多重化し、ＧＯＰ情報を作成し要求元の再生端末４０−１に対してＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。ＧＯＰ情報には、ＧＯＰの先頭のタイムスタンプ、カメラ番号の１、２とサムネイル映像の情報が入っている。１ＧＯＰ多重化データは、１カメラ符号化データ、２カメラ符号化データ、サムネイル符号化データで構成されている。

ここで、図９を参照して、配信サーバ３０の多重化処理の動作を説明する。図９は、配信サーバ３０の多重化処理の動作を示す図である。配信サーバ３０は、受信部３１を介して多重化装置２０から受け取ったＧＯＰ全情報、１ＧＯＰ全多重化データを一時記憶部３４に時系列に並べて一時保存し、一時保存している中から、例えば最新の１ＧＯＰ多重化データの先頭から要求された１カメラ符号化データ、２カメラ符号化データとサムネイル符号化データを読み出し多重化し、ＧＯＰ情報を作成し送信部３３を介して要求元の再生端末４０−１に対してＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。

次に、図２を参照して、サムネイル映像からカメラ映像を選択する動作を説明する。再生端末４０−１の制御部４２４は、サムネイル映像に対応する座標を作成する。サムネイル画像の縦横のピクセル数とカメラ数からカメラ映像１台の大きさを割り出す。例えば、横が６４０画素、縦が４８０画素でカメラ数が４台とすると、１つのカメラのサムネイル映像の大きさは、横が３２０画素、縦が２４０画素となる。制御部４２４は、サムネイル符号化データを復号した第２デコーダ部４２３からサムネイル映像の画素数とカメラ台数を受け取ることにより知ることができる。制御部４２４は、サムネイル映像をサムネイル映像表示部４４に送る前に、再生するコンテンツ最初の１回、図１０のサムネイル映像座標の横６４０（３２０＋３２０）、縦４８０（２４０＋２４０）と図１１に示すようにサムネイル映像座標情報をサムネイル映像表示部４４に送る。図１０は、サムネイル映像の座標を示す図である。サムネイル映像表示部４４は、サムネイル映像にサムネイル映像座標情報を重ね合わせて使用する。図１１は、サムネイル映像座標情報を示す図である。

カメラ選択は、サムネイル映像表示部４４において再生されているサムネイル映像の、例えば０から横に３１９ピクセル、縦に２４０から４７９ピクセルの四角形の中で画面をマウスや手で押すことで、３カメラ映像が選択されたことになり、送信部４５に３カメラ配信要求を送る。送信部は、３カメラの配信要求を配信サーバ３０に送る。

また、複数のカメラ映像を選択することが可能であり、サムネイル映像表示部４４で再生されているサムネイル映像の、例えば０から横に６３９ピクセル、縦に０から２３９ピクセルの領域に入る範囲で画面をマウスや手で矩形を指定することで、１カメラ映像、２カメラ映像が選択されたことになり、送信部４５に１カメラ、２カメラ配信要求を送る。
または、１カメラ映像、２カメラ映像の各範囲の中で画面をそれぞれマウスや手で押すことで、１カメラ映像、２カメラ映像が選択されたことになる。各カメラ映像範囲の中で画面をそれぞれマウスや手で押すことで、押された範囲のカメラ映像が選択されたことになる。送信部４５は、１カメラ、２カメラの配信要求を配信サーバ３０に送る。

次に、映像配信処理と、映像再生処理の動作を説明する。まず、図２に示す再生端末４０−１の入力部４６から入力された２カメラ映像配信要求を送信部４５に送る。ここでは、要求映像は、２カメラ映像とする。続いて、再生端末４０−１の送信部４５から２カメラ映像の要求を配信サーバ３０に行う。２カメラ映像は、１，２，３，４カメラ映像とサムネイル映像を符号化データした多重化データであるコンテンツに含まれている。

次に、配信サーバ３０は、一時保存されている多重化データのコンテンツから、図７に示す様に例えば最新ＧＯＰの先頭から２カメラ符号化データとサムネイル符号化データを読み出し、読み出した２カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で順次要求元の再生端末へ配信する。

次に、再生端末４０−１の受信部４１は、ＧＯＰ情報、２カメラ符号化データとサムネイル符号化データの１ＧＯＰ多重化データの順で受信する。受信したＧＯＰ情報、１ＧＯＰ多重化データを復号部４２の振り分け部４２１に送る。

これを受けて、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送り、また、１ＧＯＰ多重化データを２カメラ符号化データとサムネイル符号化データとに分ける。そして、２カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

次に、第１デコーダ部４２２は、２カメラ符号化データを復号し、復号した２カメラ映像データのフレームレート、ビットレート、画素数と２カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の２カメラ映像をメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報の映像をサムネイル映像と判断する。メイン映像（２カメラ映像）は、メイン映像である２カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（２カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（２カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を２カメラ映像再生開始時に同時期に送る。

次に、メイン映像表示部４３において２カメラ映像を再生する。サムネイル映像表示部４４には、サムネイル映像の再生すべきフレームを、メイン映像である２カメラ映像と同じ再生時間のフレームで同期した再生を行う。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

次に、メイン映像表示部４３において２カメラ映像を再生している際に、サムネイル映像上から視聴したいカメラ映像を選択する操作を行う。ここでは、３カメラ映像を選択したとする。これを受けて、サムネイル映像表示部４４は、３カメラ映像配信要求を送信部４５へ送る。送信部４５は、配信サーバ３０に対して３カメラ映像配信要求を送る。

次に、配信サーバ３０は、図１２に示すように、一時保存されている全多重化データのコンテンツの今、読み出してしるＧＯＰの次のＧＯＰ先頭から３カメラ符号化データとサムネイル符号化データを読み出し、読み出した３カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で順次要求元の再生端末４０−１へ配信する。図１２は、一時記憶部から要求されたカメラ映像を読み出す動作を示す図である。

これを受けて、再生端末４０−１の受信部４１は、ＧＯＰ情報、３カメラ符号化データとサムネイル符号化データの１ＧＯＰ多重化データの順で受信する。受信したＧＯＰ情報、１ＧＯＰ多重化データを復号部４２の振り分け部４２１に送る。

次に、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送り、また、１ＧＯＰ多重化データを３カメラ符号化データとサムネイル符号化データとに分け、３カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

これを受けて、第１デコーダ部４２２は、３カメラ符号化データを復号し、復号した３カメラ映像データのフレームレート、ビットレート、画素数と３カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の３カメラ映像をメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像をサムネイル映像と判断する。メイン映像（３カメラ映像）は、メイン映像である３カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（３カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（３カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を３カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３では３カメラ映像が再生され、サムネイル映像表示部４４では、サムネイル映像の再生すべきフレームを、メイン映像である３カメラ映像と同じ再生時間のフレームで同期した再生が行われることになる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

前述した処理動作を繰り返すことにより、視聴したいカメラを選択する度にメイン映像表示部４３には、選択したカメラの映像が表示されることになる。また、再生を停止する場合は、入力部４６の停止ボタン操作等により再生の停止を行う。

次に、複数カメラ映像を選択した場合の処理動作を説明する。メイン映像表示部４３は、２カメラ映像を再生している際に、サムネイル映像上から視聴したい１カメラ映像と２カメラ映像の２つのカメラ映像を選択されると、１カメラ映像と２カメラ映像の配信要求を送信部４５へ送る。送信部４５は、配信サーバ３０に対して１カメラ映像、２カメラ映像の配信要求を送る。

これを受けて、配信サーバ３０は、図１３に示すように、一時保存されている全多重化データのコンテンツの今、読み出しているＧＯＰの次のＧＯＰ先頭から１カメラ、２カメラ符号化データとサムネイル符号化データを読み出し、読み出した１カメラ、２カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で順次要求元の再生端末へ配信する。図１３は、一時記憶部から要求されたカメラ映像を読み出す動作を示す図である。

次に、受信部４１は、ＧＯＰ情報、１カメラ、２カメラ符号化データとサムネイル符号化データの１ＧＯＰ多重化データの順で受信する。受信したＧＯＰ情報、１ＧＯＰ多重化データを復号部４２の振り分け部４２１に送る。

これを受けて、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送る。また、振り分け部４２１は、１ＧＯＰ多重化データを１カメラ、２カメラ符号化データとサムネイル符号化データとに分け、１カメラ、２カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

次に、第１デコーダ部４２２は、１カメラ、２カメラ符号化データを復号し、復号した１カメラ映像、２カメラ映像データのフレームレート、ビットレート、画素数と１カメラ映像、２カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の１カメラ映像、２カメラ映像をメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像をサムネイル映像と判断する。メイン映像（１カメラ映像、２カメラ映像）は、メイン映像である１カメラ映像、２カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（１カメラ映像、２カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生すべきフレームを決定する。

例えば、制御部４２４が、メイン映像（１カメラ映像、２カメラ映像）はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

次に、制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像（１カメラ映像、２カメラ映像）を１フレーム単位で再生時間順にメイン映像表示部４３に同時に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像（１カメラ映像、２カメラ映像）のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（１カメラ映像、２カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像（１カメラ映像、２カメラ映像）とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像（１カメラ映像、２カメラ映像）を１フレーム単位で再生時間順にメイン映像表示部４３に同時に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を１カメラ映像、２カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３に１カメラ映像、２カメラ映像が再生されることになる。また、サムネイル映像表示部４４には、サムネイル映像の再生すべきフレームを、メイン映像である１カメラ映像、２カメラ映像と同じ再生時間のフレームで同期した再生が行われる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

次に、図１４を参照して、図１に示す配信サーバ３０の変形例を説明する。図１４は、図１に示す配信サーバ３０の変形例の構成を示すブロック図である。図１４において、再生端末４０−１の構成は、図２と同じであるので詳細な説明を省略する。配信サーバ３０は、保存部３００を備え、保存部３００に複数のカメラ映像の符号化データとサムネイル映像の符号化データの全多重化データを蓄積している。要求されたカメラ映像とサムネイル映像を保存部３００から読み出し、多重化し、ＧＯＰ情報を作成して要求元の再生端末４０−１に対してＧＯＰ情報、１ＧＯＰ多重化データの順で配信する。配信サーバ３０から要求元である再生端末４０−１へ配信するＧＯＰの構成は、前述した構成と同じであるので詳細な説明を省略する。

次に、図１４に示す配信サーバ３０と再生端末４０−１の処理動作を説明する。まず再生端末４０−１の入力部４６から入力されたコンテンツＡの２カメラ映像配信要求と再生時間を送信部４５に送る。ここでは、要求コンテンツは、コンテンツＡの２カメラ映像とする。要求する再生時間は、要求したカメラ映像の再生を開始する時間である。ここでは、コンテンツ先頭の０秒とする。

次に、再生端末４０−１の送信部４５からコンテンツＡの２カメラ映像と再生時間の要求を配信サーバ３０に行う。コンテンツＡは、複数のカメラ映像の符号化データとサムネイル映像の符号化データを多重化したデータである。

次に、配信サーバ３０は、図１５に示すように保存部３００から要求された再生時間０秒のＧＯＰの先頭からコンテンツＡの２カメラ符号化データとサムネイル符号化データをＧＯＰ単位で読み出し、読み出した２カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で順次要求元の再生端末４０−１へ配信する。図１５は、保存部３００から要求されたカメラ映像を読み出す動作を示す図である。

次に、再生端末４０−１の受信部４１は、ＧＯＰ情報、２カメラ符号化データとサムネイル符号化データの１ＧＯＰ多重化データの順で受信する。受信したＧＯＰ情報、１ＧＯＰ多重化データを復号部４２の振り分け部４２１に送る。

これを受けて、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送る。また、１ＧＯＰ多重化データを２カメラ符号化データとサムネイル符号化データとに分け、２カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

次に、第１デコーダ部４２２は、２カメラ符号化データを復号し、復号した２カメラ映像データのフレームレート、ビットレート、画素数と２カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、再生端末の制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の２カメラ映像からメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像からサムネイル映像と判断する。メイン映像（２カメラ映像）は、メイン映像である２カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（２カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

次に、制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（２カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を２カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３では２カメラ映像が再生されることになる。また、サムネイル映像表示部４４には、サムネイル映像の再生すべきフレームを、メイン映像である２カメラ映像と同じ再生時間のフレームで同期した再生が行われる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部４４に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

次に、２カメラ映像を再生している際に、サムネイル映像上から視聴したいカメラ映像として３カメラ映像が選択されると、メイン映像表示部４３は、３カメラ映像配信要求を送信部４５へ送る。送信部４５は、配信サーバ３０に対して３カメラ映像配信要求を送る。

次に、配信サーバ３０は、図１６に示すように保存部３００に保存されている多重化データのコンテンツＡの今、読み出してしるＧＯＰの次のＧＯＰ先頭から３カメラ符号化データとサムネイル符号化データをＧＯＰ単位で読み出し、読み出した３カメラ符号化データとサムネイル符号化データとを多重化して、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で順次要求元の再生端末４０−１へ配信する。図１６は、保存部３００から要求されたカメラ映像を読み出す動作を示す図である。

これを受けて、受信部４１は、ＧＯＰ情報、３カメラ符号化データとサムネイル符号化データの１ＧＯＰ多重化データの順で受信する。受信したＧＯＰ情報、１ＧＯＰ多重化データを復号部４２の振り分け部４２１に送る。

次に、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送り、また、１ＧＯＰ多重化データを３カメラ符号化データとサムネイル符号化データとに分け、３カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

次に、第１デコーダ部４２２は、３カメラ符号化データを復号し、復号した３カメラ映像データのフレームレート、ビットレート、画素数と３カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の３カメラ映像からメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像からサムネイル映像と判断する。メイン映像（３カメラ映像）は、メイン映像である３カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（３カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

次に、制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（３カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を３カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３では３カメラ映像が再生されることになる。また、サムネイル映像表示部４４では、サムネイル映像の再生すべきフレームを、メイン映像である３カメラ映像と同じ再生時間のフレームで同期した再生が行われる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部４４に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

次に、図１７を参照して、再生端末の変形例を説明する。図１７は、図１に示す再生端末４０−１の変形例の構成を示すブロック図である。図１７において、図２に示す再生端末４０−１と同一の部分には同一の符号を付し、その説明を省略する。この図に示す再生端末４００−１が図２に示す再生端末４０−１と異なる点は、受信部４１、送信部４５に代えて、保存部４７が設けられている点である。

保存部４７は、多重化した複数のカメラ映像の符号化データとサムネイル映像の符号化データを保存している。保存部４７から振り分け部４２１へ送るＧＯＰの構成は、前述した構成と同じであるので、ここでは詳細な説明を省略する。入力部４６は、保存部４７に保存されている視聴したいコンテンツを指定するのに用いる。

次に、図１７に示す再生端末４００−１の処理動作を説明する。まず、再生端末４００−１の入力部４６から入力されたコンテンツＡの２カメラ映像再生要求を保存部４７に送る。ここでは、要求コンテンツは、コンテンツＡの２カメラ映像とする。再生開始時間は、コンテンツ先頭の０秒とする。

次に、入力部４６から要求された再生時間０秒のＧＯＰの先頭から保存部４７からコンテンツＡの２カメラ符号化データとサムネイル符号化データをＧＯＰ単位で読み出し、読み出した２カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で振り分け部４２１へ送る。要求する再生時間は、要求したカメラ映像の再生を開始する時間である。ここでは、コンテンツ先頭の０秒とする。

これを受けて、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送る。また、振り分け部４２１は、１ＧＯＰ多重化データを２カメラ符号化データとサムネイル符号化データとに分け、２カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

次に、第１デコーダ部４２２は、２カメラ符号化データを復号し、復号した２カメラ映像データのフレームレート、ビットレート、画素数と２カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の２カメラ映像からメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像からサムネイル映像と判断する。メイン映像（２カメラ映像）は、メイン映像である２カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（２カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

次に、制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（２カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を２カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３では２カメラ映像が再生されることになる。サムネイル映像表示部４４では、サムネイル映像の再生すべきフレームを、メイン映像である２カメラ映像と同じ再生時間のフレームで同期した再生が行われる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部４４に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

次に、２カメラ映像を再生している際に、サムネイル映像上から視聴したいカメラ映像として３カメラ映像が選択されると、メイン映像表示部４３は、３カメラ映像要求を保存部４７へ送る。

これを受けて、保存部４７は、図１８に示すように保存されている全多重化データのコンテンツＡの今、読み出しているＧＯＰの次のＧＯＰ先頭から３カメラ符号化データとサムネイル符号化データをＧＯＰ単位で読み出し、読み出した３カメラ符号化データとサムネイル符号化データとを多重化し、ＧＯＰ情報を作成し、ＧＯＰ情報、１ＧＯＰ多重化データの順で復号部４２振り分け部４２１へ送る。図１８は、保存部４７から要求されたカメラ映像を読み出す動作を示す図である。

次に、振り分け部４２１は、ＧＯＰ情報を第１デコーダ部４２２、第２デコーダ部４２３に送る。また、振り分け部４２１は、１ＧＯＰ多重化データを３カメラ符号化データとサムネイル符号化データとに分け、３カメラ符号化データは第１デコーダ部４２２、サムネイル符号化データは第２デコーダ部４２３にそれぞれ送る。

これを受けて、第１デコーダ部４２２は、３カメラ符号化データを復号し、復号した３カメラ映像データのフレームレート、ビットレート、画素数と３カメラ映像であることを制御部４２４に通知する。第２デコーダ部４２３は、サムネイル符号化データを復号し、復号したサムネイル映像のフレームレート、ビットレート、画素数、カメラ台数とサムネイル映像であることを制御部４２４に通知する。制御部４２４は、ＧＯＰ情報、各符号化データからカメラ映像、サムネイル映像、フレームレート、ビットレート、画素数、カメラ台数を知ることができる。

次に、制御部４２４は、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。制御部４２４は、第１デコーダ部４２２から送信される情報の３カメラ映像からメイン映像と判断する。サムネイル映像の場合は、第２デコーダ部４２３から送信される情報のサムネイル映像からサムネイル映像と判断する。メイン映像（３カメラ映像）は、メイン映像である３カメラ映像のフレームレートで再生可能な事が条件で、制御部４２４は、メイン映像（３カメラ映像）を再生しながら、サムネイル映像のフレームレート、ビットレート、画素数と、再生端末のＣＰＵ（演算処理能力）、ＧＰＵ（画像処理能力）の再生に関わる処理性能から、サムネイル映像の１ＧＯＰ当たりに再生するフレームを決定する。

例えば、制御部４２４が、メイン映像はメイン映像のフレームレートで再生し、処理能力が低くサムネイル映像を再生する能力を１ＧＯＰ当たり１／３のフレーム数と判断した場合、再生するサムネイル映像のフレームは５つで、ＧＯＰの先頭から第１、第４、第７、第１０、第１３フレームとする。１／２の再生能力と判断した場合、再生するフレームは８つで、第１、第３、第５、第７、第９、第１１、第１３、第１５フレームとする。第１フレームは、必ず入れるものとする。各フレームには再生時間のタイムスタンプが付与されている。再生端末の処理能力は、１／１５までとし、最低、第１フレームは再生可能とする。

次に、制御部４２４は、メイン映像とサムネイル映像を各表示部に送る再生時間、タイミングを監視し、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送る。また、制御部４２４は、第１デコーダ部４２２がメイン映像のメイン映像表示部４３に送る再生時間を監視し、サムネイル映像の再生すべきフレームがメイン映像（３カメラ映像）と同じ再生時間になった時、第２デコーダ部４２３にサムネイル映像の再生すべきフレームをサムネイル映像表示部４４に送信する指示を出す。つまり、メイン映像とサムネイル映像の同じ再生時間のフレームを同じタイミングでメイン映像表示部４３、サムネイル映像表示部４４に送り出す。

また、制御部４２４は、サムネイル映像が、１ＧＯＰ当たり、０．５秒で１５フレーム再生可能と判断した場合、第１デコーダ部４２２には、メイン映像を１フレーム単位で再生時間順にメイン映像表示部４３に送る指示を送り、第２デコーダ部４２３には、サムネイル映像を１フレーム単位で再生時間順にサムネイル映像表示部４４に送る指示を３カメラ映像再生開始時に同時期に送る。

これにより、メイン映像表示部４３ではカメラ映像が再生されることになる。サムネイル映像表示部４４では、サムネイル映像の再生すべきフレームを、メイン映像である３カメラ映像と同じ再生時間のフレームで同期した再生が行われる。サムネイル映像再生が１ＧＯＰ当たり、０．５秒で１５フレームより少ない場合、サムネイル映像表示部４４に再生しているサムネイル映像を、次のフレームを受け取るまで表示する。

前述した処理動作を繰り返すことにより、視聴したいカメラを選択する度にメイン映像表示部４３には、選択したカメラの映像が表示されることになる。また、再生を停止する場合は、入力部４６の停止ボタン操作等により再生の停止を行う。

以上説明したように、複数の映像の中から選択されたメイン映像はメイン映像のフレームレートで再生し、再生端末側の再生に関わる処理性能から、複数の映像を縮小して一覧にしたサムネイル映像の１ＧＯＰ当たりに再生するフレームを決定するようにした。また、復号部の制御部がメイン映像をメイン映像表示の際に送る再生時間を監視し、サムネイル映像の再生すべきフレームをメイン映像の同じ再生時間のフレームと同じタイミングでサムネイル映像を表示するようにした。

これにより、１種類のコンテンツのみで、再生端末の処理能力に合った再生を行うことが可能となる。また、処理能力が低い再生端末であっても、再生端末の処理能力に合わせた再生が可能となり、メイン映像と同じ再生時間の他のカメラ映像の状況を知ることができる。そのため、他のカメラ映像の選択を容易に行うことが可能となる。また、配信サーバは要求された映像を配信し、再生端末側で再生するフレームを決定するようにしたため、配信サーバは再生端末毎の要求に応じる必要がないため配信サーバの処理負荷を低減できる。

なお、図１に示す符号化装置１０−１〜ｍ、多重化装置２０、配信サーバ３０及び再生端末４０−１〜ｋの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像配信処理と映像再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

再生端末の処理能力に合わせてメインの映像とサムネイル映像とを同時に再生することが不可欠な用途に適用できる。

１〜ｎ・・・出力装置、１０−１〜ｍ・・・符号化装置、１１・・・受信部、１３・・・結合部、１４・・・符号化部、１６・・・送信部、２０・・・多重化装置、３０・・・配信サーバ、３１・・・受信部、３２・・・受信部、３３・・・送信部、３４・・・一時記憶部、３００・・・保存部、４０−１〜ｋ、４００−１〜ｋ・・・再生端末、４１・・・受信部、４２・・・復号部、４２１・・・振り分け部、４２２・・・第１デコーダ部、４２３・・・第２デコーダ部、４２４・・・制御部、４３・・・メイン映像表示部、４４・・・サムネイル映像表示部、４５・・・送信部、４６・・・入力部、４７・・・保存部

Claims (8)

1. 複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを再生する映像再生装置であって、
   前記サムネイル映像と、前記選択映像との配信を要求し、該要求に応じて配信された前記サムネイル映像の符号化データと、前記選択映像の符号化データとを受信する受信手段と、
   前記サムネイル映像の符号化データと、前記選択映像の符号化データとをそれぞれ復号する復号手段と、
   前記サムネイル映像の再生に必要な情報と、前記映像再生装置の処理能力の情報とに基づき前記サムネイル映像の再生すべきフレームを決定するフレーム決定手段と、
   決定された前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期して再生する再生手段と
   を備えることを特徴とする映像再生装置。
2. 前記再生手段は、
   前記サムネイル映像のフレームレート、ビットレート、画素数と、前記映像再生装置の再生に関わる処理能力に基づき、前記サムネイル映像の１ＧＯＰ毎の再生フレームを決定することを特徴とする請求項１に記載の映像再生装置。
3. 前記再生手段は、
   前記選択映像の符号化データを復号して得られる映像の再生時間を監視し、前記選択映像の同じ再生時間のフレームと同じタイミングで前記サムネイル映像の符号化データを復号して得られるサムネイル映像の再生フレームを再生することにより、前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期させることを特徴とする請求項１または２に記載の映像再生装置。
4. 複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを配信する映像配信装置であって、
   前記サムネイル映像と、前記選択映像との配信要求を受信する受信手段と、
   前記配信要求に応じて、前記サムネイル映像の符号化データと、前記選択映像の符号化データとを配信する配信手段と
   を備えることを特徴とする映像配信装置。
5. 複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを再生する映像再生装置が行う映像再生方法であって、
   前記サムネイル映像と、前記選択映像との配信を要求し、該要求に応じて配信された前記サムネイル映像の符号化データと、前記選択映像の符号化データとを受信する受信ステップと、
   前記サムネイル映像の符号化データと、前記選択映像の符号化データとをそれぞれ復号する復号ステップと、
   前記サムネイル映像の再生に必要な情報と、前記映像再生装置の処理能力の情報とに基づき前記サムネイル映像の再生すべきフレームを決定するフレーム決定ステップと、
   決定された前記サムネイル映像の再生すべきフレームと、前記選択映像のフレームとを同期して再生する再生ステップと
   を有することを特徴とする映像再生方法。
6. 複数の映像それぞれのサムネイル映像と、複数の前記サムネイル映像の中から選択された選択映像とを配信する映像配信装置が行う映像配信方法であって、
   前記サムネイル映像と、前記選択映像との配信要求を受信する受信ステップと、
   前記配信要求に応じて、前記選択映像の符号化データと、前記サムネイル映像の符号化データとを配信する配信ステップと
   を有することを特徴とする映像配信方法。
7. コンピュータを、請求項１から３のいずれか１項に記載の映像再生装置として機能させるための映像再生プログラム。
8. コンピュータを、請求項４に記載の映像配信装置として機能させるための映像配信プログラム。

Images