JP2010178147A - ストリーミング配信システム、その動作制御方法及びプログラム - Google Patents

ストリーミング配信システム、その動作制御方法及びプログラム Download PDF

Info

Publication number
JP2010178147A
JP2010178147A JP2009019818A JP2009019818A JP2010178147A JP 2010178147 A JP2010178147 A JP 2010178147A JP 2009019818 A JP2009019818 A JP 2009019818A JP 2009019818 A JP2009019818 A JP 2009019818A JP 2010178147 A JP2010178147 A JP 2010178147A
Authority
JP
Japan
Prior art keywords
content
key frame
resolution
seek position
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009019818A
Other languages
English (en)
Other versions
JP5267165B2 (ja
Inventor
Chihiro Harada
千尋 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009019818A priority Critical patent/JP5267165B2/ja
Publication of JP2010178147A publication Critical patent/JP2010178147A/ja
Application granted granted Critical
Publication of JP5267165B2 publication Critical patent/JP5267165B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】本発明は、ストリーミング配信における再生側でシーク中に所望のシーク位置を容易かつ迅速に検索可能ならしめる配信システムを提供する。
【解決手段】配信管理装置(10)と端末装置20を含む配信システム1である。端末装置20は、コンテンツ再生中にシークする際、該シーク位置に対応する低解像度のキーフレームを配信管理装置から取得するとともにこれを表示部32に描画する再生制御手段(22)を備える。
【選択図】図1

Description

本発明は、ストリーミング配信システム、端末装置、ストリーミング配信システムなどの動作制御方法及びプログラムに関し、特にストリーミング配信におけるストリーミング配信システム、端末装置、ストリーミング配信動作制御方法、及び配信システム用受信動作制御プログラムに関する。
通信網を介して配信サーバより配信された映像や音声などのストリーミングコンテンツ(視聴可能なマルチメディアデータ)を、再生プレーヤを搭載した端末装置で再生することが行われている。これにより、全データの受信完了を待つことなく、リアルタイムにストリーミングコンテンツの視聴が可能となっている。
このようなストリーミング配信において再生プレーヤ側で再生される映像に関し早送りや巻き戻しなどのように再生位置(再生開始位置)を変更する際には、一般的には映像を再生する再生プレーヤのGUI(グラフィカル・ユーザ・インターフェース)上にあるスライダーのつまみ(シークバーともいう)を操作入力に応じて移動させる(以下、このような動作を「シーク」という)ことにより再生位置を変更する。
このように、表示画面上でシークバーを操作入力によって動かし、映像再生中に目的の再生位置までスキップすることで、早送りや巻き戻しと同等の機能を実行して目的の再生位置にて通常速の再生を実行できる。
このような配信システムにおいて再生位置を変更する場合の関連技術として、例えば特許文献1乃至特許文献4などが挙げられる。このうち特許文献1では、Iピクチャ(キーフレーム)を受信した順に複数の静止画をサムネイル形式(画像などを小さくして全体像をおおまかに把握するためのもの)で表示するようにしている。このサムネイル表示画面において再生開始位置を選択できるようにしている。高品質の映像のキーフレームをリアルタイムに入手することは難しい為、特許文献1などの関連技術では、事前にサムネイルを作成し時間情報とリンクするようにしている。
特開2007−6025号公報 特開2003−348593号公報 特開2006−140777号公報 特開2008−236390号公報
ところで、上述のような関連技術において、シーク後に再生される映像の再生開始位置は、必ずしも所望した再生開始位置とならないことが多く、ユーザは、シークバーを移動させる操作を何度も繰り返すことで、所望の再生開始位置に至るまで調整しなければならない、という不都合があった。
このため、この調整作業の間は、所望する再生開始位置から映像の再生が開始されるまで何度もシーク、再生を繰り返すことになり、探索作業が煩雑でかつ正確な位置決定が困難となる。
更に、特許文献1などの関連技術では、長時間の映像ファイルなどでは大量のサムネイルが必要となったり、またサムネイル作成として事前に必要なデータ量はコンテンツ長や取得間隔に依存するなど端末装置側で必要となるデータ量が膨大になり、これらのデータ処理によって再生開始位置の変更に時間がかかるという不都合があった。
又、シークをする際に、再生プレーヤ側でキーフレームの検索を行ったり、キーフレームのリストなど種々のデータを別途必要としなければならないなど、端末装置側で必要となるデータ量が膨大になり、これらのデータ処理によって再生開始位置の変更に時間がかかるという不都合があった。
本発明の目的は、上述の関連技術の課題を解決することにあり、ストリーミング配信において、シーク中に所望のシーク位置(再生開始位置)を探索する際の煩雑性並びに正確な位置決定の困難性を回避し且つ探索に要する時間を短縮することを可能としたストリーミング配信システム、端末装置、ストリーミング配信動作制御方法、及び配信システム用受信動作制御プログラムを提供することにある。
上記目的を達成するため、本発明のストリーミング配信システムは、ネットワークを介して端末装置へコンテンツをストリーミング方式で配信する配信管理装置を備えてなるストリーミング配信システムにおいて、前記端末装置は、前記配信管理装置から配信されるコンテンツを受信するコンテンツ受信手段と、この受信されたコンテンツを再生し出力する再生出力手段と、前記コンテンツ受信手段及び再生出力手段の動作を外部指令に基づいて制御する再生制御手段とを備え、前記再生制御手段が、外部入力されるシーク位置変更要求に対応して作動し、前記コンテンツにかかるシーク位置のキーフレームを当該コンテンツの解像度よりも低い解像度で送信するように前記コンテンツ受信手段を介して前記配信管理装置に要求するキーフレーム要求送信機能と、前記配信管理装置から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行するシーク位置変更機能と、を備えていることを特徴としている。
上記目的を達成するため、本発明の端末装置は、ストリーミング方式でコンテンツを配信する配信管理装置からネットワークを介して受信した前記コンテンツを再生する端末装置であって、前記配信管理装置から配信されるコンテンツを受信するコンテンツ受信手段と、この受信されたコンテンツを再生し出力する再生出力手段と、前記コンテンツ受信手段及び再生出力手段の動作を外部指令に基づいて制御する再生制御手段とを備え、前記再生制御手段が、外部入力されるシーク位置変更要求に対応して作動し、前記コンテンツにかかるシーク位置のキーフレームを当該コンテンツの解像度よりも低い解像度で送信するように前記コンテンツ受信手段を介して前記配信管理装置に要求するキーフレーム要求送信機能と、前記配信管理装置から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行するシーク位置変更機能と、を備えていることを特徴としている。
上記目的を達成するため、本発明のストリーミング配信動作制御方法は、ネットワークを介して配信管理装置から端末装置へコンテンツをストリーミング方式で配信するストリーミング配信動作制御方法であって、前記配信管理装置から配信されたコンテンツの再生処理動作中に前記端末装置に外部からシーク位置変更要求があった場合に、当該端末装置の再生制御手段は前記配信管理装置に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信し、この端末装置から発信されたキーフレームの送信要求に基づいて前記配信管理装置は配信中のコンテンツにかかる低解像度のキーフレームを予め備えているSVCコンテンツから抽出して前記端末装置へ配信し、この配信された低解像度のキーフレーム情報に基づいて前記再生制御手段が機能して前記シーク位置変更要求にかかる他のシーク位置を検索すると共に、前記再生制御手段はこの検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、これにより、前記外部からのシーク位置変更要求を前記端末装置が実行するようにしたことを特徴としている。
上記目的を達成するため、本発明の配信システム用受信動作制御プログラムは、ネットワークを介して配信管理装置から端末装置へコンテンツをストリーミング方式で配信するストリーミング配信システムにあって、前記端末装置の再生制御手段が備えているコンピュータに、前記配信管理装置から配信されたコンテンツの再生処理動作中に前記端末装置に外部からシーク位置変更要求があった場合に稼働し、前記配信管理装置に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信するキーフレーム送信要求機能、この端末装置から発信されたキーフレームの送信要求に対応して前記配信管理装置から送られてくる前記配信中のコンテンツにかかる低解像度のキーフレームを受信する低解像度キーフレーム受信機能、この配信された低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索するシーク位置検索機能、および上記検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、これにより、前記外部からのシーク位置変更要求を実行するシーク位置変更処理機能、を実行させるようにしたことを特徴としている。
本発明によれば、配信管理装置から低解像度のキーフレームを取得しこれに基づいてシーク位置の変更を実行するようにしたので、受信するデータ量を低減しつつストリーミング配信において端末装置側でシーク位置の低解像度のキーフレームの映像を目視で確認しつつ探索することができ、所望のシーク位置が容易でしかも正確かつ迅速に決定できるという、関連技術にない優れたストリーミング配信システム、端末装置、ストリーミング配信動作制御方法、及び配信システム用受信動作制御プログラムを提供することができる。
本発明の一実施形態によるストリーミング配信システムの全体構成の一例を示すブロック図である。 本発明の一実施形態によるストリーミング配信システムの詳細構成の一例を示すブロック図である。 本発明の一実施形態によるストリーミング配信システムにおける動作処理手順の一例を示すネットワークシーケンス図である。 本発明の一実施形態によるストリーミング配信システムにおける端末装置側の動作処理手順の一例を示すフローチャートである。 本発明の一実施形態によるストリーミング配信システムにおける端末装置側の表示例を示す説明図である。 本発明の一実施形態によるストリーミング配信システムにおける端末装置側の表示例を示す説明図である。 本発明の一実施形態によるストリーミング配信システムにおける端末装置側の表示例を示す説明図である。
以下、本発明の「ストリーミング配信システム」の好適な実施の形態の一例について、図面を参照して具体的に説明する。
〔第1の実施の形態〕
(ストリーミング配信システムの基本的構成)
先ず、ストリーミング配信システムの基本的構成について説明する。図1に示すように、本実施形態の配信システム1は、ストリーミング方式でコンテンツを配信する配信管理装置の一部又は一例である映像配信サーバ10と、前記映像配信サーバ10からネットワーク(通信網)5を介して受信した前記コンテンツを再生する端末装置(クライアント)20とを備える。
端末装置20は、前記配信管理装置としての映像配信サーバ10から配信されるコンテンツを受信するコンテンツ受信手段の一部又は一例である映像受信部21を備える。
又、端末装置20は、この受信されたコンテンツを再生し出力する再生出力手段の一部又は一例である復号部23を備える。
更に、端末装置20は、前記コンテンツ受信手段としての映像受信部21及び再生出力手段としての復号部23の動作を、外部指令に基づいて制御する再生制御手段の一部又は一例である映像データ制御部22を備える。
前記再生制御手段としての映像データ制御部22が、図2に示すように、外部入力されるシーク位置変更要求に対応して作動し、前記コンテンツにかかるシーク位置のキーフレームを当該コンテンツの解像度よりも低い解像度で送信するように前記コンテンツ受信手段としての映像受信部21を介して前記配信管理装置としての映像配信サーバ10に要求するキーフレーム要求送信機能22aを備える。
更に、再生制御手段としての映像データ制御部22が、前記配信管理装置としての映像配信サーバ10から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行するシーク位置変更機能22cを備える。
以上のような基本的構成を有することにより、配信管理装置としての映像配信サーバ10から低解像度のキーフレームを取得しこれに基づいてシーク位置の変更を実行するようにしたので、受信するデータ量を低減しつつストリーミング配信において端末装置20側でシーク位置の低解像度のキーフレームの映像を目視で確認しつつ探索することができ、所望のシーク位置が容易でしかも正確かつ迅速に決定できる
すなわち、端末装置20に含まれる再生プレーヤ側で再生位置のシーク中(再生開始位置であるシーク位置の探索中)にシーク位置(再生開始位置)の画像(低解像度のキーフレームによるシーク位置対応画像)を描画することにより所望のシーク位置を容易に検索することを可能とする。
以下、このストリーミング配信システム1のさらに具体的な構成について全体構成から説明し、続いて各部の詳細構成並びに各部の具体例について説明することとする。
(ストリーミング配信システムの全体構成)
本実施形態のストリーミング配信におけるストリーミング配信システム1の全体構成を図1に示す。
映像配信サーバ10は、ネットワーク5を介して端末装置20にストリーミング方式でコンテンツを構成する映像データを配信する映像データ配信機能(コンテンツ配信機能)を有するものである。また、映像配信サーバ10は、予めコンテンツ(SVCコンテンツ)が格納されているコンテンツ収納部11よりコンテンツを読み出し、当該コンテンツを構成する映像データより任意の位置(動画像再生にかかる経時変化の時間軸上の任意の位置)のキーフレームを取得する機能を有する。
端末装置20は、前記コンテンツのシーク位置(再生開始位置)を操作入力要求(シーク位置変更要求)に応じて変更するシーク位置の検索を行うに際し、該変更指定された再生開始位置(シーク位置)に対応する低解像度のキーフレーム(変更位置対応データ、変更位置対応画像もしくはシーク位置対応画像)を前記コンテンツを構成するキーフレームより低い解像度にて前記映像配信サーバ10から取得するとともに低解像度のキーフレーム(変更位置対応データ)を描画領域に描画する再生全体制御手段20aを備える。
又、端末装置20は、再生される前記コンテンツ及び前記低解像度のキーフレーム(変更位置対応データ)の内容をそれぞれ表示する表示手段の一部又は一例である表示部32を備える。
更に、端末装置20は、前記表示部32の表示画面上にて前記コンテンツの再生中にシーク位置(再生開始位置)を変更指定するための操作入力手段の一部又は一例である操作入力部50を備える。
ここで、描画領域に描画するとは、表示部32又は再生全体制御手段20aが備えているVRAMやフレームメモリなど表示用メモリの特定記憶領域に画像(表示データ)を書き込む場合などをいう。
更に、表示部30の表示画面上に出力している場合などを含んでもよい。
この場合、再生全体制御手段20aは、前記操作入力部50による操作入力に基づき前記コンテンツのシーク位置(再生開始位置)を変更するに際し、該変更指定されたシーク位置(再生開始位置)に対応する低解像度のキーフレーム(変更位置対応データ)を前記コンテンツを構成するキーフレームより低い解像度にて前記映像配信サーバ10から取得するとともに前記低解像度のキーフレーム(変更位置対応データ)を前記表示部32に表示するための描画動作を制御する機能を備える。
又、本発明において、コンテンツは、コンテンツ符号化データ、コンテンツ復号化データ(映像データ又は表示データ、音声データを含む)などの総称である。更に、変更位置対応データ(シーク位置対応データ)は、変更位置対応符号化データ、変更位置対応復号化データ(変更位置対応表示データ又はシーク位置対応画像、変更位置対応音声データ)などの総称である。又更に、キーフレームは、キーフレーム符号化データ、キーフレーム復号化データの総称である。総称は必要におうじて適宜言い換えてもよい。
更に、端末装置20における再生全体制御手段20aは、コンテンツ受信手段としての映像受信部21、再生制御手段としての映像データ制御部22、再生出力手段としての復号部23を備え、PCやSTB(Set Top Box)などの、ストリーミングにより映像データを受信でき、復号した画像、音声を出力することが可能なものである。
映像受信部21は、ネットワーク(通信網)5を通じて映像配信サーバ10とのデータの入出力(送受信)を行うものであり、例えばモデムなどを含んでよく、送受信機能を備える。
映像データ制御部22は、映像受信部21にどのように入出力を行うのかを制御し、また、取得したデータを復号部23に出力して表示を行うための制御を行うものである。
又、映像データ制御部22は、各種プログラム・各種データを記憶しておく端末用記憶部(例えばメモリ、ハードディスク等)、これの制御を司る中央制御部(例えばCPU、MPU、DSP等)などを含んでよい。
復号部23は、符号化された映像データを復号化する機能、復号化された復号化データを音声データ、画像データに分離する機能を備える。
表示部32は、CRTや液晶ディスプレーなどの、復号部23から出力された画像を表示することが可能なものである。
音声出力部34は、スピーカなどの、復号部23から出力された音声を発することが可能なものである。
ここで、端末装置20における表示部32及び音声出力部34により、出力表示手段30を構成している。
操作入力部50は、表示部30の表示画面上(の各種入力欄等)にデータを操作入力するためのものであり、例えばキーボード・マウス・各種ボタン・表示操作部<画面上のボタン>・タッチパネル・ポインティングデバイス等があげられる。
端末装置20は、プログラム制御により動作するものであり、ネットワーク関連の通信機能を有していれば、デスクトップ、ラップトップコンピュータ、携帯電話、その他無線・有線通信機能を有する情報機器、情報家電機器(テレビ・携帯音楽プレーヤ・ゲーム機)、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
更に、配信管理装置の一例である映像配信サーバ10も、種々のコンピュータや情報機器で構成してもよい。映像配信サーバ10のハードウエア構成は、種々の情報等を表示するための管理用表示部(スクリーン)、この管理用表示部の表示画面上(の各種入力欄等)にデータを操作入力するための管理用操作入力部(例えばキーボード・マウス・各種ボタン・表示操作部<画面上のボタン>・タッチパネル等)、各種信号・データを送受信するための送受信部ないしは管理側通信部(モデムなど)、各種プログラム・各種データを記憶しておく管理側記憶部(例えばメモリ、ハードディスク等)、これらの制御を司る管理側制御部(例えばCPU、MPU、DSP等)などを備えてよい。
又、ネットワーク5を介して装置間で用いられる通信制御プロトコルとしては、例えばRTSP(Real Time Streaming Protocol)を用いてよい。更に、伝送プロトコルとしては、例えばRTP(Real Time Transport Protocol)などを用いてよい。又更に、データに対するフロー制御として例えばRTCP(RTP Control Protocol)などの伝送制御プロトコルを用いてよい。これらの各プロトコルを利用可能とした映像配信サーバ10及び端末装置20を用いることにより、前記配信システム1では、ストリーミング方式でのコンテンツ配信を特定データ単位毎にリアルタイムで行うことが可能となっている。
(各部の詳細構成)
図2に示すように、映像配信サーバ10は、前記端末装置20からの要求に含まれるシーク位置に関する情報(再生開始位置)に基づいてコンテンツ収納部11のSVCコンテンツの中から当該シーク位置かかるキーフレームを取得するシーク位置対応キーフレーム取得機能12aを備える。
又、映像配信サーバ10は、このシーク位置に対応する各解像度の各キーフレームの中から外部から指定された解像度のキーフレームを選択することにより、当該指定された解像度のキーフレームをSVCコンテンツから取得する指定解像度キーフレーム取得機能12bを有する。
この指定解像度キーフレーム取得機能12bでは、取得した前記キーフレームと前記要求に含まれる指定解像度とに基づいて当該指定解像度のキーフレーム(変更位置対応データ)を取得する。
更に、映像配信サーバ10は、前記端末装置20から低解像度のキーフレームが要求された場合には直ちにこれに対応した低解像度のキーフレームを出力する低解像度キーフレーム出力機能12cを備えている。
この低解像度キーフレーム出力機能12cでは、この低解像度のキーフレーム(変更位置対応データ)を前記端末装置20へ送り込む機能を含む。
又、再生全体制御手段20aは、映像受信部21及び映像データ制御部22を備え、この映像データ制御部22は、映像受信部21を制御する。
映像データ制御部22は、前記配信管理装置としての映像配信サーバ10から配信されたコンテンツの再生処理動作中に前記端末装置20に外部からシーク位置変更要求があった場合に稼働し、前記配信管理装置としての映像配信サーバ10に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信するキーフレーム送信要求機能22aを備える。
このキーフレーム送信要求機能22aは、シーク位置(再生開始位置)に応じた低解像度のキーフレーム(変更位置対応データ)を指定解像度にて送信するように前記配信管理装置の一部又は一例である映像配信サーバ10に要求を映像受信部21を介して送信する機能を備える。
又、映像データ制御部22は、この端末装置20から発信されたキーフレームの送信要求に対応して前記配信管理装置としての映像配信サーバ10から送られてくる前記配信中のコンテンツにかかる低解像度のキーフレームを受信する低解像度キーフレーム受信機能22bを備える。
この低解像度キーフレーム受信機能22bは、前記指定解像度のキーフレーム(変更位置対応データ)を前記配信管理装置の一部又は一例である映像配信サーバ10から映像受信装置21を介して受信する機能を備える。
更に、映像データ制御部22は、この配信された低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索するシーク位置検索機能22c1を備える。
又更に、映像データ制御部22は、上記検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、これにより、前記外部からのシーク位置変更要求を実行するシーク位置変更処理機能22c2を備える。
ここで、シーク位置検索機能22c1とシーク位置変更処理機能22c2とによりシーク位置変更機能22cを構成している。
このシーク位置変更機能22cは、前記配信管理装置としての映像配信サーバ10から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行する。
更に、映像データ制御部22におけるキーフレーム送信要求機能22aでは、低解像度のキーフレーム(変更位置対応データ)を描画に必要な最低限の指定解像度にて送信するように前記配信管理装置の一部又は一例である映像配信サーバ10に要求する機能を備える。
又、映像データ制御部22は、前記再生出力手段としての復号部23によるデータ再生中に当該再生制御動作に並行して当該コンテンツにかかる特定のシーク位置を検索し変更する機能を備える。
更に又、映像データ制御部22は、前記変更にかかるシークを実行しているかどうかを判定する判定機能を備える。この際、当該シークを実行していると判定された場合に前記キーフレーム送信要求機能22aが稼働する。
ここで、前記映像配信サーバ10から得られる前記変更位置対応データは、前記コンテンツを符号化したコンテンツ符号化データの一部をなす変更位置対応符号化データである。
このため、再生全体制御手段20aは、図1に示すように、前記映像配信サーバ10から受信した低解像度のキーフレームにかかる変更位置対応符号化データを復号して変更位置対応表示データを生成する復号機能としての復号部23を備える。
この場合、再生全体制御手段20aは、映像データ制御部22を備え、映像データ制御部22は、前記コンテンツのシーク位置(再生開始位置)を操作入力要求に応じて変更するシーク位置にかかる検索を行うに際し、該変更指定された再生開始位置(シーク位置)に対応する変更位置対応データ(シーク位置対応画像)にかかる変更位置対応符号化データを前記コンテンツを構成するキーフレームより低い解像度にて前記映像配信サーバ10から取得するとともに前記変更位置対応符号化データを前記復号部23に送ることにより復号された変更位置対応表示データを前記表示部32に表示するための描画動作を制御する機能を備える。
又、図2に示すように、再生全体制御手段20aにおける映像データ制御部22は、低解像度のキーフレームにかかる前記変更位置対応表示データを前記表示手段の一部又は一例である表示部30に表示するに際しての描画制御機能22dを備える。
この描画制御機能22dでは、例えば図5に示すように、前記コンテンツにかかる再生中の画像を表示するコンテンツ表示用ウインドウG110とは別の別表示用ウインドウとしてのシーク位置対応画像表示用ウインドウG120にて低解像度のキーフレームにかかる前記変更位置対応表示データを表示するための描画動作を制御する機能を備える。
ここで、再生される映像に関し早送りや巻き戻しなどのように再生位置(再生開始位置)を変更する際には、一般的には映像を再生する再生プレーヤのGUI(グラフィカル・ユーザ・インターフェース)としての表示画面G100における例えばコンテンツ表示用ウインドウG110上にあるスライダーのつまみ(シークバーともいう)G112をポインタPOによって操作することにより操作入力に応じて矢印方向移動させる(このような動作を「シーク」という)ことにより再生位置を変更する。
このように、表示画面G100上でシークバーG112を操作入力によってドラッグして動かすことにより、映像再生中にシーク位置対応画像表示用ウインドウG120の低解像度画像を参照しながら目的の再生位置まで移動しスキップすることで、早送りや巻き戻しと同等の機能を実行して目的の再生位置にて通常速の再生を実行できる。
更に、再生全体制御手段20aにおける映像データ制御部22は、この描画制御機能22dとして、低解像度のキーフレームにかかる前記変更位置対応表示データを前記表示手段の一部又は一例である表示部32に表示するに際し、例えば図6に示すように、前記コンテンツにかかる再生中の画像G210内に低解像度のキーフレームにかかる前記変更位置対応表示データG220を埋め込むようにして表示するための描画動作を制御する機能を備えてよい。
又更に、再生全体制御手段20aにおける映像データ制御部22は、この描画制御機能22dとして、低解像度のキーフレームにかかる前記変更位置対応表示データを前記表示手段の一部又は一例である表示部32に表示するに際し、例えば図7に示すように、低解像度のキーフレームにかかる前記変更位置対応表示データG120aを引き延ばした変更位置対応拡大表示データG120bを表示するための描画動作を制御する機能を備えてよい。
ここで、本実施形態の配信システム1では、コンテンツとしてSVCコンテンツを端末装置20で視聴することを想定している。このため、コンテンツは、例えばH.264/SVC規格等によって符号化された符号化データであってよい。
又、配信システム1では、映像配信サーバ10がシーク位置にかかる画像データ(シーク位置対応データ)を端末装置20に含まれる再生プレーヤに配信するに際しては、映像配信サーバ10はSVCコンテンツから低解像度のキーフレームを動的に取得して端末装置20(再生プレーヤ)に配信する。
ここで、SVC(Scalable Video Coding:スケーラブル映像符号化)とは、単一の映像ソースから異なるフレームレートや解像度の映像を生成できる符号化技術である。
このSVCで符号化された符号化データは、異なる各解像度、異なる各フレームレート、異なる各画質などに応じた各階層データからなる階層構造をもつ符号化データとなっている。
符号化データは、例えば最大の解像度である第1解像度の第1解像度符号化データ(最上位階層)、第1解像度より低い第2解像度の第2解像度符号化データ、第2解像度より低い第3解像度符号化データ、・・・・・、最小の解像度である第k解像度(kは1以上の自然数)の第k解像度符号化データ(最下位階層)を備えた階層構造となっており、必要に応じてこれらを多重化したものとして構成される。
SVC符号化による階層化では、異なる各解像度で階層化することを空間(画面内)スケーラビリティといい、異なる各フレームレート(単位時間のフレーム数)で階層化することを時間スケーラビリティといい、異なる各符号化雑音(画質)で階層化することをSNR(Signal to Noise Ratio:信号対雑音比)スケーラビリティといい、これらが組み合わさった構造となっている。
ここで、例えばH.264/SVC規格では、符号化データであるビットストリームの構成上、空間スケーラビリティとして最大8層、時間スケーラビリティとして最大8層、SNRスケーラビリティとして最大16層まで階層を重ねることができる。
又、空間(画面内)スケーラビリティでは、単純に縮小した画像を下位階層とするのみならず、画像内の特定領域を切り出して下位階層とすることもできる。
ビットストリームのデータ構造では、例えば、各階層のSPS(Sequence Parameter set:シーケンスパラメータセット)、各階層のPPS(Picture Parameter set:ピクチャパラメータセット)、時間スケーラビリティによる各階層のアクセスユニットを備える。
1つのアクセスユニットには、複数のスライスデータを備え、1つのスライスデータにはそのNALユニットにDID(dependency_id:空間スケーラビリティの階層ID情報)、QID(quality_id:SNRスケーラビリティの階層ID情報)が付与されている。
又、アクセスユニットには、TID(temporal_id:時間スケーラビリティの階層ID情報)が付与されている。1つのアクセスユニットには、表示時刻が同じスライスデータを含む。1つのアクセスユニット内のスライスデータは、空間スケーラビリティの階層ID情報の小さい順(下位階層)にソートされ、各々のDIDの中でSNRスケーラビリティの階層ID情報の小さい順でソートされる。
更に、シーケンスパラメータセットには、階層間でフレーム端点にずれがある場合(画像内の特定領域を切り出して下位階層とする場合)などの位置関係の情報を含む。
コンテンツがコンテンツ符号化データの場合、コンテンツ符号化データは、H.264/SVC規格に従って符号化され少なくとも同一のフレームについて異なる各解像度毎に各符号化データを階層化した階層構造を有するものである
このように、ビットストリーム内で、階層を構成するスライスデータの空間スケーラビリティの階層ID(識別子)情報、時間スケーラビリティの階層ID情報などを参照することにより、所望の時刻の所望の解像度のピクチャ(フレーム)を取得できる。
このため、端末装置20における再生プレーヤは、シーク中にシーク位置にかかる画像データ(シーク位置対応データ)を描画に必要な最低限の解像度で送信するよう映像配信サーバ10に要求する。
要求を受けた映像配信サーバ10は、視聴中のコンテンツがSVCコンテンツの場合は、指定された解像度におけるキーフレーム(シーク位置対応データ)を端末装置20に送信することができる。
更に、端末装置20における再生プレーヤでは、シーク中にシーク位置の画像を描画するに際してはシーク位置の画像の概要が分かればよく、元の映像と同等の詳細な情報が必要であることは少ない。
例えば、図5に示すように、これは画像を小さめの別窓(別表示用ウインドウとしてのシーク位置対応画像表示用ウインドウG120)にて表示を行ったり、図6に示すように、再生中の映像内に画像を埋め込んで描画を行ったり、シーク位置の画像を描画する際は元の映像サイズよりも小さいサイズで描画することを想定している。
また、シーク位置の画像の概要が分かる程度でよい、という前提であれば、図7に示すように、低解像度の画像を引き延ばして描画を行うことも可能である。
このように、端末装置20側では、シーク位置の画像をリアルタイムに描画することによりシーク中にその位置の画像(映像)が見えるため、シーク位置を目視で確認して検索、およびシーク位置の決定を行うことが可能である。
映像配信サーバ10側では、端末装置20における再生プレーヤより要求されたシーク位置に対応するキーフレームを取得する機能を有する。
又、映像配信サーバ10は、SVCコンテンツにおいて当該キーフレームに基づいて任意の各解像度の各キーフレームの中から指定解像度のキーフレームを取得する機能を有する。
本実施形態では、キーフレームをあらかじめ映像配信サーバから受信して記憶して余分な領域を確保する必要はない。
又、本実施形態では、再生開始時にキーフレームをあらかじめ映像配信サーバから受信するために別途時間を必要としない。
更に、本実施形態では、シーク時に必要となるデータをあらかじめサーバ側に準備する必要はない。
更に又、本実施形態では、SVCコンテンツを利用することでシーク位置のキーフレームを動的に低解像度にして送信できるため、受信時間および受信から描画に必要とする時間の短縮が可能である。
一般に、ストリーミングに使用される映像データはキーフレームとキーフレーム間の差分情報をもつフレームから構成される。キーフレームとは、映像データ内に一定間隔で挿入されるフレームであり、キーフレームのみのデータから元の画像へデコードすることが可能なフレームである。また、差分情報を持つフレームとは、直前のフレームとの差分計算を行って算出されるフレームである。
(動作処理手順について)
(概略動作)
次に、上述のような構成を有するストリーミング配信システムにおける動作処理手順について、図3乃至図4を参照しつつ説明する。図3は、本実施の形態によるストリーミング配信システムにおける動作処理手順の一例を示すネットワークシーケンス図である。
本実施の形態に係るストリーミング配信システムにおける動作処理手順は、ストリーミング方式でコンテンツを配信する配信管理装置の一部又は一例である映像配信サーバ10と、前記配信管理装置から通信網を介して受信した前記コンテンツを再生する端末装置20と、を備えた配信システム1が前記コンテンツを配信する際に行うものを対象とする。
本実施の形態に係るストリーミング配信システムにおける全体の動作処理手順は、基本的手順として、先ず、前記配信管理装置としての映像配信サーバ10から配信されたコンテンツの再生処理動作中に前記端末装置20に外部からシーク位置変更要求があった場合に、当該端末装置20の再生制御手段としての映像データ制御部22は前記配信管理装置としての映像配信サーバ10に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信する(図3に示すステップS11:キーフレーム送信要求ステップないしはキーフレーム送信要求機能)。
続いて、この端末装置から発信されたキーフレームの送信要求に基づいて前記配信管理装置は配信中のコンテンツにかかる低解像度のキーフレームを予め備えているSVCコンテンツから抽出して前記端末装置へ配信する(図3に示すステップS12〜ステップS14からなるステップ:低解像度キーフレーム配信ステップないしは低解像度キーフレーム配信機能)。
次に、この配信された低解像度のキーフレーム情報に基づいて前記再生制御手段としての映像データ制御部22が機能して前記シーク位置変更要求にかかる他のシーク位置を検索する(図4に示すステップS103、ステップS104、ステップS105、ステップS106を繰り返してユーザが選択しているシーク実行ステップないしは機能)。
しかる後、前記再生制御手段としての映像データ制御部22はこの検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、これにより、前記外部からのシーク位置変更要求を前記端末装置20が実行する(図4に示すステップS103、ステップS104、ステップS105、ステップS106を繰り返す中でいずれか一つのシーク位置を確定しそのシーク位置から通常のコンテンツを再生してステップS101、ステップS102、ステップS106を行うシーク位置コンテンツ再生ステップないしは機能)。
又、本実施の形態に係るストリーミング配信システムにおける動作処理手順は、前記シーク位置変更要求にかかる他のシーク位置の検索に際して、前記再生制御手段としての映像データ制御部22は、前記配信された低解像度のキーフレームを予め併設された出力表示手段30の描画領域に表示するようにしている。
更に、本実施の形態に係るストリーミング配信システムにおける動作処理手順は、ステップS11において、前記コンテンツのシーク位置(再生開始位置)を操作入力要求に応じて変更するに際し、該変更指定された再生開始位置に対応する低解像度のキーフレーム(変更位置対応データ)を前記コンテンツを構成するキーフレームより低い解像度にて送信するように、前記端末装置20が備えた映像データ制御部22が前記配信管理装置としての映像配信サーバ10に要求を送信するようにしてもよい。
又、本実施の形態に係るストリーミング配信システムにおける動作処理手順は、低解像度キーフレーム配信ステップにおいて、先ず、前記端末装置20からの要求に含まれるシーク位置に関する情報である変更再生開始位置に基づいて当該変更再生開始位置かかるキーフレームを前記配信管理装置としての映像配信サーバ10が備えたシーク位置対応キーフレーム取得機能12aが取得する(図3に示すステップS12:シーク位置対応キーフレーム取得ステップ)。
次に、その取得した前記キーフレームと前記要求に含まれる指定解像度とに基づいて当該指定解像度の前記変更位置対応データ(キーフレーム)を前記配信管理装置としての映像配信サーバ10が備えた指定解像度キーフレーム取得機能12bが取得する(図3に示すステップS13:指定解像度キーフレーム取得ステップ)。
続いて、この変更位置対応データを前記配信管理装置としての映像配信サーバ10が備えた低解像度キーフレーム出力機能12cが前記端末装置20へ送り込む(図3に示すステップS14:低解像度キーフレーム出力ステップ)。
しかる後、前記指定解像度のキーフレーム(変更位置対応データ)を前記端末装置20が備えた低解像度キーフレーム受信機能22bが前記配信管理装置としての映像配信サーバ10から受信するとともにこれを描画領域に描画する(図3に示すステップS15:低解像度キーフレーム受信ステップ)。
又、本実施の形態に係る配信システムにおける動作処理手順は、前記キーフレームを取得するに際しては、前記コンテンツを符号化したコンテンツ符号化データの一部をなすキーフレーム符号化データを取得する。更に、前記変更位置対応データを取得するに際しては、変更位置対応符号化データを取得する。又更に、前記変更位置対応データを送り込むに際しては、変更位置対応符号化データを送り込む。
この場合、前記配信管理装置としての映像配信サーバ10から受信した前記変更位置対応符号化データを前記端末装置20が備えた復号手段としての復号装置23が復号して変更位置対応表示データを生成する(図4に示すステップS105:復号ステップないしは復号機能)。更に、この変更位置対応表示データを低解像度キーフレーム受信機能22bが前記コンテンツとは独立して描画領域に描画する。
更に、本実施の形態に係る端末装置20における動作処理手順は、先ず、前記コンテンツ(通常再生符号化データ)を再生して前記端末装置20が備えた表示手段としての表示部32がこれ(通常再生表示データ)を表示する。
続いて、前記コンテンツの再生開始位置を操作入力要求に応じて変更するに際し、該変更指定された変更再生開始位置に対応する変更位置対応データを前記コンテンツを構成するキーフレームより低い解像度にて送信するように、前記端末装置20が備えたキーフレーム送信要求機能22aが前記配信管理装置としての映像配信サーバ10に要求を送信する(図3に示すステップS11:キーフレーム送信要求ステップ)。
しかる後、前記指定解像度のキーフレーム(変更位置対応データ)を前記端末装置20が備えた低解像度キーフレーム受信機能22bが前記配信管理装置としての映像配信サーバ10から受信するとともにこれを前記表示手段としての表示部32に表示するための描画を行う(図3に示すステップS15:低解像度キーフレーム受信ステップ)。
又更に、本実施の形態に係る配信管理装置における動作処理手順は、先ず、前記端末装置20からの要求に含まれるシーク位置に関する情報である変更再生開始位置に基づいて当該変更再生開始位置にかかるキーフレームを前記配信管理装置としての映像配信サーバ10が備えたシーク位置対応キーフレーム取得機能12aが取得する(図3に示すステップS12:シーク位置対応キーフレーム取得ステップ)。
次に、その取得した前記キーフレームと前記要求に含まれる指定解像度とに基づいて当該指定解像度の低解像度のキーフレーム(変更位置対応データ)を前記配信管理装置としての映像配信サーバ10が備えた指定解像度キーフレーム取得機能12bが取得する(図3に示すステップS13:指定解像度キーフレーム取得ステップ)。
しかる後、この低解像度のキーフレーム(変更位置対応データ)を前記配信管理装置としての映像配信サーバ10が備えた低解像度キーフレーム出力機能12cが前記端末装置20へ送り込む(図3に示すステップS14:低解像度キーフレーム出力ステップ)。
(詳細動作)
以下、これを詳述する。
端末装置20がH.264/SVCデータを再生中にシークを行う場合の動作について、図1乃至図4を用いて説明する。
端末装置20における再生プレーヤで再生中にシークが開始された場合、シーク位置を決定するまでは、通常の再生と並行して映像データ制御部22は、映像受信部21に現在のシーク位置のIDRフレームのデータを映像配信サーバ10から受信するように要求し、受信データを復号部23に出力する処理を繰り返す。
ここで、IDR(Instantaneous Decoder Refresh)フレームとは、H.264映像における指定解像度のキーフレームである。
すなわち、通常の再生の場合は、端末装置20における映像データ制御部22は、映像配信サーバ10より再生位置のデータ(通常再生符号化データ)を取得する(ステップS101:通常再生データ取得ステップないしは通常再生データ取得機能)。
続いて、端末装置20における復号部23は、取得したデータを復号し通常再生表示データを生成する(ステップS102:通常再生データ復号ステップないしは通常再生データ復号機能)。
しかる後、端末装置20における映像データ制御部22は、通常再生表示データに含まれる映像を表示装置30に出力するための描画領域の制御を行う(ステップS106)。
一方、シーク実行中の場合は、端末装置20における映像データ制御部22は、シーク中であるか否か(シークを実行しているかどうか)の判定を行う(ステップS103:判定ステップないしは判定機能)。
このステップS103の判定ステップにおいてシーク中でないと判定された場合(図4に示すステップS103の「No」)、端末装置20における映像データ制御部22は、ステップS106に進み、映像を表示装置30に出力するための描画領域の制御を行う。
一方、このステップS103の判定ステップにおいてシーク中であると判定された場合(図4に示すステップS103の「Yes」)、端末装置20における映像データ制御部22は、映像配信サーバ10よりシーク位置(変更再生開始位置)に対応する変更位置対応データ(シーク位置対応画像)の一例であるIDRフレームデータ(変更位置対応符号化データ)を取得するための送受信制御を行う(ステップS104:変更位置対応符号化データ送受信制御ステップないしは変更位置対応符号化データ送受信制御機能)。
このステップS104では、より詳細には、前述したステップS11ないしステップS15の処理を行う。
このようにして、端末装置20における再生プレーヤは、要求の際、シーク位置のデータを描画するサイズに合った解像度でキーフレームを送信するよう映像配信サーバ10に要求する。
要求を受けた映像配信サーバ10は、指定された位置のキーフレームを指定された解像度で端末装置20に送信する。
そして、端末装置20における復号部23は、取得したIDRフレームデータ(変更位置対応符号化データ)を復号して変更位置対応表示データを生成する(ステップS104:変更位置対応符号化データ復号ステップないしは変更位置対応符号化データ復号機能)。
しかる後、端末装置20における映像データ制御部22は、変更位置対応表示データに含まれる映像を表示部32に出力するための描画領域の制御を行う(ステップS106)。
この際、端末装置20では、シーク位置の映像の描画方法(描画位置、およびサイズ)は、画像を別窓にて表示を行ったり再生中の映像へ埋め込んで表示を行ったりと様々な手法で実現できる。本実施形態ではシーク位置の描画手法については特に問わない。
又、シーク位置決定後は、映像データ制御部22は、映像受信部21に決定したシーク位置から再生を行うよう要求し、以降は通常の再生処理を行う。
ここで、以上のステップS101ないしステップS102及びステップS106の処理と、ステップS103ないしステップS105及びステップS106の処理とは、並列処理にて実行可能となっている。
以上のように本実施の形態によれば、第一の効果は、所望のシーク位置を検索する際、シーク位置の画像の受信時間、および受信から描画に必要とする時間の短縮が可能である。その理由は、H264/SVCコンテンツを使用するため映像配信サーバはシーク位置の描画に必要な解像度のデータ量でクライアントに送信することが可能なためである。
本実施形態による第二の効果は、所望のシーク位置を検索するために、事前に別途サーバ側やプレーヤ側で準備は不要なことである。その理由は、シーク中に必要なデータはリアルタイムに映像配信サーバより受信するためである。
本実施形態による第三の効果は、所望のシーク位置を容易に検索することが可能なことである。その理由は、シーク中にシーク位置の画像を描画することによりシーク後の再生開始映像を目視して確認できるためである。
本実施形態による第四の効果は、所望のシーク位置を検索する際にプレーヤ側でシーク位置を一覧表示するようなGUIを別途必要としないことである。その理由は、シーク中にシーク位置の画像をリアルタイムに描画するためである。
このように、配信管理装置から低解像度の変更位置対応データを取得しこれを描画領域に描画するようにしたので、受信するデータ量を低減しつつストリーミング配信において端末装置側で変更再生開始位置の映像を目視で確認しつつ変更再生開始位置の探索をすることができ、所望の変更再生開始位置が容易でしかも正確かつ迅速に決定できる。
すなわち、端末装置20に含まれる再生プレーヤ側で再生位置のシーク中(変更再生開始位置の探索中)にシーク位置(変更再生開始位置)の画像(シーク位置対応画像)を描画することにより所望のシーク位置を容易に検索することを可能とする。
又、本実施形態では、SVCを用いるため、関連技術のように低解像度のデータを別途作成する必要がない。更に、本実施形態では、関連技術のようにプレーヤ側でキーフレームの検索を行う必要がない。又更に、本実施形態では、関連技術のようにキーフレームリストを別途必要としない。又、SVCコンテンツを扱っているので、指定解像度のデータを取得する際にも、指定解像度のキーフレームをコンテンツ符号化データから選択すればよいので迅速に処理を行うことができる。
このように、配信管理装置から低解像度の変更位置対応データを取得しこれを描画領域に描画するようにしたので、受信するデータ量を低減しつつストリーミング配信において端末装置側で変更再生開始位置の映像を目視で確認しつつ変更再生開始位置の探索をすることができ、所望の変更再生開始位置が容易でしかも正確かつ迅速に決定できる。
又、再生制御手段22が、前記コンテンツの再生開始位置を操作入力要求(シーク位置変更要求)に応じて変更するに際し、該変更指定された変更再生開始位置に対応する変更位置対応データを前記コンテンツを構成するキーフレームより低い解像度にて前記配信管理装置から取得するとともに前記変更位置対応データを描画領域に描画することにより、シークの際には、配信において低解像度の変更位置対応データが授受されるため、シーク実行時における処理速度の高速化が図れる。
更に、配信管理装置としての映像配信サーバ10が、前記端末装置20からの要求に含まれる前記変更再生開始位置に基づいて当該変更再生開始位置かかるキーフレームを取得する機能と、取得した前記キーフレームと前記要求に含まれる指定解像度とに基づいて当該指定解像度の前記変更位置対応データを取得する機能と、を備え、前記再生制御手段22が、前記変更再生開始位置に応じた前記変更位置対応データを指定解像度にて送信するように前記配信管理装置に要求を送信する機能と、前記指定解像度の前記変更位置対応データを前記配信管理装置から受信するようにする機能と、を備えることにより、シークにかかる授受にあってはキーフレームの送信は必要がなく低解像度の変更位置対応データのみでよい。
又、低解像度の変更位置対応データは生成する必要がない。その理由は、H.264/SVC(SVCコンテンツ)では、予め複数の各解像度(各階層)の各データが予め構成要素として形成されているからである。例えば符号化データに含まれる各階層を示すID(識別子)を指定することで対応する階層(解像度)のデータを取り出すことができる。
又、前記再生制御手段22における一機能では、前記変更位置対応データを描画に必要な最低限の指定解像度にて送信するように前記配信管理装置に要求するため、各種解像度のうち端末側が必要とする最小限の解像度のデータを指定することで、データ転送にかかるデータ量のさらなる低減が図れ、これによってシークにかかる処理速度のさらなる高速化が望める。
更に、前記再生制御手段22は、前記変更にかかるシークを実行しているかどうかを判定する判定機能を備え、当該シークを実行していると判定された場合に前記一機能が稼働することにより、シーク実行中にのみ上述の処理を行うので、通常のコンテンツの受信再生処理に支障をきたすことない。このため、特に、シークの際に変更位置対応データを表示する処理と通常のコンテンツの受信再生処理とを並列処理にて実行する際において処理負荷を最小限にし、高速に再生処理を実行できる。
又、前記配信管理装置から得られる低解像度のキーフレーム(変更位置対応データ)は、変更位置対応符号化データであり、前記再生制御手段22は、前記配信管理装置から受信した前記変更位置対応符号化データを復号して変更位置対応表示データを生成する復号機能を備えたことにより、符号化データが送信されるのでデータ転送速度は高速化され、シークの際の処理速度の高速化が図れる。
更に、前記再生制御手段22は、低解像度のキーフレーム(変更位置対応表示データ)を前記出力表示手段30の表示部32に表示するに際し、前記コンテンツにかかる再生中の画像を表示する表示用ウインドウとは別の別表示用ウインドウにて前記低解像度のキーフレーム(変更位置対応表示データ)を表示するための描画動作を制御する機能を備えることにより、低解像度のキーフレーム(変更位置対応表示データ、シーク位置対応画像)を表示するにあっては、コンテンツ表示用とは別の専用の表示領域を設けることで、ユーザにとってシークにおける再生位置の選択をしやすくすることができる。
又、前記再生制御手段22は、低解像度のキーフレーム(変更位置対応表示データ)を前記出力表示手段30の表示部32に表示するに際し、前記コンテンツにかかる再生中の画像内に前記低解像度のキーフレーム(変更位置対応表示データ)を埋め込むようにして表示するための描画動作を制御する機能を備えることにより、コンテンツ表示領域内にシーク位置対応画像表示領域を埋め込むようにすることで、コンテンツ表示領域とシーク位置対応画像表示領域とが重なりあってコンテンツ表示領域によってシーク位置対応画像表示領域が阻害されることを防止して、窓(ウインドウ)などのクリック選択操作等を行うことなく一目でシーク位置対応画像表示領域を確認でき、ユーザの負担が低減できる。
更に、前記再生制御手段22は、前記低解像度のキーフレーム(変更位置対応表示データ)を前記出力表示手段30の表示部32に表示するに際し、前記低解像度のキーフレーム(変更位置対応表示データ)を引き延ばして表示するための描画動作を制御する機能を備えることにより、見やすい表示となり、ユーザの視認性が向上する。
ここで、図1及び図2に示すブロック図における一部の各ブロック並びに図3及び図4に示すシーケンス図ないしはフローチャートにおける各種処理は、コンピュータにより実行可能なプログラムにより機能化された状態を示すソフトウエアモジュール構成であってもよい。
すなわち、物理的構成は例えば端末制御装置ないしは映像配信サーバにおける一又は複数のCPU(或いは一又は複数のCPUと一又は複数のメモリ)等ではあるが、各部(回路・手段)によるソフトウエア構成は、プログラムの制御によってCPUが発揮する複数の機能を、それぞれ複数の部(手段)による構成要素として表現したものである。
CPUがプログラムによって実行されている動的状態(プログラムを構成する各手順を実行している状態)を機能表現した場合、CPU内に各部(手段)が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体(或いは各手段の構成に含まれるプログラム各部)は、メモリなどの記憶領域に記憶されている。
以上に示した各部(手段)は、プログラムにより機能化されたコンピュータをプログラムの機能と共に実現し得るように構成しても、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置で構成してもよい。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
また、各部は、通信可能な専用のコンピュータからなる装置としてそれぞれ構成し、これらの各装置によりシステムを構成してもよい。逆に、各部を単一の装置として構成したシステムであってもよい。
また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素並びにそれらによる各機能をプログラム化(ソフトウエアプログラム)し、コンピュータに実行させてもよい。
更に、映像配信サーバは、コンテンツから、シーク位置の低解像度のキーフレームを取得して端末装置の再生プレーヤに配信する手段を備え、端末装置の再生プレーヤは、(所望のシーク位置を目視で検索可能なように)、再生位置のシーク中に、シーク位置の画像を描画する手段を備えてよい。
又更に、端末装置10は、シーク位置と指定解像度とに基づいて前記シーク位置に対応しかつ通常再生時と異なる解像度のシーク位置対応データを映像配信サーバ10より取得する再生制御手段22を備えてよい。
更に、再生制御手段22は、異なる解像度のみならずこれに加え異なる画質のシーク位置対応データを映像配信サーバ10より取得する要求を送信するようにしてもよい。
又、明細書中の記載において広義な用語(配信管理装置、制御手段、操作入力手段、表示手段、変更位置対応データ、キーフレーム、コンテンツ等)として引用された用語(映像配信サーバ、端末制御装置、操作入力装置、表示装置、変更位置対応符号化データ及び変更位置対応表示データ、キーフレーム符号化データ、コンテンツ符号化データ等)は、明細書中の他の記載においても広義な用語に置き換えることができる。更に、明細書中の記載において、各ステップが各々処理する各動作内容は、各ステップの動作説明に記載されていないが、記憶部における各々の特定の記憶領域に各々書き込む処理を各々実行することを含むものである。
又、上記実施形態は、SVCの仕組みを使ったストリーミング方式の配信システム全般に利用できる。さらには、シーク時の映像受信のみではなく、高速再生などの特殊再生中の描画など、元の映像の解像度が不要な場合に元の解像度よりも低い解像度で配信するシステム全般に利用できる。
本発明は、配信システム全般に利用できる。
1 配信システム
5 ネットワーク(通信網)
10 映像配信サーバ(配信管理装置)
12a シーク位置対応キーフレーム取得機能
12b 指定解像度キーフレーム取得機能
12c 低解像度キーフレーム出力機能
20 端末装置
20a 再生全体制御手段
21 映像受信部(コンテンツ受信手段)
22 映像データ制御部(再生制御手段)
22a キーフレーム送信要求機能
22b 低解像度キーフレーム受信機能
22c シーク位置変更機能
22c1 シーク位置検索機能
22c2 シーク位置変更処理機能
22d 描画制御機能
23 復号部(再生出力手段)
30 出力表示手段
32 表示部(表示手段)
34 音声出力部
50 操作入力部(操作入力手段)

Claims (11)

  1. ネットワークを介して端末装置へコンテンツをストリーミング方式で配信する配信管理装置を備えてなるストリーミング配信システムにおいて、
    前記端末装置は、前記配信管理装置から配信されるコンテンツを受信するコンテンツ受信手段と、この受信されたコンテンツを再生し出力する再生出力手段と、前記コンテンツ受信手段及び再生出力手段の動作を外部指令に基づいて制御する再生制御手段とを備え、
    前記再生制御手段が、
    外部入力されるシーク位置変更要求に対応して作動し、前記コンテンツにかかるシーク位置のキーフレームを当該コンテンツの解像度よりも低い解像度で送信するように前記コンテンツ受信手段を介して前記配信管理装置に要求するキーフレーム要求送信機能と、
    前記配信管理装置から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行するシーク位置変更機能と、
    を備えていることを特徴としたストリーミング配信システム。
  2. 請求項1に記載のストリーミング配信システムにおいて、
    前記再生制御手段は、
    前記再生出力手段によるデータ再生中に当該再生制御動作に並行して当該コンテンツにかかる特定のシーク位置を検索し変更する機能を備えていることを特徴としたストリーミング配信システム。
  3. 請求項2に記載のストリーミング配信システムにおいて、
    前記配信管理装置は、
    外部から指定された解像度のキーフレームをSVCコンテンツから取得する指定解像度キーフレーム取得機能を有すると共に、前記端末装置から低解像度のキーフレームが要求された場合には直ちにこれに対応した低解像度のキーフレームを出力する低解像度キーフレーム出力機能を備えていることを特徴としたストリーミング配信システム。
  4. 請求項3に記載のストリーミング配信システムにおいて、
    再生される前記コンテンツの内容を表示する出力表示手段を備え、
    前記再生制御手段は、
    前記低解像度のキーフレームを前記出力表示手段に表示するに際し、前記コンテンツにかかる再生中の画像を表示する表示用ウインドウとは別の別表示用ウインドウにて前記低解像度のキーフレームを表示するための描画動作を制御する機能を備えることを特徴とするストリーミング配信システム。
  5. 請求項3に記載のストリーミング配信システムにおいて、
    再生される前記コンテンツの内容を表示する出力表示手段を備え、
    前記再生制御手段は、
    前記低解像度のキーフレームを前記出力表示手段に表示するに際し、前記コンテンツにかかる再生中の画像内に前記低解像度のキーフレームを埋め込むようにして表示するための描画動作を制御する機能を備えることを特徴とするストリーミング配信システム。
  6. 請求項5に記載のストリーミング配信システムにおいて、
    前記再生制御手段は、
    前記低解像度のキーフレームを前記出力表示手段に表示するに際し、前記低解像度のキーフレームを引き延ばして表示するための描画動作を制御する機能を備えることを特徴とするストリーミング配信システム。
  7. ストリーミング方式でコンテンツを配信する配信管理装置からネットワークを介して受信した前記コンテンツを再生する端末装置であって、
    前記配信管理装置から配信されるコンテンツを受信するコンテンツ受信手段と、この受信されたコンテンツを再生し出力する再生出力手段と、前記コンテンツ受信手段及び再生出力手段の動作を外部指令に基づいて制御する再生制御手段とを備え、
    前記再生制御手段が、
    外部入力されるシーク位置変更要求に対応して作動し、前記コンテンツにかかるシーク位置のキーフレームを当該コンテンツの解像度よりも低い解像度で送信するように前記コンテンツ受信手段を介して前記配信管理装置に要求するキーフレーム要求送信機能と、
    前記配信管理装置から送られてくる低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索しシーク位置変更を実行するシーク位置変更機能と、
    を備えていることを特徴とする端末装置。
  8. ネットワークを介して配信管理装置から端末装置へコンテンツをストリーミング方式で配信するストリーミング配信動作制御方法であって、
    前記配信管理装置から配信されたコンテンツの再生処理動作中に前記端末装置に外部からシーク位置変更要求があった場合に、当該端末装置の再生制御手段は前記配信管理装置に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信し、
    この端末装置から発信されたキーフレームの送信要求に基づいて前記配信管理装置は配信中のコンテンツにかかる低解像度のキーフレームを予め備えているSVCコンテンツから抽出して前記端末装置へ配信し、
    この配信された低解像度のキーフレーム情報に基づいて前記再生制御手段が機能して前記シーク位置変更要求にかかる他のシーク位置を検索すると共に、
    前記再生制御手段はこの検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、
    これにより、前記外部からのシーク位置変更要求を前記端末装置が実行するようにしたことを特徴とするストリーミング配信動作制御方法。
  9. 請求項8に記載のストリーミング配信動作制御方法において、
    前記シーク位置変更要求にかかる他のシーク位置の検索に際して、前記再生制御手段は、前記配信された低解像度のキーフレーム情報を予め併設された出力表示手段の描画領域に表示するように構成したことを特徴とするストリーミング配信動作制御方法。
  10. ネットワークを介して配信管理装置から端末装置へコンテンツをストリーミング方式で配信するストリーミング配信システムにあって、
    前記端末装置の再生制御手段が備えているコンピュータに、
    前記配信管理装置から配信されたコンテンツの再生処理動作中に前記端末装置に外部からシーク位置変更要求があった場合に稼働し、前記配信管理装置に向けて前記コンテンツにかかる低解像度のキーフレームの送信要求を発信するキーフレーム送信要求機能、
    この端末装置から発信されたキーフレームの送信要求に対応して前記配信管理装置から送られてくる前記配信中のコンテンツにかかる低解像度のキーフレームを受信する低解像度キーフレーム受信機能、
    この配信された低解像度のキーフレームに基づいて前記シーク位置変更要求にかかる他のシーク位置を検索するシーク位置検索機能、
    および上記検索により特定されたシーク位置を再生中の前記コンテンツの再生開始位置として設定し、これにより、前記外部からのシーク位置変更要求を実行するシーク位置変更処理機能、
    を実行させるようにしたことを特徴とする配信システム用受信動作制御プログラム。
  11. 請求項10に記載の配信システム用受信動作制御プログラムにおいて、
    前記シーク位置検索機能の実行に際しては、前記配信された低解像度のキーフレーム情報を予め前記再生制御手段に併設された出力表示部の描画領域に表示するようにしたことを特徴とする配信システム用受信動作制御プログラム。









JP2009019818A 2009-01-30 2009-01-30 ストリーミング配信システム、その動作制御方法及びプログラム Expired - Fee Related JP5267165B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009019818A JP5267165B2 (ja) 2009-01-30 2009-01-30 ストリーミング配信システム、その動作制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009019818A JP5267165B2 (ja) 2009-01-30 2009-01-30 ストリーミング配信システム、その動作制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010178147A true JP2010178147A (ja) 2010-08-12
JP5267165B2 JP5267165B2 (ja) 2013-08-21

Family

ID=42708636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009019818A Expired - Fee Related JP5267165B2 (ja) 2009-01-30 2009-01-30 ストリーミング配信システム、その動作制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5267165B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014509475A (ja) * 2011-01-21 2014-04-17 クゥアルコム・インコーポレイテッド ワイヤレスディスプレイのためのユーザ入力バックチャネル
JP2014107661A (ja) * 2012-11-27 2014-06-09 Sumitomo Electric Networks Inc 動画再生装置、動画再生システム、動画再生方法および動画再生プログラム
JP2015504633A (ja) * 2011-11-15 2015-02-12 アルカテル−ルーセント マルチメディア資産を表示する方法、関連するシステム、メディアクライアント、および関連するメディアサーバ
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
WO2015033629A1 (ja) * 2013-09-03 2015-03-12 ソニー株式会社 送信装置、中継装置及び受信装置
JP2015050757A (ja) * 2013-09-04 2015-03-16 株式会社バッファロー コンテンツ再生システム、通信装置、情報蓄積装置、及びプログラム
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
JP2017050681A (ja) * 2015-09-01 2017-03-09 富士通株式会社 通信方法、通信装置及び通信プログラム
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220609A (ja) * 2014-05-16 2015-12-07 株式会社ドワンゴ 端末装置、制御方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040502A (ja) * 2002-07-03 2004-02-05 Sony Corp 情報再生装置、情報再生方法および情報再生システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040502A (ja) * 2002-07-03 2004-02-05 Sony Corp 情報再生装置、情報再生方法および情報再生システム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US10911498B2 (en) 2011-01-21 2021-02-02 Qualcomm Incorporated User input back channel for wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
JP2014509475A (ja) * 2011-01-21 2014-04-17 クゥアルコム・インコーポレイテッド ワイヤレスディスプレイのためのユーザ入力バックチャネル
US10382494B2 (en) 2011-01-21 2019-08-13 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9723359B2 (en) 2011-02-04 2017-08-01 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
JP2015504633A (ja) * 2011-11-15 2015-02-12 アルカテル−ルーセント マルチメディア資産を表示する方法、関連するシステム、メディアクライアント、および関連するメディアサーバ
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
JP2014107661A (ja) * 2012-11-27 2014-06-09 Sumitomo Electric Networks Inc 動画再生装置、動画再生システム、動画再生方法および動画再生プログラム
JPWO2015033629A1 (ja) * 2013-09-03 2017-03-02 ソニー株式会社 送信装置、中継装置及び受信装置
WO2015033629A1 (ja) * 2013-09-03 2015-03-12 ソニー株式会社 送信装置、中継装置及び受信装置
JP2015050757A (ja) * 2013-09-04 2015-03-16 株式会社バッファロー コンテンツ再生システム、通信装置、情報蓄積装置、及びプログラム
JP2017050681A (ja) * 2015-09-01 2017-03-09 富士通株式会社 通信方法、通信装置及び通信プログラム

Also Published As

Publication number Publication date
JP5267165B2 (ja) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5267165B2 (ja) ストリーミング配信システム、その動作制御方法及びプログラム
JP6449494B2 (ja) 再生装置
US10423320B2 (en) Graphical user interface for navigating a video
US10409445B2 (en) Rendering of an interactive lean-backward user interface on a television
US20190149885A1 (en) Thumbnail preview after a seek request within a video
JP5984840B2 (ja) コンテンツの順序付け
JP6624958B2 (ja) 通信装置、通信システム、通信制御方法およびコンピュータプログラム
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
CN101960844A (zh) 应用加强轨道
US11570415B2 (en) Methods, systems, and media for generating a summarized video using frame rate modification
KR101545137B1 (ko) 사용자 인터페이스를 생성하는 방법 및 장치
KR101905638B1 (ko) 동영상 재생 장치 및 방법
JP2010200287A (ja) 通信端末、コンテンツ再生方法、プログラム、コンテンツ再生システム及びサーバ
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
CN114223211A (zh) 信息处理装置和信息处理方法
JP6535273B2 (ja) 受信装置、セグメント取得方法、及びプログラム
JP2004040502A (ja) 情報再生装置、情報再生方法および情報再生システム
JP6294527B2 (ja) 送信装置、送信方法、再生装置、及び再生方法
US20210345003A1 (en) Systems and methods for providing timeline of content items on a user interface
KR102376348B1 (ko) 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
JP2014033423A (ja) コンテンツ再生装置、コンテンツ送信装置、コンテンツ再生システム、コンテンツ再生方法、コンテンツ送信方法、制御プログラムおよび記録媒体
KR20190061734A (ko) 동영상 콘텐츠 제공 장치 및 방법
JP5939914B2 (ja) 切替装置及びプログラム
CA3214082A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
JP2012195025A (ja) コンテンツ再生装置、コンテンツ再生プログラム、コンテンツ再生方法、およびストリーミング配信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5267165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees