JP2008259119A - 映像配信装置、映像受信装置およびキーフレーム配信方法 - Google Patents

映像配信装置、映像受信装置およびキーフレーム配信方法 Download PDF

Info

Publication number
JP2008259119A
JP2008259119A JP2007101865A JP2007101865A JP2008259119A JP 2008259119 A JP2008259119 A JP 2008259119A JP 2007101865 A JP2007101865 A JP 2007101865A JP 2007101865 A JP2007101865 A JP 2007101865A JP 2008259119 A JP2008259119 A JP 2008259119A
Authority
JP
Japan
Prior art keywords
key frame
distribution
video
time
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007101865A
Other languages
English (en)
Other versions
JP5147278B2 (ja
JP2008259119A5 (ja
Inventor
Hiroshi Mine
博史 峯
Shinji Kimura
信二 木村
Kaoru Konishi
薫 小西
Tomokazu Ichiki
友和 一木
Naohisa Seko
尚久 脊古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007101865A priority Critical patent/JP5147278B2/ja
Priority to CN2008100901394A priority patent/CN101287106B/zh
Priority to US12/099,425 priority patent/US8413197B2/en
Publication of JP2008259119A publication Critical patent/JP2008259119A/ja
Publication of JP2008259119A5 publication Critical patent/JP2008259119A5/ja
Application granted granted Critical
Publication of JP5147278B2 publication Critical patent/JP5147278B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17336Handling of requests in head-ends

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】キーフレームを用いて特殊再生を実現する映像配信システムにおいて、キーフレームの間隔が疎な部分では映像コンテンツの再生時刻が加速し、キーフレームの間隔が密な部分では映像コンテンツの再生時刻が減速することになり、送信するキーフレームの配信時刻と再生時間との間にずれが生じる。
【解決手段】コンテンツファイルに含まれるキーフレームの番号とファイル先頭からのオフセットとを含むキーフレーム情報を格納する記憶装置と、予め定められた周期で配信を実行する配信制御部とを備え、配信制御部は、特殊再生を実行するとき、周期毎に、キーフレーム情報を参照し、コンテンツファイルに含まれるキーフレームのなかから配信時刻に最も近い前記オフセットを持つキーフレームを送信する。
【選択図】図5

Description

本発明は、ネットワークを介した映像配信技術に係り、特に、早送り等の特殊再生を実現する映像配信装置、映像受信装置およびキーフレーム配信方法に関する。
近年、インターネットに代表されるネットワーク技術の発展により、映画等の映像コンテンツのネットワークを介したVOD(Video On Demand)配信が普及している。VOD配信において、従来の映像配信サーバからPC(Personal Computer)へのストリーミング配信に加え、テレビに接続したSTB(Set Top Box)、あるいは、STBの機能を内蔵したテレビをクライアントとするVOD配信システムが立ち上がりつつある。
これらVOD配信システムにおいて、ネットワークを介したストリーミング配信であっても、従来のビデオ装置で広く実現されている早送り、巻戻し等の特殊再生(トリックプレイ)を行いたいという要求がある。この要求に応えるためには、映像配信サーバにおいて、特殊再生を考慮した映像ストリームを生成し、STB等のクライアントに配信する必要がある。
特殊再生を実現するために、特許文献1記載のビデオサーバ装置では、圧縮符号化されている映像データからフレーム内符号化を行っているフレーム(キーフレーム)のみを含む映像ストリームを生成し、任意の倍速で送信する技術が開示されている。
特開平10−032809号公報
前記従来の手法において、任意倍速再生を実現するためには映像コンテンツには一定の間隔でキーフレームが含まれていることを仮定しており、映像コンテンツからキーフレームを読み出して配信する間隔を一定値として算出し、その間隔にしたがってキーフレームを配信している。
しかしながら、映像コンテンツに含まれるキーフレームの間隔は一定であるとは限らず、特に、VBR(Variable Bit Rate)の映像コンテンツでは圧縮効率向上のために動画の動きの激しさによってキーフレームの挿入間隔が大きく変化することがある。また、CBR(Constant Bit Rate)の映像コンテンツであっても、符号化アルゴリズムによってはキーフレームの挿入間隔が変化し、符号化後の映像コンテンツの編集および伝送時のエラー等のためにキーフレームが失われることがあり、キーフレームが一定間隔で出現しない映像コンテンツが存在する。
特許文献1の手法をキーフレームが一定の間隔で含まれていない映像コンテンツに対して適用した場合、キーフレームの間隔が疎な部分では映像コンテンツの再生時刻が加速し、キーフレームの間隔が密な部分では映像コンテンツの再生時刻が減速することになり、送信するキーフレームの配信時刻と再生時間との間にずれが生じる可能性があった。また、キーフレームの欠落がある映像コンテンツに対して適用した場合、特殊再生を長時間続けるとキーフレームの配信時刻と再生時間との間のずれが蓄積し、特殊再生時の配信時間とコンテンツの再生時間の不一致が顕著になる可能性があった。
本発明の目的は、キーフレームのみを送信する特殊再生において、キーフレームが一定の間隔で含まれていない映像コンテンツを対象とする場合であっても、キーフレームの送信フレームレートを一定に保ち、かつ、キーフレームの配信時刻と実際の映像コンテンツの再生時間との不一致を最小限にとどめる映像配信装置、映像受信装置およびキーフレーム配信方法を提供することにある。
前記課題を解決するために、本発明は、周期実行する映像配信サーバの配信制御部において、キーフレーム情報を用いて周期配信時刻に最も近い配信時刻を持つキーフレームを送信する。
映像配信サーバの配信制御部は、一定周期で実行する。キーフレーム情報は、映像コンテンツに含まれる各キーフレームについて、コンテンツファイル内のオフセット、キーフレームサイズ、配信時刻の情報を格納する。配信制御部は、周期実行する毎にキーフレーム情報を参照し、周期実行時の時刻に再生倍率を考慮した配信時刻に最も近いキーフレームを選択して配信する。このとき、映像コンテンツに含まれるキーフレームの間隔によっては、同一フレームが複数回配信される場合もある。
配信制御部の実行周期、および、再生倍率は、配信サーバの設定、あるいは、クライアントからの要求に含める。実行周期には正数を指定する。実行周期は、映像コンテンツに含まれるキーフレームの間隔および再生倍率とは独立に、送信フレームレートを規定する。再生倍率に、1よりも大きな値を指定した場合は早送り、1よりも小さな小数を指定した場合はスロー再生、負数を指定した場合は巻戻し(逆再生)となる。
クライアントは、特殊再生時は映像ストリームに含まれる時刻情報を無視し、キーフレームを1枚分受信する毎に復号化し表示すればよい。
本発明によれば、周期実行する映像配信サーバの配信制御部において、キーフレーム情報を用いて周期配信時刻に最も近い配信時刻を持つキーフレームを送信することによって、キーフレームのみを送信する特殊再生において、キーフレームが一定の間隔で含まれていない映像コンテンツを対象とする場合であっても、キーフレームの送信フレームレートを一定に保ち、かつ、キーフレームの配信時刻と実際の映像コンテンツの再生時間との不一致を最小限にとどめることができる。
以下、本発明の実施の形態について、実施例を用い図面を参照しながら説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。
図1を参照して、実施例1の映像配信システムを説明する。ここで、図1は映像配信システムのブロック図である。映像配信システム500は、ネットワーク109に接続された映像配信サーバ101とクライアント装置106とから構成される。映像配信サーバ101は、配信制御部102と記憶装置と103からなる。配信制御部102は、映像配信サーバ101の動作を制御する。記憶装置103は、内蔵ハードディスクドライブ(HDD)、SAN(Storage Area Network)接続のストレージ装置等であり、映像コンテンツの符号化データであるコンテンツファイル104およびキーフレーム情報105を格納する。
クライアント装置106は、PC、STB等であり、再生制御部107および映像再生部108からなる。映像配信サーバ101とクライアント装置106は、インターネット、LAN(Local Area Network)等のネットワーク109を介して接続されている。なお、1台の映像配信サーバ101に対して、複数のクライアント装置106が、ネットワーク109を介して接続されていてもよい。
クライアント装置106の再生制御部107は、ユーザの操作に応じて映像配信サーバ101に対して配信要求を送信する。映像配信サーバ101の配信制御部102は、受信した配信要求に応じて記憶装置103内のコンテンツファイル104を読み出し、クライアント装置106に配信する。クライアント装置106の映像再生部108は、受信した映像コンテンツの符号化データを復号化し、モニタ、テレビ等の表示デバイスに連続画像として表示する。
図2を参照して、映像配信サーバの配信制御部の内部構成を説明する。ここで、図2は配信制御部のハードウェアブロック図である。図2において、配信制御部102は、CPU(Central Processing Unit)201、I/O(Input/Output)インタフェース202、主記憶メモリ203、プログラム記憶領域204からなる。プログラム記憶領域204は、ROM(Read Only Memory)等の不揮発性の記憶デバイスであり、配信制御アプリケーションプログラム205を格納する。プログラム記憶領域204は、記憶装置103内に確保された領域であってもよい。
配信制御部102は、プログラム記憶領域204から配信制御アプリケーションプログラム205を主記憶メモリ203に読み込み、CPU201で実行することによって映像配信サーバ101の動作を制御する。換言すれば、映像配信サーバ101の機能は、配信制御アプリケーションプログラム205によって実現される。配信制御部102は、I/Oインタフェース202を介して記憶装置103等のデバイスおよびネットワーク109にアクセスする。
なお、クライアント装置106の再生制御部107および映像再生部108についても、プログラム記憶領域204に格納されるソフトウェアはそれぞれ異なるが、配信制御部102と同様の構成である。
図3を参照して、映像配信サーバの記憶装置に格納されるキーフレーム情報を説明する。ここで、図3はキーフレーム情報を説明する図である。図3において、キーフレーム情報105は、対応するコンテンツファイル104に含まれる全てのキーフレームについて、キーフレーム番号11、オフセット12、サイズ13、配信時刻14の各情報を格納する。キーフレーム番号11は、コンテンツファイル104に含まれるキーフレームのファイルの先頭からの通し番号である。キーフレームIjはj番目のキーフレームを示す。オフセットpjは、キーフレームIjのコンテンツファイル104内の位置を示すオフセットバイトである。サイズljは、キーフレームIjの大きさを示すバイトサイズである。配信時刻ijは、キーフレームIjを通常(等速)配信した場合の配信タイミングを示す情報である。配信時刻ijは、コンテンツファイル104の先頭を0としたミリ秒単位の時刻情報である。これらの情報は、コンテンツファイル104の内容を解析するアプリケーションツールを用いて予め生成しておく。なお、配信時刻ijは、もっと細かい単位であっても、もっと荒い単位であってもよい。
図4を参照して、クライアント装置が映像配信サーバへネットワークを介して送信する配信要求を説明する。ここで、図4は配信要求を説明する図である。図4において、配信要求401は、配信対象となるコンテンツファイル104を識別するURI(Uniform Resource Identifier)、コンテンツファイル104内の配信開始位置を時間単位で指示する開始時刻T0、再生倍率Nを格納する。ここで、再生倍率Nが1以外の場合、特殊再生の要求となる。
配信要求401は、ユーザの操作に応じてクライアント装置106の再生制御部107で生成され、映像配信サーバ101の配信制御部102で解釈される。
図5を参照して、映像配信サーバの配信制御部の処理フローを説明する。ここで、図5は配信処理部の配信処理フロー図である。図5において、最初に、配信制御部102は、配信要求401を受信し、配信要求401からURI、開始時刻T0、再生倍率Nの各情報を取得し、URIに指定されたコンテンツファイル104をオープンする等の配信の準備を行う(S501)。再生倍率Nが1の場合は通常配信であるため説明を省略し、以下、再生倍率(N)が1以外の特殊再生の場合について説明する。なお、配信制御部102において、周期実行された回数をカウントする変数をkとすると、配信開始時ではk=0である。
次に、配信制御部102は、配信時刻がコンテンツファイル104の再生時間範囲に収まっているかを判定する(S502)。ここで、配信制御部102が周期実行される間隔すなわち実行周期をTとすると、k回目の周期実行時の配信時刻tkは、tk=T0+N×k×Tとして表される。配信時刻tkが再生時間範囲に収まっていない場合は、配信制御部102は、配信が終了したとみなして処理を終了する。配信時刻tkが再生時間範囲に収まっている場合は、配信制御部102は、ステップ503に進む。
配信制御部102は、コンテンツファイル104に対応するキーフレーム情報105を参照し、配信時刻がtkをこえないキーフレームIjの配信時刻ijを取得する(S503)。このとき、キーフレーム情報105を毎回先頭から順に検索してもよいが、2回目以降は前回配信したキーフレームIk−1を基点として検索することによって検索効率を向上することができる。
次に、配信制御部102は、同様にキーフレーム情報105を参照し、配信時刻がtk以上のキーフレームIj+1の配信時刻ij+1を取得する(S504)。
配信制御部102は、キーフレームIjがキーフレームIj+1よりも配信時刻tkに近いかを判定する(S505)。これは、キーフレームIjの配信時刻ijとtkとの差分と、キーフレームIj+1の配信時刻ij+1とtkとの差分を比較することによって行う。すなわち、配信制御部102は、不等式|ij − tk|<|ij+1 − tk|が成り立つかどうかを判定する。配信制御部102は、不等式が成り立つ場合ステップ506に処理を進め、不等式が成り立たない場合ステップ507に進む。
ステップ506では、配信制御部102は、キーフレームIjを、配信時刻tkに最も近いキーフレームIkとして選択し、ステップ508に進む。ステップ507では、配信制御部102は、キーフレームIj+1を、配信時刻tkに最も近いキーフレームIkとして選択し、ステップ508に進む。
配信制御部102は、選択したキーフレームIkについて、キーフレーム情報105を参照してオフセットpkおよびサイズlkを取得し、コンテンツファイル104からキーフレームIkに該当する部分を読み出し、クライアント装置106に送信する(S508)。配信制御部102は、次の実行周期が来るまで待つ。次の実行周期が来ると、周期実行された回数をカウントする変数kを1増加し(S509)、ステップ502に戻る。
上記ステップ502からステップ509までの処理を繰り返すことにより、配信制御部102は、周期実行される度に、キーフレーム情報105を参照し、コンテンツファイル104から、配信時刻tkに最も近い配信時刻ikを持つキーフレームIkを読み出し、クライアント装置106に送信する。
図6を参照して、配信制御部の処理による映像配信サーバからクライアント装置への、時間経過にあわせたコンテンツファイルのキーフレーム送信を説明しよう。ここで、図6はコンテンツファイルのキーフレーム送信を説明する図である。図6において、図6(a)はコンテンツファイルに含まれるキーフレームを説明する図である。また、図6(b)は特殊再生においてキーフレームが送信される間隔を説明する図である。図6において、特殊再生においてキーフレームが送信される間隔は、コンテンツファイル104に含まれるキーフレームの間隔とは独立であり、配信制御部102の実行周期Tとなる。したがって、映像配信サーバ101からクライアント装置106に対して送信されるキーフレームのフレームレートは、1/Tで一定となる。
図7を参照して、クライアント装置の特殊再生の処理手順を説明する。ここで、図7はクライアント装置の動作フロー図である。図7において、最初に、クライアント装置106の再生制御部107は、ユーザからの操作に応じて、配信要求401を映像配信サーバ101へ送信する(S701)。
次に、再生制御部107は、映像再生部108に対して特殊再生であることを指示する。この指示により、映像再生部108は、再生動作を、通常の動作から特殊再生の動作へ切り替える(S702)。映像再生部108は、映像配信サーバ101が送信したキーフレームを一枚分受信する(S703)。このとき、ユーザが終了操作を行った場合、再生制御部107からの指示で受信処理を中止する。また、タイムアウトを設定し、キーフレームを完全に受信しない場合でも受信処理を中止することができる。このタイムアウト値には、一枚のキーフレームを受信するのに必要な時間よりも大きく、その次のキーフレームが送られてくる時間よりも小さい値を指定すればよく、たとえば、映像配信サーバ101の配信制御部102の実行周期Tと同じ値を設定すればよい。
再生制御部107は、映像再生部108の受信処理の終了が、ユーザからの終了操作によるものかを判定する(S704)。終了操作によるものであった場合は、再生制御部107は、映像再生処理を終了し、終了操作によるものでなかった場合は、ステップ705に進む。
映像再生部108は、完全なキーフレームを受信したかを判定する(S705)。完全なキーフレームを受信していない場合は、映像再生部108は、受信した不完全なキーフレームを破棄し、次のキーフレームを受信するためにステップ703に戻る。完全なキーフレームを受信した場合、映像再生部108は、ステップ706に進む。
映像再生部108は、受信したキーフレームを復号化し、表示デバイスに一枚の静止画像として表示する(S706)。このとき、映像再生部108は、キーフレームのデータの一部に時刻情報あるいは音声情報が含まれていたとしても無視すればよい。映像再生部108は、画像の表示を維持したまま、処理をステップ703に戻す。
上記ステップ703からステップ706までの処理を繰り返すことにより、映像再生部108は、映像配信サーバ101から送信されるキーフレームを受信する度に復号化して表示し、更新周期Tの連続画像として表示する。
以上に説明したように、本実施例によれば、周期実行する映像配信サーバ101の配信制御部102において、キーフレーム情報105を用いて周期配信時刻tkに最も近い配信時刻ikを持つキーフレームIkを送信する。したがって、キーフレームが一定の間隔で含まれていないコンテンツファイル104を対象とする場合であっても、キーフレームの送信フレームレートを一定に保つことができる。また、コンテンツファイル104に含まれるキーフレームの間隔が大きく変動する場合であっても、配信制御部102は、実行周期Tで、キーフレームの間隔が疎な部分では同じキーフレームを重複して送信し、キーフレームの間隔が密な部分ではキーフレームを飛ばして送信する。したがって、特殊再生を長時間続けた場合であっても、送信するキーフレームの配信時刻と、映像コンテンツの再生時間との不一致を最小限にとどめることができる。
図8を参照して、実施例2を説明する。ここで、図8は映像配信システムのブロック図である。図8において、映像配信システム500Aは、ネットワーク109に接続された通信制御サーバ801と、映像配信サーバ101と、クライアント装置106とから構成される。通信制御サーバ801は、通信制御部802からなる。通信制御部802は、図2に示した映像配信サーバ101の配信制御部102と同様の構成で実現される。通信制御部802は、クライアント装置106から配信要求401を受け付け、配信要求401に応じて映像配信サーバ101に配信指示を送信する。また、通信制御部802は、ネットワーク109を構成するルータ、スイッチまたはネットワーク109の通信帯域を管理するSIP(Session Initiation Protocol)サーバ等の通信制御装置に対して帯域確保指示を送信する(破線矢印)ことにより、ネットワーク109の通信帯域を制御する。なお、図8では、通信サーバ801および映像配信サーバ101は異なる装置として示したが、ネットワーク109の通信帯域を管理するSIPサーバ等を含め、同一装置内において時分割方式等で実行される複数または単一のアプリケーションプログラムとして実現されていてもよい。
図9を参照して、通信制御サーバの通信制御部が、通信制御装置に対して送信する帯域確保指示を説明する。ここで、図9は帯域確保指示を説明する図である。図9において、帯域確保指示901は、送信元アドレス、送信先アドレス、帯域幅Rからなり、ネットワーク109において、送信元アドレスから送信先アドレスに対する通信帯域を、帯域幅R分確保することを指示する。ここで、送信元アドレスは映像配信サーバ101のネットワークアドレスであり、送信先アドレスはクライアント装置106のネットワークアドレスである。帯域幅Rは、クライアント装置106の優先度(たとえば課金の有無等)をもとに適切な値を決定すればよい。
図10を参照して、通信制御サーバの通信制御部が、映像配信サーバに対して送信する配信指示を説明する。ここで、図10は配信指示を説明する図である。図10において、配信指示20は、配信要求401に含まれるURI、開始時刻T0、再生倍率Nに加え、映像配信サーバ101の配信制御部102の周期実行の周期を指定する実行周期Tと、帯域確保指示901によってネットワーク109に確保した帯域幅Rを含む。ここで、実行周期Tを指定することにより、通信制御サーバ801は、映像配信サーバ101が送信するキーフレームのフレームレートを制御することができる。通信制御サーバ801は、映像コンテンツに格納されるキーフレームのおおよそのバイトサイズが判明しているならば、帯域幅Rを超えない実行周期Tを求めて指定することも可能である。
図11を参照して、通信制御サーバの通信制御部の処理手順を説明する。ここで、図11は通信制御部の処理フロー図である。図11において、最初に、通信制御部802は、クライアント装置106から配信要求401を受信し、URI、開始時刻T0、再生倍率Nの各情報を取得する(S31)。次に、通信制御部802は、適当な帯域幅Rを決定し、ネットワーク109の通信制御装置に対して帯域確保指示901を送信する(S32)。次に、通信制御部802は、適当な実行周期Tを決定し、映像配信サーバ101に対して配信指示1101を送信する(S33)。
通信制御部802は、映像配信サーバ101がキーフレームの送信を完了するのを待つ(S34)。ここで、通信制御部802は、映像配信サーバ101から明示的に送信完了通知を受け取ることによって送信の完了を認識するか、あるいは、映像コンテンツの配信時間、開始時刻T0、および、再生倍率Nから送信完了時間を求め、その時間だけ待機すればよい。最後に、通信制御部802は、ステップ32で確保した帯域を解放するために、ネットワーク109の通信制御装置に対して帯域解放指示を送信する(S35)。ここで、帯域解放指示は、たとえば、帯域確保指示901の帯域幅Rに負の値を指定したものでよい。
以上の処理により、通信制御サーバ801の通信制御部802は、クライアント装置106からの配信要求401にしたがって、ネットワーク109に対して帯域確保指示901を送信することによって帯域幅Rを確保し、映像配信サーバ101に対して確保した帯域幅Rおよび実行周期Tを含む配信指示1001を送信することによって映像配信サーバ101の特殊再生時の配信フレームレートおよび送信帯域幅を制御する。
図12を参照して、映像配信サーバの配信制御部における帯域幅を考慮したキーフレーム送信の処理手順を説明する。ここで、図12は帯域幅を考慮したキーフレーム送信の処理手順の一部を説明するフロー図である。ここで、図12は、図5のステップ508を、図12の処理で置き換えることにより、帯域幅Rを考慮したキーフレーム送信を実現する。ステップ508を除く全体の処理手順は実施例1と同様であり、ここでは説明を省略する。
ステップ41では、前段までのステップ、すなわち、ステップ506またはステップ507で選択したキーフレームIkについて、通信制御サーバ801に指定された帯域幅(R)を超えることなく送信可能であるかを判定する。これは、前回送信したキーフレームIlのサイズLlおよび送信時刻tl、現在の配信時刻tk、帯域幅(R)について、不等式Ll/(tk−tl)<Rが成り立つかどうかによって判定する。不等式が成り立つ場合は、ステップ42に進む。不等式が成り立たない場合は、キーフレームの送信処理を行わず、次のステップ、すなわち、ステップ509に進む。なお、前回送信したキーフレームが存在しない、すなわち、最初のキーフレームについての場合は、不等式が成り立つものとすればよい。
ステップ42では、ステップ508と同様の処理で、選択したキーフレームIkを送信する。次に、ステップ43では、最後に送信したキーフレームIlの情報を、キーフレームIkの情報で更新する。すなわち、最後にキーフレームIlのサイズLlをLkとし、最後にキーフレームを送信した時刻tlをtkとする。
以上の処理により、映像配信サーバ101の配信制御部102は、キーフレーム送信時に、通信制御サーバ801に指定された帯域幅Rを超えるキーフレームの送信をスキップすることにより、送信するキーフレームの帯域を制御する。
以上に説明したように、本発明によれば、特殊再生を行う場合に、通信制御サーバ801から、通信帯域の制御が可能なネットワーク109に対して帯域確保指示901を用いて帯域幅Rの確保を行い、映像配信サーバ101に対して帯域幅Rを含む配信指示1001を送信することにより、クライアント装置106へ送信するキーフレームの帯域を制御することができる。
映像配信システムのブロック図である。 配信制御部のハードウェアブロック図である。 キーフレーム情報を説明する図である。 配信要求を説明する図である。 配信処理部の配信処理フロー図である。 コンテンツファイルのキーフレーム送信を説明する図である。 クライアント装置の動作フロー図である。 配信帯域の制御を行う映像配信システムを表す。 帯域確保指示を説明する図である。 配信指示を説明する図である。 通信制御部の処理フロー図である。 帯域幅を考慮したキーフレーム送信の処理手順の一部を説明するフロー図である。
符号の説明
20…配信指示、101…映像配信サーバ、102…配信制御部、103…記憶装置、104…コンテンツファイル、105…キーフレーム情報、106…クライアント装置、107…再生制御部、108…映像再生部、109…ネットワーク、201…CPU、202…I/Oインタフェース、203…主記憶メモリ、204…プログラム記憶領域、205…配信制御アプリケーションプログラム、401…配信要求、500…映像配信システム、801…通信制御サーバ、802…通信制御部、901…帯域確保指示。

Claims (9)

  1. キーフレームを送信することによって特殊再生を実現する映像配信装置において、
    コンテンツファイルに含まれるキーフレームの番号とファイル先頭からのオフセットとを含むキーフレーム情報を格納する記憶装置と、予め定められた周期で配信を実行する配信制御部とを備え、
    前記配信制御部は、特殊再生を実行するとき、前記周期毎に、前記キーフレーム情報を参照し、前記コンテンツファイルに含まれるキーフレームのなかから配信時刻に最も近い前記オフセットを持つキーフレームを送信することを特徴とする映像配信装置。
  2. 請求項1記載の映像配信装置であって、
    前記配信制御部は、前記キーフレーム情報を参照し、前記配信時刻の前のキーフレームの第1の配信時刻と前記配信時刻との差と、前記配信時刻の後のキーフレームの第2の配信時刻と前記配信時刻との差とを比較することにより、前記配信時刻に最も近い配信時刻を持つキーフレームを選択することを特徴とする映像配信装置。
  3. 請求項1または請求項2に記載の映像配信装置であって、
    前記周期を制御することにより、キーフレームの配信フレームレートを制御することを特徴とする映像配信装置。
  4. 請求項1ないし請求項3のいずれか一つに記載の映像配信装置であって、
    最後に送信したキーフレームのサイズを次の配信時刻から前記最後に送信したキーフレームの送信時刻を引いた差で除した値と、帯域幅とを比較し、前記帯域幅を超えるキーフレームの送信をスキップすることにより、キーフレーム送信の帯域制限を行うことを特徴とする映像配信装置。
  5. 請求項4記載の映像配信装置の通信を制御する通信制御装置であって、
    映像受信装置からの要求にしたがってネットワークの通信帯域幅を確保させ、確保させた通信帯域幅および周期配信時刻を配信指示情報として前記映像配信装置に送信することにより、前記映像配信装置の配信帯域および配信フレームレートを制御することを特徴とする通信制御装置。
  6. ネットワークから受信した符号化映像データを復号化して表示させる映像受信装置であって、
    特殊再生時に、完全なキーフレームを受信したとき、前記キーフレームに含まれる時刻情報を無視して復号化した画像を表示させ、この画像の表示を次の完全なキーフレーム受信まで継続させることを特徴とする映像受信装置。
  7. コンテンツファイルに含まれるキーフレームについて、キーフレームの番号、ファイル先頭からのオフセット、およびキーフレームのサイズからなるキーフレーム情報を格納し、
    前記キーフレーム情報を用いて、前記コンテンツファイルに含まれるキーフレームのなかから周期配信時刻に最も近い配信時刻を持つキーフレームを選択し、
    選択したキーフレームを周期的に送信することを特徴とするキーフレーム配信方法。
  8. 請求項7に記載のキーフレーム配信方法であって、
    前記周期を制御することにより、キーフレームの配信フレームレートを制御することを特徴とする映像配信装置。
  9. 請求項7または請求項8に記載の映像配信装置であって、
    最後に送信したキーフレームのサイズを次の配信時刻から前記最後に送信したキーフレームの送信時刻を引いた差で除し、
    除した値と、帯域幅とを比較し、
    前記帯域幅を超えるキーフレームの送信をスキップすることを特徴とするキーフレーム配信方法。
JP2007101865A 2007-04-09 2007-04-09 映像配信装置およびキーフレーム配信方法 Expired - Fee Related JP5147278B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007101865A JP5147278B2 (ja) 2007-04-09 2007-04-09 映像配信装置およびキーフレーム配信方法
CN2008100901394A CN101287106B (zh) 2007-04-09 2008-04-07 影像分发装置、影像接收装置以及关键帧分发方法
US12/099,425 US8413197B2 (en) 2007-04-09 2008-04-08 Video delivery device, video receiver and key frame delivery method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007101865A JP5147278B2 (ja) 2007-04-09 2007-04-09 映像配信装置およびキーフレーム配信方法

Publications (3)

Publication Number Publication Date
JP2008259119A true JP2008259119A (ja) 2008-10-23
JP2008259119A5 JP2008259119A5 (ja) 2009-10-15
JP5147278B2 JP5147278B2 (ja) 2013-02-20

Family

ID=39873544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007101865A Expired - Fee Related JP5147278B2 (ja) 2007-04-09 2007-04-09 映像配信装置およびキーフレーム配信方法

Country Status (3)

Country Link
US (1) US8413197B2 (ja)
JP (1) JP5147278B2 (ja)
CN (1) CN101287106B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121696A1 (ja) * 2010-03-29 2011-10-06 パナソニック株式会社 映像再生方法及び映像再生装置
US9438876B2 (en) 2010-09-17 2016-09-06 Thomson Licensing Method for semantics based trick mode play in video system
US9866922B2 (en) 2010-03-31 2018-01-09 Thomson Licensing Trick playback of video data

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2949636B1 (fr) 2009-09-02 2012-08-03 Sagem Comm Procede de lecture d'un contenu sur un dispositif multimedia, et dispositif associe
TWI469088B (zh) * 2010-12-31 2015-01-11 Ind Tech Res Inst 前景深度地圖產生模組及其方法
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法
CN102610254B (zh) * 2011-01-19 2016-01-20 新奥特(北京)视频技术有限公司 一种读取任意多时间点数据实现变速与倒放的方法和系统
US8925021B2 (en) * 2011-07-11 2014-12-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for trick play in over-the-top video delivery
JP2013187606A (ja) * 2012-03-06 2013-09-19 Sony Corp 撮像装置および画像伝送方法
AU2016217427A1 (en) * 2015-02-13 2017-08-17 Panasonic Intellectual Property Management Co., Ltd. Content reproduction system, video recording apparatus, terminal apparatus, and content reproduction method
CN109391847B (zh) * 2017-08-08 2021-10-12 中国电信股份有限公司 流媒体卡顿的监测方法及监测装置
US10708607B1 (en) * 2018-03-23 2020-07-07 Amazon Technologies, Inc. Managing encoding based on performance
CN108737908B (zh) * 2018-05-21 2021-11-30 腾讯科技(深圳)有限公司 一种媒体播放方法、装置及存储介质
CN109089131B (zh) * 2018-09-21 2021-07-23 广州虎牙信息科技有限公司 一种基于ios系统的录屏直播方法、装置、设备及存储介质
CN110113655B (zh) * 2019-05-05 2021-09-21 北京奇艺世纪科技有限公司 一种视频播放的方法、装置及用户终端
CN115640422B (zh) * 2022-11-29 2023-12-22 深圳有影传媒有限公司 一种网络传媒视频数据分析监管系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832934A (ja) * 1994-07-12 1996-02-02 Sony Corp 映像信号記録装置および映像信号再生装置
JPH09163308A (ja) * 1995-12-01 1997-06-20 Matsushita Electric Ind Co Ltd ビデオサーバ装置
JPH10257415A (ja) * 1997-03-07 1998-09-25 Matsushita Electric Ind Co Ltd ストリーム通信制御装置
JP2003259292A (ja) * 2002-03-01 2003-09-12 Toshiba Corp マルチメディア通信装置とその信号処理モジュール
JP2004194215A (ja) * 2002-12-13 2004-07-08 Sony Corp コンテンツ受信装置とコンテンツ受信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3072971B2 (ja) 1996-07-17 2000-08-07 松下電器産業株式会社 ビデオ・オン・デマンドシステムとそれを構成するビデオサーバ装置及び端末装置
GB9813830D0 (en) * 1998-06-27 1998-08-26 Philips Electronics Nv Flexible management of multiple file systems
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
BRPI0001810B1 (pt) * 2000-03-28 2015-06-23 Coppe Ufrj Coordenação Dos Programas De Pós Graduação De Engenharia Da Universidade Fed Do Rio De Ja Memória cooperativa distribuída para sistema de vod interativo e escalável
US6937770B1 (en) * 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7023924B1 (en) * 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US7764863B1 (en) * 2002-03-06 2010-07-27 Bigband Networks Inc. System and method for providing trick modes
US7155109B2 (en) 2002-06-14 2006-12-26 Microsoft Corporation Programmable video recorder having flexible trick play
FR2842690B1 (fr) * 2002-07-17 2004-10-08 Thomson Licensing Sa Procede et dispositif de transmission de donnees video pour la mise en oeuvre de modes speciaux
KR100546640B1 (ko) * 2003-03-11 2006-01-26 엘지전자 주식회사 디지털 비디오 기록 재생 시스템 및 트릭 재생 방법
JP4118232B2 (ja) * 2003-12-19 2008-07-16 三菱電機株式会社 映像データ処理方法および映像データ処理装置
US7577980B2 (en) * 2006-01-19 2009-08-18 International Business Machines Corporation Bit-rate constrained trick play through stream switching and adaptive streaming

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832934A (ja) * 1994-07-12 1996-02-02 Sony Corp 映像信号記録装置および映像信号再生装置
JPH09163308A (ja) * 1995-12-01 1997-06-20 Matsushita Electric Ind Co Ltd ビデオサーバ装置
JPH10257415A (ja) * 1997-03-07 1998-09-25 Matsushita Electric Ind Co Ltd ストリーム通信制御装置
JP2003259292A (ja) * 2002-03-01 2003-09-12 Toshiba Corp マルチメディア通信装置とその信号処理モジュール
JP2004194215A (ja) * 2002-12-13 2004-07-08 Sony Corp コンテンツ受信装置とコンテンツ受信方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121696A1 (ja) * 2010-03-29 2011-10-06 パナソニック株式会社 映像再生方法及び映像再生装置
US9866922B2 (en) 2010-03-31 2018-01-09 Thomson Licensing Trick playback of video data
US11418853B2 (en) 2010-03-31 2022-08-16 Interdigital Madison Patent Holdings, Sas Trick playback of video data
US9438876B2 (en) 2010-09-17 2016-09-06 Thomson Licensing Method for semantics based trick mode play in video system

Also Published As

Publication number Publication date
JP5147278B2 (ja) 2013-02-20
CN101287106A (zh) 2008-10-15
US8413197B2 (en) 2013-04-02
CN101287106B (zh) 2012-07-25
US20080263605A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
JP5147278B2 (ja) 映像配信装置およびキーフレーム配信方法
US20210263981A1 (en) Playlists for real-time or near real-time streaming
US11470405B2 (en) Network video streaming with trick play based on separate trick play files
CN112106375B (zh) 用于视频流式传输的差异媒体呈现描述
US9191725B2 (en) Method and apparatus for streaming video
US9247317B2 (en) Content streaming with client device trick play index
US8280863B2 (en) Real-time or near real-time streaming with compressed playlists
US9277252B2 (en) Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
CN109792546B (zh) 从服务器向客户端设备传送视频内容的方法
WO2010078281A2 (en) Real-time or near real-time streaming
WO2017096935A1 (zh) 一种快速频道切换方法、服务器及iptv系统
JP7547489B2 (ja) 動的要素置換のためのグループ中の要素の識別
US20200154158A1 (en) Content supply device, content supply method, program, terminal device, and content supply system
CN115136609A (zh) 远程元素解析的基于客户端的存储
EP4014480A1 (en) Prediction-based dropped frame handling logic in video playback
JP2002290974A (ja) 伝送レート制御方法
US20230164398A1 (en) Video stream control
JP7499583B2 (ja) 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム
US20160014181A1 (en) Content transfer method, content transfer apparatus and content receiving apparatus
JP7292901B2 (ja) 送信装置、送信方法、及びプログラム
JP2020129734A (ja) コンテンツ生成装置、受信装置、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees