JP2014093733A - Video distribution device, video reproduction device, video distribution program, and video reproduction program - Google Patents
Video distribution device, video reproduction device, video distribution program, and video reproduction program Download PDFInfo
- Publication number
- JP2014093733A JP2014093733A JP2012244672A JP2012244672A JP2014093733A JP 2014093733 A JP2014093733 A JP 2014093733A JP 2012244672 A JP2012244672 A JP 2012244672A JP 2012244672 A JP2012244672 A JP 2012244672A JP 2014093733 A JP2014093733 A JP 2014093733A
- Authority
- JP
- Japan
- Prior art keywords
- gop
- video
- encoded data
- reproduction
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、映像配信装置、映像再生装置、映像配信プログラム及び映像再生プログラムに関する。 The present invention relates to a video distribution device, a video reproduction device, a video distribution program, and a video reproduction program.
従来から、動画像データ及び音声データに符号化処理を施しさらに多重化し、多重化された符号化データをストリーミング配信し、ストリーミング配信された映像の逆再生を行うことができる復号装置が知られている(例えば、特許文献1参照)。この復号装置は、ビットストリームに中に前方向、後ろ方向それぞれ3箇所のエントリポイント(Iピクチャの位置情報)が記録されていて、第一と第二のエントリポイントを抽出し、逆方向においては、第一あるいは第二エントリポイントの一方にアクセスし、アクセスしたフレームをデコードし、次に表示すべきフレームのデコードが終わるまでに、すでにデコードされた画像を表示するように制御するものである。 Conventionally, there has been known a decoding device capable of performing encoding processing on video data and audio data, further multiplexing, streaming distribution of the multiplexed encoded data, and reverse reproduction of the video distributed in streaming. (For example, refer to Patent Document 1). In this decoding apparatus, three entry points (position information of I picture) are recorded in the bit stream in the forward direction and the backward direction, respectively, and the first and second entry points are extracted, and in the reverse direction One of the first or second entry points is accessed, the accessed frame is decoded, and control is performed so that the already decoded image is displayed until the next frame to be displayed is decoded.
しかしながら、特許文献1に記載の復号装置にあっては、ビットストリームに中に前方向、後ろ方向それぞれ3箇所のエントリポイント(Iピクチャの位置情報)を明示的にビットストリームに中に入れなければならないという問題がある。また、特許文献1に記載の復号装置は、ローカルディスクに保存された画像の逆再生、逆コマおくり再生を行うものであり、配信サーバからストリーム配信される映像を受信しながら逆再生、逆コマ送り再生するために適用することはできないという問題もある。
However, in the decoding device described in
本発明は、このような事情に鑑みてなされたもので、ビットストリームに付加情報を新たに追加することなく、ストリーミング配信映像の再生を制御することができる映像配信装置、映像再生装置、映像配信プログラム及び映像再生プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and a video distribution apparatus, a video reproduction apparatus, and a video distribution capable of controlling reproduction of streaming distribution video without newly adding additional information to the bitstream. An object is to provide a program and a video reproduction program.
本発明は、受信した映像情報をストリーミング再生する映像再生装置からの要求に応じて映像情報を配信する映像配信装置であって、前記映像再生装置から配信要求と再生時間情報を受信する受信手段と、受信した前記配信要求を解析し、前記配信要求が逆配信の場合に、受信した前記再生時間情報に基づく再生時間のGOPの先頭から1GOP単位で過去の方向に符号化データの読み出し指示を出力する要求内容解析手段と、前記読み出し指示を入力し、指示された前記再生時間のGOPの先頭から1GOP単位で過去の方向に符号化データを読み出すとともに、読み出した1GOP符号化データを識別可能なGOP情報を作成し、作成した前記GOP情報と読み出した前記1GOP単位の符号化データを出力する再生データ保存手段と、前記GOP情報と前記1GOP単位の符号化データとを前記映像再生装置に対して送信する送信手段とを備えることを特徴とする。 The present invention relates to a video distribution apparatus that distributes video information in response to a request from a video reproduction apparatus that performs streaming reproduction of received video information, and receiving means that receives the distribution request and reproduction time information from the video reproduction apparatus; The received distribution request is analyzed, and when the distribution request is reverse distribution, an instruction to read out encoded data in the past direction is output in units of 1 GOP from the beginning of the GOP of the reproduction time based on the received reproduction time information. A request content analyzing means that inputs the read instruction, reads the encoded data in the past direction from the head of the GOP of the instructed reproduction time in units of 1 GOP, and identifies the read 1 GOP encoded data Reproduction data storage means for generating information and outputting the generated GOP information and the read encoded data in units of 1 GOP; Serial GOP information and the encoded data of the 1GOP units comprising: a transmitting means for transmitting to the image reproducing device.
本発明は、受信した映像情報をストリーミング再生する映像再生装置からの要求に応じて映像情報を配信する映像配信装置であって、前記映像再生装置から配信要求と再生時間情報を受信する受信手段と、受信した前記配信要求を解析し、前記配信要求が順配信の場合に、受信した前記再生時間情報に基づく再生時間のGOPの先頭から1GOP単位で未来の方向に符号化データの読み出し指示を出力する要求内容解析手段と、前記読み出し指示を入力し、指示された前記再生時間のGOPの先頭から1GOP単位で未来の方向に符号化データを読み出すとともに、読み出した1GOP符号化データを識別可能なGOP情報を作成し、作成した前記GOP情報と読み出した前記1GOP単位の符号化データを出力する再生データ保存手段と、前記GOP情報と前記1GOP単位の符号化データとを前記映像再生装置に対して送信する送信手段とを備えることを特徴とする。 The present invention relates to a video distribution apparatus that distributes video information in response to a request from a video reproduction apparatus that performs streaming reproduction of received video information, and receiving means that receives the distribution request and reproduction time information from the video reproduction apparatus; The received distribution request is analyzed, and when the distribution request is sequential distribution, an instruction to read the encoded data in the future direction is output in units of 1 GOP from the beginning of the GOP of the reproduction time based on the received reproduction time information. A request content analyzing means that inputs the read instruction, reads the encoded data in the future direction in units of 1 GOP from the head of the GOP of the instructed reproduction time, and identifies the read 1 GOP encoded data Reproduction data storage means for generating information and outputting the generated GOP information and the read encoded data in units of 1 GOP; Serial GOP information and the encoded data of the 1GOP units comprising: a transmitting means for transmitting to the image reproducing device.
本発明は、前記送信手段は、前記符号化データの配信レートよりもオーバレートで前記GOP情報と前記1GOP単位の符号化データとを送信することを特徴とする。 The present invention is characterized in that the transmission means transmits the GOP information and the encoded data in units of 1 GOP at an over rate than the distribution rate of the encoded data.
本発明は、配信要求に応じて映像配信装置から配信された映像情報をストリーミング再生する映像再生装置であって、逆再生の指示を受けた際に、逆配信の配信要求と再生時間情報とを前記映像配信装置に対して送信する送信手段と、前記配信要求に応じて配信されたGOP情報と1GOP単位の符号化データを順に受信する受信手段と、前記1GOP単位の符号化データを識別可能な前記GOP情報に基づいて、前記受信した前記1GOP単位の符号化データを、過去GOP、現在GOP及び未来GOPに分類されたリングバッファに再生時間の過去の順から格納し、前記リングバッファに格納されている1GOP単位の符号化データを未来方向にGOP単位でシフトさせながら、前記リングバッファの現在GOPに格納されている1GOP単位の前記符号化データを復号することにより前記映像情報を逆再生する再生手段とを備えたことを特徴とする。 The present invention is a video reproduction device for streaming reproduction of video information distributed from a video distribution device in response to a distribution request. When a reverse reproduction instruction is received, a reverse distribution distribution request and reproduction time information are provided. Transmission means for transmitting to the video distribution apparatus, reception means for sequentially receiving GOP information distributed in response to the distribution request and encoded data in 1 GOP units, and encoded data in 1 GOP units can be identified Based on the GOP information, the received encoded data in units of 1 GOP is stored in a ring buffer classified into a past GOP, a current GOP, and a future GOP in the order of playback time, and stored in the ring buffer. 1 GOP stored in the current GOP of the ring buffer while shifting the encoded data of 1 GOP unit in the GOP unit in the future direction Characterized by comprising a reproducing means for reverse playback of the video information by decoding the encoded data of the unit.
本発明は、前記再生時間情報は、前記過去GOPのリングバッファに格納されている前記符号化データの有無を確認し、前記過去GOPの数と前記符号化データの有無に基づき決定することを特徴とする。 The present invention is characterized in that the reproduction time information is determined based on the number of the past GOPs and the presence / absence of the encoded data by checking the presence / absence of the encoded data stored in the ring buffer of the past GOP. And
本発明は、配信要求に応じて映像配信装置から配信された映像情報をストリーミング再生する映像再生装置であって、順再生の指示を受けた際に、順配信の配信要求と再生時間情報とを前記映像配信装置に対して送信する送信手段と、前記配信要求に応じて配信されたGOP情報と1GOP単位の符号化データを順に受信する受信手段と、前記1GOP単位の符号化データを識別可能な前記GOP情報に基づいて、前記受信した前記1GOP単位の符号化データを、過去GOP、現在GOP及び未来GOPに分類されたリングバッファに再生時間の過去の順から格納し、前記リングバッファに格納されている1GOP単位の符号化データを過去方向にGOP単位でシフトさせながら、前記リングバッファの現在GOPに格納されている1GOP単位の前記符号化データを復号することにより前記映像情報を順再生する再生手段とを備えたことを特徴とする。 The present invention is a video reproduction device for streaming reproduction of video information distributed from a video distribution device in response to a distribution request. When a sequential reproduction instruction is received, a sequential distribution distribution request and reproduction time information are transmitted. Transmission means for transmitting to the video distribution apparatus, reception means for sequentially receiving GOP information distributed in response to the distribution request and encoded data in 1 GOP units, and encoded data in 1 GOP units can be identified Based on the GOP information, the received encoded data in units of 1 GOP is stored in a ring buffer classified into a past GOP, a current GOP, and a future GOP in the order of playback time, and stored in the ring buffer. 1 GOP stored in the current GOP of the ring buffer while shifting the encoded data of 1 GOP unit in the past in GOP units Characterized by comprising a reproducing means for sequentially reproducing the video information by decoding the encoded data of the unit.
本発明は、前記再生時間情報は、前記未来GOPのリングバッファに格納されている前記符号化データの有無を確認し、前記未来GOPの数と前記符号化データの有無に基づき決定することを特徴とする。 The present invention is characterized in that the reproduction time information is determined based on the number of the future GOP and the presence / absence of the encoded data by checking the presence / absence of the encoded data stored in a ring buffer of the future GOP. And
本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。 The present invention is a video distribution program for causing a computer to function as the video distribution apparatus.
本発明は、コンピュータを、前記映像再生装置として機能させるための映像再生プログラムである。 The present invention is a video playback program for causing a computer to function as the video playback device.
本発明によれば、ビットストリームに付加情報を新たに追加することなく、ストリーミング配信映像の再生を制御することができるという効果が得られる。 According to the present invention, it is possible to control the reproduction of streaming distribution video without newly adding additional information to the bitstream.
以下、図面を参照して、本発明の一実施形態による映像配信装置及び映像再生装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、映像再生装置として機能する再生端末である。符号2は、映像配信装置として機能する配信サーバである。符号3は、再生端末1と配信サーバ2とを情報通信可能に接続するネットワークである。
Hereinafter, a video distribution apparatus and a video reproduction apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
再生端末1は、送信部11、受信部12、両方向バッファ制御部13、映像出力部14、操作部15、復号部16、デコーダ部17、デコード画像制御部18、デコード画像バッファ部19から構成する。送信部11は、配信サーバ2に対して、逆配信要求または順配信要求と配信サーバが再生時間のどこから配信するかを示す再生時間情報を送信する。受信部12は、配信サーバ2から配信された映像情報を受信する。
The
両方向バッファ制御部13は、逆配信要求または順配信要求と配信サーバ2が再生時間のどこから配信すべきかを示す再生時間情報を送信部11に送る。また、両方向バッファ制御部13は、配信サーバ2から配信されたGOP(Group Of Picture)情報、1GOP符号化データの順で受信する。また、両方向バッファ制御部13は、GOP情報により1GOP単位で符号化データを管理し、再生時間順に並んだ複数のGOPで構成されたリングバッファを作成する。また、両方向バッファ制御部13は、リングバッファの符号化データをデコーダ部17に送る。
The bi-directional
映像出力部14は、配信サーバ2から配信された映像と音声を再生するために、映像を表示する表示装置と、音声を発音するスピーカとで構成する。操作部15は、映像視聴者が映像を視聴するための操作を行う。操作部15は、ボタン押下等の操作で順再生、順コマ送り再生、逆再生、逆コマ送り再生の操作を行う。図16に示すように、順再生は、今再生している時間から未来方向に向かった再生である。一方、逆再生は、今再生している時間から過去の方向に向かった再生である。図16は、映像再生方向を示す説明図である。
The
再生操作には以下の操作がある。(1)逆コマ送りボタン押下1回ごとに、1フレーム毎逆コマ再生される。(2)逆再生ボタン押下1回で再生時間の過去の方に1フレーム単位で連続(15フレーム/sec)して再生される。(3)逆スロー再生ボタン押下1回で再生時間の過去の方に1フレーム単位でスロー(15フレーム/secより遅い)再生される。(4)順コマ送りボタン押下1回ごとに、1フレーム毎順コマ再生される。(5)順再生ボタン押下1回で再生時間の未来の方に1フレーム単位で連続(15フレーム/sec)して再生される。(6)順スロー再生ボタン押下1回で再生時間の未来の方に1フレーム単位でスロー(15フレーム/secより遅い)再生される。また、操作部15は、両方向バッファ制御部13、デコード画像制御部18に対して逆再生または順再生を行うための指示を通知する。図17に、操作部15の各操作ボタンの例を示す。
The reproduction operation includes the following operations. (1) Each time a reverse frame advance button is pressed, reverse frame playback is performed frame by frame. (2) When the reverse playback button is pressed once, playback is continuously performed in units of one frame (15 frames / sec) toward the past playback time. (3) Slow playback (slower than 15 frames / sec) is played back in units of one frame toward the past playback time by pressing the reverse slow playback button once. (4) Each time the forward frame advance button is pressed, the forward frame is reproduced frame by frame. (5) When the forward playback button is pressed once, playback is continued in units of one frame (15 frames / sec) toward the future of the playback time. (6) Slow playback (slower than 15 frames / sec) is played back in units of one frame toward the future of the playback time when the forward slow playback button is pressed once. In addition, the
復号部16は、受信部12によって受信した符号化データを復号する。デコーダ部17は、少なくとも1GOPのデコードした映像/音声を一時保存できるバッファ容量を有しており、リングバッファから受け取った符号化データを1GOP単位でデコードし、デコード画像バッファ部19へデコードした映像/音声を送る。デコード画像制御部18は、デコード画像の制御を行う。デコード画像バッファ部19は、バッファが溢れないようにするため1GOPより大きい容量(1GOP+Xフレーム)を有しており、順再生方向あるいは逆再生方向に映像/音声を映像出力部14に送り、映像出力部14に送信後すぐに映像/音声を削除しない。映像出力部14は、デコードバッファ部19から受信した映像/音声を再生する。また、音声は必ずしも再生する必要はない。
The
配信サーバ2は、受信部21、要求内容解析部22、再生データ保存部23、送信部24から構成する。受信部21は、再生端末1からの要求を受け取り、要求内容解析部22に送る。要求内容解析部22は、要求内容を解析し要求が逆配信の場合は、再生データ保存部23へ要求された再生時間のGOPの先頭から1GOP単位で再生時間の過去の方向に符号化データの読み出しの指示を出す。また、要求内容解析部22は、要求内容を解析し要求が順配信の場合は、再生データ保存部23へ要求された再生時間のGOPの先頭から未来の方向に符号化データの読み出しの指示を出す。
The
再生データ保存部23は、要求内容解析部22から逆配信の指示を受け取ると、配信要求された再生時間のGOPの先頭から1GOP単位で再生時間の過去の方向に符号化データを読み出し、さらにこの1GOPの再生時間などの情報が入ったGOP情報を作成し、GOP情報、1GOP符号化データの順で送信部24へ送る。また、再生データ保存部23は、要求内容解析部22から順配信の指示を受け取ると、配信要求された再生時間のGOPの先頭から1GOP単位で再生時間の未来の方向に符号化データを読み出し、さらに1GOP毎に再生時間などの情報が入ったGOP情報を作成し、GOP情報、1GOP符号化データの順で送信部へ送る。
When receiving the reverse delivery instruction from the request
送信部24は、GOP情報、1GOP符号化データの順で要求元の再生端末1に符号化データの配信レートよりオーバレート配信する。配信サーバ2の送信部24と再生端末1の受信部12間で配信のフロー制御を行っているため、オーバレート配信であっても再生端末1の両方向バッファ制御部13のバッファが溢れることはない。ここでは1GOPを0.5秒、15フレーム/secとするがこの限りではない。
The
次に、図2を参照して、再生開始のリングバッファシフトの動作を説明する。図2は、再生開始のリングバッファシフトの動作を示す説明図である。両方向バッファ制御部13は、符号化データをGOPで管理し、複数のGOPで構成されたリングバッファを作成する。リングバッファ作成は、リングバッファのGOP数によって決定する。リングバッファを過去GOP(以後、過去)、現在GOP(以後、現在)、未来GOP(以後、未来)と分類し、現在の再生時間より再生時間が戻ったGOPは過去、現在の再生時間より再生時間が先に進んだGOPは未来とする。現在は1つ、過去、未来は1つずつとは限らず複数でもよい。過去、未来の数はそれぞれ同じ数でなくてもよい。
Next, with reference to FIG. 2, the operation of the ring buffer shift for starting reproduction will be described. FIG. 2 is an explanatory diagram showing a ring buffer shift operation for starting reproduction. The bidirectional
ここでは、過去2、現在1、未来2の5つのGOPからなるリングバッファとする。再生開始時は、現在の位置に受信した符号化データを入れ、現在の符号化データをデコーダ部17に送信する。まず、再生開始時は、現在A1に符号化データ(0−0.5秒)を入れ(図2(1))、現在A1の符号化データをデコーダ部17に送信する。再生開始(0秒から)は、順再生とする。次に、現在A1の符号化データ(0−0.5秒)を全てデコーダ部17に送信が終わったら、過去へ1GOPシフトする。符号化データ(0.5−1.0秒)を現在A2に入れ(図2(2))、現在A2の符号化データ(0.5−1.0秒)をデコーダ部17に送信する。
Here, it is assumed that the ring buffer is composed of five GOPs of the past 2, the
次に、図3を参照して、順再生のリングバッファシフトの動作を説明する。図3は、順再生時のリングバッファシフトの動作を示す説明図である。まず、現在A2の符号化データ(0.5−1.0秒)を全てデコーダ部17に送信が終わったら、過去へ1GOPシフトする。符号化データ(1.0−1.5秒)を現在A3に入れ(図3(1))、現在A3の符号化データ(1.0−1.5秒)をデコーダ部17に送信する。
Next, referring to FIG. 3, the operation of the ring buffer shift for forward reproduction will be described. FIG. 3 is an explanatory diagram showing the ring buffer shift operation during forward playback. First, when transmission of all the current A2 encoded data (0.5 to 1.0 seconds) to the
次に、現在A3の符号化データ(1.0−1.5秒)を全てデコーダ部17に送信が終わったら、過去へ1GOPシフトする。過去のGOPが2つのため、過去へ1つシフトするとき、A1(0−0.5秒)を削除する。符号化データ(1.5−2.0秒)を現在A4に入れ(図3(2))、A4現在の符号化データ(1.5−2.0秒)をデコーダ部17に送信する。
Next, when transmission of all the current A3 encoded data (1.0-1.5 seconds) to the
次に、図4を参照して、順再生から逆再生へ移行する際のリングバッファシフトの動作を説明する。図4は、順再生から逆再生へ移行する際のリングバッファシフトの動作を示す説明図である。まず、順再生を継続して行い、リングバッファの現在A10(4.5−5.0秒)の時(図4(1))に逆再生が要求されたものとする。過去が2GOPであるが、過去2GOPに符号化データの有無を確認し、この例では2GOPともに符号化データが入っているため、現在A10の4.5秒から3GOP過去の3.0秒(再生時間情報)からの逆配信を要求する。過去GOPに入っている符号化データの有無を確認し、過去GOP数と符号化データの有無によって、再生時間情報を決定する。 Next, with reference to FIG. 4, the operation of the ring buffer shift when shifting from forward playback to reverse playback will be described. FIG. 4 is an explanatory diagram showing the ring buffer shift operation when shifting from forward playback to reverse playback. First, it is assumed that forward reproduction is continuously performed and reverse reproduction is requested at the current time A10 (4.5-5.0 seconds) of the ring buffer (FIG. 4 (1)). Although the past is 2GOP, the presence or absence of encoded data is confirmed in the past 2GOP. In this example, since 2GOP contains encoded data, the current A10 4.5 seconds to 3GOP past 3.0 seconds (reproduction) Request reverse delivery from time information). The presence / absence of encoded data included in the past GOP is confirmed, and reproduction time information is determined based on the number of past GOPs and the presence / absence of encoded data.
次に、現在A10の符号化データ(4.5−5.0秒)を全てデコーダ部17に送信が終わったら、現在A10(4.5−5.0秒)を未来、過去A9(4.0−4.5)が現在、過去A8(3.5−4.0)を過去へ1GOPずつシフトする。そして、逆配信で受信した符号化データ(3.0−3.5秒)を過去C1に入れ(図4(2))、現在A9の符号化データ(4.0−4.5)をデコーダ部17に送信する。
Next, when transmission of all the encoded data (4.5-5.0 seconds) of the current A10 to the
次に、図5を参照して、逆再生のリングバッファシフトの動作を説明する。図5は、逆再生のリングバッファシフトの動作を示す説明図である。まず、現在A9の符号化データ(4.0−4.5秒)を全てデコーダ部17に送信が終わったら、現在A9(4.0−4.5秒)を未来、過去A8(3.5−4.0)を現在、過去C1(3.0−3.5秒)を過去、未来A10(4.5−5.0秒)を未来へ1GOPずつ右にシフトする。そして、逆配信で受信した符号化データ(2.5−3.0秒)を過去C2に入れ(図5(1))、現在A8の符号化データ(3.5−4.0秒)をデコーダ部17に送信する。
Next, the reverse reproduction ring buffer shift operation will be described with reference to FIG. FIG. 5 is an explanatory diagram showing the ring buffer shift operation for reverse reproduction. First, when all the encoded data (4.0-4.5 seconds) of the current A9 is transmitted to the
次に、現在の符号化データA8(3.5−4.0秒)を全てデコーダ部17に送信が終わったら、現在A8(3.5−4.0秒)を未来、過去C1(3.0−3.5秒)を現在、過去C2(2.5−3.0秒)を過去、未来A9(4.0−4.5秒)を未来へ右に1GOPずつシフトする。そして、未来のGOPが2つのため、未来へ1つシフトするとき、A10(4.5−5.0秒)を削除する。続いて、逆配信で受信した符号化データ(2.0−2.5秒)を過去C3に入れ(図5(2))、現在C1の符号化データ(3.0−3.5秒)をデコーダ部17に送信する。
Next, when transmission of all the current encoded data A8 (3.5-4.0 seconds) to the
次に、図6を参照して、順再生の処理動作を説明する。図6は、順再生の処理動作を示す説明図である。ここでは、過去GOP1、現在GOP1、未来GOP1の3つのGOPからなるリングバッファとする。まず、両方向バッファ制御部13は、リングバッファの現在A10(4.5−5.0秒)をデコーダ部17に送る(図6(1))。次に、デコーダ部17は、現在A10(4.5−5.0秒)の符号化データを受け取り、デコードし、デコードした映像/音声をデコード画像バッファ部19に送る(図6(2))。
Next, with reference to FIG. 6, the processing operation for forward reproduction will be described. FIG. 6 is an explanatory diagram showing the processing operation for forward playback. Here, it is assumed that the ring buffer includes three GOPs of the past GOP1, the current GOP1, and the future GOP1. First, the bidirectional
次に、デコード画像バッファ部19は、すでに映像出力部14に送った映像/音声A9を削除しながら、デコーダ部17からA10の先頭4.5秒から映像/音声を受け取る。そして、デコード画像バッファ部19は、再生時間の順方向に映像/音声を映像出力部14に送る。映像出力部14に送信した映像/音声は直ぐに削除しない(図6(3))。次に、映像出力部14は、デコード画像バッファ部19から受け取った映像/音声を再生する(図6(4))。音声は必ずしも再生する必要はない。
Next, the decoded
次に、図7を参照して、順再生(図6に示す処理動作)から逆再生へ移行する処理動作を説明する。図7は、順再生から逆再生へ移行する際の処理動作を示す説明図である。順再生から逆コマ送りボタン押下を行うと、操作部15は、両方向バッファ制御部13、デコード画像制御部18へ逆再生の指示を通知する(図7(1))。デコード画像制御部18は、操作部15から逆再生の指示を受け取ると、デコーダ部17にデコード画像バッファ部19へ映像/音声の送信を停止する指示を送る(図7(2))。これを受けて、デコード画像バッファ部を1つ追加する。順再生で使用していたデコード画像バッファ部をデコード画像バッファ部19−Aとし、新しく追加したデコード画像バッファ部をデコード画像バッファ部19−Bとする。
Next, with reference to FIG. 7, a processing operation for shifting from forward reproduction (processing operation shown in FIG. 6) to reverse reproduction will be described. FIG. 7 is an explanatory diagram showing a processing operation when shifting from forward playback to reverse playback. When the reverse frame advance button is pressed from the forward reproduction, the
次に、両方向バッファ制御部13は、操作部15から逆再生の指示を受け取ると、逆配信要求と配信サーバ2が再生時間のどこから配信すべきかを示す再生時間情報(図6)のリングバッファの現在A10(4.5−5.0秒)からXGOP過去(ここでは、過去の符号化データが1つであり、過去A9が存在するため再生時間:3.5秒)を送信部11へ送る(図7(3))。過去が2GOPで2GOPとも符号化データが存在する場合に時間情報は、3.0秒となる。過去GOPに入っている符号化データの有無を確認し、過去GOP数と符号化データの有無によって、再生時間情報を決定する。また、両方向バッファ制御部13は、リングバッファ以外の符号化データを削除する。そして、送信部11は、配信サーバ2へ逆配信要求と再生時間情報(3.5秒)を送る(図7(4)))。逆配信要求と再生時間情報は、最初の1回のみ配信サーバ2へ送る。
Next, when the bi-directional
次に、デコード画像バッファ部19−Aは、デコード画像制御部18から逆コマ再生要求を受け取るとそのタイミングに合わせて映像出力部14に順再生で最後に送った時間(例えば4.8秒)から、過去の再生時間方向に向かって、1フレーム毎に映像/音声を映像出力部14に送る(図7(5))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, when receiving the reverse frame playback request from the decoded
次に、映像出力部14は、デコード画像バッファ部19−Aから受け取った映像/音声を再生する(図7(6))。再生が順再生から逆方向になっても順再生した時間(4.8秒)から再生時間が飛ぶことなく、1フレーム毎逆コマ再生される。音声は必ずしも再生する必要はない。
Next, the
次に、デコード画像バッファ部19−Aを再生している間に、デコード画像制御部18はデコーダ部17に対して、デコーダ部17に残っているデコード映像/音声を削除する指示を出す(図7(7))。さらに、次にデコードした映像/音声は、もう1つのデコード画像バッファ部19−Bへ送る指示を出す。
Next, while reproducing the decoded image buffer unit 19-A, the decoded
次に、デコード画像バッファ部19−Aを再生している間に、両方向バッファ制御部13は逆配信された符号化データを受信し、A10を未来、A9を現在にシフトし、逆配信された符号化データ(3.5−4.0秒)を過去C1に入れる。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する(図7(8))。そして、両方向バッファ制御部13は、リングバッファの現在A9の符号化データ(4.0−4.5秒)をデコーダ部17に送る(図7(9))。これを受けて、デコーダ部17は、A9(4.0−4.5秒)の符号化データを受け取り、デコードする(図7(10))。デコードした映像/音声をデコード画像バッファ部19−Bに送る。
Next, while playing back the decoded image buffer unit 19-A, the bidirectional
次に、デコード画像制御部18は、デコード画像バッファ部19−Aの再生が終わったら、操作部15から逆コマ再生要求を受け取ると、そのタイミングに合わせて1フレーム毎に、再生時間がデコード画像バッファ部19−Aの再生時間の続き(4.3秒)から過去の再生時間方向に向かって、映像/音声を映像出力部14に送る指示をデコード画像バッファ部19−Bに対して出す(図7(11))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る指示を出す。
Next, when the decoded
次に、デコード画像バッファ部19−Bは、デコード画像制御部18から逆コマ再生要求を受け取ると、そのタイミングに合わせて1フレーム毎に、映像出力部14にデコード画像バッファ部19−Aの再生時間の続き(4.3秒)から過去の再生時間方向に向かって、映像/音声を映像出力部14に送る(図7(12))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, when the decoded image buffer unit 19-B receives the reverse frame reproduction request from the decoded
次に、映像出力部14は、デコード画像バッファ部19−Bから受け取った映像/音声を再生する(図7(13))。再生が逆方向になっても順再生した時間(4.3秒)から再生時間が飛ぶことなく、順再生から1フレーム毎逆コマ送り再生される。また、逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって再生される。音声は必ずしも再生する必要はない。
Next, the
次に、図8を参照して、図7に示す処理動作に続く逆再生の処理動作を説明する。図8は、逆再生の処理動作を示す説明図である。デコード画像制御部18は、デコード画像バッファ部19−Bを再生している間に、デコーダ部17に対して次にデコードした映像/音声はデコード画像バッファ部19−Aへ送る指示を出す。そして、デコード画像バッファ部19−Aの映像/音声を削除する指示を送る(図8(1))。
Next, with reference to FIG. 8, the reverse playback processing operation following the processing operation shown in FIG. 7 will be described. FIG. 8 is an explanatory diagram showing the processing operation of reverse playback. The decoded
次に、両方向バッファ制御部13は、リングバッファの現在A9の符号化データ(図7)を全てデコーダ部17に送り終わると、リングバッファのA9を未来、C1を現在にシフトし、逆配信された符号化データ(3.0−3.5秒)をC2に入れる。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する(図8(2))。
Next, when the bi-directional
次に、両方向バッファ制御部13は、リングバッファの現在C1の符号化データ(3.5−4.0秒)をデコーダ部17に送る(図8(3))。これを受けて、デコーダ部17は、符号化データC1(3.5−4.0秒)を受け取り、デコードする。デコードした映像/音声をデコード画像バッファ部19−Aに送る(図8(4))。
Next, the bidirectional
次に、デコード画像制御部18は、デコード画像バッファ部19−Bの再生が終わったら、操作部15から逆コマ再生要求を受け取るとそのタイミングに合わせて1フレーム毎に、過去の再生時間方向に向かって映像/音声を映像出力部14に送る指示をデコード画像バッファ部19−Aに対して出す(図8(5))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る指示を出す。
Next, when the decoding of the decoded image buffer unit 19-B is finished, the decoded
次に、デコード画像バッファ部19−Aは、デコード画像制御部18から逆コマ再生要求を受け取ると、そのタイミングに合わせて1フレーム毎に過去の再生時間方向に向かって映像/音声を映像出力部14に送る。つまり、操作部15で逆コマ送りボタン押下1回ごとに、1フレーム毎逆コマ再生する(図8(6))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, when receiving the reverse frame playback request from the decoded
次に、映像出力部14は、デコード画像バッファ部19−Aから受け取った映像/音声を再生する(図8(7))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって再生される。音声は必ずしも再生する必要はない。
Next, the
次に、図9を参照して、図8に示す処理動作に続く逆再生の処理動作を説明する。図9は、逆再生の処理動作を示す説明図である。デコード画像制御部18は、デコード画像バッファ部19−Aの映像を再生している間に、デコーダ部17に対して次にデコードした画像をデコード画像バッファ部19−Bへ送る指示を出すとともに、デコード画像バッファ部19−Bの映像/音声を削除する指示を送る(図9(1))。
Next, with reference to FIG. 9, the reverse playback processing operation following the processing operation shown in FIG. 8 will be described. FIG. 9 is an explanatory diagram showing a reverse playback processing operation. The decoded
次に、両方向バッファ制御部13は、現在C1の符号化データ(図8)をデコーダ部17に送り終わると、C1を未来、C2を現在にシフトし、逆配信された符号化データ(2.5−3.0秒)をC3に入れる。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する(図9(2))。
Next, when the bi-directional
次に、両方向バッファ制御部13は、リングバッファのC2現在符号化データ(3.0−3.5秒)をデコーダ部17に送る(図9(3))。これを受けて、デコーダ部17は、符号化データC2(3.0−3.5秒)を受け取り、デコードする。そして、デコードした映像/音声をデコード画像バッファ部19−Bに送る(図9(4))。
Next, the bidirectional
次に、デコード画像制御部18は、デコード画像バッファ部19−Aの再生が終わったら、操作部15から逆コマ再生要求を受け取るとそのタイミングに合わせて1フレーム毎に、過去の再生時間方向に向かって映像/音声を映像出力部14に送る指示をデコード画像バッファ部19−Bに対して出す(図9(5))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る指示を出す。
Next, when the decoded image buffer unit 19-A finishes reproduction, the decoded
次に、デコード画像バッファ部19−Bは、デコード画像制御部18から逆コマ再生要求を受け取るとそのタイミングに合わせて1フレーム毎に過去の再生時間方向に向かって映像/音声を映像出力部14に送る。つまり、操作部15で逆コマ送りボタン押下1回ごとに、1フレーム毎逆コマ再生する(図9(6))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, when the decoded image buffer unit 19-B receives the reverse frame playback request from the decoded
次に、映像出力部14は、デコード画像バッファ部19−Bから受け取った映像/音声を再生する(図9(7))。逆再生要求の場合は、1フレーム単位で連続して過去の再生時間方向に向かって再生する。音声は必ずしも再生する必要はない。
Next, the
次に、図10を参照して、配信サーバ2における逆配信の処理動作を説明する。図10は、逆配信の処理動作を示す説明図である。まず、受信部21は、再生端末1から要求を受け取り、要求内容解析部22へ送る(図10(1))。要求内容解析部22は、要求内容を解析し逆配信要求を受け取ると、再生データ保存部23へ要求された再生時間のGOPの先頭から1GOP単位で再生時間を過去の方向にさかのぼった符号化データの読み出しの指示を出す(図10(2))。
Next, the reverse delivery processing operation in the
次に、再生データ保存部23は、要求内容解析部22から逆配信の指示を受け取ると、配信要求された再生時間(例:3.5秒)のGOPの先頭(3.5秒)から1GOP符号化データを読み出す。次に、今読み出したGOPから1GOPさかのぼったGOPの先頭(3.0秒)から1GOP符号化データを読み出す(図10(3))。このように、1GOP単位で過去の方向に符号化データを読み出す。また、再生データ保存部23は、送信部24へ1GOP符号化データ送信の前にこのGOPの再生時間などの情報が入ったGOP情報を作成し、GOP情報(図10においては、情報と記載)、1GOP符号化データの順で送信部24へ送る。
Next, when the reproduction
次に、送信部24は、GOP情報、1GOP符号化データの順で要求元の再生端末1へ符号化データ配信レートよりオーバレートで配信する(図10(4))。符号化データは、動画像データ及び音声データに圧縮処理を施した多重化データ、または、圧縮処理を施した動画データのみであってもよい。そして、配信サーバ2が再生端末1から順配信要求を受け取るまで逆配信となる。
Next, the
なお、再生の途中に別の再生時間にジャンプして再生する場合に、ジャンプ先が9.3秒の場合、配信要求される再生時間情報は9.3秒であり、再生データ保存部23はこのGOPの先頭(9.0秒)から符号化データを読み出す。
In addition, when jumping to another playback time during playback and playing back, if the jump destination is 9.3 seconds, the playback time information requested for distribution is 9.3 seconds, and the playback
次に、図11を参照して、逆再生から順再生に移行する処理動作を説明する。図11は、逆再生から順再生に移行する処理動作を示す説明図である。ここでは、過去GOP1、現在GOP1、未来GOP1の3つのGOPからなるリングバッファとする。まず、逆再生から順コマ送りボタン押下を行うと、操作部15は、両方向バッファ制御部13、デコード画像制御部18へ順再生を行う指示を通知する(図11(1))。
Next, a processing operation for shifting from reverse reproduction to forward reproduction will be described with reference to FIG. FIG. 11 is an explanatory diagram showing a processing operation for shifting from reverse reproduction to forward reproduction. Here, it is assumed that the ring buffer includes three GOPs of the past GOP1, the current GOP1, and the future GOP1. First, when the forward frame advance button is pressed from reverse playback, the
次に、デコード画像制御部18は、操作部15から順再生を受け取ると、デコーダ部17に逆再生で使用していたデコード画像バッファ部19−Bへ映像/音声の送信を停止する指示を送る(図11(2))。さらに、逆再生で使用していたデコード画像バッファ部19−B(デコード画像バッファ部19−Aの場合もある)に対して、デコード画像バッファ部19−B(デコード画像バッファ部19−Aの場合もある)からデコード画像バッファ部19へ名称変更を通知する。さらに、デコード画像バッファ部19−Aを削除する。順再生の場合、デコード画像バッファ部19を1つにする。
Next, when the decoded
次に、両方向バッファ制御部13は、操作部15から順再生を受け取ると、順配信要求と配信サーバ2が再生時間のどこから配信すべきかを示す再生時間情報(図11のリングバッファの現在C2(3.0−3.5秒)からXGOP未来(ここでは、未来の符号化データC1が存在するため再生時間:4.0秒))を送信部11へ送る(図11(3))。未来が2GOPで2GOPとも符号化データが存在する場合に時間情報は、4.5秒となる。未来GOPに入っている符号化データの有無を確認し、未来GOP数と符号化データの有無によって、再生時間情報を決定する。また、両方向バッファ制御部13は、リングバッファ以外の符号化データを削除する。
Next, when receiving the forward playback from the
次に、送信部11は、配信サーバ2へ順配信要求と再生時間情報(4.0秒)を送る(図11(4)))。順配信要求と再生時間情報は、最初の1回のみ配信サーバ2へ送る。
Next, the
次に、デコード画像制御部18は、逆再生で使用していたデコード画像バッファ部19に対して、操作部15から順コマ再生要求を受け取るとそのタイミングに合わせて、逆再生で最後に映像出力部14へ送った時間(例えば3.2秒)から1フレーム毎に、未来の再生時間方向に向かって映像/音声を映像出力部14に送る指示を出す(図11(5))。順再生要求の場合は、1フレーム単位で連続して未来の再生時間方向に向かって、映像/音声を映像出力部14に送る指示を出す。
Next, when the decoded
次に、デコード画像バッファ部19は、デコード画像制御部18から順コマ再生要求を受け取るとそのタイミングに合わせて、逆再生で最後に映像出力部14に送った時間(3.2秒)から1フレーム毎に未来の再生時間方向に向かって映像/音声を映像出力部14に送る(図11(6))。再生方向が逆になっても再生時間が飛ぶこと無く、1フレーム毎順コマ再生される。順再生要求の場合は、1フレーム単位で連続して未来の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, when receiving the forward frame playback request from the decoded
次に、映像出力部14は、デコード画像バッファ部19から受け取った映像/音声を再生する(図11(7))。順再生要求の場合は、1フレーム単位で連続して未来の再生時間方向に向かって再生する。音声は必ずしも再生する必要はない。
Next, the
次に、図12を参照して、図11に示す処理動作に続く逆再生から順再生に移行する処理動作を説明する。図12は、逆再生から順再生に移行する処理動作を示す説明図である。まず、デコード画像バッファ部19の映像を再生している間に、両方向バッファ制御部13は、リングバッファから現在C2の符号化データ(図11)をデコーダ部17へ全て送り終わると、リングバッファからC3を削除、C2を過去、C1を現在にシフトし、順配信された符号化データ(4.0−4.5秒)をB1に入れる。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する(図12(1))。
Next, with reference to FIG. 12, a processing operation for shifting from reverse playback to forward playback following the processing operation shown in FIG. 11 will be described. FIG. 12 is an explanatory diagram showing a processing operation for shifting from reverse playback to forward playback. First, while reproducing the video of the decoded
次に、両方向バッファ制御部13は、リングバッファの現在C1の符号化データ(3.5−4.0秒)をデコーダ部17に送る(図12(2))。これを受けて、デコーダ部17は、C1(3.5−4.0秒)の符号化データを受け取り、デコードする。デコードした映像/音声をデコード画像バッファ部19に送る(図12(3))。
Next, the bidirectional
次に、デコード画像バッファ部19は、再生した映像/音声C2を削除しながら、デコーダ部17からC1の先頭3.5秒から映像/音声を受け取る。また、デコード画像制御部18から順コマ再生要求を受け取るとそのタイミングに合わせて1フレーム毎に未来の再生時間方向に向かって映像/音声を映像出力部14に送る(図12(4))。つまり、操作部15で順コマ送りボタン押下1回ごとに、1フレーム毎順コマ再生する。順再生要求の場合は、1フレーム単位で連続して未来の再生時間方向に向かって、映像/音声を映像出力部14に送る。
Next, the decoded
次に、映像出力部14は、デコード画像バッファ部19から受け取った映像/音声を再生する(図12(5))。順再生要求の場合は、1フレーム単位で連続して未来の再生時間方向に向かって再生する。音声は必ずしも再生する必要はない。
Next, the
次に、図13を参照して、配信サーバ2における順配信の処理動作を説明する。図13は、配信サーバ2における順配信の処理動作を示す説明図である。まず、受信部21は、再生端末1から要求を受け取り、要求内容解析部22へ送る(図13(1))。要求内容解析部22は、要求内容を解析し順配信要求を受け取ると、再生データ保存部23へ要求された再生時間のGOPの先頭から1GOP単位で再生時間を未来の方向に向かった符号化データの読み出しの指示を出す(図13(2))。
Next, with reference to FIG. 13, the processing operation of the sequential distribution in the
次に、再生データ保存部23は、要求内容解析部22から順配信の指示を受け取ると、配信要求された再生時間(例:4.0秒)のGOPの先頭(4.0秒)から符号化データを読み出す。続いて、再生データ保存部23は、1GOPの再生時間などの情報が入ったGOP情報を作成し、GOP情報、1GOP符号化データの順で送信部24へ送る(図13(3))。
Next, when the reproduction
次に、送信部24は、GOP情報、1GOP符号化データの順で要求元の再生端末1へ符号化データ配信レートよりオーバレートで配信する(図13(4))。符号化データは、動画像データ及び音声データに圧縮処理を施した多重化データ、または、圧縮処理を施した動画データのみであってもよい。して、配信サーバ2が再生端末1から逆配信要求を受け取るまで順配信となる。
Next, the
なお、再生の途中に別の再生時間にジャンプして再生する場合に、ジャンプ先が9.3秒の場合、配信要求される再生時間情報は9.3秒であり、再生データ保存部23はこのGOPの先頭(9.0秒)から符号化データを読み出す。
In addition, when jumping to another playback time during playback and playing back, if the jump destination is 9.3 seconds, the playback time information requested for distribution is 9.3 seconds, and the playback
次に、図14を参照して、ジャンプ再生のリングバッファシフトの処理動作を説明する。図14は、ジャンプ再生のリングバッファシフトの処理動作を示す説明図である。図14は、順再生中にジャンプ再生を行い、ジャンプ再生直後に逆再生に移行した例である。ジャンプ再生は、現在視聴している再生時間から過去や未来にジャンプした先からの再生をおこなうもので、再生端末1からジャンプ先の再生時間情報を配信サーバ2へ送る。ジャンプ再生要求時には、配信サーバ2へは再生時間情報のみを送り、逆配信または順配信はそのまま継続される。図17で示すように、操作部15で再生の経過を表示するシークバー上を現在再生している再生時間から過去や未来の方向にマウス等でクリックすることで、操作部15は、ジャンプ再生と理解する。操作部15から両方向バッファ制御部13とデコード画像制御部18へジャンプ再生と再生時間情報を通知する。また、操作部15は、送信部11へジャンプ先の再生時間情報を送る。送信部11は、配信サーバ2へジャンプ先の再生時間情報を送る。受信部21は、送信部11から再生時間情報を受け取り、要求解析部22は、受信部21から再生時間情報を受け取ると、再生データ保存部23へ、要求された再生時間情報のGOPの先頭から読み出す指示を出す。再生データ保存部23は、逆配信または、順配信は継続したままで、今読み出しているGOPを読み出し終了後、要求された再生時間のGOPの先頭から過去の方向または、未来の方向に向かって読み出す。符号化データの読み出し方、GOP情報作成、GOP情報、符号化データの配信、受信方法は同じである。ジャンプ再生の場合、両方向バッファ制御部13の符号化データを一旦全て削除する。ここでは、過去GOP2、現在GOP1、未来GOP2の5つのGOPからなるリングバッファとする。デコード画像制御部18は、ジャンプ再生を受け取ると、デコード画像バッファ部19に映像出力部14への映像/音声の送信停止と、デコード画像バッファ部19の映像/音声削除の指示を出す。また、デコーダ部17へは、デコード画像バッファ部19へ映像/音声の送信停止とデコーダ部17に残っている映像/音声の削除の指示を出す。
Next, with reference to FIG. 14, the processing operation of the jump buffer ring buffer shift will be described. FIG. 14 is an explanatory diagram showing a ring buffer shift processing operation for jump reproduction. FIG. 14 shows an example in which jump playback is performed during forward playback, and reverse playback is started immediately after jump playback. Jump playback is playback from the playback time currently being viewed to the past or future, and the
両方向バッファ制御部13は、ジャンプ先の再生時間の符号化データを受信すると、ジャンプ先の符号化データ(9.0−9.5秒)を現在A1に入れる(図14(1))。現在A1の符号化データをデコーダ部17に送信する。ジャンプ先の符号化データ現在A1(9.0−9.5秒)の時に逆再生が要求された時、過去が2GOPであるが、過去2GOPに符号化データの有無を確認し、この例では2GOPともに空のため、現在A1の9.0秒から1GOP過去の8.5秒(再生時間情報)からの逆配信を要求する。過去GOPに入っている符号化データの有無を確認し、過去GOP数と符号化データの有無によって、再生時間情報を決定する。
When the bidirectional
現在A1の符号化データ(9.0−9.5秒)を全てデコーダ部17に送信が終わったら、未来へ1つシフトし、逆配信の符号化データ(8.5−9.0秒)を現在C1に入れ(図14(2))、現在C1の符号化データ(8.5−9.0秒)をデコーダ部17に送信する。デコーダ部17は、デコードしたC1映像/音声を新しく追加したもう1つのデコード画像バッファ部19−Bに送る。逆再生は、図4、5、7〜10に示す処理動作と同じであるため、ここでは詳細な説明を省略する。リングバッファシフトは、未来方向に1GOPずつシフトしながら、現在GOPに逆配信の符号化データを入れる。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する。
When transmission of all the encoded data (9.0 to 9.5 seconds) of the current A1 to the
次に、図15を参照して、ジャンプ再生のリングバッファシフトの処理動作を説明する。図15は、ジャンプ再生のリングバッファシフトの処理動作を示す説明図である。図15は、逆再生中にジャンプ再生を行い、ジャンプ再生直後に順再生に移行した例である。 Next, with reference to FIG. 15, the processing operation of the jump buffer ring buffer shift will be described. FIG. 15 is an explanatory diagram illustrating the ring buffer shift processing operation for jump reproduction. FIG. 15 shows an example in which jump playback is performed during reverse playback and transition to forward playback is performed immediately after jump playback.
デコード画像制御部18は、ジャンプ再生を受け取ると、今現在逆再生で使用しているデコード画像バッファ部19−A(19−Bの場合もある)へ映像出力部14への映像/音声の送信停止と、映像/音声削除の指示を出す。また、デコーダ部17へは、今現在逆再生で使用しているデコード画像バッファ部19−A(19−Bの場合もある)へ映像/音声の送信停止とデコーダ部17に残っている映像/音声の削除の指示を出す。
When receiving the jump playback, the decoded
両方向バッファ制御部13は、ジャンプ先の再生時間の符号化データを受信すると、ジャンプ先の符号化データ(4.0−4.5秒)を現在A1に入れる(図15(1))。現在A1の符号化データをデコーダ部17に送信する。ジャンプ先の符号化データ現在A1(4.0−4.5秒)の時に順再生が要求された時、未来が2GOPであるが、未来2GOPに符号化データの有無を確認し、この例では2GOPともに空のため、現在A1の4.0秒から1GOP未来の4.5秒(再生時間情報)からの順配信を要求する。未来GOPに入っている符号化データの有無を確認し、未来GOP数と符号化データの有無によって、再生時間情報を決定する。
When the bi-directional
現在A1の符号化データ(4.0−4.5秒)を全てデコーダ部17に送信が終わったら、過去へ1つシフトし、順配信の符号化データ(4.5−5.0秒)を現在B1に入れ(図15(2))、現在B1の符号化データ(4.5−5.0秒)をデコーダ部17に送信する。デコーダ部17は、デコードした映像/音声を今現在逆再生で使用しているデコード画像バッファ部19−A(19−Bの場合もある)に送る。今現在逆再生で使用しているデコード画像バッファ部19−A(19−Bの場合もある)を残し、片方のデコード画像バッファ部19−Aまたは19−Bを削除する。順再生の場合、デコード画像バッファ部19を1つにする。順再生は、図2、3、6、11、12、13に示す処理動作と同じであるため、ここでは詳細な説明を省略する。リングバッファシフトは、過去方向に1GOPずつシフトしながら、現在GOPに順配信の符号化データを入れる。
When transmission of all the current A1 encoded data (4.0-4.5 seconds) to the
以上説明したように、符号化データをストリーム配信で受信しながらも再生が途切れることなく順再生から逆再生、逆コマ送り再生を行うために、再生端末1は、配信サーバ2へ再生時間情報を付与して逆配信要求を行い、配信サーバ2は、逆配信要求の場合に、要求された再生時間のGOPからGOP単位で過去の再生方向へ向かってGOP情報、1GOP符号化データの順で配信する。再生端末1は、配信サーバ2から配信されたGOP情報、1GOP符号化データの順で受信する。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する。再生時間の過去からの順に少なくとも3つのGOPをリングバッファとして管理し、3GOPを再生時間の順に過去GOP、現在GOP、未来GOPと分類し、逆再生の場合、GOP単位で未来方向にシフトさせ、リングバッファに逆配信要求した符号化データを入れ、リングバッファの現在GOPの1GOP符号化データを復号し、デコード画像バッファを少なくとも2つ用意し、これらのデコード画像バッファを制御し逆方向に再生する。逆再生の場合、過去GOPに入っている符号化データの有無を確認し、過去GOP数と符号化データの有無によって、配信サーバ2が再生時間のどこから配信すべきかを示す再生時間情報を決定する。
As described above, the
また、符号化データをストリーム配信で受信しながらも再生が途切れることなく逆再生から順再生、順コマ送り再生を行うために、再生端末1は、配信サーバ2へ再生時間情報を付与して順配信要求を行い、配信サーバ2は、順配信要求の場合に、要求された再生時間のGOPからGOP単位で未来の再生方向へ向かって、GOP情報、1GOP符号化データを配信する。再生端末1は、配信サーバ2から配信されたGOP情報、1GOP符号化データの順で受信する。両方向バッファ制御部13は、GOP情報を受信し、1GOP単位で符号化データを管理する。再生時間の過去からの順に少なくとも3つのGOPをリングバッファとして管理し、3GOPを再生時間の順に過去GOP、現在GOP、未来GOPと分類し、順再生の場合、GOP単位で過去方向にシフトさせ、リングバッファに順配信要求した符号化データを入れ、リングバッファの現在GOPの1GOP符号化データを復号し、デコード画像バッファを少なくとも1つ用意し、このデコード画像バッファを制御し順方向に再生する。順再生の場合、未来GOPに入っている符号化データの有無を確認し、未来GOP数と符号化データの有無によって、配信サーバが再生時間のどこから配信すべきかを示す再生時間情報を決定する。
Also, in order to perform forward playback, forward playback, and forward frame advance playback without interrupting playback while receiving encoded data by stream delivery, the
また、順再生から逆再生、逆再生から順再生と再生方向が逆になった時に、再生の途切れを発生させないために、符号化データの配信レートよりもオーバレートで配信する。 Also, when the playback direction is reversed from forward playback to reverse playback and from reverse playback to forward playback, the playback is performed at an over-rate rather than the delivery rate of the encoded data in order to prevent the playback from being interrupted.
逆再生の場合、再生端末1から配信サーバ2に逆配信を要求し、配信サーバ2からはGOP単位で過去の方向に符号化データをオーバレートで配信し、再生端末1は、受信した符号化データをGOP単位で管理し、再生時間の過去からの順に少なくとも3つのGOPをリングバッファとして管理し、リングバッファの現在の1GOP符号化データを復号し、デコード画像バッファを少なくとも2つ用意し、これらのデコード画像バッファを制御することにより、ストリーム配信であっても映像が途切れることなく、Iピクチャ、Pピクチャ、Bピクチャを含むすべてのピクチャを順再生から逆コマ送り再生、逆送り再生が可能となる。
In the case of reverse reproduction, the
また、順再生の場合、再生端末1から配信サーバ2に順配信を要求し、配信サーバ2からはGOP単位で未来の方向に符号化データをオーバレートで配信し、再生端末1は、受信した符号化データをGOP単位で管理し、再生時間の過去からの順に少なくとも3つのGOPをリングバッファとして管理し、リングバッファの現在の1GOP符号化データを復号し、デコード画像バッファを少なくとも1つ用意し、デコード画像バッファを制御することにより、ストリーム配信であっても映像が途切れることなく、Iピクチャ、Pピクチャ、Bピクチャを含むすべてのピクチャを逆再生から順コマ送り再生、順再生が可能となる。
In the case of forward playback, the
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像配信処理及び映像再生処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing the function of the processing unit in FIG. 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute video distribution processing and Video playback processing may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Accordingly, additions, omissions, substitutions, and other changes of the components may be made without departing from the technical idea and scope of the present invention.
映像をストリーミング配信する際に、GOP単位で処理することにより、ビットストリームに付加情報を新たに追加することなく、順再生から逆再生、逆再生から順再生への変更要求に対応することが不可欠な用途に適用できる。 When streaming video, it is indispensable to respond to a change request from forward playback to reverse playback and from reverse playback to forward playback without adding additional information to the bitstream by processing in GOP units. Can be used for various purposes.
1・・・再生端末(映像再生装置)、11・・・送信部、12・・・受信部、13・・・両方向バッファ制御部、14・・・映像出力部、15・・・操作部、16・・・復号部、17・・・デコーダ部、18・・・デコード画像制御部、19・・・デコード画像バッファ部、2・・・配信サーバ(映像配信装置)、21・・・受信部、22・・・要求内容解析部、23・・・再生データ保存部、24・・・送信部、3・・・ネットワーク
DESCRIPTION OF
Claims (9)
前記映像再生装置から配信要求と再生時間情報を受信する受信手段と、
受信した前記配信要求を解析し、前記配信要求が逆配信の場合に、受信した前記再生時間情報に基づく再生時間のGOPの先頭から1GOP単位で過去の方向に符号化データの読み出し指示を出力する要求内容解析手段と、
前記読み出し指示を入力し、指示された前記再生時間のGOPの先頭から1GOP単位で過去の方向に符号化データを読み出すとともに、読み出した1GOP符号化データを識別可能なGOP情報を作成し、作成した前記GOP情報と読み出した前記1GOP単位の符号化データを出力する再生データ保存手段と、
前記GOP情報と前記1GOP単位の符号化データとを前記映像再生装置に対して送信する送信手段と
を備えることを特徴とする映像配信装置。 A video delivery device for delivering video information in response to a request from a video playback device for streaming playback of received video information,
Receiving means for receiving a distribution request and playback time information from the video playback device;
The received distribution request is analyzed, and when the distribution request is reverse distribution, an instruction to read out encoded data in the past direction is output in units of 1 GOP from the beginning of the GOP of the reproduction time based on the received reproduction time information. Request content analysis means,
The read instruction is input, and the encoded data is read in the past direction in units of 1 GOP from the beginning of the GOP of the specified reproduction time, and GOP information that can identify the read 1 GOP encoded data is created and created Reproduction data storage means for outputting the GOP information and the read encoded data in units of 1 GOP;
A video distribution apparatus comprising: transmission means for transmitting the GOP information and the encoded data in units of 1 GOP to the video reproduction apparatus.
前記映像再生装置から配信要求と再生時間情報を受信する受信手段と、
受信した前記配信要求を解析し、前記配信要求が順配信の場合に、受信した前記再生時間情報に基づく再生時間のGOPの先頭から1GOP単位で未来の方向に符号化データの読み出し指示を出力する要求内容解析手段と、
前記読み出し指示を入力し、指示された前記再生時間のGOPの先頭から1GOP単位で未来の方向に符号化データを読み出すとともに、読み出した1GOP符号化データを識別可能なGOP情報を作成し、作成した前記GOP情報と読み出した前記1GOP単位の符号化データを出力する再生データ保存手段と、
前記GOP情報と前記1GOP単位の符号化データとを前記映像再生装置に対して送信する送信手段と
を備えることを特徴とする映像配信装置。 A video delivery device for delivering video information in response to a request from a video playback device for streaming playback of received video information,
Receiving means for receiving a distribution request and playback time information from the video playback device;
The received distribution request is analyzed, and when the distribution request is sequential distribution, an instruction to read out encoded data in the future direction is output in units of 1 GOP from the top of the GOP of the reproduction time based on the received reproduction time information. Request content analysis means,
The read instruction is input, the encoded data is read in the future direction in units of 1 GOP from the beginning of the GOP of the instructed reproduction time, and GOP information that can identify the read 1 GOP encoded data is created and created Reproduction data storage means for outputting the GOP information and the read encoded data in units of 1 GOP;
A video distribution apparatus comprising: transmission means for transmitting the GOP information and the encoded data in units of 1 GOP to the video reproduction apparatus.
前記符号化データの配信レートよりもオーバレートで前記GOP情報と前記1GOP単位の符号化データとを送信することを特徴とする請求項1または2に記載の映像配信装置。 The transmission means includes
The video distribution apparatus according to claim 1 or 2, wherein the GOP information and the encoded data in units of 1 GOP are transmitted at an over rate than a distribution rate of the encoded data.
逆再生の指示を受けた際に、逆配信の配信要求と再生時間情報とを前記映像配信装置に対して送信する送信手段と、
前記配信要求に応じて配信されたGOP情報と1GOP単位の符号化データを順に受信する受信手段と、
前記1GOP単位の符号化データを識別可能な前記GOP情報に基づいて、前記受信した前記1GOP単位の符号化データを、過去GOP、現在GOP及び未来GOPに分類されたリングバッファに再生時間の過去の順から格納し、前記リングバッファに格納されている1GOP単位の符号化データを未来方向にGOP単位でシフトさせながら、前記リングバッファの現在GOPに格納されている1GOP単位の前記符号化データを復号することにより前記映像情報を逆再生する再生手段と
を備えたことを特徴とする映像再生装置。 A video playback device for streaming playback of video information distributed from a video distribution device in response to a distribution request,
A transmission means for transmitting a reverse delivery request and playback time information to the video delivery device when receiving a reverse playback instruction;
Receiving means for sequentially receiving GOP information distributed in response to the distribution request and encoded data in units of 1 GOP;
Based on the GOP information that can identify the encoded data of 1 GOP unit, the received encoded data of 1 GOP unit is stored in a ring buffer classified as a past GOP, a current GOP, and a future GOP. The encoded data of 1 GOP unit stored in the current GOP of the ring buffer is decoded while shifting the encoded data of 1 GOP unit stored in the ring buffer in the future in GOP units in the future direction. And a playback means for playing back the video information in reverse.
順再生の指示を受けた際に、順配信の配信要求と再生時間情報とを前記映像配信装置に対して送信する送信手段と、
前記配信要求に応じて配信されたGOP情報と1GOP単位の符号化データを順に受信する受信手段と、
前記1GOP単位の符号化データを識別可能な前記GOP情報に基づいて、前記受信した前記1GOP単位の符号化データを、過去GOP、現在GOP及び未来GOPに分類されたリングバッファに再生時間の過去の順から格納し、前記リングバッファに格納されている1GOP単位の符号化データを過去方向にGOP単位でシフトさせながら、前記リングバッファの現在GOPに格納されている1GOP単位の前記符号化データを復号することにより前記映像情報を順再生する再生手段と
を備えたことを特徴とする映像再生装置。 A video playback device for streaming playback of video information distributed from a video distribution device in response to a distribution request,
A transmission means for transmitting a distribution request for sequential distribution and reproduction time information to the video distribution apparatus when receiving an instruction for sequential reproduction;
Receiving means for sequentially receiving GOP information distributed in response to the distribution request and encoded data in units of 1 GOP;
Based on the GOP information that can identify the encoded data of 1 GOP unit, the received encoded data of 1 GOP unit is stored in a ring buffer classified as a past GOP, a current GOP, and a future GOP. The encoded data of 1 GOP unit stored in the ring buffer is decoded while the encoded data of 1 GOP unit stored in the ring buffer is shifted in GOP units in the past in the past. And a reproducing means for sequentially reproducing the video information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012244672A JP2014093733A (en) | 2012-11-06 | 2012-11-06 | Video distribution device, video reproduction device, video distribution program, and video reproduction program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012244672A JP2014093733A (en) | 2012-11-06 | 2012-11-06 | Video distribution device, video reproduction device, video distribution program, and video reproduction program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014093733A true JP2014093733A (en) | 2014-05-19 |
Family
ID=50937509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012244672A Pending JP2014093733A (en) | 2012-11-06 | 2012-11-06 | Video distribution device, video reproduction device, video distribution program, and video reproduction program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014093733A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743948A (en) * | 2023-06-15 | 2023-09-12 | 上海山源电子科技股份有限公司 | Method, device and equipment for monitoring video recording and computer readable storage medium |
JP7408506B2 (en) | 2019-12-26 | 2024-01-05 | 株式会社ドワンゴ | Content distribution system, content distribution method, and content distribution program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846900A (en) * | 1994-02-14 | 1996-02-16 | Sony Electron Inc | Equipment and method for data memory and retrieving |
JPH10210419A (en) * | 1997-01-23 | 1998-08-07 | Matsushita Electric Ind Co Ltd | Video server, terminal equipment and data transmission method |
JP2005184429A (en) * | 2003-12-19 | 2005-07-07 | Mitsubishi Electric Corp | Video data processing method and video data processing apparatus |
JP2006339980A (en) * | 2005-06-01 | 2006-12-14 | Hitachi Ltd | Image reproducer |
JP2012100032A (en) * | 2010-11-01 | 2012-05-24 | Nippon Telegr & Teleph Corp <Ntt> | System, method and program for video image distribution |
-
2012
- 2012-11-06 JP JP2012244672A patent/JP2014093733A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846900A (en) * | 1994-02-14 | 1996-02-16 | Sony Electron Inc | Equipment and method for data memory and retrieving |
JPH10210419A (en) * | 1997-01-23 | 1998-08-07 | Matsushita Electric Ind Co Ltd | Video server, terminal equipment and data transmission method |
JP2005184429A (en) * | 2003-12-19 | 2005-07-07 | Mitsubishi Electric Corp | Video data processing method and video data processing apparatus |
JP2006339980A (en) * | 2005-06-01 | 2006-12-14 | Hitachi Ltd | Image reproducer |
JP2012100032A (en) * | 2010-11-01 | 2012-05-24 | Nippon Telegr & Teleph Corp <Ntt> | System, method and program for video image distribution |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7408506B2 (en) | 2019-12-26 | 2024-01-05 | 株式会社ドワンゴ | Content distribution system, content distribution method, and content distribution program |
CN116743948A (en) * | 2023-06-15 | 2023-09-12 | 上海山源电子科技股份有限公司 | Method, device and equipment for monitoring video recording and computer readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101868280B1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
JP7078697B2 (en) | Systems and methods for providing audio content during trick play playback | |
US20020122656A1 (en) | Method and apparatus for recording broadcast data | |
WO2013008866A1 (en) | Generation device, distribution server, generation method, playback device, playback method, playback system, generation program, playback program, recording medium and data structure | |
JP2010536190A (en) | Video data playback system | |
KR20190019953A (en) | System and method for providing variable speed in trick play mode | |
JP4684319B2 (en) | Data recording method, data editing method, data decoding method, apparatus therefor, and recording medium | |
JP2003111048A (en) | Server and program for contents reproduction | |
JP4380585B2 (en) | Video playback device | |
JP5120981B2 (en) | Generating video data for special playback | |
KR101678394B1 (en) | Method and apparatus for storing data in digital broadcasting system providing video on demand service | |
JP2014093733A (en) | Video distribution device, video reproduction device, video distribution program, and video reproduction program | |
JP2004112769A (en) | Device and method for controlling decoding, device and method for processing information, and program | |
JP2006049988A (en) | Digital data recording and reproducing device | |
JP2006339980A (en) | Image reproducer | |
JP4484220B2 (en) | Video distribution device | |
JP4280679B2 (en) | Reproducing apparatus and control method thereof | |
JP6258897B2 (en) | Content acquisition device, content acquisition method, metadata distribution device, and metadata distribution method | |
KR101028942B1 (en) | Apparatus and Method for Enabling Trick Play and Seek Functions over the Entire Section of the Contents Including Undownloaded Parts in Download-and-Play Service | |
JP5246181B2 (en) | Network content playback control device, network content playback control method, and video display device | |
JP2005318190A (en) | Method and system for video distribution | |
JP2015041930A (en) | Image reproducer and program | |
JP2019122011A (en) | Processing device, reproduction device, processing method, reproduction method, and program | |
JP2009081744A (en) | Picture work material playback device and picture work material playback method | |
KR20100115987A (en) | Apparatus and method for controlling contents seamless playback |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160614 |