JP2005167893A - Data buffering method in streaming terminal - Google Patents

Data buffering method in streaming terminal Download PDF

Info

Publication number
JP2005167893A
JP2005167893A JP2003407209A JP2003407209A JP2005167893A JP 2005167893 A JP2005167893 A JP 2005167893A JP 2003407209 A JP2003407209 A JP 2003407209A JP 2003407209 A JP2003407209 A JP 2003407209A JP 2005167893 A JP2005167893 A JP 2005167893A
Authority
JP
Japan
Prior art keywords
data
buffering
decoding
stream
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003407209A
Other languages
Japanese (ja)
Inventor
Seiichi Takeuchi
誠一 竹内
Masaki Sato
正樹 佐藤
Yoko Uenaka
洋子 上中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003407209A priority Critical patent/JP2005167893A/en
Publication of JP2005167893A publication Critical patent/JP2005167893A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To check the contents of a received stream to prevent large load, to make the buffer size suitable, and to stabilize resistance properties to fault of a network. <P>SOLUTION: In a streaming terminal 102, a streaming receiver 201 communicates with a server 101 about reproduction start of the contents and control of stream during reproduction (step 1 in Figure), receives stream data transmitted from the server, and transmits the data to a stream buffering section 202 (step 2 in Figure). The section 202 detects a predetermined synchronous signal of the transmitted stream (step 3 in Figure), writes the stream data into a buffer 203 from a predetermined position acquired from the information (step 4 in Figure), and notifies a decoder 204 that decoding processing should start after predetermined data quantity is buffered (step 5 in Figure). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、映像信号と音声信号として再生できるストリーミング端末におけるデータバッファリング方法に関するものである。   The present invention relates to a data buffering method in a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and reproduce it as a video signal and an audio signal.

従来、インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、映像信号と音声信号として再生するためのストリーミング端末がある。   2. Description of the Related Art Conventionally, there are streaming terminals for receiving content published on the Internet and content broadcast on the Internet and reproducing them as video signals and audio signals.

従来のストリーミング端末における再生方法を図1と図2および図10を用いて説明する。   A playback method in a conventional streaming terminal will be described with reference to FIGS.

図1は、インターネット上のデジタルストリーミング放送システムを示すブロック図である。図1において、101は複数のデジタルストリーミングコンテンツを有するサーバー、102はコンテンツを受信再生するストリーミング端末である。   FIG. 1 is a block diagram showing a digital streaming broadcasting system on the Internet. In FIG. 1, 101 is a server having a plurality of digital streaming contents, and 102 is a streaming terminal that receives and reproduces contents.

サーバー101は、コンテンツもしくはコンテンツの付加情報(メタファイル)をインターネット上にブラウザとして公開する機能を有するか、もしくは、他のサーバーがインターネット上にブラウザとして公開したアンカーからコンテンツもしくはコンテンツの付加情報にリンクが張れる機能を有している。   The server 101 has a function of publishing content or content additional information (metafile) as a browser on the Internet, or is linked to content or content additional information from an anchor published as a browser on the Internet by another server It has a function to stretch.

ストリーミング端末102は、ブラウザ上のコンテンツを選択し、コンテンツの配信をサーバー101に要求する。その後、サーバー101からのストリームを受けたストリーミング端末102はストリームを再生した映像信号および音声信号を出力する。   The streaming terminal 102 selects content on the browser and requests the server 101 to distribute the content. Thereafter, the streaming terminal 102 that has received the stream from the server 101 outputs a video signal and an audio signal obtained by reproducing the stream.

図2はストリーミング端末102内部の構成を説明する図である。図2において、201はストリーム受信部、202はストリームバッファリング部、203はバッファ、204はデコード部、205は出力部である。   FIG. 2 is a diagram illustrating the internal configuration of the streaming terminal 102. 2, 201 is a stream receiving unit, 202 is a stream buffering unit, 203 is a buffer, 204 is a decoding unit, and 205 is an output unit.

以下、データバッファリング方法について、図10のフローチャートに基づき説明する。   Hereinafter, the data buffering method will be described with reference to the flowchart of FIG.

ストリーミング端末102は、ストリーム受信部201において、サーバー101と再生開始の手順および再生中のストリーム制御について通信を行い(図10のステップ1)、かつ、サーバー101から送られてきたストリームデータを受信し、ストリームバッファリング部202に送る(図10のステップ2)。ストリームバッファリング部202は、所定のバッファ203にストリームデータを書き込み(図10のステップ3)、所定のデータ量をバッファリングした後に復号処理を開始するようにデコード部204へ通知する(図10のステップ4)。デコード部204は、ストリームバッファリング部202からの復号処理開始の通知をうけ、バッファ203からデータを読み出し、所定の復号処理を行い映像信号と音声信号を出力する(図10のステップ5)。出力部205は映像信号と音声信号を所定のフォーマットもしくはプロトコルに変換し出力する(図10のステップ6)。   The streaming terminal 102 communicates with the server 101 regarding the playback start procedure and the stream control during playback (step 1 in FIG. 10) and receives the stream data sent from the server 101 in the stream receiving unit 201. And sent to the stream buffering unit 202 (step 2 in FIG. 10). The stream buffering unit 202 writes the stream data in the predetermined buffer 203 (step 3 in FIG. 10), and notifies the decoding unit 204 to start the decoding process after buffering the predetermined amount of data (in FIG. 10). Step 4). The decoding unit 204 receives the notification of the start of the decoding process from the stream buffering unit 202, reads data from the buffer 203, performs a predetermined decoding process, and outputs a video signal and an audio signal (step 5 in FIG. 10). The output unit 205 converts the video signal and audio signal into a predetermined format or protocol and outputs the converted signal (step 6 in FIG. 10).

たとえば本例では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されると仮定すると、デコード部204は、MPEG−2のTransportStreamを解析し、その中に含まれるMPEG−2のビデオとオーディオのパケットを復号化することにより、デジタル映像信号とデジタル音声信号を出力する。そして、出力部205は、デジタル映像信号とデジタル音声信号をそれぞれデジタル−アナログ変換したアナログ形式の映像信号と音声信号を出力する。   For example, in this example, assuming that the stream is in the Transport Stream format defined by the MPEG-2 standard and the output is an analog format video signal and audio signal, the decoding unit 204 performs the MPEG-2 Transport Stream. And MPEG-2 video and audio packets included therein are decoded to output a digital video signal and a digital audio signal. The output unit 205 outputs an analog video signal and audio signal obtained by digital-analog conversion of the digital video signal and the digital audio signal, respectively.

特許文献1はストリーミング端末に関するものである。
特開2002−344936号公報
Patent Document 1 relates to a streaming terminal.
JP 2002-344936 A

しかしながら、従来のストリーミング端末におけるデータバッファリング方法では、ストリーミングバッファリング部202が、受信したデータを単にバッファ部203に書き込み、デコード部204が復号処理を開始するだけでは、バッファ203のデータ量の安定化および出力画質の安定化が行えないという課題を有していた。図3は、MPEG−2のビデオのデータ構造を示しており、GOP(Group Of Picture)とは、MPEG−2のビデオ圧縮規格に示された単位であり、GOPの先頭には、他のピクチャと相関を持たないIピクチャという名前のフレームが存在する。GOP内部には、複数のフレームの情報が圧縮されたコードが含まれているが、Iピクチャは1つだけであり、かつ、当該GOPはこのIピクチャの情報がないと復号化できないという構成になっている。したがって、バッファリングされたデータがGOPの途中からであった場合、次のGOPの先頭のデータまでは、デコード部204は映像信号を出力できない。また、通常デコード部204は、復号化できないコードは通常以上のスピードでサーチしていきデコードできるコードを探そうとするために、毎回、復号処理開始時に消費するデータ量が異なる。このために、毎回一定量のデータをバッファしていても、どこから開始するかにより、再生開始後の安定状態となったバッファ203内のデータ量が異なることになる。これにより、再生開始時もしくは直後にバッファがアンダーフローする恐れがある。また、再生中でもバッファ量によってはアンダーフローする恐れがある。これに対応するためには、大き目のバッファを準備する必要がある。また、この再生中のバッファ203内のデータ量は、ネットワークにおける不具合の耐性の指標となるものであるために、これが毎回異なることはストリーミング端末に対して一定の耐性を持たせることが困難である。   However, in the conventional data buffering method in the streaming terminal, the streaming buffering unit 202 simply writes the received data to the buffer unit 203, and the decoding unit 204 starts the decoding process. And the stabilization of output image quality cannot be achieved. FIG. 3 shows the data structure of an MPEG-2 video. GOP (Group Of Picture) is a unit shown in the MPEG-2 video compression standard. There is a frame named I picture that has no correlation with. The GOP includes a code in which information of a plurality of frames is compressed, but there is only one I picture, and the GOP cannot be decoded without the information of the I picture. It has become. Therefore, when the buffered data is in the middle of the GOP, the decoding unit 204 cannot output the video signal until the head data of the next GOP. In addition, since the normal decoding unit 204 searches for codes that cannot be decoded and searches for codes that can be decoded at a speed higher than normal, the amount of data consumed at the start of the decoding process is different each time. For this reason, even if a certain amount of data is buffered each time, the amount of data in the buffer 203 in a stable state after the start of reproduction differs depending on where the data is started. As a result, the buffer may underflow at the start or immediately after the reproduction. Further, there is a risk of underflow depending on the buffer amount even during reproduction. To cope with this, it is necessary to prepare a larger buffer. In addition, since the amount of data in the buffer 203 during reproduction serves as an index of the tolerance of malfunctions in the network, it is difficult to give the streaming terminal a certain tolerance because it is different each time. .

本発明は、受信したストリームの内容を大きな負荷がないようにチェックし、バッファのサイズを適度なものにするとともに、ネットワークの不具合への耐性を安定化することを目的とする。   An object of the present invention is to check the content of a received stream so as not to have a large load, to make the buffer size appropriate, and to stabilize the tolerance to network malfunctions.

上記課題を解決するために、本発明の第1の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出し、前記同期コードから得られる所定の位置までのデータはバッファリングせずに、前記所定の位置以降のデータをバッファリングすることを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第2の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出し、前記同期コードから得られる所定の位置までのデータはバッファリングせずに、前記所定の位置以降のデータをバッファリングし、かつ、前記デコード手段がデコードを開始する契機を前記同期コードから算出できる所定量のデータをバッファリングしたときとすることを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第3の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出し、その情報を一時記憶した上でバッファリングを開始し、かつ、前記デコード手段が、前記一時記憶された同期コードの情報をもとにデコード開始時に使用するストリームの開始位置を前記バッファリングされたデータ内から選択することを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第4の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出した上でバッファリングを開始し、かつ、前記デコード手段がデコードを開始する契機を前記同期コードから算出できる所定量のデータをバッファリングした後とすることを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第5の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、インターリーブの1周期の開始位置を検出し、インターリーブの周期の先頭からバッファリングを開始することを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第6の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段を有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、インターリーブの1周期の開始位置を検出し、インターリーブの周期の先頭からバッファリングを開始し、かつ、前記デコード手段がデコードを開始する契機を前記周期から算出できる所定量のデータをバッファリングした時とすることを特徴とするストリーミング端末におけるデータバッファリング方法であり、
本発明の第7の発明のストリーミング端末におけるデータバッファリング方法は、
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段を有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、インターリーブの1周期の開始位置を検出し、その情報を一時記憶するものであり、かつ、前記デコード手段がデコードを開始する契機を前記周期から算出できる所定量のデータをバッファリングした後とし、前記デコード手段が、前記一時記憶された開始位置からデコードを開始することを特徴とするストリーミング端末におけるデータバッファリング方法である。
In order to solve the above-described problem, a data buffering method in a streaming terminal according to the first aspect of the present invention includes:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in a stream, and buffers data after the predetermined position without buffering data up to a predetermined position obtained from the synchronization code. A data buffering method in a streaming terminal,
The data buffering method in the streaming terminal according to the second aspect of the present invention comprises:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in the stream, buffers the data after the predetermined position without buffering data up to a predetermined position obtained from the synchronization code, and decodes the data A data buffering method in a streaming terminal, characterized in that when the means starts buffering when a predetermined amount of data that can be calculated from the synchronization code is buffered,
The data buffering method in the streaming terminal of the third invention of the present invention is:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in the stream, temporarily stores the information and starts buffering, and the decoding means decodes based on the temporarily stored synchronization code information. A data buffering method in a streaming terminal, wherein a start position of a stream to be used at the start is selected from the buffered data.
The data buffering method in the streaming terminal according to the fourth aspect of the present invention is:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
After the buffering means detects a synchronization code in the stream and starts buffering, and after buffering a predetermined amount of data that can be calculated from the synchronization code when the decoding means starts decoding; and A data buffering method in a streaming terminal characterized by:
A data buffering method in a streaming terminal according to a fifth aspect of the present invention is:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been changed in order (interleaved) in a predetermined unit for security enhancement, the buffering means detects the start position of one cycle of interleaving. And a buffering method for data in a streaming terminal characterized by starting buffering from the beginning of the interleaving cycle,
The data buffering method in the streaming terminal of the sixth aspect of the present invention is:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been changed in order (interleaved) in a predetermined unit for security enhancement, the buffering means detects the start position of one cycle of interleaving. In a streaming terminal characterized in that buffering is started from the beginning of an interleaving cycle and a predetermined amount of data that can be calculated from the cycle is buffered when the decoding means starts decoding. Data buffering method,
The data buffering method in the streaming terminal according to the seventh aspect of the present invention is:
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been changed in order (interleaved) in a predetermined unit for security enhancement, the buffering means detects the start position of one cycle of interleaving. The information is temporarily stored, and when the decoding unit starts decoding, after buffering a predetermined amount of data that can be calculated from the period, the decoding unit stores the information temporarily A data buffering method in a streaming terminal, wherein decoding is started from a start position.

本発明の第1の発明のストリーミング端末におけるデータバッファリング方法は、サーバーから配信された圧縮符号化されたストリーム内から圧縮符号化の同期を検出し、同期ポイントまでのデータはバッファリングせず、同期ポイント以降のデータからバッファリングすることによって、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第2の発明のストリーミング端末におけるデータバッファリング方法は、サーバーから配信された圧縮符号化されたストリーム内から圧縮符号化の同期を検出し、同期ポイントからバッファリングし、かつ、同期ポイントから所定の同期周期分のデータをバッファリングした後に再生を開始することによって、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第3の発明のストリーミング端末におけるデータバッファリング方法は、サーバーから配信された圧縮符号化されたストリーム内から圧縮符号化の同期を検出し、受信データは全てバッファリングするが、同期ポイントから所定の同期周期分のデータをバッファリングした後に再生することにより、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第4の発明のストリーミング端末におけるデータバッファリング方法は、サーバーから配信された圧縮符号化されたストリーム内から圧縮符号化の同期を検出し、受信データは全てバッファリングするが、同期ポイントから所定の同期周期分のデータをバッファリングした後に再生し、かつ、受信データのバッファリングデータ内の同期ポイントをデコード部に通知し、デコード部は通知された同期ポイントからデコードすることにより、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第5の発明のストリーミング端末におけるデータバッファリング方法は、サーバーで並べ替えられたストリーム内から並べ替えの同期を検出し、同期ポイントからバッファリングすることにより、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第6の発明のストリーミング端末におけるデータバッファリング方法は、サーバーで並べ替えられたストリーム内から並べ替えの同期を検出し、同期ポイントからバッファリングし、かつ、同期ポイントから所定の同期周期分のデータをバッファリングした後に再生を開始することにより、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができ、
本発明の第7の発明のストリーミング端末におけるデータバッファリング方法は、サーバーで並べ替えられたストリーム内から並べ替えの同期を検出し、受信データは全てバッファリングするが、同期ポイントから所定の同期周期分のデータをバッファリングした後に再生し、かつ、受信データのバッファリングデータ内の同期ポイントをデコード部に通知することにより、再生開始後のバッファ量を安定させることにより、再生品質の劣化を妨ぐことができる。
The data buffering method in the streaming terminal according to the first aspect of the present invention detects the synchronization of compression encoding from the compression encoded stream distributed from the server, does not buffer the data up to the synchronization point, By buffering from the data after the synchronization point, it is possible to prevent degradation of playback quality by stabilizing the buffer amount after starting playback,
According to a second aspect of the present invention, there is provided a data buffering method in a streaming terminal that detects compression-encoding synchronization from a compression-encoded stream distributed from a server, buffers from the synchronization point, and By starting playback after buffering data for a predetermined synchronization period from the start, by stabilizing the amount of buffer after the start of playback, it is possible to prevent deterioration in playback quality,
In the data buffering method in the streaming terminal according to the third aspect of the present invention, the synchronization of compression encoding is detected from the compression encoded stream delivered from the server, and all received data is buffered. By playing after buffering data for a predetermined synchronization period, it is possible to prevent degradation of playback quality by stabilizing the buffer amount after starting playback,
The data buffering method in the streaming terminal according to the fourth aspect of the present invention detects the synchronization of compression encoding from the compression encoded stream delivered from the server, and all received data is buffered. Is played back after buffering the data for a predetermined synchronization period, and the decoding unit is notified of the synchronization point in the buffered data of the received data, and the decoding unit decodes from the notified synchronization point to reproduce. By stabilizing the buffer amount after the start, playback quality can be prevented from degrading,
According to a fifth aspect of the present invention, there is provided a data buffering method in a streaming terminal that detects rearrangement synchronization from a stream rearranged by a server and performs buffering from a synchronization point, thereby reducing a buffer amount after starting reproduction. Stabilization can prevent degradation of playback quality,
According to a sixth aspect of the present invention, there is provided a data buffering method in a streaming terminal that detects rearrangement synchronization from within a stream rearranged by a server, buffers from a synchronization point, and has a predetermined synchronization period from the synchronization point. By starting the playback after buffering the minute data, stabilizing the buffer amount after the start of playback can prevent the deterioration of the playback quality,
In the data buffering method in the streaming terminal according to the seventh aspect of the present invention, rearrangement synchronization is detected from within the stream rearranged by the server, and all received data is buffered. Of the received data is buffered and the synchronization point in the buffered data of the received data is notified to the decoding unit, thereby stabilizing the amount of buffer after playback is started, thereby preventing deterioration in playback quality. You can

以下、本発明の実施の形態を、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(実施の形態1)
図1から図3は従来の技術の説明で使用したものと同じものであるため、説明が重複する。
(Embodiment 1)
Since FIGS. 1 to 3 are the same as those used in the description of the prior art, the description will be repeated.

図4は本発明の実施の形態1におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートである。   FIG. 4 is a flowchart showing a data buffering method in the streaming terminal according to Embodiment 1 of the present invention.

図1は、インターネット上のデジタルストリーミング放送システムを示すブロック図である。図1において、101は複数のデジタルストリーミングコンテンツを有するサーバー、102はコンテンツを受信再生する端末である。   FIG. 1 is a block diagram showing a digital streaming broadcasting system on the Internet. In FIG. 1, 101 is a server having a plurality of digital streaming contents, and 102 is a terminal for receiving and reproducing contents.

サーバー101は、コンテンツもしくはコンテンツの付加情報(メタファイル)をインターネット上にブラウザとして公開する機能を有するか、もしくは、他のサーバーがインターネット上にブラウザとして公開したアンカーからコンテンツもしくはコンテンツの付加情報にリンクが張れる機能を有している。   The server 101 has a function of publishing content or content additional information (metafile) as a browser on the Internet, or is linked to content or content additional information from an anchor published as a browser on the Internet by another server It has a function to stretch.

ストリーミング端末102は、ブラウザ上のコンテンツを選択し、コンテンツの配信をサーバー101に要求する。その後、サーバー101からのストリームを受けたストリーミング端末102はストリームを再生した映像信号および音声信号を出力する。   The streaming terminal 102 selects content on the browser and requests the server 101 to distribute the content. Thereafter, the streaming terminal 102 that has received the stream from the server 101 outputs a video signal and an audio signal obtained by reproducing the stream.

図2はストリーミング端末102の内部の構成を説明する図である。図2において、201はストリーム受信部、202はストリームバッファリング部、203はバッファ、204はデコード部、205は出力部である。   FIG. 2 is a diagram illustrating the internal configuration of the streaming terminal 102. 2, 201 is a stream receiving unit, 202 is a stream buffering unit, 203 is a buffer, 204 is a decoding unit, and 205 is an output unit.

以下、本実施の形態におけるデータバッファリング方法について、図4のフローチャートに基づき説明する。   Hereinafter, the data buffering method according to the present embodiment will be described with reference to the flowchart of FIG.

ストリーミング端末102は、ストリーム受信部201において、サーバー101とコンテンツの再生開始および再生中のストリーム制御について通信を行い(図4のステップ1)、かつ、サーバーから送られてきたストリームデータを受信し、ストリームバッファリング部202に送る(図4のステップ2)。ストリームバッファリング部202は送られたストリームの所定の同期信号を検出し(図4のステップ3)、その情報から得られる所定の位置からバッファ203にストリームデータを書き込み(図4のステップ4)、所定のデータ量をバッファリングした後に復号処理を開始するようにデコード部204へ通知する(図4のステップ5)。デコード部204はストリームバッファリング部202からの復号処理開始の通知をうけ、バッファ203からデータを読み出し、所定の復号処理を行い映像信号と音声信号を出力する(図4のステップ6)。出力部205は映像信号と音声信号を所定のフォーマットもしくはプロトコルに変換し出力する(図4のステップ7)。   In the stream receiving unit 201, the streaming terminal 102 communicates with the server 101 regarding the start of playback of content and the stream control during playback (step 1 in FIG. 4), and receives stream data sent from the server, The data is sent to the stream buffering unit 202 (step 2 in FIG. 4). The stream buffering unit 202 detects a predetermined synchronization signal of the sent stream (step 3 in FIG. 4), writes the stream data into the buffer 203 from a predetermined position obtained from the information (step 4 in FIG. 4), The decoding unit 204 is notified to start the decoding process after buffering a predetermined amount of data (step 5 in FIG. 4). The decoding unit 204 receives the notification of the start of the decoding process from the stream buffering unit 202, reads data from the buffer 203, performs a predetermined decoding process, and outputs a video signal and an audio signal (step 6 in FIG. 4). The output unit 205 converts the video signal and the audio signal into a predetermined format or protocol and outputs them (Step 7 in FIG. 4).

本実施の形態では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されるとする。また、TransportStream内に含まれている映像信号と音声信号は、それぞれMPEG−2ビデオとMPEG−1オーディオの規格で圧縮されたものであるとする。   In the present embodiment, it is assumed that the stream is in the Transport Stream format defined by the MPEG-2 standard, and the output is an analog video signal and audio signal. Further, it is assumed that the video signal and the audio signal included in the TransportStream are compressed according to the MPEG-2 video and MPEG-1 audio standards, respectively.

そこで、ストリームバッファリング部202は、受信したTransportStream形式のデータを解析し、GOPの先頭を検出した所からバッファ203に受信データを書き込む。それまでの受信データは破棄する。ここから、例えば2GOP分バッファリングを行ってからデコード部204に復号処理開始を通知する。つまり図3においてaのポイントから受信した場合には、GOP3とGOP4のストリームをバッファ203に書き込んでからデコード部204に再生開始を通知する。   Therefore, the stream buffering unit 202 analyzes the received data in the TransportStream format, and writes the received data to the buffer 203 from where the head of the GOP is detected. The previous received data is discarded. From here, for example, after buffering for 2 GOPs, the decoding unit 204 is notified of the start of the decoding process. That is, when receiving from the point a in FIG. 3, the GOP3 and GOP4 streams are written in the buffer 203, and then the decoding unit 204 is notified of the start of reproduction.

これにより、デコード部204は毎回GOPの先頭から復号処理を開始することになるので、バッファ203から読み出すデータ量も安定する。つまり、GOPの途中から復号処理を開始すると、次のGOPの先頭までのデータは復号できないので、それまでは復号処理時に本来再生時に処理する速度より早くデータを処理してしまうが、そのようなことがない。また、GOPの先頭から復号処理を開始すると以後のバッファ203からの読み出し速度はネットワーク上でサーバーから送られてくるデータのスピードと等価なので、バッファ203内のデータ量は常に所定の時間分あることになる。つまり、この例の場合では常に2GOP分のデータをもつようになる。GOPの途中から復号処理を開始すると、前記のようにバッファ203のデータを高速で処理してしまうために、溜めておいたデータが減ってしまうことになり、最悪アンダーフローしてバッファが空になることもあるが、本実施の形態ではそのようなことがない。   As a result, the decoding unit 204 starts the decoding process from the beginning of the GOP every time, so the amount of data read from the buffer 203 is also stable. In other words, if the decoding process is started in the middle of a GOP, the data up to the beginning of the next GOP cannot be decoded. Until then, the data is processed faster than the original processing speed at the time of reproduction. There is nothing. Further, when the decoding process is started from the head of the GOP, the subsequent reading speed from the buffer 203 is equivalent to the speed of data sent from the server on the network, so that the data amount in the buffer 203 is always a predetermined time. become. That is, in this example, the data always has 2 GOPs. If the decoding process is started in the middle of the GOP, the data stored in the buffer 203 is processed at a high speed as described above. Therefore, the accumulated data is reduced, and the worst underflow causes the buffer to be empty. This is not the case in this embodiment.

なお、本実施の形態では、GOPの先頭からバッファに書くとしたが、バッファに書くデータはGOPの先頭を含むTransportStreamのパケットからでも良いし、GOPの先頭を含むTransportStreamより大きな通信系のパケットの先頭からでも良い。例えばRTP(Real−Time Transport Protocol)のパケットでも良い。もしくは、GOPの先頭より前の近傍でも構わない。また、2GOPをバッファリングするとしたがいくつのGOPのものでも良いし、GOPより下の階層であるピクチャ層まで検出し、数ピクチャバッファリングするとしても良い。   In this embodiment, data is written to the buffer from the beginning of the GOP. However, data to be written to the buffer may be from a TransportStream packet including the beginning of the GOP, or a communication system packet larger than the TransportStream including the beginning of the GOP. Even from the beginning. For example, an RTP (Real-Time Transport Protocol) packet may be used. Alternatively, it may be near the head of the GOP. Further, although 2 GOPs are buffered, any number of GOPs may be used, and even picture layers that are lower than the GOP may be detected and several picture buffers may be buffered.

(実施の形態2)
図1と図2および図3において、実施の形態1と同様の動作をするものは、説明を省略する。
(Embodiment 2)
In FIG. 1, FIG. 2, and FIG. 3, the description of the same operation as that of the first embodiment is omitted.

図5は本発明の実施の形態2におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートである。   FIG. 5 is a flowchart showing a data buffering method in the streaming terminal according to Embodiment 2 of the present invention.

本実施の形態では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されるとする。また、TransportStream内に含まれている映像信号と音声信号は、それぞれMPEG−2ビデオとMPEG−1オーディオの規格で圧縮されたものであるとする。   In the present embodiment, it is assumed that the stream is in the Transport Stream format defined by the MPEG-2 standard, and the output is an analog video signal and audio signal. Further, it is assumed that the video signal and the audio signal included in the TransportStream are compressed according to the MPEG-2 video and MPEG-1 audio standards, respectively.

以下、本実施の形態におけるデータバッファリング方法について、図5のフローチャートに基づき説明する。   Hereinafter, the data buffering method according to the present embodiment will be described with reference to the flowchart of FIG.

ストリームバッファリング部202は、受信したTransportStream形式のデータを解析し、GOPの先頭を検出する(図5のステップ3)。受信データは最初に受信したものからバッファ203に書き続けるが、検出したGOPの先頭から、例えば2GOP分バッファリングを行ってから(図5のステップ4)デコード部204に復号処理開始を通知する(図5のステップ5)。   The stream buffering unit 202 analyzes the received data in the TransportStream format and detects the head of the GOP (step 3 in FIG. 5). The received data continues to be written in the buffer 203 from the first received data, but after buffering, for example, 2 GOPs from the head of the detected GOP (step 4 in FIG. 5), the decoding unit 204 is notified of the start of the decoding process ( Step 5) in FIG.

これにより、デコード部204はGOPの途中から復号処理を開始すると、次のGOPの先頭までのデータは復号できないので、それまでは復号処理時に処理する速度より早くデータを処理してしまうが、その分を考慮してバッファリングを行っているので、この例の場合常に2GOP分のデータをもつようになる。つまり、GOPの途中から復号処理を開始すると、前記のようにバッファ203のデータを高速で処理してしまうために、溜めておいたデータが減ってしまうことになり、最悪アンダーフローして空っぽになることもあるが、そのようなことがない。   As a result, when the decoding unit 204 starts the decoding process in the middle of the GOP, the data up to the head of the next GOP cannot be decoded, and until then, the data is processed faster than the processing speed during the decoding process. Since buffering is performed in consideration of the minutes, in this case, the data always has 2 GOPs. In other words, if the decoding process is started in the middle of the GOP, the data stored in the buffer 203 is processed at a high speed as described above. Therefore, the accumulated data is reduced, and the worst underflow causes an empty state. Sometimes it is, but there is no such thing.

なお、本実施の形態では、2GOPをバッファリングするとしたがいくつのGOPのものでも良いし、GOPより下の階層であるピクチャ層まで検出し、数ピクチャバッファリングするとしても良い。   In this embodiment, 2 GOPs are buffered. However, any number of GOPs may be used, or even picture layers that are lower than the GOP may be detected and several picture buffers may be buffered.

(実施の形態3)
図1と図2および図3において、実施の形態1と同様の動作をするものは、説明を省略する。
(Embodiment 3)
In FIG. 1, FIG. 2, and FIG. 3, the description of the same operation as that of the first embodiment is omitted.

図6は本発明の実施の形態3におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートである。   FIG. 6 is a flowchart showing a data buffering method in the streaming terminal according to Embodiment 3 of the present invention.

本実施の形態では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されるとする。また、TransportStream内に含まれている映像信号と音声信号は、それぞれMPEG−2ビデオとMPEG−1オーディオの規格で圧縮されたものであるとする。   In the present embodiment, it is assumed that the stream is in the Transport Stream format defined by the MPEG-2 standard, and the output is an analog video signal and audio signal. Further, it is assumed that the video signal and the audio signal included in the TransportStream are compressed according to the MPEG-2 video and MPEG-1 audio standards, respectively.

以下、本実施の形態におけるデータバッファリング方法について、図6のフローチャートに基づき説明する。   Hereinafter, the data buffering method according to the present embodiment will be described with reference to the flowchart of FIG.

ストリームバッファリング部202は、受信したTransportStream形式のデータをバッファリングしながら解析し、GOPの先頭を検出する(図6のステップ3)。GOPの先頭を書き込んだバッファ203内の位置を一時記憶する(図6のステップ4)。その後、例えば2GOP分バッファリングを行った後(図6のステップ5)、GOPの先頭を書き込んだバッファ203内の位置をデコード部204に通知して、かつ、復号処理開始を通知する(図6のステップ6)。デコード部204は、通知されたGOPの先頭部分からデータを読み出して復号を開始する(図6のステップ7)。これにより、デコード部204は毎回GOPの先頭から復号処理を開始することになるので、バッファ203から読み出すデータ量も安定する。つまり、GOPの途中から復号処理を開始すると、次のGOPの先頭までのデータは復号できないので、それまでは復号処理時に処理する速度より早くデータを処理してしまうが、そのようなことがない。また、GOPの先頭から復号処理を開始するとバッファ203からの読み出し速度はネットワーク上でサーバーから送られてくるデータのスピードと等価なので、バッファ203内のデータ量は常に所定の時間分あることになる。つまり、この例の場合 常に2GOP分のデータをもつようになる。つまり、GOPの途中から復号処理を開始すると、前記のようにバッファ203のデータを高速で処理してしまうために、溜めておいたデータが減ってしまうことになり、最悪アンダーフローして空っぽになることもあるが、そのようなことがない。   The stream buffering unit 202 analyzes the received TransportStream format data while buffering, and detects the head of the GOP (step 3 in FIG. 6). The position in the buffer 203 where the head of the GOP is written is temporarily stored (step 4 in FIG. 6). Thereafter, for example, after buffering for 2 GOPs (step 5 in FIG. 6), the position in the buffer 203 where the head of the GOP is written is notified to the decoding unit 204, and the start of the decoding process is notified (FIG. 6). Step 6). The decoding unit 204 reads out data from the head part of the notified GOP and starts decoding (step 7 in FIG. 6). As a result, the decoding unit 204 starts the decoding process from the beginning of the GOP every time, so the amount of data read from the buffer 203 is also stable. In other words, if the decoding process is started in the middle of a GOP, the data up to the beginning of the next GOP cannot be decoded, so until then the data is processed faster than the processing speed during the decoding process, but this is not the case. . When the decoding process is started from the beginning of the GOP, the reading speed from the buffer 203 is equivalent to the speed of data sent from the server on the network, so the data amount in the buffer 203 is always a predetermined time. . That is, in this example, it always has data for 2 GOPs. In other words, if the decoding process is started in the middle of the GOP, the data stored in the buffer 203 is processed at a high speed as described above. Therefore, the accumulated data is reduced, and the worst underflow causes an empty state. Sometimes it is, but there is no such thing.

なお、本実施の形態では、GOPの先頭からバッファに書くとしたが、GOPの先頭を含むTransportStreamのパケットからでも良いし、GOPの先頭を含むTransportStreamより大きなパケットからでも良い。例えばRTPのパケットでも良い。もしくは、GOPの先頭より前の近傍でも構わない。また、2GOPをバッファリングするとしたがいくつのGOPのものでも良いし、GOPより下の階層であるピクチャ層まで検出し、数ピクチャバッファリングするとしても良い。   In the present embodiment, the buffer is written from the beginning of the GOP, but it may be from a TransportStream packet that includes the beginning of the GOP, or from a packet that is larger than the TransportStream that includes the beginning of the GOP. For example, an RTP packet may be used. Alternatively, it may be near the head of the GOP. Further, although 2 GOPs are buffered, any number of GOPs may be used, and even picture layers that are lower than the GOP may be detected and several picture buffers may be buffered.

(実施の形態4)
図1と図2および図3において、実施の形態1と同様の動作をするものは、説明を省略する。
(Embodiment 4)
In FIG. 1, FIG. 2, and FIG. 3, the description of the same operation as that of the first embodiment is omitted.

図7は、TransportStream形式のデータの構成図、図8は本発明の実施の形態4におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートである。   FIG. 7 is a configuration diagram of data in the TransportStream format, and FIG. 8 is a flowchart showing a data buffering method in the streaming terminal according to the fourth embodiment of the present invention.

本実施の形態では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されるとする。また、TransportStream内に含まれている映像信号と音声信号は、それぞれMPEG−2ビデオとMPEG−1オーディオの規格で圧縮されたものであるとする。   In the present embodiment, it is assumed that the stream is in the Transport Stream format defined by the MPEG-2 standard, and the output is an analog video signal and audio signal. Further, it is assumed that the video signal and the audio signal included in the TransportStream are compressed according to the MPEG-2 video and MPEG-1 audio standards, respectively.

また、本実施の形態では、サーバーから端末に送信されるTransportStreamのデータは、セキュリティ強化のために、TransportStreamPacket単位での順番入れ替え(インターリーブ)が行われているとする。つまり図7に示すように、サーバーが送信時にTransportStreamPacket単位で並べ替え、送信する。端末は、これを受信し、並べなおして復号化を行う。当然、サーバー側と端末側は、別途並べ替えの情報をやり取りしている。これにより、送信中のデータを所定の端末以外が受信しても復号しづらくすることができる。   In the present embodiment, it is assumed that the transport stream data transmitted from the server to the terminal has been reordered (interleaved) in units of transport stream packets in order to enhance security. That is, as shown in FIG. 7, the server rearranges and transmits in units of TransportStreamPackets at the time of transmission. The terminal receives this, rearranges it, and performs decoding. Naturally, the server side and the terminal side exchange information on sorting separately. Thereby, even if data other than a predetermined terminal receives the data being transmitted, it can be difficult to decode.

以下、本実施の形態におけるデータバッファリング方法について、図8のフローチャートに基づき説明する。   Hereinafter, the data buffering method according to the present embodiment will be described with reference to the flowchart of FIG.

ストリームバッファリング部202は、受信したTransportStream形式のデータを解析し、インターリーブの周期の先頭を検出し(図8のステップ3)、ここからバッファ203に受信データを書き込む(図8のステップ4)。例えば、図7においてbで示すTS5から受信した場合は、TS10からバッファ203に書き込み、かつTS5からTS9の受信データは破棄する。そして、ここから、例えばインターリーブの2周期分バッファリングを行って、デコード部204に復号開始を通知する(図8のステップ5)。インターリーブの途中のデータは復号処理を行ったとしても、連続性が失われたデータなので、それをそのまま使用することはできない。このために、インターリーブの途中からデータをバッファ203に書くとデコード部204で復号処理した後の映像や音声にノイズなどの障害が生じることになる。そこで、インターリーブの周期の先頭からバッファ204にデータを書き込むことにより、それを防ぐことが出来る。また、連続性を保つためには、インターリーブの周期毎にしか処理を行えないので、最初にインターリーブの2周期分のデータをバッファリングしておくと、安定して処理を行うことができる。   The stream buffering unit 202 analyzes the received data in the TransportStream format, detects the beginning of the interleaving cycle (step 3 in FIG. 8), and writes the received data to the buffer 203 from here (step 4 in FIG. 8). For example, when received from TS5 indicated by b in FIG. 7, the TS10 writes to the buffer 203 and the received data from TS5 to TS9 is discarded. From here, for example, buffering is performed for two interleave cycles, and the decoding unit 204 is notified of the start of decoding (step 5 in FIG. 8). Even if the data in the middle of interleaving is decoded, it cannot be used as it is because it has lost continuity. For this reason, when data is written in the buffer 203 from the middle of interleaving, a failure such as noise occurs in the video and audio after decoding by the decoding unit 204. Therefore, this can be prevented by writing data to the buffer 204 from the beginning of the interleaving cycle. Further, in order to maintain continuity, processing can be performed only at every interleaving cycle. Therefore, if data for two interleaving cycles is first buffered, stable processing can be performed.

なお、本実施の形態では、TransportStream単位でのインターリーブとしたが、別途の通信系のパケットの単位でもよい。例えばRTP単位でもよい。また、本実施の形態に付随して実施の形態1もしくは実施の形態2もしくは実施の形態3のバッファリング方法を組み合わせても良い。また2周期分をバッファリングするとしたがいくつの周期でも良い。   In this embodiment, interleaving is performed in units of Transport Stream, but may be in units of separate communication packets. For example, an RTP unit may be used. Further, the buffering method of the first embodiment, the second embodiment, or the third embodiment may be combined with the present embodiment. Although two cycles are buffered, any number of cycles may be used.

(実施の形態5)
図1から図3および図8において、実施の形態1および実施の形態4と同様の動作をするものは、説明を省略する。
(Embodiment 5)
In FIGS. 1 to 3 and FIG. 8, the description of the same operations as those of the first and fourth embodiments is omitted.

図9は本発明の実施の形態5におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートである。   FIG. 9 is a flowchart showing a data buffering method in the streaming terminal according to the fifth embodiment of the present invention.

本実施の形態では、ストリームがMPEG−2規格で定められたTransportStream形式のものであり、出力はアナログ形式の映像信号および音声信号が出力されるとする。また、TransportStream内に含まれている映像信号と音声信号は、それぞれMPEG−2ビデオとMPEG−1オーディオの規格で圧縮されたものであるとする。   In the present embodiment, it is assumed that the stream is in the Transport Stream format defined by the MPEG-2 standard, and the output is an analog video signal and audio signal. Further, it is assumed that the video signal and the audio signal included in the TransportStream are compressed according to the MPEG-2 video and MPEG-1 audio standards, respectively.

また、本実施の形態では、サーバーから端末に送信されるTransportStreamのデータは、セキュリティ強化のために、TransportStreamPacket単位での順番入れ替え(インターリーブ)が行われているとする。   In the present embodiment, it is assumed that the transport stream data transmitted from the server to the terminal has been reordered (interleaved) in units of transport stream packets in order to enhance security.

以下、本実施の形態におけるデータバッファリング方法について、図9のフローチャートに基づき説明する。   Hereinafter, the data buffering method according to the present embodiment will be described with reference to the flowchart of FIG.

ストリームバッファリング部202は、受信したTransportStream形式のデータをバッファ203に書きながら解析し、インターリーブの周期の先頭を検出し(図9のステップ3)、インターリーブの周期の先頭を書き込んだ位置を一時記憶する(図9のステップ4)。ここから、例えばインターリーブの2周期分バッファリングを行って(図9のステップ5)、デコード部204に一時記憶したインターリーブの周期の先頭をバッファ203に書き込んだ位置を通知し、かつ、復号開始を通知する(図9のステップ6)。インターリーブの途中のデータは復号処理を行ったとしても、連続性が失われたデータなので、それをそのまま使用することはできない。このために、インターリーブの途中からデータをデコードするとデコード部204で復号処理した後の映像や音声にノイズなどの障害が生じることになる。そこで、デコード部204がインターリーブの周期の先頭からバッファ203からデータを読み出すことにより、それを防ぐことが出来る。また、連続性を保つためには、インターリーブの周期毎にしか処理を行えないので、最初にインターリーブの2周期分のデータをバッファリングしておくと、安定して処理を行うことができる。   The stream buffering unit 202 analyzes the received TransportStream format data while writing it to the buffer 203, detects the beginning of the interleaving cycle (step 3 in FIG. 9), and temporarily stores the position where the beginning of the interleaving cycle is written. (Step 4 in FIG. 9). From here, for example, buffering is performed for two cycles of interleaving (step 5 in FIG. 9), the position where the beginning of the interleaving cycle temporarily stored in the decoding unit 204 is written to the buffer 203 is notified, and decoding starts. Notification is made (step 6 in FIG. 9). Even if the data in the middle of interleaving is decoded, it cannot be used as it is because it has lost continuity. For this reason, when data is decoded from the middle of interleaving, a failure such as noise occurs in the video and audio after decoding by the decoding unit 204. Therefore, the decoding unit 204 can prevent this by reading data from the buffer 203 from the beginning of the interleaving cycle. Further, in order to maintain continuity, processing can be performed only at every interleaving cycle. Therefore, if data for two interleaving cycles is first buffered, stable processing can be performed.

なお、本実施の形態では、インターリーブの周期について述べたが、これに付随して実施の形態1もしくは実施の形態2もしくは実施の形態3のバッファリング方法を組み合わせても良い。また2周期分をバッファリングするとしたがいくつの周期でも良い。   In the present embodiment, the interleaving cycle has been described. However, the buffering method according to the first embodiment, the second embodiment, or the third embodiment may be combined therewith. Although two cycles are buffered, any number of cycles may be used.

なお、本実施の形態すべてにおいて、ストリームはMPEG−2規格で定められたTransportStream形式としたが、圧縮規格のストリームであれば何でも良い。例えば、MPEG−4でもよい。また、ビデオ(映像信号)の同期について実施の形態を説明したが、これは、MPEG−2ビデオ規格において、MPEG−1オーディオ規格より長い周期であるGOPでの同期を必要とするからであり、オーディオ側の同期周期がビデオ側より長い場合は、オーディオ側でバッファリングを制御しても構わない。   In all of the embodiments, the stream is in the TransportStream format defined in the MPEG-2 standard, but any stream may be used as long as it is a compression standard stream. For example, MPEG-4 may be used. In addition, the embodiment of the synchronization of video (video signal) has been described because the MPEG-2 video standard requires synchronization with a GOP having a longer period than the MPEG-1 audio standard. If the synchronization period on the audio side is longer than that on the video side, buffering may be controlled on the audio side.

本発明にかかるストリーミング端末におけるデータバッファリング方法は、バッファ開始点もしくはデコード開始点を調整し、バッファのサイズを適度なものにするとともに、ネットワークの不具合への耐性を安定化するという効果を有し、インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、映像信号と音声信号として再生できるストリーミング端末におけるデータバッファリング方法等として有用である。   The data buffering method in the streaming terminal according to the present invention has an effect of adjusting the buffer start point or the decode start point to make the buffer size appropriate, and to stabilize the tolerance to the malfunction of the network. It is useful as a data buffering method in a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and reproduce it as a video signal and an audio signal.

デジタルストリーミング放送システムのブロック図Block diagram of digital streaming broadcasting system ストリーミング端末のブロック図Block diagram of streaming terminal MPEG−2のビデオのデータ構造を示す図The figure which shows the data structure of the video of MPEG-2 本発明の実施の形態1におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートThe flowchart which shows the data buffering method in the streaming terminal in Embodiment 1 of this invention 本発明の実施の形態2におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートThe flowchart which shows the data buffering method in the streaming terminal in Embodiment 2 of this invention 本発明の実施の形態3におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートThe flowchart which shows the data buffering method in the streaming terminal in Embodiment 3 of this invention TransportStream形式のデータの構成図Structure diagram of data in TransportStream format 本発明の実施の形態4におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートThe flowchart which shows the data buffering method in the streaming terminal in Embodiment 4 of this invention 本発明の実施の形態5におけるストリーミング端末におけるデータバッファリング方法を示すフローチャートThe flowchart which shows the data buffering method in the streaming terminal in Embodiment 5 of this invention 従来のストリーミング端末におけるデータバッファリング方法を示すフローチャートA flowchart showing a data buffering method in a conventional streaming terminal

符号の説明Explanation of symbols

101 サーバー
102 ストリーミング端末
201 ストリーム受信部
202 ストリーミングバッファリング部
203 バッファ
204 デコード部
DESCRIPTION OF SYMBOLS 101 Server 102 Streaming terminal 201 Stream receiving part 202 Streaming buffering part 203 Buffer 204 Decoding part

Claims (7)

インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出し、前記同期コードから得られる所定の位置までのデータはバッファリングせずに、前記所定の位置以降のデータをバッファリングすることを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in a stream, and buffers data after the predetermined position without buffering data up to a predetermined position obtained from the synchronization code. Data buffering method in a streaming terminal.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、ストリーム内の同期コードを検出し、前記同期コードから得られる所定の位置までのデータはバッファリングせずに、前記所定の位置以降のデータをバッファリングし、かつ、前記デコード手段がデコードを開始する契機を前記同期コードから算出できる所定量のデータをバッファリングしたときとすることを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in the stream, buffers the data after the predetermined position without buffering data up to a predetermined position obtained from the synchronization code, and decodes the data A data buffering method in a streaming terminal, characterized in that the means starts decoding when a predetermined amount of data that can be calculated from the synchronization code is buffered.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段を有し、
前記バッファリング手段が、バッファリングを行いながらストリーム内の同期コードを検出し、前記デコード手段がデコードを開始する契機を前記同期コードから算出できる所定量のデータをバッファリングしたときとすることを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects a synchronization code in a stream while performing buffering, and the decoding means starts a decoding when a predetermined amount of data that can be calculated from the synchronization code is buffered. A data buffering method in a streaming terminal.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記バッファリング手段が、バッファリングを行いながらストリーム内の同期コードを検出し、バッファ内の同期コードを記録した位置情報を一時記憶し、前記デコード手段がデコードを開始する契機を前記同期コードから算出できる所定量のデータをバッファリングした後とし、かつ、前記デコード手段が、前記一時記憶された同期コードの記録位置情報をもとにデコード開始時に使用するストリームの開始位置を決めることを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
The buffering means detects the synchronization code in the stream while performing buffering, temporarily stores the position information where the synchronization code in the buffer is recorded, and calculates the trigger for the decoding means to start decoding from the synchronization code After a predetermined amount of data is buffered, and the decoding means determines the start position of the stream used at the start of decoding based on the recording position information of the temporarily stored synchronization code Data buffering method in a streaming terminal.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、インターリーブの1周期の開始位置を検出し、インターリーブの周期の先頭からバッファリングを開始することを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been changed in order (interleaved) in a predetermined unit for security enhancement, the buffering means detects the start position of one cycle of interleaving. And starting the buffering from the beginning of the interleaving cycle.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、インターリーブの1周期の開始位置を検出し、インターリーブの周期の先頭からバッファリングを開始し、かつ、前記デコード手段がデコードを開始する契機を前記周期から算出できる所定量のデータをバッファリングした時とすることを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been changed in order (interleaved) in a predetermined unit for security enhancement, the buffering means detects the start position of one cycle of interleaving. In a streaming terminal characterized in that buffering is started from the beginning of an interleaving cycle and a predetermined amount of data that can be calculated from the cycle is buffered when the decoding means starts decoding. Data buffering method.
インターネット上に公開されたコンテンツおよびインターネット上に放送されているコンテンツを受信し、少なくとも映像信号か音声信号のどちらかを再生できるストリーミング端末において、
前記コンテンツを有するサーバーから送られたストリームを受信する受信手段と、
受信したデータをバッファリングするバッファリング手段と、
バッファリングしたデータをデコードするデコード手段と
デコードした映像信号および音声信号を出力する出力手段とを有し、
前記サーバーから送られてくるストリームがセキュリティ強化のために、所定の単位での順番入れ替え(インターリーブ)が行われたものである場合に、前記バッファリング手段が、バッファリングを行いながらインターリーブの1周期の開始位置を検出し、バッファ内にインターリーブの先頭を記録した位置情報を一時記憶するものであり、かつ、前記デコード手段がデコードを開始する契機を前記周期から算出できる所定量のデータをバッファリングした後とし、前記デコード手段が、前記一時記憶されたインターリーブの先頭を記録した位置からデコードを開始することを特徴とするストリーミング端末におけるデータバッファリング方法。
In a streaming terminal that can receive content published on the Internet and content broadcast on the Internet and play at least either video signals or audio signals,
Receiving means for receiving a stream sent from a server having the content;
Buffering means for buffering received data;
A decoding means for decoding the buffered data and an output means for outputting the decoded video signal and audio signal;
When the stream sent from the server has been reordered (interleaved) in a predetermined unit to enhance security, the buffering means performs one cycle of interleaving while performing buffering. Is used to temporarily store the position information in which the start of interleaving is recorded in the buffer, and to buffer a predetermined amount of data that can be calculated from the period when the decoding means starts decoding A data buffering method in a streaming terminal, wherein the decoding means starts decoding from a position where the head of the temporarily stored interleave is recorded.
JP2003407209A 2003-12-05 2003-12-05 Data buffering method in streaming terminal Pending JP2005167893A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003407209A JP2005167893A (en) 2003-12-05 2003-12-05 Data buffering method in streaming terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003407209A JP2005167893A (en) 2003-12-05 2003-12-05 Data buffering method in streaming terminal

Publications (1)

Publication Number Publication Date
JP2005167893A true JP2005167893A (en) 2005-06-23

Family

ID=34729324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003407209A Pending JP2005167893A (en) 2003-12-05 2003-12-05 Data buffering method in streaming terminal

Country Status (1)

Country Link
JP (1) JP2005167893A (en)

Similar Documents

Publication Publication Date Title
US7610605B2 (en) Method and apparatus for conversion and distribution of data utilizing trick-play requests and meta-data information
KR100945548B1 (en) Video error resilience
RU2297729C2 (en) Method for grouping image frames during video decoding
US20090010334A1 (en) Decoding device, decoding method, recording medium, and program
JP3825719B2 (en) Image reproduction method, image reproduction apparatus, and image recording apparatus
EP1553779A1 (en) Data reduction of video streams by selection of frames and partial deletion of transform coefficients
JP4928726B2 (en) Indication of valid entry points in the video stream
JP2004525556A (en) Method and system for buffering streamed media
JP2004507178A (en) Video signal encoding method
JP2007235588A (en) Moving video decoding device and moving video encoding device
US20070098072A1 (en) Command packet system and method supporting improved trick mode performance in video decoding systems
JP2008167061A (en) Encoding device and encoding method
KR101142379B1 (en) Method and Apparatus of playing digital broadcasting and Method of recording digital broadcasting
US20020015577A1 (en) Data distribution apparatus and method, and data distribution system
JP2005124091A (en) Decoding apparatus and decoding method
JP4462559B2 (en) Trick playback content creation method and device, trick playback compressed video data transmission method and device, and trick playback content creation program
JP2005167893A (en) Data buffering method in streaming terminal
JP4736918B2 (en) Digital playback device or playback program
JP2010074677A (en) Video processing apparatus, video compression coding apparatus, video decoding reproducing apparatus and video reproducing method
JP2002344964A (en) System and method for preventing interruption of input of variable length code
JP2007028212A (en) Reproducing device and reproducing method
JP2937180B2 (en) Video encoding method and recording medium storing code data according to the video encoding method
KR101161604B1 (en) Method for controlling lip synchronization of video streams and apparatus therefor
JP4373283B2 (en) Video / audio decoding method, video / audio decoding apparatus, video / audio decoding program, and computer-readable recording medium recording the program
JP2005252515A (en) Data distribution method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061122

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091222