JP2007318470A - Server device, transmission sequence determination method and content distribution system - Google Patents
Server device, transmission sequence determination method and content distribution system Download PDFInfo
- Publication number
- JP2007318470A JP2007318470A JP2006146221A JP2006146221A JP2007318470A JP 2007318470 A JP2007318470 A JP 2007318470A JP 2006146221 A JP2006146221 A JP 2006146221A JP 2006146221 A JP2006146221 A JP 2006146221A JP 2007318470 A JP2007318470 A JP 2007318470A
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- time
- stream
- unit
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
この発明は、例えばＬＡＮ(LocalArea Network)等の家庭内ネットワークを介してテレビ等の複数の再生装置に接続され、複数の再生装置で再生すべきコンテンツに係るストリームをこの複数の再生装置に同時にリアルタイム送信（ストリーミング）するサーバ装置、送信順序決定方法およびコンテンツ配信システムに関する。 The present invention is connected to a plurality of playback devices such as a television via a home network such as a LAN (Local Area Network), for example, and streams related to contents to be played back by the plurality of playback devices are simultaneously transmitted to the plurality of playback devices in real time. The present invention relates to a transmission (streaming) server device, a transmission order determination method, and a content distribution system.
詳しくは、この発明は、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、各分割単位の送信開始時刻に対応して、ストリーム毎に次の分割単位の送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定することによって、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減するようにしたサーバ装置等に係るものである。 Specifically, the present invention relates to a method for transmitting a plurality of streams to a plurality of playback devices via a single transmission line in a time division manner for each division unit, and for each division unit transmission start time. Corresponding to the above, the transmission grace time of the next division unit is estimated for each stream, and the stream with the shortest transmission grace time is determined as the stream to be transmitted, so that the reproduction failure due to the buffer underflow in the playback device occurs. The present invention relates to a server device or the like whose frequency is reduced.
互いにネットワーク接続されたデジタル機器の間で複数のＡＶ(Audio and Visual)ストリームを同時にリアルタイム送信（ストリーミング）する場合、各ＡＶストリームの再生品質を維持するために必要な伝送帯域を確保するＱｏＳ(Quality of Service)技術が重要となる。 When a plurality of AV (Audio and Visual) streams are simultaneously transmitted (streamed) between digital devices connected to each other on a network, QoS (Quality) that secures a transmission band necessary for maintaining the reproduction quality of each AV stream is provided. of Service) technology is important.
特に家庭内においては、インターネットのブロードバンド回線やデジタルＴＶの普及などによりＡＶストリームの高ビットレート化が進む一方で、デジタル機器間の接続にはIEEE 802.11規格など無線インタフェースの利用が進む傾向にあり、限られた通信帯域を効率良く利用するための技術が強く要求される。 Especially in the home, while the bit rate of AV streams is increasing due to the widespread use of Internet broadband lines and digital TVs, the use of wireless interfaces such as the IEEE 802.11 standard tends to increase for connections between digital devices. There is a strong demand for a technology for efficiently using a limited communication band.
現在、ＰＣ(PersonalComputer)やＡＶ家電など一般向けのデジタル機器製品におけるネットワーク伝送路についてはIEEE802.1QやIEEE 802.11e(EDCA方式)などに準拠する所謂タグベースのＱｏＳ技術が普及しつつあるが、これらは伝送するデータの種別に基づいて優先順位付けを行うため、通常のデータに対してＡＶストリームを優先して伝送することはできるが、複数のＡＶストリームの間で優先順位付けを行うことはできない。 Currently, the so-called tag-based QoS technology compliant with IEEE802.1Q and IEEE802.11e (EDCA method) is becoming widespread for network transmission paths in general digital equipment products such as PCs (Personal Computers) and AV home appliances. Since these prioritize based on the type of data to be transmitted, it is possible to prioritize transmission of AV streams over normal data, but prioritizing among a plurality of AV streams is not possible. Can not.
一方、家庭向けのＱｏＳ対応ルータ製品にはポート毎に優先度の設定や帯域割り当てを行えるものがある。そのようなルータを利用すれば、異なる機器間での優先順位付けは可能であるが、１つのサーバ機器から送信される複数のＡＶストリームの間で優先順位付けを行うことはできない。IEEE 802.11e(HCCA方式)によるＱｏＳ制御についても同じことが言える。 On the other hand, some QoS-compatible router products for home use can set priority and assign bandwidth to each port. If such a router is used, prioritization between different devices is possible, but prioritization cannot be performed among a plurality of AV streams transmitted from one server device. The same can be said for QoS control by IEEE 802.11e (HCCA method).
より高度なＱｏＳの枠組みとしてIETFIntegrated Services （IETF-RFC2211,2212）に基づく方式がある。この方式を実現すれば、ストリーム（TCP/IPのコネクション）単位で平均帯域やパケット伝送遅延を制御することができるが、伝送処理を担う機器にはかなり高い性能が必要になるため、コストダウン要求の厳しいコンシューマ製品で実装するのは難しい。 As a more advanced QoS framework, there is a method based on IETF Integrated Services (IETF-RFC2211, 2212). If this method is realized, the average bandwidth and packet transmission delay can be controlled in units of streams (TCP / IP connections), but the equipment responsible for transmission processing requires considerably high performance, so a cost reduction request is required. It is difficult to implement with severe consumer products.
また、上述の方式はいずれも極めて汎用の制御方式であり、伝送するデータのフォーマットや内容を一切考慮しない。しかし、例えばデジタルＴＶ放送等で用いられているMPEG2 TSなど、動画データを含むストリームは可変ビットレート（ＶＢＲ：VariableBit Rate）フォーマットで符号化されているのが一般的であり、特許文献１などで指摘されているように、送信処理のスケジューラはそのようなフォーマット情報を考慮して制御する方が、より優れたＱｏＳを提供できる。 In addition, all of the above-described systems are extremely general-purpose control systems and do not consider the format and contents of data to be transmitted. However, for example, a stream including moving image data such as MPEG2 TS used in digital TV broadcasting or the like is generally encoded in a variable bit rate (VBR) format. As pointed out, it is possible to provide better QoS when the scheduler of the transmission process is controlled in consideration of such format information.
ＶＢＲフォーマットで符号化されたストリームを予め解析して得られたトラフィック情報（伝送レートの時間変化情報）を利用してＱｏＳ制御を行う技術として、例えば特許文献２、特許文献３などが挙げられる。ここで、新しいストリーム伝送要求に対して伝送路の帯域が不足する場合に、特許文献２においてはそのストリームの伝送開始時間を遅延させる方法、特許文献３においては伝送要求を拒否する方法が採られている。 Examples of techniques for performing QoS control using traffic information (transmission rate time change information) obtained by analyzing a stream encoded in the VBR format in advance include Patent Document 2 and Patent Document 3. Here, when the bandwidth of the transmission path is insufficient for a new stream transmission request, Patent Document 2 adopts a method of delaying the transmission start time of the stream, and Patent Document 3 adopts a method of rejecting the transmission request. ing.
しかし、家庭内での試聴を想定した場合、通信路の帯域不足に対しては一部のストリームのビットレートを低減させることによって再生装置でのバッファアンダーフローを防ぎ、再生の可用性や連続性を維持する方が好ましいことも多い。
上述した特許文献２、特許文献３には、複数の再生装置で再生すべきコンテンツに係るストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に同時にリアルタイム送信することについての記載はない。 In Patent Document 2 and Patent Document 3 described above, streams related to content to be played back by a plurality of playback devices are respectively transmitted to a plurality of playback devices via a single transmission path in a time-sharing manner for each division unit. There is no description about real-time transmission at the same time.
ストリームが上述したように可変ビットレートフォーマットで符号化されている場合、それぞれの分割単位の送信に要する時間はそのデータ量によって変動する。そのため、上述したように複数の再生装置に各ストリームを単一の伝送路を介して時分割送信する場合、複数のストリームの送信順序が固定的であると、バッファアンダーフローによる再生不良の発生頻度が高くなる。 When the stream is encoded in the variable bit rate format as described above, the time required for transmission of each division unit varies depending on the data amount. Therefore, when each stream is transmitted to a plurality of playback devices via a single transmission line as described above, if the transmission order of the plurality of streams is fixed, the frequency of occurrence of playback failures due to buffer underflow Becomes higher.
この発明の目的は、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減することにある。 An object of the present invention is to transmit a plurality of streams to a plurality of playback devices via a single transmission line in a time-sharing manner for each division unit, and to perform playback by buffer underflow in the playback device. It is to reduce the frequency of occurrence of defects.
この発明の概念は、
それぞれ再生装置で再生すべきコンテンツに係る複数のストリームを記憶するデータ記憶部と、
上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部と
を備えることを特徴とするサーバ装置にある。
The concept of this invention is
A data storage unit for storing a plurality of streams related to the content to be played back by each playback device;
A plurality of streams stored in the data storage unit, a data transmission unit that transmits each of the divided units to a plurality of playback devices via a single transmission path in a time-sharing manner;
A traffic information acquisition unit that acquires traffic information including at least a data size and a reproduction time for each of the division units in each of the plurality of streams stored in the data storage unit;
The transmission start time of each division unit in the time division transmission of the data transmission unit is sequentially obtained, and based on the traffic information of the plurality of streams acquired by the traffic information acquisition unit, corresponding to each transmission start time, And a scheduling unit that estimates a transmission delay time for the next division unit for each stream and determines a stream to be transmitted with the shortest transmission delay time.
この発明においては、それぞれ再生装置で再生すべきコンテンツ（動画、音声）に係る複数のストリームがデータ記憶部に記憶されている。このデータ記憶部に記憶されている複数のストリームは、それぞれ、分割単位毎に、時分割で、単一伝送路を介して複数の再生装置に同時にリアルタイム送信（ストリーミング）される。 In the present invention, a plurality of streams related to content (moving image, audio) to be played back by the playback device is stored in the data storage unit. The plurality of streams stored in the data storage unit are simultaneously transmitted (streamed) simultaneously to a plurality of playback devices via a single transmission path in a time division manner for each division unit.
トラフィック情報取得部で、複数のストリームのそれぞれにおける分割単位毎のトラフィック情報が取得される。このトラフィック情報には、少なくともデータサイズおよび再生時間が含まれている。上述した分割送信における各ストリームの送信順序は、それぞれのストリームにおける分割単位毎のトラフィック情報に基づいて決定される（スケジューリング）。 The traffic information acquisition unit acquires traffic information for each division unit in each of the plurality of streams. This traffic information includes at least the data size and the reproduction time. The transmission order of each stream in the above-described divided transmission is determined based on traffic information for each division unit in each stream (scheduling).
すなわち、各分割単位の送信開始時刻が順次求められる。この場合、所定の送信開始時刻の次の送信開始時刻は、この所定の送信開始時刻から送信される所定の分割単位のデータサイズおよび伝送路の伝送帯域に基づいて求められる。 That is, the transmission start time for each division unit is obtained sequentially. In this case, the transmission start time next to the predetermined transmission start time is obtained based on the data size of a predetermined division unit transmitted from the predetermined transmission start time and the transmission band of the transmission path.
それぞれの送信開始時刻に対応して、ストリーム毎に、次の分割単位の送信猶予時間が推定される。ここで、送信猶予時間は、送信開始時刻からΔｔだけ経た時刻までに次の分割単位を再生装置に対して送信することを完了すれば、当該再生装置にバッファアンダーフローが起こらないと推定される場合に、上述のΔｔの最大値をいう。 Corresponding to each transmission start time, a transmission grace time of the next division unit is estimated for each stream. Here, the transmission grace time is estimated that if the transmission of the next division unit to the playback device is completed by the time Δt after the transmission start time, no buffer underflow occurs in the playback device. The maximum value of Δt described above.
各送信開始時刻に対応し、上述したように推定された送信猶予時間が最も短いストリームが送信すべきストリームに決定される。このように送信時間が最も短いストリームが送信すべきストリームに決定され、スケジューリングが最適化されるので、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減することが可能となる。 Corresponding to each transmission start time, the stream with the shortest transmission grace time estimated as described above is determined as the stream to be transmitted. As described above, since the stream having the shortest transmission time is determined as the stream to be transmitted and the scheduling is optimized, it is possible to reduce the occurrence frequency of the reproduction failure due to the buffer underflow in the reproduction apparatus.
上述したように各送信開始時刻に対応して送信すべきストリームが決定されていくが、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間が、この所定の送信開始時刻から送信すべき分割単位の送信に要する時間より短くなることがある。この場合、そのままでは、当該分割単位が送信される再生装置では、バッファアンダーフローによる再生不良が発生することになる。 As described above, the stream to be transmitted is determined corresponding to each transmission start time, but the transmission grace time of the predetermined stream determined as the stream to be transmitted corresponding to the predetermined transmission start time is It may be shorter than the time required for transmission of a division unit to be transmitted from a predetermined transmission start time. In this case, a reproduction failure due to a buffer underflow occurs in the reproduction apparatus to which the division unit is transmitted as it is.
そこでこの場合、例えば、データ圧縮処理部で、所定の送信開始時刻およびこの所定の送信開始時刻より前の送信開始時刻から送信するように決定された各分割単位のうち所定の分割単位に対してデータ圧縮処理が行われる。これにより、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間を長くでき、バッファアンダーフローによる再生不良の発生を防止可能となる。 Therefore, in this case, for example, for the predetermined division unit among the division units determined by the data compression processing unit to transmit from the predetermined transmission start time and the transmission start time before the predetermined transmission start time. Data compression processing is performed. As a result, it is possible to lengthen the transmission delay time of the predetermined stream determined as the stream to be transmitted corresponding to the predetermined transmission start time, and it is possible to prevent the occurrence of reproduction failure due to the buffer underflow.
例えば、データ圧縮処理を行う所定の分割単位は１個または複数個であり、ストリーム毎、あるいは分割単位毎に与えられる重要度情報に基づいて選択される。この場合、重要度情報は、例えば、ユーザ設定に基づいて、伝送路または再生装置の仕様に基づいて、あるいはストリームの特徴を記述するメタデータに基づいて、さらにはユーザの嗜好情報に基づいて、生成される。 For example, the predetermined division unit for performing the data compression processing is one or plural, and is selected based on importance information given for each stream or for each division unit. In this case, the importance information is, for example, based on user settings, based on transmission path or playback device specifications, or based on metadata describing the characteristics of the stream, and further based on user preference information, Generated.
この発明によれば、複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するものにあって、各分割単位の送信開始時刻に対応して、ストリーム毎に次の分割単位の送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定するものであり、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減できる。 According to the present invention, each of a plurality of streams is transmitted to a plurality of playback devices via a single transmission line in a time division manner for each division unit, and at the transmission start time of each division unit. Correspondingly, the transmission grace time for the next division unit is estimated for each stream, and the stream with the shortest transmission grace time is determined as the stream to be transmitted. The frequency can be reduced.
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのコンテンツ配信システム１０の構成を示している。このコンテンツ配信システム１０は、サーバ装置１００と、複数のテレビ等の再生装置２００-1，２００-2，・・・，２００-Nと、これらサーバ装置１００と複数の再生装置２００-1，２００-2，・・・，２００-Nとを接続する単一の伝送路３００とで構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a content distribution system 10 as an embodiment. The content distribution system 10 includes a server device 100, a plurality of playback devices 200-1, 200-2,..., 200-N such as a television, and the server device 100 and a plurality of playback devices 200-1, 200. ,..., 200-N, and a single transmission line 300 connecting the two.
サーバ装置１００は、複数の再生装置２００-1，２００-2，・・・，２００-Nで再生すべき、動画、音声等のコンテンツに係る複数のストリームを、それぞれ、フラグメント毎に、時分割で、伝送路３００を介して、複数の再生装置２００-1，２００-2，・・・，２００-Nに送信する機能を持つ。伝送路３００は、例えば、IEEE 802.3やIEEE 802.11で構成される小規模なＬＡＮであって、ＴＣＰ／ＩＰベースの伝送を行う。 The server apparatus 100 time-divides a plurality of streams related to contents such as moving images and sounds to be reproduced by the plurality of reproducing apparatuses 200-1, 200-2,. Thus, it has a function of transmitting to a plurality of playback devices 200-1, 200-2,..., 200-N via the transmission line 300. The transmission path 300 is a small-scale LAN configured by IEEE 802.3 or IEEE 802.11, for example, and performs TCP / IP-based transmission.
ここで、フラグメントはストリームの分割単位を構成している。本実施の形態において、フラグメントは、ストリームの再生時間軸上で分割される各時間部分であって、独立に再生かつ再圧縮（再符号化）できるデータ単位である。 Here, the fragments constitute a stream division unit. In the present embodiment, a fragment is a time unit divided on the reproduction time axis of a stream, and is a data unit that can be reproduced and recompressed (recoded) independently.
このコンテンツ配信システム１０においては、サーバ装置１００から単一の伝送路３００を介して、複数の再生装置２００-1〜２００-Nに、それぞれで再生すべきコンテンツに係るストリームが、同時にリアルタイム送信（ストリーミング）される。 In the content distribution system 10, a stream related to content to be reproduced is simultaneously transmitted from the server device 100 to a plurality of reproducing devices 200-1 to 200 -N via a single transmission line 300 simultaneously in real time ( Streaming).
サーバ装置１００の詳細について説明する。このサーバ装置１００は、図１に示すように、内部に、記憶装置１０１と、送信制御部１０２と、再生符号化部１０３と、ストリーム解析部１０４と、状態管理部１０５とを有している。ただし、実際のサーバ装置１００は、複数の装置から構成される複合システムでもよい。 Details of the server apparatus 100 will be described. As illustrated in FIG. 1, the server device 100 includes a storage device 101, a transmission control unit 102, a reproduction encoding unit 103, a stream analysis unit 104, and a state management unit 105. . However, the actual server device 100 may be a complex system including a plurality of devices.
記憶装置１０１は、例えばＨＤＤあるいは半導体メモリなどからなり、ストリームのデータ本体と、ストリームに関連するメタデータと、ストリームのトラフィック情報と、ストリームの重要度情報と、サーバ装置１００が保持する状態情報等を蓄積する。トラフィック情報は、後述するように、フラグメント単位毎の情報であって、少なくともデータサイズおよび再生時間を含むものである。 The storage device 101 includes, for example, an HDD or a semiconductor memory, and includes a stream data body, metadata related to the stream, stream traffic information, stream importance information, status information held by the server device 100, and the like. Accumulate. As described later, the traffic information is information for each fragment unit, and includes at least the data size and the reproduction time.
ストリーム解析部１０４は、記憶装置１０１に蓄積された各ストリームをそれぞれ解析してフラグメント毎のトラフィック情報を生成し、それぞれのストリームに関連付けて記憶装置１０１に蓄積する機能を持つ。このストリーム解析部１０４は、トラフィック情報取得部を構成している。 The stream analysis unit 104 has a function of analyzing each stream accumulated in the storage device 101 to generate traffic information for each fragment, and accumulating it in the storage device 101 in association with each stream. The stream analysis unit 104 constitutes a traffic information acquisition unit.
トラフィック情報は、図２に示すように、ストリームを分割した各フラグメントのデータサイズＬ１，Ｌ２，Ｌ３，・・・と、このストリームに埋め込まれた再生時刻のタイムスタンプに基づく各フラグメントの再生時間Ｔ１，Ｔ２，Ｔ３，・・・からなる。等価な情報を容易に取得できれば、トラフィック情報の詳細な構成方法は任意である。 As shown in FIG. 2, the traffic information includes the data size L1, L2, L3,... Of each fragment obtained by dividing the stream and the reproduction time T1 of each fragment based on the time stamp of the reproduction time embedded in this stream. , T2, T3,. As long as equivalent information can be easily obtained, a detailed configuration method of the traffic information is arbitrary.
マルチメディアストリームの場合は、代表となるメディアを１つ選び、このメディアのタイムスタンプを参照する。例えばMPEG2 Videoのようにタイムスタンプとして復号時刻と表示時刻を持つ場合は表示時刻を用いるが、以下で説明する計算処理での補正のために両方とも保持してもよい。 In the case of a multimedia stream, one representative medium is selected and the time stamp of this medium is referenced. For example, when the decoding time and the display time are used as the time stamp as in MPEG2 Video, the display time is used, but both may be retained for correction in the calculation processing described below.
各ストリームは、対応する再生時間範囲を単独で再生可能かつ再符号化可能となるように分割される必要がある。この条件を満たした上で、フラグメントのサイズがなるべく小さくなるように分割するのが望ましい。例えばMPEG2 Video ESを含むストリームの場合は、各フラグメントに１つのＧＯＰが含まれるようにストリームを分割する。 Each stream needs to be divided so that the corresponding reproduction time range can be reproduced independently and re-encoded. It is desirable to divide so that the fragment size is as small as possible while satisfying this condition. For example, in the case of a stream including MPEG2 Video ES, the stream is divided so that each fragment includes one GOP.
送信制御部１０２は、記憶装置１０１に蓄積されたストリームを伝送路３００に対して複数同時に送信する場合、送信処理の時分割制御（以後「スケジューリング」という）を行う。ここで、スケジューリング方法に対する伝送プロトコルによる制限は無いとする。例えばhttpプロトコルによる伝送はこの条件を満たす。この送信制御部１０２は、データ送信部およびスケジューリング部を構成している。 When a plurality of streams stored in the storage device 101 are simultaneously transmitted to the transmission line 300, the transmission control unit 102 performs time division control (hereinafter referred to as “scheduling”) of transmission processing. Here, it is assumed that there is no restriction by the transmission protocol for the scheduling method. For example, transmission using the http protocol satisfies this condition. The transmission control unit 102 constitutes a data transmission unit and a scheduling unit.
送信制御部１０２は、送信中の各ストリームについて、現時刻以降の任意の時刻ｔにおけるストリームの送信猶予時間Ｔｄを推定する。ただし、時刻ｔまでに送信完了するデータサイズは与えられるものとする。送信制御部１０２は、時刻ｔ＋Ｔｄまでに該ストリームの次のフラグメントを送信完了すれば、再生装置におけるバッファアンダーフローが発生しないと判断する。Ｔｄの値を推定する方法は特に限定しないが、以下で１つの計算方法を説明する。 The transmission control unit 102 estimates, for each stream being transmitted, a stream transmission grace time Td at an arbitrary time t after the current time. However, it is assumed that the data size to be transmitted by time t is given. The transmission control unit 102 determines that a buffer underflow does not occur in the playback device if transmission of the next fragment of the stream is completed by time t + Td. A method for estimating the value of Td is not particularly limited, but one calculation method will be described below.
送信制御部１０２は、送信猶予時間Ｔｄを計算するために、図３に示すように、送信中の各ストリームについて再生時刻Ｔｐと再生可能時刻Ｔｒを推定する。再生時刻Ｔｐは、サーバ装置１００のローカル時刻ｔにおいて、再生装置で現に再生されている各ストリームの再生時刻である。 The transmission control unit 102 estimates the reproduction time Tp and the reproducible time Tr for each stream that is being transmitted, as shown in FIG. 3, in order to calculate the transmission delay time Td. The playback time Tp is the playback time of each stream that is currently played back by the playback device at the local time t of the server device 100.
あるストリームの時刻ｔにおける再生時刻Ｔｐは、Ｔｐ＝Ｒ＊（ｔ−ｔ０）の計算式で推定できる。ここで、ｔ０は、このストリームの最初のフラグメントを再生装置に対して送信完了した時刻である。ＴＣＰ／ＩＰで送信する場合は、フラグメントを構成する全てのパケットについて再生装置からのＡＣＫ(Acknowledgement)を確認した時点でのサーバ装置１００のローカル時刻を計測して保持すればよい。 A playback time Tp at a time t of a stream can be estimated by a calculation formula of Tp = R * (t−t 0 ). Here, t 0 is the time when transmission of the first fragment of this stream to the playback apparatus is completed. When transmitting by TCP / IP, the local time of the server apparatus 100 at the time of confirming ACK (Acknowledgement) from the reproducing apparatus for all the packets constituting the fragment may be measured and held.
定数Ｒは、サーバ装置１００と再生装置との間のクロックスキューを考慮した補正係数で、Ｔｐが再生装置における真の再生時刻よりも遅くならないように適当な値を選ぶ。あるいは、再生装置から別途必要な情報を受信してクロックスキューを統計的に測定することにより定数Ｒを調節してもよい。通常、Ｒ＝１＋αとして、αはずれの最大、例えば１０−５程度である。 The constant R is a correction coefficient that takes into account the clock skew between the server apparatus 100 and the playback apparatus, and an appropriate value is selected so that Tp is not later than the true playback time in the playback apparatus. Alternatively, the constant R may be adjusted by receiving separately necessary information from the reproducing apparatus and statistically measuring the clock skew. Usually, when R = 1 + α, α is the maximum deviation, for example, about 10 −5 .
再生可能時刻Ｔｒは、同じくサーバ装置１００のローカル時刻ｔにおいて、各ストリームの送信済み部分により再生可能なこのストリームの最終時刻である。最終再生時刻は、時刻ｔまでに送信完了したこのストリームのトラフィック情報から容易に推定できる。
上述の方法で推定した再生時刻Ｔｐおよび再生可能時刻Ｔｒより、時刻ｔにおけるこのストリームの送信猶予時間は、Ｔｄ＝Ｔｒ−Ｔｐの計算式で求められる。
The reproducible time Tr is the last time of this stream that can be replayed by the transmitted part of each stream at the local time t of the server apparatus 100. The final playback time can be easily estimated from the traffic information of this stream that has been transmitted by time t.
From the reproduction time Tp estimated by the above-described method and the reproducible time Tr, the transmission delay time of this stream at the time t can be obtained by the equation Td = Tr−Tp.
送信制御部１０２は、各フラグメントの送信に要する時間ｔｓを予め推定する。このフラグメントのデータサイズをＬ、伝送路３００の実効帯域をｖとして、ｔｓ＝Ｌ／ｖで求める。伝送路の実効帯域ｖは、ストリーム送信に利用可能な伝送路の帯域に関する予測値であり、例えば伝送済みのフラグメントに関する伝送時間の計測値などに基づいて適当に推定する。 The transmission control unit 102 estimates in advance the time ts required to transmit each fragment. Assuming that the data size of this fragment is L and the effective bandwidth of the transmission line 300 is v, ts = L / v. The effective bandwidth v of the transmission path is a predicted value related to the bandwidth of the transmission path that can be used for stream transmission, and is estimated appropriately based on, for example, a measurement value of transmission time related to a transmitted fragment.
送信制御部１０２のスケジューリングアルゴリズムを、図４のフローチャートを参照して、説明する。いま、複数のストリームを同時に送信しているとして、ストリームの番号をｉ（ｉ＝１，２，・・・）で表す。送信のスケジューリングは各ストリームのフラグメント単位で行うとして、その順序付けを、添字ｋ（ｋ＝１，２，・・・）で表す。 The scheduling algorithm of the transmission control unit 102 will be described with reference to the flowchart of FIG. Now, assuming that a plurality of streams are transmitted simultaneously, the stream number is represented by i (i = 1, 2,...). Assuming that transmission scheduling is performed in units of fragments of each stream, the ordering is represented by a subscript k (k = 1, 2,...).
まず、ステップＳＴ１で、上述の伝送路３００の実効帯域ｖを推定する。そして、ステップＳＴ２で、１番目に送信するフラグメントの送信開始時刻（現在送信中のフラグメントの送信が完了する時刻）を推定し、それをｔ１とする。そして、ステップＳＴ３で、ｋ＝１、ｔ＝ｔ１とおく。 First, in step ST1, the effective band v of the transmission line 300 is estimated. In step ST2, the transmission start time of the first fragment to be transmitted (the time at which the transmission of the currently transmitted fragment is completed) is estimated, and is set as t1. In step ST3, k = 1 and t = t1 are set.
次に、ステップＳＴ４で、各ストリームｉについて、時刻ｔにおける送信猶予時間Ｔｄ（ｔ，ｉ）を計算する。ただし、既に送信確定したフラグメントは送信済みとみなして計算する。そして、ステップＳＴ５で、Ｔｄ（ｔ，ｉ）が最も少ないストリームを選び、ｉ＝ｉｋとおく。複数該当する場合は適当な方法で1つだけを選ぶ。 Next, in step ST4, a transmission grace time Td (t, i) at time t is calculated for each stream i. However, a fragment that has already been confirmed to be transmitted is considered to have been transmitted. In step ST5, a stream having the smallest Td (t, i) is selected and i = ik is set. If more than one is applicable, select only one using the appropriate method.
次に、ステップＳＴ６で、ストリームｉｋから送信待ちのフラグメントを選ぶ。そして、ステップＳＴ７で、当該フラグメントのデータサイズＬと伝送路３００の実効帯域ｖから当該フラグメントの送信に要する時間ｔｓを上述の方法で推定する。そして、ステップＳＴ８でｔｓとストリームｉｋに関する送信猶予時間Ｔｄ（ｔ，ｉｋ）とを比較する。 Next, in step ST6, a fragment waiting for transmission is selected from the stream ik. In step ST7, the time ts required to transmit the fragment is estimated from the data size L of the fragment and the effective bandwidth v of the transmission path 300 by the above-described method. In step ST8, ts is compared with the transmission grace time Td (t, ik) for the stream ik.
ここで、送信猶予時間Ｔｄ（ｔ，ｉｋ）が送信に要する時間ｔｓより短いとき、つまりｔｓ＞Ｔｄ（ｔ，ｉｋ）を満足するときは、当該フラグメントの送信が間に合わないことを意味しているので、ステップＳＴ９で、後述するデータ圧縮処理に移行する。一方、送信猶予時間Ｔｄ（ｔ，ｉｋ）が送信に要する時間ｔｓ以上であるとき、つまりｔｓ≦Ｔｄ（ｔ，ｉｋ）を満足するときは、当該フラグメントの送信が間に合うことを意味しているので、ステップＳＴ１０で、当該フラグメントの送信を確定し、ｔ＝ｔ＋ｔｓ、ｋ＝ｋ＋１とおいて、ステップＳＴ４に戻る。以下、上述したと同様の手順を繰り返すことにより、任意の順序ｋまでスケジューリングを行うことができる。 Here, when the transmission postponement time Td (t, ik) is shorter than the time ts required for transmission, that is, when ts> Td (t, ik) is satisfied, this means that the fragment cannot be transmitted in time. Therefore, in step ST9, the process proceeds to data compression processing described later. On the other hand, when the transmission postponement time Td (t, ik) is equal to or longer than the time ts required for transmission, that is, when ts ≦ Td (t, ik) is satisfied, it means that transmission of the fragment is in time. In step ST10, the transmission of the fragment is confirmed, t = t + ts, k = k + 1, and the process returns to step ST4. Thereafter, scheduling can be performed up to an arbitrary order k by repeating the same procedure as described above.
フラグメントの送信に要する時間の推定値ｔｓは実際の送信時間とは異なるため、理想的にはフラグメントを１つ送信完了するたびに改めてスケジューリングしなおすのが良い。 Since the estimated value ts of the time required for transmitting a fragment is different from the actual transmission time, ideally, it is better to reschedule each time one fragment is transmitted.
フラグメント単位での送信を便宜上仮定したが、送信途中で再生装置の受信バッファが一杯になると、実際はフラグメントの一部分を送信した時点で待ち時間が発生する場合がある。この問題に対しては適当なタイムアウト時間を設定することによって、当該フラグメントの送信を一時中断し、それ以外のストリームについて直ちにスケジューリングしなおして送信処理を続行する。 Although transmission in units of fragments is assumed for convenience, when the reception buffer of the playback device becomes full during transmission, a waiting time may actually occur when a part of the fragment is transmitted. By setting an appropriate timeout time for this problem, the transmission of the fragment is temporarily suspended, and the other streams are immediately rescheduled to continue the transmission process.
中断したフラグメントが属するストリームは、再生装置の受信バッファが空き次第，再度スケジューリング候補として復帰させる。Ｔｄの計算において、部分的に送信完了しているフラグメントは再生不可能とみなしても良いし、トラフィック情報としてフラグメント内部の詳細な情報を持つことにより、送信済みのデータ部分による正確な再生可能時刻を計算してもよい。 The stream to which the interrupted fragment belongs is returned again as a scheduling candidate as soon as the reception buffer of the playback device is available. In the calculation of Td, a fragment that has been partially transmitted may be regarded as non-reproducible, and by having detailed information inside the fragment as traffic information, an accurate reproducible time by the transmitted data portion May be calculated.
上述のスケジューリングアルゴリズムのステップＳＴ８において、ｔｓ＞Ｔｄ（ｔ，ｉｋ）が検出された場合、伝送路３００の帯域不足が予測される。本実施の形態では、送信予定のフラグメントの中から一部（所定のフラグメント）を再圧縮（再符号化）することによって帯域不足を解消する。 If ts> Td (t, ik) is detected in step ST8 of the scheduling algorithm described above, a shortage of the bandwidth of the transmission path 300 is predicted. In this embodiment, a shortage of bandwidth is resolved by recompressing (recoding) a part (predetermined fragment) of fragments to be transmitted.
いま、例えば３つのストリームＡ，Ｂ，Ｃを同時に送信しており、ストリームＸのフラグメントをＸ１，Ｘ２，Ｘ３,・・・で表すとする。図５に示すように、現時刻においてフラグメントＡ１を送信中で、上述のスケジューリングアルゴリズムを実行することにより、以後の送信順序をＢ１，Ｃ１，Ａ２，Ｂ２，・・・と決めていったとする。 Now, for example, it is assumed that three streams A, B, and C are simultaneously transmitted, and a fragment of the stream X is represented by X1, X2, X3,. As shown in FIG. 5, it is assumed that the subsequent transmission order is determined as B1, C1, A2, B2,... By executing the above scheduling algorithm while the fragment A1 is being transmitted at the current time.
計算過程で、各フラグメントの送信完了期限時刻と送信完了予定時刻が決まる。上述のアルゴリズムでのステップＳＴ８において、前者はｔ＋Ｔｄ、後者はｔ＋ｔｓであり、Ｔｄとｔｓの比較は、期限時刻までに送信が完了するかどうかの判定に他ならない。 In the calculation process, the transmission completion deadline time and the scheduled transmission completion time of each fragment are determined. In step ST8 in the above algorithm, the former is t + Td and the latter is t + ts, and the comparison between Td and ts is nothing other than the determination of whether or not the transmission is completed by the deadline time.
ここで、フラグメントＡ３の送信完了が期限時刻に間に合わないことが判明したとする。このとき、送信制御部１０２は、Ａ３以前に送信予定のフラグメント（図５では、Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２，Ａ３）の中から一部を選択し、再符号化部１０３に対して当該フラグメントの再圧縮処理を要求する。勿論、送信開始時刻よりも以前に再圧縮処理が終るフラグメントを選択する必要がある。再符号化部１０３は、データ圧縮部を構成している。 Here, it is assumed that the transmission completion of the fragment A3 is not in time for the deadline time. At this time, the transmission control unit 102 selects a part of the fragments scheduled to be transmitted before A3 (B1, C1, A2, B2, C2, A3 in FIG. 5), and the re-encoding unit 103 Request recompression processing of the fragment. Of course, it is necessary to select a fragment for which the recompression process ends before the transmission start time. The re-encoding unit 103 constitutes a data compression unit.
仮に、図５に示すように、フラグメントＣ１，Ｂ２が再圧縮対象として選択されたとする。再符号化部１０３は、フラグメントＣ１，Ｂ２に対応するストリームデータおよび再符号化処理に必要な関連データ（例えば、前回の圧縮など）を記憶装置１０１から入力して、復号化および再符号化の処理を順次行うことで再圧縮を行い、再圧縮されたフラグメントＣ１′，Ｂ２′および再圧縮後のそれぞれのデータサイズなど関連データを送信制御部１０２に引き渡す。再圧縮されたフラグメントおよび関連データは、再符号化部１０３から送信制御部１０２に対して直接転送してもよいし、記憶装置１０１を経由してもよい。 Assume that fragments C1 and B2 are selected as recompression targets as shown in FIG. The re-encoding unit 103 inputs the stream data corresponding to the fragments C1 and B2 and related data necessary for the re-encoding process (for example, the previous compression) from the storage device 101, and performs decoding and re-encoding. Re-compression is performed by sequentially performing the processing, and related data such as the re-compressed fragments C 1 ′ and B 2 ′ and respective data sizes after the re-compression are delivered to the transmission control unit 102. The recompressed fragment and the related data may be directly transferred from the re-encoding unit 103 to the transmission control unit 102 or may pass through the storage device 101.
送信制御部１０２は、再圧縮されたフラグメントＣ１′，Ｂ２′のデータサイズについて上述のトラフィック情報を修正し、改めてスケジューリングを行うことにより、フラグメントＡ３が送信完了期限時刻までに送信完了できることを確認する。ここで、再圧縮処理を行っている間にも送信処理が進行していることに注意する必要がある。例えば、図５に示したように、フラグメントＡ１の送信が完了し、その送信完了時刻は前回スケジューリング時の推定時刻からずれているかもしれない。このような場合、再圧縮処理を行う前のスケジューリング処理での計算値を再利用するのは好ましくない。 The transmission control unit 102 corrects the above-described traffic information for the data sizes of the recompressed fragments C1 ′ and B2 ′, and performs scheduling again to confirm that the fragment A3 can be transmitted by the transmission completion time limit. . Here, it should be noted that the transmission process is in progress during the recompression process. For example, as shown in FIG. 5, the transmission of the fragment A1 may be completed, and the transmission completion time may deviate from the estimated time at the previous scheduling. In such a case, it is not preferable to reuse the calculated value in the scheduling process before performing the recompression process.
上述の再圧縮処理において、再圧縮可能な候補の中から実際に再圧縮するフラグメントを選択する基準が重要である。本実施の形態では、その選択基準として以下で説明する重要度情報を利用する。 In the above-described recompression process, a criterion for selecting a fragment to be actually recompressed from the recompressible candidates is important. In the present embodiment, importance information described below is used as the selection criterion.
重要度情報としては、ストリーム全体に対して付与されるストリーム重要度と、ストリームの各フラグメントに対して付与されるフラグメント重要度の二種類を考える。ストリーム重要度は、再圧縮候補として複数のストリームのフラグメントが含まれる場合に、なるべく再圧縮せずに残すべきストリームの優先度を表す数値である。フラグメント重要度は、同じストリーム重要度を持つフラグメントの間でなるべく再圧縮せずに残すべきフラグメントの優先度を表す数値である。 As the importance level information, two types are considered: a stream importance level given to the entire stream and a fragment importance level given to each fragment of the stream. The stream importance is a numerical value representing the priority of a stream that should be left without being recompressed as much as possible when a plurality of stream fragments are included as recompression candidates. The fragment importance is a numerical value representing the priority of fragments to be left without being recompressed as much as possible between fragments having the same stream importance.
したがって、ストリーム重要度が最も低いストリームに属しており、かつフラグメント重要度が最も低いフラグメントから順番に再圧縮対象として選ばれる。この条件に該当するフラグメントが複数ある場合には適当な基準で選ぶ。重要度情報は、このストリームの再生中に動的に変化してもよい。その場合，再圧縮するフラグメントの選択を行うたびに最新の重要度情報を評価する必要がある。 Therefore, the fragments belonging to the stream having the lowest stream importance and the fragments having the lowest fragment importance are sequentially selected as recompression targets. If there are multiple fragments that meet this condition, select the appropriate criteria. The importance information may change dynamically during playback of this stream. In that case, it is necessary to evaluate the latest importance information every time a fragment to be recompressed is selected.
ストリーム解析部１０４は、サーバ装置１００が利用可能な任意の情報に基づいて重要度情報を生成できるが、以下では、特に記憶装置１０１に蓄積されたストリームデータ自体と、記憶装置１０１に蓄積されたこのストリームに関するメタデータと、状態管理部１０５が管理する状態情報を利用する場合について説明する。 The stream analysis unit 104 can generate importance level information based on arbitrary information that can be used by the server device 100. In the following description, in particular, the stream data itself stored in the storage device 101 and the stream data stored in the storage device 101 will be described. A case will be described in which metadata about this stream and state information managed by the state management unit 105 are used.
状態管理部１０５は、サーバ装置１００の動作設定、サーバ装置１００が検出した伝送路３００上の接続機器構成、再生装置２００-1，２００-2，・・・，２００-Nとの通信によって取得した再生装置の状態情報などを管理しており、そのうち重要度情報を生成するために有用な情報をストリーム解析部１０４に提供する。特に有用な情報として、(a)ストリーム送信のＱｏＳに関するユーザ設定、(b)画面の大きさや解像度等の再生装置の仕様、(c)分岐先の再生装置２００-1，２００-2，・・・，２００-Nのそれぞれに対応した伝送路の仕様が挙げられる。 The state management unit 105 is acquired by setting the operation of the server device 100, the configuration of the connected device on the transmission line 300 detected by the server device 100, and communication with the playback devices 200-1, 200-2,. The status information of the playback device is managed, and information useful for generating importance information is provided to the stream analysis unit 104. Particularly useful information includes (a) user settings related to QoS for stream transmission, (b) specifications of playback devices such as screen size and resolution, and (c) playback devices 200-1, 200-2,.・ Specification of transmission line corresponding to each of 200-N.
（ａ）のユーザ設定は、再生装置に対して静的な優先度が設定されている場合や、送信中のストリームに対して優先度が動的に設定される場合などが考えられる。(b)は再生装置のディスプレイが持つ解像度やフレームレートなど、該再生装置に対して送信するストリームの適切な品質（ビットレート）を判断するために有用な情報である。(c)は例えば理論上の最大伝送帯域や最小遅延時間など、当該伝送路に対して送信するストリームのビットレートを調節するために有用な伝送路の特性である。 The user setting in (a) may be a case where a static priority is set for the playback apparatus, or a case where the priority is dynamically set for a stream being transmitted. (b) is information useful for determining an appropriate quality (bit rate) of a stream to be transmitted to the playback device, such as a resolution and a frame rate of the display of the playback device. (c) is a characteristic of a transmission line useful for adjusting a bit rate of a stream to be transmitted to the transmission line, such as a theoretical maximum transmission band and a minimum delay time.
ストリーム解析部１０４は、重要度情報を生成するために記憶装置１０１に蓄積されたこのストリームに関するメタデータを利用する。メタデータとはマルチメディアコンテンツの内容を特徴付けるデータであり、主にMPEG7規格が対象とするようなデータを想定するが、それに限定はしない。特に、メタデータとしてユーザの嗜好情報（サーバ装置１００を利用するユーザがどのような内容のコンテンツを好むかに関する情報）を保持する場合、送信中の各ストリームまたは各フラグメントの内容を表すメタデータと、ストリームまたはフラグメントを視聴しているユーザの嗜好情報の両方に基づいて重要度情報を生成する。 The stream analysis unit 104 uses metadata regarding this stream accumulated in the storage device 101 in order to generate importance information. Metadata is data that characterizes the contents of multimedia content, and data that is mainly targeted by the MPEG7 standard is assumed, but is not limited thereto. In particular, in the case of storing user preference information (information regarding what kind of content the user using the server device 100 likes) as metadata, metadata representing the contents of each stream or each fragment being transmitted; Importance information is generated based on both the preference information of the user who is viewing the stream or the fragment.
ユーザの嗜好情報は、例えばコンテンツの嗜好に関するユーザ設定およびユーザによる過去のコンテンツの操作履歴から生成される。コンテンツの操作とは、録画予約、再生、削除、リムーバブルディスクへのコピーなどを指す。 The user preference information is generated from, for example, user settings related to content preferences and past content operation history by the user. Content operations refer to recording reservation, playback, deletion, copying to a removable disk, and the like.
重要度情報を生成するためのメタデータとしては、コンテンツに付随して（ストリームに埋め込まれて）配信されるもの、放送やインターネットサーバなどで別途配信されるものの他に、サーバ装置１００の内部で生成されたものも利用する。特に、ストリーム解析部１０４は、いわゆるパターン認識（音声認識・画像認識・自然言語処理など）の技術を用いた特徴抽出機能を備えており、記憶装置１０１に蓄積されたストリームのメディアデータを解析することにより、このストリームに関するメタデータを自動生成する機能を持つ。例えばスポーツ番組のハイライトシーン検出などはこの機能に該当し、検出されたハイライトシーンに属するこのストリームのフラグメントには高い重要度を付加するなどの応用が考えられる。 As metadata for generating importance information, in addition to data distributed along with content (embedded in a stream), distributed separately by broadcasting or an Internet server, etc. Use the generated one. In particular, the stream analysis unit 104 has a feature extraction function using so-called pattern recognition (speech recognition, image recognition, natural language processing, etc.) technology, and analyzes media data of a stream accumulated in the storage device 101. Thus, it has a function of automatically generating metadata regarding this stream. For example, the highlight scene detection of a sports program corresponds to this function, and an application such as adding a high importance to a fragment of this stream belonging to the detected highlight scene can be considered.
図１に示すコンテンツ配信システム１０の動作を説明する。サーバ装置１００では、送信制御部１０２によって、記憶装置１０１に記憶されている複数のストリームが、それぞれ、フラグメント毎に、時分割で、単一の伝送路３００を介して、再生装置２００-1〜２００-Nに、同時にリアルタイム送信される。 The operation of the content distribution system 10 shown in FIG. 1 will be described. In the server device 100, the transmission control unit 102 converts the plurality of streams stored in the storage device 101 to each of the fragments via the single transmission line 300 in a time division manner for each fragment. 200-N is simultaneously transmitted in real time.
この場合、送信制御部１０２では、各ストリームのフラグメント毎のトラフィック情報に基づいて、時分割送信における各ストリームの送信順序が、スケジューリングアルゴリズム（図４参照）により、決定される。ここで、トラフィック情報は、少なくともデータサイズおよび再生時間が含まれ、予めストリーム解析部１０４により取得される。 In this case, the transmission control unit 102 determines the transmission order of each stream in time division transmission based on the traffic information for each fragment of each stream by a scheduling algorithm (see FIG. 4). Here, the traffic information includes at least the data size and the reproduction time, and is acquired by the stream analysis unit 104 in advance.
スケジューリングアルゴリズムでは、各フラグメントの送信開始時刻が順次求められる。この場合、所定の送信開始時刻の次の送信開始時刻は、この所定の送信開始時刻から送信されるフラグメントのデータサイズおよび伝送路３００の伝送帯域に基づいて求められる。そして、それぞれの送信開始時刻に対応して、ストリーム毎に、次のフラグメントの送信猶予時間が、トラフィック情報に基づいて推定され、最も短いストリームが、当該送信開始時刻から送信すべきストリームに決定される。 In the scheduling algorithm, the transmission start time of each fragment is obtained sequentially. In this case, the transmission start time next to the predetermined transmission start time is obtained based on the data size of the fragment transmitted from the predetermined transmission start time and the transmission band of the transmission line 300. Then, corresponding to each transmission start time, for each stream, the transmission grace time of the next fragment is estimated based on the traffic information, and the shortest stream is determined as the stream to be transmitted from the transmission start time. The
また、各送信開始時刻に対応して送信すべきストリームが決定されていくが、所定の送信開始時刻に対応して送信すべきストリームに決定された所定のストリームの送信猶予時間が、この所定の送信開始時刻から送信すべきフラグメントの送信に要する時間より短くなるときは、その所定の送信開始時刻およびこの所定の送信開始時刻より前の送信開始時刻から送信するように決定された各フラグメントのうち所定のフラグメントに対して、再符号化部１０３でデータ圧縮処理が行われてデータ量が低減される。 Further, the stream to be transmitted is determined corresponding to each transmission start time, but the transmission grace time of the predetermined stream determined as the stream to be transmitted corresponding to the predetermined transmission start time When it becomes shorter than the time required to transmit a fragment to be transmitted from the transmission start time, among the fragments determined to be transmitted from the predetermined transmission start time and the transmission start time before the predetermined transmission start time Data compression processing is performed on the predetermined fragment by the re-encoding unit 103 to reduce the data amount.
この場合、所定のフラグメントの選択は、ストリーム毎、あるいはフラグメント毎に付与される重要度情報に基づいて行われる。これにより、重要なコンテンツの画像、あるいは重要な箇所の画像がデータ圧縮によって、その画質が低下することを回避できる。 In this case, selection of a predetermined fragment is performed based on importance information given to each stream or each fragment. As a result, it is possible to avoid that the image quality of the image of the important content or the image of the important portion is deteriorated due to the data compression.
図１に示すコンテンツ配信システム１０によれば、複数のストリームを、それぞれ、フラグメント毎に、時分割で、単一の伝送路３００を介して複数の再生装置２００-1〜２００-Nに送信するものにあって、各フラグメントの送信開始時刻に対応して、ストリーム毎に次のフラグメントの送信猶予時間を推定し、この送信猶予時間が最も短いストリームを送信すべきストリームに決定するものであり、このスケジューリングの最適化により、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減できる。 According to the content distribution system 10 illustrated in FIG. 1, a plurality of streams are transmitted to a plurality of playback devices 200-1 to 200 -N via a single transmission path 300 in a time division manner for each fragment. In accordance with the transmission start time of each fragment, the transmission grace time of the next fragment is estimated for each stream, and the stream with the shortest transmission grace time is determined as the stream to be transmitted. By optimizing this scheduling, it is possible to reduce the occurrence frequency of reproduction failure due to buffer underflow in the reproduction apparatus.
また、この図１に示すコンテンツ配信システム１０によれば、スケジューリングの最適化によっても解消できない伝送路３００の帯域不足を事前に検出し、ストリームの一部を直前に再圧縮して送信するものであり、帯域不足による再生不良の発生を防止できる。ただし、ストリーミングのＱｏＳに関するユーザ設定、再生装置や伝送路の仕様、ストリームの特徴を記述するメタデータ、ユーザの嗜好情報などに基づきサーバ装置１００の内部で予め生成されたストリームの重要度情報を利用して再圧縮するストリーム部分を選択するものであり、ユーザにとって重要なストリーム部分の再生品質を極力維持することができる。 In addition, according to the content distribution system 10 shown in FIG. 1, a shortage of the bandwidth of the transmission line 300 that cannot be resolved even by scheduling optimization is detected in advance, and a part of the stream is recompressed immediately before transmission. Yes, it is possible to prevent the occurrence of poor playback due to insufficient bandwidth. However, stream importance information generated in advance in the server apparatus 100 based on user settings regarding streaming QoS, specifications of playback devices and transmission paths, metadata describing stream characteristics, user preference information, and the like is used. Thus, the stream portion to be recompressed is selected, and the reproduction quality of the stream portion important for the user can be maintained as much as possible.
なお、上述の実施の形態では説明していないが、ストリームを送信できるサーバ装置が同一の伝送路上に複数接続されており、それぞれのサーバ装置が同時にストリームの送信を行う状況が考えられる。この場合、上述のスケジューリングアルゴリズムにおいて、伝送路の実効帯域ｖの推定が難しくなる。 Although not described in the above-described embodiment, a situation is conceivable in which a plurality of server apparatuses that can transmit a stream are connected on the same transmission path, and each server apparatus transmits a stream at the same time. In this case, in the scheduling algorithm described above, it is difficult to estimate the effective bandwidth v of the transmission path.
複数のサーバ装置の間で伝送路の帯域が分割利用されるが、あるサーバ装置が利用できる実効帯域ｖは、他のサーバ装置の動作状況（ストリームの送信状況）に依存して激しく変動する可能性があるためである。この問題を解決する１つの方法として、サーバ装置１００は、同一伝送路上に同種のサーバ装置が接続されていることを検出した場合、各サーバ装置の送信制御部が相互に通信することによって連携動作を行う機能を持つ。特に、上述のトラフィック情報および重要度情報を互いに共有することにより、各サーバ装置は、伝送路上で送信されている全てのストリームに関する制御情報を考慮して最適なスケジューリング処理と再圧縮処理を行うことができる。 Although the bandwidth of the transmission path is divided and used among a plurality of server devices, the effective bandwidth v that can be used by a certain server device can fluctuate drastically depending on the operation status (stream transmission status) of other server devices. This is because there is sex. As one method for solving this problem, when the server apparatus 100 detects that the same type of server apparatus is connected on the same transmission path, the transmission control unit of each server apparatus communicates with each other to cooperate with each other. With the ability to do. In particular, by sharing the above traffic information and importance information with each other, each server device performs optimal scheduling processing and recompression processing in consideration of control information regarding all streams transmitted on the transmission path. Can do.
この発明は、再生装置におけるバッファアンダーフローによる再生不良の発生頻度を低減でき、互いにネットワーク接続されたデジタル機器の間で複数のＡＶストリームを同時にリアルタイム送信（ストリーミング）するコンテンツ配信システム等に適用できる。 The present invention can reduce the frequency of occurrence of playback failure due to buffer underflow in a playback apparatus, and can be applied to a content distribution system that simultaneously transmits (streams) a plurality of AV streams between digital devices connected to each other over a network.
１０・・・コンテンツ配信システム、１００・・・サーバ装置、１０１・・・記憶装置、１０２・・・送信制御部、１０３・・・再符号化部、１０４・・・ストリーム解析部、１０５・・・状態管理部、２００-1〜１００-N・・・再生装置、３００・・・伝送路 DESCRIPTION OF SYMBOLS 10 ... Content delivery system, 100 ... Server apparatus, 101 ... Storage device, 102 ... Transmission control part, 103 ... Re-encoding part, 104 ... Stream analysis part, 105 ... -State management unit, 200-1 to 100-N ... reproducing device, 300 ... transmission path
Claims (10)
上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部と
を備えることを特徴とするサーバ装置。 A data storage unit for storing a plurality of streams related to the content to be played back by each playback device;
A plurality of streams stored in the data storage unit, a data transmission unit that transmits each of the divided units to a plurality of playback devices via a single transmission path in a time-sharing manner;
A traffic information acquisition unit that acquires traffic information including at least a data size and a reproduction time for each of the division units in each of the plurality of streams stored in the data storage unit;
The transmission start time of each division unit in the time division transmission of the data transmission unit is sequentially obtained, and based on the traffic information of the plurality of streams acquired by the traffic information acquisition unit, corresponding to each transmission start time, A server apparatus, comprising: a scheduling unit that estimates a transmission grace time for the next division unit for each stream and determines a stream to be transmitted with the shortest transmission grace time.
所定の送信開始時刻の次の送信開始時刻を、該所定の送信開始時刻から送信される所定の分割単位のデータサイズおよび上記伝送路の伝送帯域に基づいて求める
ことを特徴とする請求項１に記載のサーバ装置。 The scheduling unit
The transmission start time next to the predetermined transmission start time is obtained based on a data size of a predetermined division unit transmitted from the predetermined transmission start time and a transmission band of the transmission path. The server apparatus of description.
ことを特徴とする請求項１に記載のサーバ装置。 When the transmission delay time of the predetermined stream determined as the stream to be transmitted corresponding to the predetermined transmission start time by the scheduling unit is shorter than the time required for transmission of the division unit to be transmitted from the predetermined transmission start time A data compression unit for performing a data compression process on a predetermined division unit among the division units determined to be transmitted from the predetermined transmission start time and a transmission start time before the predetermined transmission start time; The server device according to claim 1, further comprising:
ことを特徴とする請求項３に記載のサーバ装置。 The server according to claim 3, wherein the data compression unit selects a predetermined division unit for performing the data compression processing based on importance information given for each stream or for each division unit. apparatus.
ことを特徴とする請求項４に記載のサーバ装置。 The server device according to claim 4, wherein the importance information is generated based on a user setting.
ことを特徴とする請求項４に記載のサーバ装置。 The server device according to claim 4, wherein the importance information is generated based on specifications of the transmission path or the playback device.
ことを特徴とする請求項４に記載のサーバ装置。 The server apparatus according to claim 4, wherein the importance information is generated based on metadata describing characteristics of the stream.
ことを特徴とする請求項４に記載のサーバ装置。 The server device according to claim 4, wherein the importance information is generated based on user preference information.
上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得ステップと、
上記時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得ステップで取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定する送信順序決定ステップと
を備えることを特徴とする送信順序決定方法。 When transmitting a plurality of streams related to content to be played back by each playback device stored in the data storage unit to a plurality of playback devices via a single transmission line in a time-sharing manner for each division unit A method for determining a transmission order of the plurality of streams of
A traffic information acquisition step for acquiring traffic information including at least a data size and a reproduction time for each of the division units in each of the plurality of streams stored in the data storage unit;
The transmission start time of each division unit in the time division transmission is sequentially obtained, and the following is performed for each stream corresponding to each transmission start time based on the traffic information of the plurality of streams acquired in the traffic information acquisition step. A transmission order determination method comprising: a transmission order determination step of estimating a transmission grace time of the division unit and determining a stream to be transmitted with a stream having the shortest transmission grace time.
単一の伝送路と、
上記複数の再生装置に、上記単一の伝送路を介して、それぞれ、再生コンテンツに係る複数のストリームを同時にリアルタイム送信するサーバ装置とを備えるコンテンツ配信システムであって、
上記サーバ装置は、
上記複数のストリームを記憶するデータ記憶部と、
上記データ記憶部に記憶されている複数のストリームを、それぞれ、分割単位毎に、時分割で、上記単一の伝送路を介して複数の再生装置に送信するデータ送信部と、
上記データ記憶部に記憶されている複数のストリームのそれぞれにおける上記分割単位毎の、少なくともデータサイズおよび再生時間を含むトラフィック情報を取得するトラフィック情報取得部と、
上記データ送信部の時分割送信における各分割単位の送信開始時刻を順次求め、上記トラフィック情報取得部で取得された上記複数のストリームのトラフィック情報に基づいて、それぞれの送信開始時刻に対応して、ストリーム毎に次の上記分割単位の送信猶予時間を推定し、該送信猶予時間が最も短いストリームを送信すべきストリームに決定するスケジューリング部とを有する
ことを特徴とするコンテンツ配信システム。 A plurality of playback devices;
A single transmission line,
A content distribution system comprising: a server device that simultaneously transmits a plurality of streams related to reproduced content in real time to the plurality of reproducing devices via the single transmission path,
The server device is
A data storage unit for storing the plurality of streams;
A plurality of streams stored in the data storage unit, each for each division unit, in a time division manner, a data transmission unit for transmitting to a plurality of playback devices via the single transmission path;
A traffic information acquisition unit that acquires traffic information including at least a data size and a reproduction time for each of the division units in each of the plurality of streams stored in the data storage unit;
The transmission start time of each division unit in the time division transmission of the data transmission unit is sequentially obtained, and based on the traffic information of the plurality of streams acquired by the traffic information acquisition unit, corresponding to each transmission start time, A content distribution system comprising: a scheduling unit that estimates a transmission grace time for the next division unit for each stream and determines a stream to be transmitted with the shortest transmission grace time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006146221A JP2007318470A (en) | 2006-05-26 | 2006-05-26 | Server device, transmission sequence determination method and content distribution system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006146221A JP2007318470A (en) | 2006-05-26 | 2006-05-26 | Server device, transmission sequence determination method and content distribution system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007318470A true JP2007318470A (en) | 2007-12-06 |
Family
ID=38851931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006146221A Pending JP2007318470A (en) | 2006-05-26 | 2006-05-26 | Server device, transmission sequence determination method and content distribution system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007318470A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009104410A (en) * | 2007-10-23 | 2009-05-14 | Sony Corp | Data recording device, internal control method thereof, and data recording system |
| JP2010232832A (en) * | 2009-03-26 | 2010-10-14 | Fujitsu Ltd | Content distribution server device |
| JP2013502781A (en) * | 2009-08-21 | 2013-01-24 | ザ チャイニーズ ユニバーシティー オブ ホンコン | Apparatus and method for scheduling transfer time of media data |
| JP2013214799A (en) * | 2012-03-30 | 2013-10-17 | Ntt Communications Kk | Streaming media reproduction device, media bit rate change determination method, and program |
| WO2016080428A1 (en) * | 2014-11-19 | 2016-05-26 | 日本電気株式会社 | Information processing system, information processing method, information processing device, and control method and control program therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078188A (en) * | 1998-06-19 | 2000-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Priority route control method and router device |
| JP2001144720A (en) * | 1999-11-18 | 2001-05-25 | Sony Corp | Device and method for multiplexing and recording medium |
| JP2002314610A (en) * | 2001-04-18 | 2002-10-25 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for distributing information, information distribution program and storage medium with stored information distribution program |
| JP2003299056A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Image processing device, image distributing system, image processing method, program, and record medium |
-
2006
- 2006-05-26 JP JP2006146221A patent/JP2007318470A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078188A (en) * | 1998-06-19 | 2000-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Priority route control method and router device |
| JP2001144720A (en) * | 1999-11-18 | 2001-05-25 | Sony Corp | Device and method for multiplexing and recording medium |
| JP2002314610A (en) * | 2001-04-18 | 2002-10-25 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for distributing information, information distribution program and storage medium with stored information distribution program |
| JP2003299056A (en) * | 2002-03-29 | 2003-10-17 | Canon Inc | Image processing device, image distributing system, image processing method, program, and record medium |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009104410A (en) * | 2007-10-23 | 2009-05-14 | Sony Corp | Data recording device, internal control method thereof, and data recording system |
| JP2010232832A (en) * | 2009-03-26 | 2010-10-14 | Fujitsu Ltd | Content distribution server device |
| JP2013502781A (en) * | 2009-08-21 | 2013-01-24 | ザ チャイニーズ ユニバーシティー オブ ホンコン | Apparatus and method for scheduling transfer time of media data |
| JP2013214799A (en) * | 2012-03-30 | 2013-10-17 | Ntt Communications Kk | Streaming media reproduction device, media bit rate change determination method, and program |
| WO2016080428A1 (en) * | 2014-11-19 | 2016-05-26 | 日本電気株式会社 | Information processing system, information processing method, information processing device, and control method and control program therefor |
| JPWO2016080428A1 (en) * | 2014-11-19 | 2017-08-17 | 日本電気株式会社 | Information processing system, information processing method, information processing apparatus, control method thereof, and control program |
| US10372632B2 (en) | 2014-11-19 | 2019-08-06 | Nec Corporation | Information processing system, information processing method and information processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7693155B2 (en) | Method and system for transmitting streaming data | |
| US7668170B2 (en) | Adaptive packet transmission with explicit deadline adjustment | |
| US10277532B2 (en) | Quality management of media encoding for multiple client devices | |
| JP4857379B2 (en) | Predictive frame dropping to enhance quality of service of streaming data | |
| US9191664B2 (en) | Adaptive bitrate management for streaming media over packet networks | |
| US20180035140A1 (en) | Dynamic programming across multiple streams | |
| US8474001B2 (en) | Near real time delivery of variable bit rate media streams | |
| US7652994B2 (en) | Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels | |
| JP4936542B2 (en) | COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL METHOD, AND COMPUTER PROGRAM | |
| US20130294747A1 (en) | Content playing device, content playing method, distribution system, content playing program, recording medium, and data structure | |
| US20240007684A1 (en) | Systems and methods for selecting an initial streaming bitrate | |
| US20090295988A1 (en) | Transmission apparatus, transmission method, and reception apparatus | |
| JP2007184913A (en) | Wireless video transmission system | |
| KR20150042191A (en) | Methods and devices for bandwidth allocation in adaptive bitrate streaming | |
| CN105684390B (en) | Method and apparatus for reserving bandwidth for self adaptation stream transmission client | |
| JP2008206161A (en) | Adaptive medium playout method and apparatus for intra-medium synchronization | |
| WO2008108379A1 (en) | Medium distribution system, distribution server device, medium distribution method used for them, and program thereof | |
| US8873590B2 (en) | Apparatus and method for correcting jitter | |
| WO2012011490A1 (en) | Content acquisition device, content transmission device, content transmission/reception system, data structure, control method, control program, and recording medium | |
| JP2016059037A (en) | Method and client terminal for receiving multimedia content split into at least two successive segments, and corresponding computer program product and computer readable medium | |
| JP2007318470A (en) | Server device, transmission sequence determination method and content distribution system | |
| Baik et al. | VSync: Cloud based video streaming service for mobile devices | |
| JP2011061533A (en) | Content distribution system, sensory quality estimating apparatus, method, and program | |
| US20100027428A1 (en) | Scheduling method of providing multimedia service | |
| JP2005348015A (en) | Real time streaming data receiver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |