JP2006157473A - Stream multiplex transmitter - Google Patents

Stream multiplex transmitter Download PDF

Info

Publication number
JP2006157473A
JP2006157473A JP2004345117A JP2004345117A JP2006157473A JP 2006157473 A JP2006157473 A JP 2006157473A JP 2004345117 A JP2004345117 A JP 2004345117A JP 2004345117 A JP2004345117 A JP 2004345117A JP 2006157473 A JP2006157473 A JP 2006157473A
Authority
JP
Japan
Prior art keywords
channel
multiplexing
stream
transmission rate
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004345117A
Other languages
Japanese (ja)
Other versions
JP4558463B2 (en
Inventor
Satoshi Nishimura
敏 西村
Katsunori Aoki
勝典 青木
Yoshiaki Shishikui
善明 鹿喰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2004345117A priority Critical patent/JP4558463B2/en
Publication of JP2006157473A publication Critical patent/JP2006157473A/en
Application granted granted Critical
Publication of JP4558463B2 publication Critical patent/JP4558463B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To realize a stream multiplex transmitter that prevents the occurrence of a burst output. <P>SOLUTION: An input stream packet is temporarily stored in channel buffers (5a to 5n) provided in input lines (2a to 2n), and a packet of a selected channel is transferred to a packet multiplexing part (4). A multiplexing control part (6) for performing multiplexing control has information about the transmission rate of each channel and packet length, selects a channel on the basis of the information and defines a time interval for channel selection. The time interval for channel selection is defined as a value obtained by dividing the packet length of the selected channel by a multiplexed transmission rate. If no information about the channel transmission rate and the packet length is obtained, an input transmission rate estimating part (20) for estimating an input transmission rate and packet length from input stream information can be used. Further, to cope with the case in which jitter is included in an input stream, a virtual transmission rate setting part (10) for increasing a channel transmission rate by as much as α times can be provided. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、複数のストリーミングデータを一定のビットレートを保ちながら1本の通信路に多重化して送信するストリーム多重化送出装置、特に瞬間的に高いビットレートでパケットが伝送路に出力されるのを防止したストリーム多重化送出装置に関するものである。   The present invention relates to a stream multiplexing transmission device that multiplexes and transmits a plurality of streaming data to a single communication path while maintaining a constant bit rate, and in particular, packets are instantaneously output to a transmission path at a high bit rate. The present invention relates to a stream multiplexing transmission apparatus that prevents the above-described problem.

IPネットワークでは、サーバが送信する映像音声データを、クライアントが逐次受信しながら再生する技術であるストリーミング型の情報提供サービスが行われるようになってきた。ストリーミング技術は、ライブ放送やTV電話などのビジュアルコミュニケーシンを可能とするだけでなく、映画等の大容量のコンテンツであってもダウンロードの完了を待つことなく視聴することが可能になり、大幅に利便性が向上する利点を有する。   In the IP network, a streaming-type information providing service, which is a technology for reproducing video and audio data transmitted by a server while sequentially receiving the client, has come to be performed. Streaming technology not only enables visual communication such as live broadcasts and videophones, but also enables large-capacity content such as movies to be viewed without waiting for the download to complete. There is an advantage that convenience is improved.

電気通信役務利用放送法に基づくIP技術を用いた放送サービスでは、複数のクライアントに向けた同時放送を実現するために、IPマルチキャストの技術が用いられている。また、視聴者が見たい時間に見たい番組をサーバにリクエストして映画等の動画をストリーミングにより視聴するビデオオンデマンドサービスも実施されている。この結果、様々な品質の多数のコンテンツを同時にストリーミング形式で出力する必要性が高まっており、1つのサーバにおいて複数のストリーミングを効率的に行うことにより、サーバにかかるコストを低減させることができる。   In a broadcast service using IP technology based on the Telecommunications Service Utilization Broadcasting Act, IP multicast technology is used to realize simultaneous broadcasting for a plurality of clients. In addition, a video-on-demand service is also implemented in which a viewer requests a program that he / she wants to watch at a desired time to view a moving image such as a movie by streaming. As a result, there is an increasing need to simultaneously output a large number of contents of various qualities in the streaming format, and the cost for the server can be reduced by efficiently performing a plurality of streamings in one server.

ストリーミング送出装置では、リアルタイムエンコーダのような外部からの入力装置又はディスクアレイに代表されるデータ蓄積装置から同時に複数のストリーミングデータ(ストリーム)を入力してネットワークへ出力する際に、出力インタフェースへ多重化して出力することが必要となる。この時、入力したストリーミングデータ毎に独立にそれぞれのタイミングでパケット送出制御が行われた場合、ある時間期間中に1つのストリーミングデータの多数のパケットが連続して出力されたり、各ストリーミングデータ間において出力タイミングが重なった場合に、瞬間的に出力ビットレートが上昇することがある。その結果、ストリーミングデータの受信クライアントが全てのパケットの受信処理を行うことができず視聴品質の劣化を起こすことがあった。また、伝送速度の速いネットワークに接続されているストリーミング送出装置から伝送速度の遅いネットワークに接続されているクライアントにストリーミングデータを送出する際に、その2つのネットワーク間でIPパケットを中継するネットワーク機器において一時的にバッファ溢れが発生し、ストリーミングコンテンツを形成するパケットの一部が欠落し、コンテンツの品質劣化を招いていた。   In a streaming transmission device, when a plurality of streaming data (streams) are simultaneously input from an external input device such as a real-time encoder or a data storage device represented by a disk array and output to a network, they are multiplexed to an output interface. Output. At this time, when packet transmission control is performed at each timing independently for each input streaming data, a large number of packets of one streaming data are continuously output during a certain period of time, or between each streaming data When the output timing overlaps, the output bit rate may increase instantaneously. As a result, the streaming data receiving client may not be able to receive all packets, resulting in degradation of viewing quality. In a network device that relays IP packets between two networks when streaming data is sent from a streaming transmission device connected to a network with a high transmission speed to a client connected to a network with a low transmission speed. A buffer overflow occurred temporarily, a part of the packet forming the streaming content was lost, and the quality of the content was deteriorated.

従来のストリーミングデータの出力伝送レートを制限する手法として、ストリーミングパケット転送装置において、平均パケット間隔が待ち合わせタイマの最小タイマ周期以上の場合は平均パケット間隔をストリームパケットの読出し周期として待ち合わせタイマに設定すると共に一度に読み出すパケット数を1に設定し、一方、平均パケット間隔が最小タイマ周期未満の場合は最小タイマ周期を読出し周期として待ち合わせタイマに設定すると共に一度に読み出すパケット数を最小タイマ周期を平均パケット間隔で除算した結果から求めることにより、読み出すべき平均パケット間隔よりも長いタイマ機構を用いてパケットの瞬間的なストリーム速度の上昇を抑えることを目的とした技術が既知である(例えば、特許文献1参照)。   As a conventional technique for limiting the output transmission rate of streaming data, in a streaming packet transfer apparatus, when the average packet interval is equal to or greater than the minimum timer period of the waiting timer, the average packet interval is set as the stream packet reading period in the waiting timer. Set the number of packets to be read at one to 1 and, if the average packet interval is less than the minimum timer period, set the minimum timer period as the read period and set the waiting timer and set the minimum timer period to the average packet interval A technique for suppressing an instantaneous increase in the stream speed of a packet by using a timer mechanism longer than the average packet interval to be read by obtaining from the result obtained by dividing by is known (for example, see Patent Document 1). ).

また、それとは別に、映像多重化方式として、映像をパケット化する映像信号パケット化回路と、一定時間内に通過するパケット数を計数してデータ速度を測定する有効データカウンタ回路と、測定したデータ速度から速度の速い順に優先順位をつける優先順位決定回路と、決定された優先順位に基づいて映像信号のパケットデータを切り換えて多重化データを生成する多重化回路とを具えることにより、素材の速度やパケットサイズが異なるデータであっても、搭載されるバッファの必要容量を減らし、コストを削減することを目的とした映像多重化装置が既知である(例えば、特許文献2参照)。     Separately, as a video multiplexing method, a video signal packetizing circuit for packetizing video, an effective data counter circuit for measuring the data rate by counting the number of packets passing within a certain time, and measured data By providing a priority order determination circuit for assigning priorities in order from speed to speed, and a multiplexing circuit for switching the packet data of the video signal based on the determined priority order to generate multiplexed data. There is a known video multiplexing device for reducing the required capacity of the mounted buffer and reducing the cost even for data with different speeds and packet sizes (see, for example, Patent Document 2).

特開2004−23131号公報JP 2004-23131 A 特開2004−200967号公報JP 2004-200767 A

上述した特許文献1に記載されたパケットのストリーム速度上昇を抑える技術は、1つのストリーミングデータを制御対象としているため、複数のストリーミングデータが入力した場合これらストリーミングデータ間でのパケット間隔は制御されず、この手法を適用してストリームを複数合成すると、瞬間的な出力ビットレートの上昇を生じる欠点があった。
また、特許文献2に記載の優先順位を与えて多重する映像多重化装置では、データ速度に基づいてパケットの多重化が制御されるが、瞬間的なビットレートの上昇を抑えることはできない。
Since the technique for suppressing the increase in the packet stream speed described in Patent Document 1 described above targets a single piece of streaming data, the packet interval between the pieces of streaming data is not controlled when a plurality of pieces of streaming data are input. When this method is applied to synthesize a plurality of streams, there is a drawback that an instantaneous output bit rate is increased.
In addition, in the video multiplexing apparatus that multiplexes by giving the priority order described in Patent Document 2, the multiplexing of packets is controlled based on the data rate, but it is not possible to suppress an instantaneous increase in bit rate.

本発明の目的は、複数のストリームを多重化して送出するストリーム多重化装置において、出力インタフェースに短い時間に集中してパケットが出力され、瞬間的に高いビットレートでパケットが伝送路に出力されるのを防止することにある。
さらに、本発明の別の目的は、映像配信サーバから配信される多様なストリームないしコンテンツをバースト出力が発生しないように多重化して出力するパケット多重化送出装置を実現することにある。
さらに、本発明の別の目的は、ストリームサーバから出力される多様なストリームを、パケット滞留が生じることなく多重化することができるストリーム多重化送出装置を実現することにある。
An object of the present invention is a stream multiplexing apparatus that multiplexes and transmits a plurality of streams, and packets are output to an output interface in a short time, and packets are instantaneously output to a transmission line at a high bit rate. It is to prevent.
Furthermore, another object of the present invention is to realize a packet multiplexing transmission apparatus that multiplexes and outputs various streams or contents distributed from a video distribution server so as not to generate a burst output.
Furthermore, another object of the present invention is to realize a stream multiplexing transmission apparatus that can multiplex various streams output from a stream server without packet retention.

本発明によるストリーム多重化送出装置は、順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、伝送レートが設定されているチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
前記各チャネルの伝送レート及びパケット長に関する情報並びに当該多重化送出装置の多重化伝送レートに関する情報を有し、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段とを具え、
前記パケット多重化手段は、前記多重化制御手段により選択されたチャネルを介して転送されるストリームパケットを前記制御された時間間隔で順次多重化することを特徴とする。
A stream multiplexing transmission apparatus according to the present invention is a stream multiplexing transmission apparatus that multiplexes sequentially input stream packets and transmits them to an output line.
Each having a channel buffer for temporarily storing the input stream packet, and a plurality of input lines constituting a channel for which a transmission rate is set;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Information relating to the transmission rate and packet length of each channel and information relating to the multiplexing transmission rate of the multiplexing transmission device, and comprising multiplexing control means for controlling channel selection and channel selection time intervals,
The packet multiplexing means sequentially multiplexes the stream packets transferred through the channel selected by the multiplexing control means at the controlled time interval.

本発明では、多重化伝送レート並びに各チャネルの伝送レート及びパケット長に基づいてチャネル選択及びチャネル選択の時間間隔を制御しているので、多数の多様なコンテンツないしストリームが同時に入力しても、瞬間的なバースト出力が生ずることなく多重化してシェーピングすることができる。   In the present invention, since the channel selection and the channel selection time interval are controlled based on the multiplexing transmission rate and the transmission rate and packet length of each channel, even if a large number of various contents or streams are input simultaneously, Multiplexing can be performed without generating a burst output.

本発明による別のストリーム多重化送出装置は、順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
各チャネルの伝送レート及びパケット長に関する情報を受け取り、当該パケット長、各チャネルの伝送レートをα倍(α≧1)だけ増大した仮想伝送レート、及び仮想伝送レートから求めた仮想多重化伝送レートを出力する仮想伝送レート設定手段と、
仮想伝送レート設定手段から出力された仮想多重化伝送レート、各チャネルの仮想伝送レート及びパケット長に関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段と、
前記多重化制御手段により選択されたチャネルから前記パケット多重化手段へストリームパケットを転送すべきか否かを判定する送出判定手段とを具えることを特徴とする。
Another stream multiplex transmission device according to the present invention is a stream multiplex transmission device that multiplexes sequentially input stream packets and transmits them to an output line.
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Information on the transmission rate and packet length of each channel is received, the packet length, the virtual transmission rate obtained by increasing the transmission rate of each channel by α times (α ≧ 1), and the virtual multiplexing transmission rate obtained from the virtual transmission rate A virtual transmission rate setting means for outputting;
Multiplexing control means for receiving information on the virtual multiplexing transmission rate output from the virtual transmission rate setting means, the virtual transmission rate of each channel and the packet length, and controlling the channel selection and the channel selection time interval;
It further comprises transmission determination means for determining whether or not a stream packet should be transferred from the channel selected by the multiplexing control means to the packet multiplexing means.

本発明では、各チャネルの伝送レートをα倍(α≧1)だけ増大した仮想伝送レートで多重化処理を実行することができるので、チャネル選択の機会が増大する。この結果、入力ストリームにジッタが生じていても、チャネルバッファにバッファ溢れが発生する不具合を解消することができる。さらに、選択されたチャネルのストリームパケットをパケット多重化手段へ転送すべきか否かを判定する送出判定手段を有するので、本発明によるストリーム多重化送出装置から出力されるストリームを受信するクライアントにおいてバッファ溢れが生ずる不具合を解消することができる。     In the present invention, since the multiplexing process can be executed at a virtual transmission rate in which the transmission rate of each channel is increased by α times (α ≧ 1), the chance of channel selection increases. As a result, it is possible to solve the problem that the buffer overflow occurs in the channel buffer even if jitter occurs in the input stream. Further, since it has a transmission judgment means for judging whether or not the stream packet of the selected channel should be transferred to the packet multiplexing means, the buffer overflow in the client that receives the stream output from the stream multiplexing transmission apparatus according to the present invention. It is possible to eliminate the problem that occurs.

本発明による別のストリーム多重化送出装置は、順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定ないし検出し、多重化伝送レートを設定する入力伝送レート推定手段と、
入力伝送レート推定手段から出力された各チャネルの伝送レート及びパケット長並びに多重化伝送レートに関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段とを具え、
前記パケット多重化手段は、前記多重化制御手段により選択されたチャネルを介して転送されるストリームパケットを前記制御された時間間隔で順次多重化することを特徴とする。
Another stream multiplex transmission device according to the present invention is a stream multiplex transmission device that multiplexes sequentially input stream packets and transmits them to an output line.
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Input transmission rate estimation means for estimating or detecting the transmission rate and packet length of each channel from information about the input stream, and setting a multiplexed transmission rate;
Receiving information on the transmission rate and packet length of each channel output from the input transmission rate estimation means and the multiplexing transmission rate, and multiplexing control means for controlling channel selection and channel selection time intervals,
The packet multiplexing means sequentially multiplexes the stream packets transferred via the channel selected by the multiplexing control means at the controlled time interval.

本発明によるストリーム多重化送出装置は、入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定ないし検出する入力伝送レート推定手段を具えるので、各チャネルの伝送レート及びパケット長が既知でない場合であっても、適切にチャネルの選択及びチャネル選択の時間間隔の制御を行うことができ、この結果瞬間的なバースト出力の発生する不具合を解消することができる。   The stream multiplexing transmission apparatus according to the present invention includes input transmission rate estimation means for estimating or detecting the transmission rate and packet length of each channel from the information regarding the input stream, so that the transmission rate and packet length of each channel are not known. Even so, the channel selection and the channel selection time interval can be controlled appropriately, and as a result, the problem of instantaneous burst output can be solved.

本発明による別のストリーム多重化送出装置は、順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定又は検出する入力伝送レート推定手段と、
入力伝送レート推定手段から出力された各チャネルの伝送レート及びパケット長に関する情報を受け取り、当該パケット長、各チャネルの伝送レートをα倍(α≧1)だけ増大した仮想伝送レート、及び仮想伝送レートから求めた仮想多重化伝送レートを出力する仮想伝送レート設定手段と、
仮想伝送レート設定手段から出力された仮想多重化伝送レート、各チャネルの仮想伝送レート及びパケット長に関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段と、
前記多重化制御手段により選択されたチャネルから前記パケット多重化手段へストリームパケットを転送すべきか否かを判定する送出判定手段とを具えることを特徴とする。
Another stream multiplex transmission device according to the present invention is a stream multiplex transmission device that multiplexes sequentially input stream packets and transmits them to an output line.
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Input transmission rate estimation means for estimating or detecting the transmission rate and packet length of each channel from information about the input stream;
Receives information on the transmission rate and packet length of each channel output from the input transmission rate estimation means, and increases the packet length, the transmission rate of each channel by α times (α ≧ 1), and the virtual transmission rate Virtual transmission rate setting means for outputting the virtual multiplexed transmission rate obtained from
Multiplexing control means for receiving information on the virtual multiplexing transmission rate output from the virtual transmission rate setting means, the virtual transmission rate of each channel, and the packet length, and controlling channel selection and channel selection time intervals;
And a transmission determining means for determining whether or not a stream packet should be transferred from the channel selected by the multiplexing control means to the packet multiplexing means.

多数の多様なコンテンツないしストリームが同時に入力しても、瞬間的なビットレートを抑えながら多重化することができる。
また、入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定ないし検出する手段を設けることにより、各チャネルの伝送レート及びパケット長が既知でない場合であっても、瞬間的なバースト出力の発生を防止することができる。
さらに、各チャネルの伝送レートをα倍(α≧1)だけ増大する仮想伝送レート設定手段を設けることにより、入力ストリームにジッタが発生しても、チャネルバッファにバッファ溢れ等が生ずる不具合を解消することができる。
Even if a large number of various contents or streams are input at the same time, they can be multiplexed while suppressing the instantaneous bit rate.
Also, by providing means for estimating or detecting the transmission rate and packet length of each channel from information about the input stream, even if the transmission rate and packet length of each channel are not known, instantaneous burst output occurs Can be prevented.
Furthermore, by providing virtual transmission rate setting means for increasing the transmission rate of each channel by α times (α ≧ 1), even if jitter occurs in the input stream, problems such as buffer overflow in the channel buffer are eliminated. be able to.

図1は本発明によるストリーム多重化送出装置の第1実施例を示す線図である。本発明によるストリーム多重化送出装置1は、複数の入力回線2a〜2nと1本の出力回線3とを有し、入力回線と出力回線との間にストリーミングデータ(ストリームパケット)を多重化する多重化部4を具える。入力回線2a〜2nはストリームパケットを転送するチャネルを構成し、各入力回線は入力したストリームパケットを一時的に蓄積するチャネルバッファ5a〜5nをそれぞれ有する。入力回線2a〜2nは、入力インタフェース(図示せず)を介して例えばストリームサーバ(或いは、映像配信サーバ、コンテンツ配信サーバ、映像蓄積装置、ライブエンコーダ等を含む)に直接接続され又はネットワークインタフェースを介して映像配信サーバが接続されているネットワークに接続される。出力回線3は出力インタフェース(図示せず)を介して別のネットワークに接続され、当該ネットワークを介してクライアント端末にストリームパケットを送出する。従って、ストリームサーバから送出されたストリームは、入力インタフェースを介して本発明による多重化送出装置1に入力し、入力回線2a〜2n及びチャネルバッファ5a〜5nを介して多重化部4に転送され、多重化制御部6の制御のもとで多重化されて出力回線3に出力され、出力インタフェース並びにネットワークを介してクラインアント端末に送信される。   FIG. 1 is a diagram showing a first embodiment of a stream multiplexing transmission apparatus according to the present invention. A stream multiplexing transmission apparatus 1 according to the present invention has a plurality of input lines 2a to 2n and one output line 3, and multiplexes for multiplexing streaming data (stream packets) between the input line and the output line. The control unit 4 is provided. The input lines 2a to 2n constitute a channel for transferring stream packets, and each input line has channel buffers 5a to 5n for temporarily storing the input stream packets. The input lines 2a to 2n are directly connected to, for example, a stream server (or including a video distribution server, a content distribution server, a video storage device, a live encoder, etc.) via an input interface (not shown) or via a network interface. Connected to the network to which the video distribution server is connected. The output line 3 is connected to another network via an output interface (not shown), and sends a stream packet to the client terminal via the network. Therefore, the stream sent from the stream server is input to the multiplexing sending device 1 according to the present invention via the input interface, transferred to the multiplexing unit 4 via the input lines 2a to 2n and the channel buffers 5a to 5n, The signals are multiplexed under the control of the multiplexing control unit 6 and output to the output line 3, and transmitted to the client terminal via the output interface and the network.

チャネルを構成する各入力回線2a〜2nには、チャネル伝送レートRi(ここでiはi番目のチャネルを表す)及び当該チャネルを介して転送されるストリームパケットのパケット長Liがそれぞれ設定され、これらチャネル伝送レート及びパケット長に関する情報は多重化制御部6に予め入力し記憶する。当該ストリーム多重化送出装置1には多重化伝送レートR0が設定され、この多重化伝送レートR0は、全てのチャネルのチャネル伝送レートRiの合計値に等しいか又はそれ以上の値とする。   Each of the input lines 2a to 2n constituting the channel is set with a channel transmission rate Ri (where i represents the i-th channel) and a packet length Li of the stream packet transferred through the channel, respectively. Information relating to the channel transmission rate and the packet length is previously input and stored in the multiplexing control unit 6. A multiplexed transmission rate R0 is set in the stream multiplexing transmission device 1, and this multiplexed transmission rate R0 is equal to or greater than the total value of the channel transmission rates Ri of all channels.

入力した各ストリームパケットは、入力回線のチャネルバッファに一旦蓄積される。多重化制御部6は、各チャネルのチャネル伝送レート及びパケット長に関する情報並びに設定されている多重化伝送レートに基づいて多重化すべきチャネルを選択し、選択されたチャネルのチャネルバッファに蓄積されているストリームパケットを多重化部に転送すると共にチャネル選択の時間間隔を制御する。このチャネル選択の時間間隔の制御は、選択したチャネルのパケット長Liを多重化伝送レートR0で除算して得た時間期間とし、当該時間期間経過後に次に多重化されるチャネルの選択を行い、この時間期間中はチャネルの選択を停止する。   Each input stream packet is temporarily stored in the channel buffer of the input line. The multiplexing control unit 6 selects a channel to be multiplexed based on information on the channel transmission rate and packet length of each channel and the set multiplexing transmission rate, and is stored in the channel buffer of the selected channel. The stream packet is transferred to the multiplexing unit and the channel selection time interval is controlled. The control of the time interval for channel selection is performed by selecting a channel to be multiplexed next after the lapse of the time period, with a time period obtained by dividing the packet length Li of the selected channel by the multiplexing transmission rate R0. During this time period, channel selection is stopped.

次に、多重化制御部によるチャネル選択について説明する。設定されている多重化伝送レートをR0とし、i番目のチャネルの伝送レートをRiとし、i番目のチャネルを経て転送されるストリームパケットのパケット長をLiとし、当該多重化送出装置の多重化開始時刻からチャネル選択を行う時刻までの多重化部4への出力バイト数の期待値ないし目標値である目標多重化バイト数をBとし、i番目のチャネルにおける多重化開始時刻からのチャネル毎のパケット長と選択回数により得られるチャネル選択バイト数すなわちi番目のチャネルの多重化開始時刻からの多重化されたストリームの累積バイト数をBiとすると、あるチャネル選択時刻におけるチャネル選択は、以下の式を満たすチャネルiを選択する。
(Ri/R0)×B−Bi≧0
この際、複数のチャネルが上記式を満たす場合、上記式の左辺の値が最も大きいチャネルを選択することができ、或いは上記式を満たすチャネルのうちの1つのチャネルを選択することもできる。
上記式において、Ri/R0は、多重化伝送レートにおけるi番目のチャネルの占める割合を示し、その値に目標多重化バイト数を乗算することによりチャネル選択時刻におけるチャネルiから出力されるパケットが占めるべきバイト数が算出される。この値を当該チャネルiの累積バイト数Biと比較することにより、当該チャネルiを選択すべきか否か容易に判定することができる。すなわち、上記式において、左辺の値が正の場合チャネルiが選択されたバイト数の割合が少ないことを意味し、選択されるべきと判定することができ、一方、左辺の値が負の場合チャネル全体に対して当該チャネルiの選択されたバイト数が多いことを示すため、選択すべきではないと判定する。
Next, channel selection by the multiplexing control unit will be described. The set multiplexing transmission rate is R0, the transmission rate of the i-th channel is Ri, the packet length of the stream packet transferred via the i-th channel is Li, and the multiplexing transmission apparatus starts multiplexing. A packet for each channel from the multiplexing start time in the i-th channel, where B is the target multiplexed byte number that is the expected value or target value of the number of output bytes to the multiplexing unit 4 from the time to the channel selection time If the channel selection byte number obtained by the length and the number of selections, that is, the accumulated byte number of the multiplexed stream from the multiplexing start time of the i-th channel is Bi, channel selection at a certain channel selection time is expressed by the following equation: Select a channel i to satisfy.
(Ri / R0) × B−Bi ≧ 0
In this case, when a plurality of channels satisfy the above equation, the channel having the largest value on the left side of the above equation can be selected, or one channel among the channels satisfying the above equation can be selected.
In the above equation, Ri / R0 indicates the ratio of the i-th channel in the multiplexed transmission rate, and the value output from the channel i at the channel selection time occupies by multiplying the value by the target number of multiplexed bytes. The number of powers is calculated. By comparing this value with the cumulative number of bytes Bi of the channel i, it is possible to easily determine whether or not the channel i should be selected. That is, in the above formula, if the value on the left side is positive, it means that the ratio of the number of bytes for which channel i is selected is small, and it can be determined that it should be selected, while the value on the left side is negative Since it indicates that the number of selected bytes of the channel i is large with respect to the entire channel, it is determined that it should not be selected.

パケット多重化部4は、選択されたチャネルのチャネルバッファに蓄積されているストリームパケットを受け付ける。また、多重化制御部6は、選択したチャネルiのチャネル選択バイト数BiをLiだけ積算すると共に次のチャネル選択のタイミングをLi/R0だけ経過した時刻とし、当該時刻まで他のチャネルの選択を停止する。尚、チャネル選択すべき時刻に選択されるチャネルが存在しない場合、当該時刻にある時間だけ積算した時刻を次のチャネル選択時刻とすることができる。   The packet multiplexing unit 4 receives stream packets stored in the channel buffer of the selected channel. In addition, the multiplexing control unit 6 adds the channel selection byte number Bi of the selected channel i by Li and sets the timing of the next channel selection as the time when Li / R0 has elapsed, and selects other channels until that time. Stop. If there is no channel to be selected at the time at which the channel is to be selected, the time accumulated at the time at the time can be set as the next channel selection time.

このように、各チャネルバッファからのパケット転送時刻を一括して制御することにより、各チャネルバッファが独立して多重化部にチャネルを転送する場合と比較して、パケット送出間隔を維持でき、多重化伝送レートに制限されることになる。この作用効果について、チャネル伝送レートが8Mbpsでパケット長が1500バイト(パケット送出間隔は1500μsec)のチャネルを10チャネル用い、インタフェース速度1Gbpsの出力伝送路に多重化伝送レートが80Mbpsで送出する場合を例にして説明する。本例において、各チャネルが独立にパケットの送出を行った場合、各ストリームの多重化部へのパケットの出力時刻が時間的に重なる可能性があり、全てのストリームにおいてパケット出力時刻が重なった場合、図2に示すように短時間でのパケット出力が集中し、多重化部においてバッファ溢れを起こしたり、インタフェース速度を上限とする多重化伝送レートで一時的に連続してパケットが出力される不具合が発生する。これに対して、本発明による制御方式に基づいてチャネル選択時刻を制御することにより、パケット長/多重化伝送レート(本例の場合、1500バイト/80Mbps=150μsec)の送出間隔(チャネルバッファから多重化部へのパケットの転送を開始してから次のパケットの転送を開始するまでの時間間隔)でパケット転送が行われることになり、多重化伝送レートでの出力が制御できていることが理解される。   In this way, by collectively controlling the packet transfer time from each channel buffer, it is possible to maintain the packet transmission interval compared to the case where each channel buffer independently transfers the channel to the multiplexing unit, and to multiplex The transmission rate is limited. With regard to this effect, an example in which a channel with a channel transmission rate of 8 Mbps and a packet length of 1500 bytes (packet transmission interval is 1500 μsec) is used for 10 channels, and is sent to an output transmission line with an interface speed of 1 Gbps at a multiplexing transmission rate of 80 Mbps I will explain. In this example, when each channel independently sends a packet, the output time of the packet to the multiplexing unit of each stream may overlap in time, and the packet output time overlaps in all streams As shown in FIG. 2, the packet output in a short time is concentrated, the buffer overflows in the multiplexing unit, or the packets are output continuously continuously at the multiplexing transmission rate with the interface speed as the upper limit. Will occur. On the other hand, by controlling the channel selection time based on the control method according to the present invention, the packet interval / multiplexed transmission rate (in this example, 1500 bytes / 80 Mbps = 150 μsec) transmission interval (multiplexed from the channel buffer) Packet transfer is performed at the time interval between the start of packet transfer to the packetizer and the start of transfer of the next packet, and it is understood that output at the multiplexed transmission rate can be controlled. Is done.

次に、本発明の第2の実施例について説明する。第2実施例の構成を図3に示す。尚、図3において、図1で用いた構成要素と同一の構成要素には同一符号を付し、その説明は省略する。本例では、図1に示す第1実施例のストリーム多重化送出装置に仮想伝送レート設定部10及び送出判定部11を付加し、各チャネルのチャネル伝送レートを基に仮想伝送レートを設定する機能及び選択したチャネルからのパケット送出の可否を決定する機能を有する。入力ストリームにジッタが生じている場合、一時的に設定されている伝送レートよりも高速にストリームがチャネルバッファに入力する場合があり、チャネルバッファにバッファ溢れが発生する可能性がある。そのため、本例では、設定されている伝送レートよりも速い伝送レートでチャネルバッファからのパケット出力を可能とするため、仮想伝送レート設定部においてチャネル伝送レートをα倍(α≧1.0)
とし、その値を仮想伝送レートとして設定する。また、仮想多重化伝送レートとして全チャネルの仮想伝送レートの合計値以上の値を設定する。このように仮想伝送レート及び仮想多重化伝送レートを設定することにより、チャネル選択の機会が増大し、チャネルバッファにおけるパケット滞留を回避することができる。
Next, a second embodiment of the present invention will be described. The configuration of the second embodiment is shown in FIG. In FIG. 3, the same components as those used in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. In this example, the virtual transmission rate setting unit 10 and the transmission determination unit 11 are added to the stream multiplexing transmission apparatus of the first embodiment shown in FIG. 1, and the virtual transmission rate is set based on the channel transmission rate of each channel. And a function for determining whether or not to transmit a packet from the selected channel. When jitter occurs in the input stream, the stream may be input to the channel buffer at a speed higher than the temporarily set transmission rate, and there is a possibility that the buffer overflows in the channel buffer. Therefore, in this example, in order to enable packet output from the channel buffer at a transmission rate faster than the set transmission rate, the virtual transmission rate setting unit multiplies the channel transmission rate by α (α ≧ 1.0).
And that value is set as the virtual transmission rate. Further, a value equal to or greater than the total value of the virtual transmission rates of all channels is set as the virtual multiplexing transmission rate. By setting the virtual transmission rate and the virtual multiplexing transmission rate in this manner, channel selection opportunities increase, and packet retention in the channel buffer can be avoided.

一方、長時間にわたって実際の基準伝送レートよりも高い伝送レートでパケットを出力し続けると、ストリームパケット送出装置から出力されるストリームを受信するクライアントにおいてバッファ破綻を起こすおそれがあるため、選択したチャネルから選択したパケットを送出するか否かを判定する機能として送出判定部11を設け
る。尚、多重化制御部6と送出判定部11の接続位置は逆に設定することも可能である。
On the other hand, if packets continue to be output at a transmission rate higher than the actual reference transmission rate over a long period of time, there is a risk of buffer failure at the client that receives the stream output from the stream packet transmission device. A transmission determination unit 11 is provided as a function of determining whether or not to transmit the selected packet. Note that the connection positions of the multiplexing control unit 6 and the transmission determination unit 11 can be set in reverse.

次に、多重化処理について説明する。多重化制御部6は、設定された仮想多重化伝送レートで各チャネルのストリームを多重化するために、パケット毎の送出時刻であるチャネル選択時刻においてチャネル選択を行う。送出判定部11は、多重化制御部により選択されたチャネルバッファにパケットが蓄積されており、且つ選択されたチャネルの出力バイト数が当該チャネルの出力バイトの期待値ないし目標値以下である場合にパケットを送出することを決定し、多重化制御部で選択したチャネルのバッファからのパケットを受け付け多重化する。   Next, the multiplexing process will be described. The multiplexing control unit 6 performs channel selection at a channel selection time that is a transmission time for each packet in order to multiplex the stream of each channel at the set virtual multiplexing transmission rate. The transmission judgment unit 11 stores packets in the channel buffer selected by the multiplexing control unit, and the number of output bytes of the selected channel is less than the expected value or the target value of the output bytes of the channel. It decides to send the packet, and receives and multiplexes the packet from the buffer of the channel selected by the multiplexing control unit.

多重化制御部において多重化処理を開始するか、新たなチャネルが開始し又は終了し、仮想多重化伝送レートを更新した時刻を多重化開始時刻とし、以下の処理を行う。
直前のチャネル選択時刻に選択したチャネルのパケット長を仮想多重化伝送レートで除算した値を直前のチャネル選択時刻に積算することによりチャネル選択時刻を更新し、次のチャネル選択時刻まで多重化処理を停止する。
The multiplexing control unit starts multiplexing processing, or starts or ends a new channel, and updates the virtual multiplexing transmission rate as the multiplexing start time, and performs the following processing.
The channel selection time is updated by adding the value obtained by dividing the packet length of the channel selected at the previous channel selection time by the virtual multiplexing transmission rate to the previous channel selection time, and the multiplexing process is performed until the next channel selection time. Stop.

仮想多重化伝送レートをR’とし、多重化開始時刻からのチャネル選択時刻までの多重化部への出力バイト数の期待値である仮想目標多重化バイト数をB’とし、ストリームiの仮想伝送レートをRi’とし、多重化開始時刻からのチャネル毎のパケット長とチャネル選択回数により得られる仮想チャネル選択バイト数すなわち累積バイト数をBi’とすると、あるチャネル選択時刻におけるチャネル選択は、例えば以下のように算出される。
(Ri’/R’)×B’−Bi’≧0
上記式を満たすチャネルiの1つが選択されたチャネルとなる。この時、複数のチャネルが上記式を満たす場合、上記式の左辺の値が最も大きいチャネルを選択する方法を用いることができ、又は上記式を満たすチャネルのうちの1つのチャネルを選択しても良い。尚、多重化制御部は、選択されたチャネルからパケットが出力されてもされなくてもBi’をパケット長Liだけ積算する。
The virtual multiplexing transmission rate is R ′, the virtual target multiplexing byte number that is the expected value of the number of output bytes to the multiplexing unit from the multiplexing start time to the channel selection time is B ′, and the virtual transmission of the stream i When the rate is Ri ′ and the virtual channel selection byte number obtained from the packet length for each channel from the multiplexing start time and the number of channel selections, that is, the accumulated byte number is Bi ′, channel selection at a certain channel selection time is, for example, It is calculated as follows.
(Ri ′ / R ′) × B′−Bi ′ ≧ 0
One of the channels i satisfying the above equation is the selected channel. At this time, when a plurality of channels satisfy the above equation, a method of selecting a channel having the largest value on the left side of the above equation can be used, or even if one channel among the channels satisfying the above equation is selected. good. The multiplexing control unit accumulates Bi ′ by the packet length Li regardless of whether the packet is output from the selected channel.

次に、送出判定部11の処理について説明する。送出判定部は、選択されたチャネルのチャネルバッファにパケットが蓄積されており、且つBi≦TBiの条件(ここで、Biは多重化開始時刻からのチャネルの出力バイト数、TBiはチャネルiの出力バイト数の期待値)を満たす場合、選択したチャネルからパケットを送出することを決定する。ここで、チャネルiの出力バイトの期待値TBiは、多重化開始時刻からチャネル選択時刻までの経過時間をtとすると、例えばTBi=Ri×t+β(βはプラスの値又はマイナスの値)で表すことができる。例えば、βを当該ストリーム多重化送出装置から送出されるストリームを受信するクライアントのバッファサイズ以下の値とすることで、長時間継続してチャネルバッファへの入力が過大となるストリーム(例えば、ファイル入力の場合)であっても、クライアントにおけるバッファ溢れを防止することができる。   Next, processing of the transmission determining unit 11 will be described. The transmission judgment unit stores the packet in the channel buffer of the selected channel, and the condition of Bi ≦ TBi (where Bi is the number of output bytes of the channel from the multiplexing start time, TBi is the output of channel i) If the expected number of bytes) is satisfied, it is determined that the packet is transmitted from the selected channel. Here, the expected value TBi of the output byte of channel i is represented by, for example, TBi = Ri × t + β (β is a positive value or a negative value), where t is the elapsed time from the multiplexing start time to the channel selection time. be able to. For example, by setting β to a value equal to or less than the buffer size of the client that receives the stream sent from the stream multiplexing sending device, a stream that is excessively input to the channel buffer for a long time (eg, file input) In this case, it is possible to prevent buffer overflow in the client.

送出判定部において、多重化制御部により選択されたパケットを送出することが決定されると、パケット多重化部は当該選択されたチャネルからのパケットを受け付ける。次のチャネル選択時刻は、前回のチャネル選択時刻からLi/R’だけ経過した時刻とする。尚、この時、チャネル選択時刻に選択されるチャネルが存在しない場合、チャネル選択時刻にある値だけ積算した時刻を次のチャネル選択時刻とする。このように、仮想多重化伝送レートを適用した多重化制御を行うことにより、入力ストリームにジッタがありパケット入力時間間隔が一定でない場合であっても、仮想多重化伝送レートに制限された出力が可能になる。   When the transmission determining unit determines to transmit the packet selected by the multiplexing control unit, the packet multiplexing unit accepts a packet from the selected channel. The next channel selection time is the time when Li / R 'has elapsed from the previous channel selection time. At this time, if there is no channel selected at the channel selection time, the time obtained by adding a certain value at the channel selection time is set as the next channel selection time. In this way, by performing multiplexing control using the virtual multiplexing transmission rate, even when the input stream has jitter and the packet input time interval is not constant, an output limited to the virtual multiplexing transmission rate is obtained. It becomes possible.

次に、本発明によるストリーム多重化送出装置の第3の実施例について説明する。第3実施例の構成を図4に示す。尚、図4において、図1で用いた構成要素と同一の構成要素には同一符号を付し、その説明は省略する。本例では、入力ストリームの伝送レート及びパケット長が既知でない場合に入力ストリームの情報を用いて入力ストリームの伝送レート及びパケット長を推定ないし検出する。図4に示すように、チャネルバッファ5a〜5nに入力伝送レート推定部20を設け、各チャネルの伝送レート及び伝送されるストリームパケットのパケット長を推定ないし検出し、得られた各チャネルの伝送レート及びパケット長と、チャネル伝送レートに基づいて設定した多重化伝送レートを多重化制御部6に送信する。多重化制御部6は、受け取った多重化伝送レート及びパケット長を用いてチャネルの選択及びそのタイミングを決定する。   Next, a third embodiment of the stream multiplexing transmission apparatus according to the present invention will be described. The configuration of the third embodiment is shown in FIG. In FIG. 4, the same components as those used in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted. In this example, when the transmission rate and packet length of the input stream are not known, the input stream information is used to estimate or detect the transmission rate and packet length of the input stream. As shown in FIG. 4, the channel buffers 5a to 5n are provided with an input transmission rate estimation unit 20 to estimate or detect the transmission rate of each channel and the packet length of the stream packet to be transmitted, and to obtain the transmission rate of each channel obtained. The multiplexed transmission rate set based on the packet length and the channel transmission rate is transmitted to the multiplexing control unit 6. The multiplexing control unit 6 determines channel selection and timing using the received multiplexing transmission rate and packet length.

入力伝送レート推定部20は、例えばある単位時間におけるチャネルバッファへのストリームの入力パケット数とそのパケット長から伝送レートを推定することができる。別の方法として、入力ストリームに記述されているビットレート情報やストリーム上の時刻を表すタイムスタンプ情報(時刻情報)から伝送レートを推定することができる。例えば、入力ストリームがMPEG-2トランスポートストリームである場合、連続する2つのPCR値の差分により算出されるストリーム上の経過時間を用いて、その間にチャネルバッファに入力したストリームのビット数を除算することにより、伝送レートを推定することができる。   The input transmission rate estimation unit 20 can estimate the transmission rate from, for example, the number of packets input to the channel buffer in a certain unit time and the packet length. As another method, the transmission rate can be estimated from the bit rate information described in the input stream and the time stamp information (time information) indicating the time on the stream. For example, when the input stream is an MPEG-2 transport stream, the elapsed time on the stream calculated by the difference between two consecutive PCR values is used to divide the number of bits of the stream input to the channel buffer between them. Thus, the transmission rate can be estimated.

本発明によるストリーム多重化送出装置の第4の実施例を図5に示す。尚、図5において、図3及び図4で用いた構成要素と同一の構成要素には同一符号を付し、その説明は省略する。本例では、図1に示す実施例に、入力伝送レート推定部20、仮想伝送レート設定部10及び送出判定部11を設ける。このように、入力伝送レート推定部、仮想伝送レート設定部及び送出判定部を設けることにより、チャネルの伝送レート及びパケット長が未知の場合にも柔軟に対応することができると共に入力ストリームがジッタを含む場合であってもパケット溢れ等の不具合の発生を有効に防止することができる。   FIG. 5 shows a fourth embodiment of the stream multiplexing transmission apparatus according to the present invention. In FIG. 5, the same components as those used in FIGS. 3 and 4 are denoted by the same reference numerals, and the description thereof is omitted. In this example, an input transmission rate estimation unit 20, a virtual transmission rate setting unit 10, and a transmission determination unit 11 are provided in the embodiment shown in FIG. As described above, by providing the input transmission rate estimation unit, virtual transmission rate setting unit, and transmission determination unit, it is possible to flexibly cope with the case where the channel transmission rate and packet length are unknown, and the input stream has jitter. Even in such a case, it is possible to effectively prevent the occurrence of problems such as packet overflow.

図6は本発明によるストリーム多重化シェーパの別の実施例を示す線図である。ストリームの入力信号源30として、例えばネットワークインタフェース、ライブエンコーダ、ディスクを用いることができる。入力インタフェースを介して入力信号源から送信されてくるストリームは、入力チャネルバッファ31a〜31nに一時的に蓄積される。多重化制御部に対応するチャネルセレクタ32には、各チャネルのビットレート及びパケット長を推定するための情報が入力する。チャネルセレクタは、これらの情報に基づいて多重化すべきチャネルを選択し、選択したチャネル番号をスイッチィング素子に供給する。そして、チャネルの選択はスイッチィング素子の切り換えにより行われる。送出判定部に対応する送出判定器33にもビットレート及びパケット長を推定するための情報が供給されると共に、チャネルセレクタから選択したチャネル番号が供給され、さらにパケット多重化装置34から各チャネルの出力バイト数が供給される。送出判定器33は、受け取った情報に基づき、チャネルセレクタにより選択された番号のチャネルのパケットを出力するか否かについて判定し、その判定結果をスイッチィング素子に送信する。従って、チャネルセレクタにより選択され、送出判定器により出力すべきと判定されたパケットだけがパケット多重化装置34に出力され、多重化処理されて出力回線に順次送出される。尚、チャネルの伝送レートを増大する仮想伝送レート設定部の機能はチャネルセレクタが有することができるので、チャネルセレクタが多重化制御部及び仮想伝送レート設定部の両方の機能を実行することができる。   FIG. 6 is a diagram showing another embodiment of the stream multiplexing shaper according to the present invention. As the stream input signal source 30, for example, a network interface, a live encoder, or a disk can be used. Streams transmitted from the input signal source via the input interface are temporarily stored in the input channel buffers 31a to 31n. Information for estimating the bit rate and packet length of each channel is input to the channel selector 32 corresponding to the multiplexing control unit. The channel selector selects a channel to be multiplexed based on these pieces of information, and supplies the selected channel number to the switching element. The channel is selected by switching the switching element. Information for estimating the bit rate and packet length is also supplied to the transmission determination unit 33 corresponding to the transmission determination unit, and the channel number selected from the channel selector is supplied. The number of output bytes is supplied. Based on the received information, the transmission determination unit 33 determines whether or not to output the packet of the channel with the number selected by the channel selector, and transmits the determination result to the switching element. Therefore, only the packets selected by the channel selector and determined to be output by the transmission determiner are output to the packet multiplexer 34, multiplexed, and sequentially transmitted to the output line. Since the channel selector can have the function of the virtual transmission rate setting unit for increasing the transmission rate of the channel, the channel selector can execute the functions of both the multiplexing control unit and the virtual transmission rate setting unit.

次に、本発明によるストリーム送出装置の有効性を確認するためのシミュレーション実験の結果について説明する。本実験では、ストリームサーバからの出力ビットレートを計測した。本実験では、ストリームは全てMPEG-2TSであり、6Mbps×5、18Mbps×5、30Mbps×6の16ストリーム合計約300Mbpsを用いた。また、仮想ビットレートの増大率αをα=1.01とし、約1%のパケット滞留を回避する。出力IPパケットはRTPとし、RTPペイロードを7TSで構成した。また、出力インタフェースは1Gbpsである。計測結果として、多重化ストリームの総出力ビットレート(300Mbps)及びそのうちの30Mbpsの1ストリームについて、独立に制御する従来方式の計測結果と本発明による方式の計測結果を図7に示す。図7において、実線は本発明による方式の計測結果を示し、破線は従来方式の計測結果を示す。また、横軸は1msec単位の時間を示し、縦軸はビットレートを示し、ストリーム出力が開始されてから一定時間経過した後の0.1秒間の値を示す。   Next, the results of a simulation experiment for confirming the effectiveness of the stream transmission device according to the present invention will be described. In this experiment, the output bit rate from the stream server was measured. In this experiment, all streams were MPEG-2TS, and a total of about 300 Mbps of 16 streams of 6 Mbps × 5, 18 Mbps × 5, and 30 Mbps × 6 was used. Further, the increase rate α of the virtual bit rate is set to α = 1.01 to avoid about 1% packet retention. The output IP packet is RTP, and the RTP payload is 7TS. The output interface is 1 Gbps. As the measurement results, FIG. 7 shows the measurement results of the conventional method and the measurement method of the present invention in which the total output bit rate (300 Mbps) of the multiplexed streams and one stream of 30 Mbps are controlled independently. In FIG. 7, the solid line indicates the measurement result of the method according to the present invention, and the broken line indicates the measurement result of the conventional method. The horizontal axis indicates the time in units of 1 msec, the vertical axis indicates the bit rate, and the value for 0.1 second after a lapse of a certain time from the start of the stream output.

図7に示すように、独立に制御する方式では、1つのストリームを見ると最大400Mbpsを超えるバーストが発生しており、さらにストリーム間でそのバーストが重なることにより、総ビットレートが瞬間的に1Gbps近くまで達していることが分かる。これに対して、本発明による方式では、1つのストリームとしても仮想ビットレートに、多重化し全体としても仮想出力多重化レートにシェーピングされていることが確認できた。   As shown in FIG. 7, in the independently controlled method, bursts exceeding a maximum of 400 Mbps occur when one stream is viewed, and the bursts overlap between the streams, so that the total bit rate is instantaneously 1 Gbps. You can see that it is close. On the other hand, in the method according to the present invention, it was confirmed that a single stream was multiplexed to the virtual bit rate and the entire stream was shaped to the virtual output multiplexing rate.

本発明によるストリーム多重化送出装置の第1実施例を示す線図である。1 is a diagram showing a first embodiment of a stream multiplexing transmission device according to the present invention. FIG. 本発明と従来方式において、パケット送出間隔と出力バイト数の関係を比較して示した図である。It is the figure which compared and showed the relationship between a packet transmission interval and the number of output bytes in this invention and a conventional system. 本発明によるストリーム多重化送出装置の第2実施例を示す線図である。It is a diagram which shows 2nd Example of the stream multiplexing transmission apparatus by this invention. 本発明によるストリーム多重化送出装置の第3実施例を示す線図である。FIG. 6 is a diagram showing a third embodiment of the stream multiplexing transmission device according to the present invention. 本発明によるストリーム多重化送出装置の第4実施例を示す線図である。FIG. 10 is a diagram showing a fourth embodiment of the stream multiplexing transmission device according to the present invention. 本発明によるストリーム多重化送出装置の別の実施例を示す線図である。It is a diagram which shows another Example of the stream multiplexing transmission apparatus by this invention. 独立に制御する従来方式と本発明による方式のシミュレーション実験の結果を示す線図である。It is a diagram which shows the result of the simulation experiment of the conventional system controlled independently, and the system by this invention.

符号の説明Explanation of symbols

1 ストリーム多重化送出装置
2a〜2n 入力回線
3 出力回線
4 パケット多重化部
5a〜5n チャネルバッファ
6 多重化制御部
10 仮想伝送レート設定部
11 送出判定部
20 入力伝送レート推定部
30 入力信号源
31a〜31n チャネルバッファ
32 チャネルセレクタ
33 送出判定器
34 パケット多重化装置
DESCRIPTION OF SYMBOLS 1 Stream multiplexing transmission apparatus 2a-2n Input line 3 Output line 4 Packet multiplexing part 5a-5n Channel buffer 6 Multiplexing control part 10 Virtual transmission rate setting part 11 Transmission determination part 20 Input transmission rate estimation part 30 Input signal source 31a ~ 31n Channel buffer 32 Channel selector 33 Transmission decision unit 34 Packet multiplexing device

Claims (15)

順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、伝送レートが設定されているチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
前記各チャネルの伝送レート及びパケット長に関する情報並びに当該多重化送出装置の多重化伝送レートに関する情報を有し、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段とを具え、
前記パケット多重化手段は、前記多重化制御手段により選択されたチャネルを介して転送されるストリームパケットを前記制御された時間間隔で順次多重化することを特徴とするストリーム多重化送出装置。
In a stream multiplexing transmission device that multiplexes sequentially input stream packets and transmits them to an output line,
Each having a channel buffer for temporarily storing the input stream packet, and a plurality of input lines constituting a channel for which a transmission rate is set;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Information relating to the transmission rate and packet length of each channel and information relating to the multiplexing transmission rate of the multiplexing transmission device, and comprising multiplexing control means for controlling channel selection and channel selection time intervals,
The stream multiplexing transmission apparatus, wherein the packet multiplexing means sequentially multiplexes the stream packets transferred via the channel selected by the multiplexing control means at the controlled time interval.
請求項1に記載のストリーム多重化送出装置において、前記多重化制御手段は、選択したチャネルのパケット長を前記多重化伝送レートで除算して得られる時間期間をチャネル選択の時間間隔とし、当該時間期間中チャネル選択を保留することを特徴とするストリーム多重化送出装置。   2. The stream multiplexing transmission apparatus according to claim 1, wherein the multiplexing control means sets a time period obtained by dividing the packet length of the selected channel by the multiplexing transmission rate as a channel selection time interval, and A stream multiplexing transmission apparatus characterized in that channel selection is suspended during the period. 請求項1又は2に記載のストリーム多重化送出装置において、前記多重化制御手段は、前記チャネル選択に際し、チャネルの伝送レートと多重化伝送レートとの比が、チャネルのパケット長と選択回数により得られるチャネル選択バイト数と当該多重化送出装置の目標多重化バイト数との比よりも大きなチャネルを選択することを特徴とするストリーム多重化送出装置。   3. The stream multiplexing transmission device according to claim 1, wherein the multiplexing control means obtains a ratio between a channel transmission rate and a multiplexing transmission rate based on a channel packet length and the number of selections when the channel is selected. A stream multiplexing transmission apparatus, wherein a channel larger than a ratio of a selected channel selection byte number and a target multiplexing byte number of the multiplexing transmission apparatus is selected. 請求項1から3までのいずれか1項に記載のストリーム多重化送出装置において、前記多重化伝送レートを、全てのチャネルの伝送レートの合計値に等しいか又はそれ以上の値に設定することを特徴とするストリーム多重化送出装置。   The stream multiplexing transmission apparatus according to any one of claims 1 to 3, wherein the multiplexing transmission rate is set to a value equal to or greater than a total value of transmission rates of all channels. A stream multiplex transmission device characterized. 請求項3に記載のストリーム多重化送出装置において、前記多重化制御手段は、チャネルを選択する際、該当するチャネルが存在しない場合、所定の時間期間を積算して得た時刻を次のチャネルの選択時刻とすることを特徴とするストリーム多重化送出装置。   4. The stream multiplex transmission apparatus according to claim 3, wherein when the channel is selected, the multiplexing control means calculates a time obtained by integrating a predetermined time period when there is no corresponding channel. A stream multiplex transmission apparatus characterized in that a selection time is set. 請求項1から5までのいずれか1項に記載のストリーム多重化送出装置において、さらに、各チャネルの伝送レートをα倍(α≧1)だけ増大する仮想伝送レート設定手段を有し、
前記多重化制御手段は、前記仮想伝送レート設定手段により設定された各チャネルの仮想伝送レート及び仮想多重化伝送レートを受け取り、仮想多重化伝送レート及びチャネルの設定された仮想伝送レートを用いてチャネル選択及びチャネル選択の時間間隔の制御を行うことを特徴とするストリーム多重化送出装置。
The stream multiplexing transmission device according to any one of claims 1 to 5, further comprising virtual transmission rate setting means for increasing the transmission rate of each channel by α times (α ≧ 1),
The multiplexing control means receives the virtual transmission rate and the virtual multiplexed transmission rate of each channel set by the virtual transmission rate setting means, and uses the virtual multiplexed transmission rate and the virtual transmission rate for which the channel is set A stream multiplexing transmission apparatus that controls time intervals for selection and channel selection.
順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
各チャネルの伝送レート及びパケット長に関する情報を受け取り、当該パケット長、各チャネルの伝送レートをα倍(α≧1)だけ増大した仮想伝送レート、及び仮想伝送レートから求めた仮想多重化伝送レートを出力する仮想伝送レート設定手段と、
仮想伝送レート設定手段から出力された仮想多重化伝送レート、各チャネルの仮想伝送レート及びパケット長に関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段と、
前記多重化制御手段により選択されたチャネルのストリームパケットを前記パケット多重化手段へ転送すべきか否かを判定する送出判定手段とを具えることを特徴とするストリーム多重化送出装置。
In a stream multiplexing transmission device that multiplexes sequentially input stream packets and transmits them to an output line,
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Information on the transmission rate and packet length of each channel is received, the packet length, the virtual transmission rate obtained by increasing the transmission rate of each channel by α times (α ≧ 1), and the virtual multiplexing transmission rate obtained from the virtual transmission rate A virtual transmission rate setting means for outputting;
Multiplexing control means for receiving information on the virtual multiplexing transmission rate output from the virtual transmission rate setting means, the virtual transmission rate of each channel and the packet length, and controlling the channel selection and the channel selection time interval;
A stream multiplex transmission apparatus comprising: a transmission determination unit that determines whether or not to transfer the stream packet of the channel selected by the multiplexing control unit to the packet multiplexing unit.
請求項7に記載のストリーム多重化送出装置において、前記多重化制御手段は、選択したチャネルのパケット長を前記仮想多重化伝送レートで除算して得られる時間期間をチャネル選択の時間間隔とし、当該時間期間中チャネル選択を保留することを特徴とするストリーム多重化送出装置。   8. The stream multiplexing transmission device according to claim 7, wherein the multiplexing control means sets a time period obtained by dividing the packet length of the selected channel by the virtual multiplexing transmission rate as a channel selection time interval, A stream multiplexing transmission apparatus characterized in that channel selection is suspended during a time period. 請求項7又は8に記載のストリーム多重化送出装置において、前記多重化制御手段は、前記チャネル選択に際し、チャネルの仮想伝送レートと仮想多重化伝送レートとの比が、チャネルのパケット長と選択回数により得られるチャネル選択バイト数と当該多重化送出装置の目標多重化バイト数との比よりも大きなチャネルを選択することを特徴とするストリーム多重化送出装置。   9. The stream multiplexing transmission apparatus according to claim 7 or 8, wherein the multiplexing control means sets the ratio of the channel virtual transmission rate and the virtual multiplexing transmission rate to the channel packet length and the number of selections when the channel is selected. A stream multiplexed transmission device, wherein a channel larger than the ratio of the channel selection byte number obtained by the above and the target multiplexed byte number of the multiplexed transmission device is selected. 請求項7から9までのいずれか1項に記載のストリーム多重化送出装置において、前記送出判定手段は、選択されたチャネルのチャネルバッファにストリームパケットが蓄積され、且つ当該選択されたチャネルの出力バイト数が所定のチャネル出力バイトの期待値以下の場合に前記選択したチャネルのストリームパケットを前記パケット多重化手段へ転送することを決定することを特徴とするストリーム多重化送出装置。   10. The stream multiplexing transmission device according to claim 7, wherein the transmission determination unit stores the stream packet in a channel buffer of the selected channel and outputs the output byte of the selected channel. A stream multiplexing transmission apparatus, wherein when the number is equal to or less than an expected value of a predetermined channel output byte, it is determined to transfer the stream packet of the selected channel to the packet multiplexing means. 請求項7に記載のストリーム多重化送出装置において、前記仮想伝送レート設定手段は、前記仮想多重化伝送レートを全チャネルの仮想伝送レートの合計値以上の値に設定することを特徴とするストリーム多重化送出装置。   8. The stream multiplexing transmission apparatus according to claim 7, wherein the virtual transmission rate setting means sets the virtual multiplexing transmission rate to a value equal to or greater than a total value of virtual transmission rates of all channels. Sending device. 順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定ないし検出し、多重化伝送レートを設定する入力伝送レート推定手段と、
入力伝送レート推定手段から出力された各チャネルの伝送レート及びパケット長並びに多重化伝送レートに関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段とを具え、
前記パケット多重化手段は、前記多重化制御手段により選択されたチャネルを介して転送されるストリームパケットを前記制御された時間間隔で順次多重化することを特徴とするストリーム多重化送出装置。
In a stream multiplexing transmission device that multiplexes sequentially input stream packets and transmits them to an output line,
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Input transmission rate estimation means for estimating or detecting the transmission rate and packet length of each channel from information about the input stream, and setting a multiplexed transmission rate;
Receiving information on the transmission rate and packet length of each channel output from the input transmission rate estimation means and the multiplexing transmission rate, and multiplexing control means for controlling channel selection and channel selection time intervals,
The stream multiplexing transmission apparatus, wherein the packet multiplexing means sequentially multiplexes the stream packets transferred via the channel selected by the multiplexing control means at the controlled time interval.
請求項12に記載のストリーム多重化送出装置において、前記入力伝送レート推定手段は、単位時間期間中に前記チャネルバッファに入力したストリームのバイト数によりチャネルの伝送レート及びパケット長を推定又は検出することを特徴とするストリーム多重化送出装置。   13. The stream multiplexing transmission apparatus according to claim 12, wherein the input transmission rate estimation means estimates or detects a channel transmission rate and a packet length based on the number of bytes of the stream input to the channel buffer during a unit time period. A stream multiplexing transmission device characterized by the above. 請求項12に記載のストリーム多重化送出装置において、前記入力伝送レート推定手段は、ストリームに記述されている伝送レート情報又はストリーム上の時刻情報により入力ストリームの伝送レート及びパケット長を推定することを特徴とするストリーム多重化送出装置。   13. The stream multiplexing transmission apparatus according to claim 12, wherein the input transmission rate estimation means estimates the transmission rate and packet length of the input stream from transmission rate information described in the stream or time information on the stream. A stream multiplex transmission device characterized. 順次入力するストリームパケットを多重化して出力回線へ送出するストリーム多重化送出装置において、
入力したストリームパケットを一時的に蓄積するチャネルバッファをそれぞれ有し、多重化すべきストリームパケットを転送するチャネルを構成する複数の入力回線と、
選択されたチャネルのチャネルバッファから転送されてくるストリームパケットを多重化して出力回線へ出力するパケット多重化手段と、
入力ストリームに関する情報から各チャネルの伝送レート及びパケット長を推定又は検出する入力伝送レート推定手段と、
入力伝送レート推定手段から出力された各チャネルの伝送レート及びパケット長に関する情報を受け取り、当該パケット長、各チャネルの伝送レートをα倍(α≧1)だけ増大した仮想伝送レート、及び仮想伝送レートから求めた仮想多重化伝送レートを出力する仮想伝送レート設定手段と、
仮想伝送レート設定手段から出力された仮想多重化伝送レート、各チャネルの仮想伝送レート及びパケット長に関する情報を受け取り、チャネルの選択及びチャネル選択の時間間隔を制御する多重化制御手段と、
前記多重化制御手段により選択されたチャネルから前記パケット多重化手段へストリームパケットを転送すべきか否かを判定する送出判定手段とを具えることを特徴とするストリーム多重化送出装置。

In a stream multiplexing transmission device that multiplexes sequentially input stream packets and transmits them to an output line,
Each having a channel buffer for temporarily storing input stream packets, and a plurality of input lines constituting a channel for transferring stream packets to be multiplexed;
Packet multiplexing means for multiplexing stream packets transferred from the channel buffer of the selected channel and outputting them to the output line;
Input transmission rate estimation means for estimating or detecting the transmission rate and packet length of each channel from information about the input stream;
Receives information on the transmission rate and packet length of each channel output from the input transmission rate estimation means, and increases the packet length, the transmission rate of each channel by α times (α ≧ 1), and the virtual transmission rate Virtual transmission rate setting means for outputting the virtual multiplexed transmission rate obtained from
Multiplexing control means for receiving information on the virtual multiplexing transmission rate output from the virtual transmission rate setting means, the virtual transmission rate of each channel, and the packet length, and controlling channel selection and channel selection time intervals;
A stream multiplexing transmission apparatus comprising: a transmission determination unit that determines whether or not a stream packet should be transferred from the channel selected by the multiplexing control unit to the packet multiplexing unit.

JP2004345117A 2004-11-30 2004-11-30 Stream multiplexing transmission device Expired - Fee Related JP4558463B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004345117A JP4558463B2 (en) 2004-11-30 2004-11-30 Stream multiplexing transmission device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004345117A JP4558463B2 (en) 2004-11-30 2004-11-30 Stream multiplexing transmission device

Publications (2)

Publication Number Publication Date
JP2006157473A true JP2006157473A (en) 2006-06-15
JP4558463B2 JP4558463B2 (en) 2010-10-06

Family

ID=36635214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004345117A Expired - Fee Related JP4558463B2 (en) 2004-11-30 2004-11-30 Stream multiplexing transmission device

Country Status (1)

Country Link
JP (1) JP4558463B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015620A1 (en) * 2013-08-01 2015-02-05 富士通株式会社 Data transfer device, data output device, data transfer method, and data output method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0413390A (en) * 1990-05-02 1992-01-17 Oki Electric Ind Co Ltd Picture packet multiplexer
JPH0564175A (en) * 1991-09-03 1993-03-12 Nec Corp Adaptive multiplexing system
JPH09139720A (en) * 1995-08-31 1997-05-27 Victor Co Of Japan Ltd Multiplex method and multiplexer
JP2000232427A (en) * 1999-02-10 2000-08-22 Matsushita Electric Ind Co Ltd Data multiplex device/method
JP2002064822A (en) * 2000-08-17 2002-02-28 Sony Corp Statistical multiplex system, statistical multiplex controller and method for statistically multiplexing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0413390A (en) * 1990-05-02 1992-01-17 Oki Electric Ind Co Ltd Picture packet multiplexer
JPH0564175A (en) * 1991-09-03 1993-03-12 Nec Corp Adaptive multiplexing system
JPH09139720A (en) * 1995-08-31 1997-05-27 Victor Co Of Japan Ltd Multiplex method and multiplexer
JP2000232427A (en) * 1999-02-10 2000-08-22 Matsushita Electric Ind Co Ltd Data multiplex device/method
JP2002064822A (en) * 2000-08-17 2002-02-28 Sony Corp Statistical multiplex system, statistical multiplex controller and method for statistically multiplexing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015620A1 (en) * 2013-08-01 2015-02-05 富士通株式会社 Data transfer device, data output device, data transfer method, and data output method
JPWO2015015620A1 (en) * 2013-08-01 2017-03-02 富士通株式会社 Data transfer device, data output device, data transfer method, and data output method

Also Published As

Publication number Publication date
JP4558463B2 (en) 2010-10-06

Similar Documents

Publication Publication Date Title
US11432028B2 (en) Edge optimized transrating system
EP2137937B1 (en) Bandwidth allocation control in multiple video streaming
EP2396945B1 (en) Video streaming
KR101178853B1 (en) Method and apparatus for reducing channel change response times for internet protocol television
US8474001B2 (en) Near real time delivery of variable bit rate media streams
US20120230390A1 (en) Adaptive Control of Encoders for Continuous Data Streaming
KR20160086854A (en) Method for distributing available bandwidth of a network amongst ongoing traffic sessions run by devices of the network, corresponding device
US9013999B1 (en) Method and apparatus for egress jitter pacer
KR100982630B1 (en) Device and process for adjusting the bit rate of a stream of contents and associated products
CN113905257A (en) Video code rate switching method and device, electronic equipment and storage medium
JPH11289350A (en) Data transmitter
JP4558463B2 (en) Stream multiplexing transmission device
KR101625663B1 (en) Method and Apparatus for Receiving Content
EP3013013B1 (en) Networking device and method for buffer management in video streaming over a network
KR100732323B1 (en) Bandwidth control method and apparatus for transmission of auxiliary data in terrestiral dmb broadcasting system
KR100782343B1 (en) Method of streaming image
CN107483220B (en) Service quality control method, device and system
JP2001069483A (en) Image distribution system
JP4247888B2 (en) Video distribution system and video distribution method
JP2011040879A (en) Data distribution system, switching device, and data distribution method
WO2015135576A1 (en) Distributing media content services and alternative media content
EP2912817B1 (en) A method and apparatus for distributing media content services

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140730

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees