JP2003152789A - Method, program and device for controlling stream relay and medium with the program recorded thereon - Google Patents

Method, program and device for controlling stream relay and medium with the program recorded thereon

Info

Publication number
JP2003152789A
JP2003152789A JP2001348951A JP2001348951A JP2003152789A JP 2003152789 A JP2003152789 A JP 2003152789A JP 2001348951 A JP2001348951 A JP 2001348951A JP 2001348951 A JP2001348951 A JP 2001348951A JP 2003152789 A JP2003152789 A JP 2003152789A
Authority
JP
Japan
Prior art keywords
stream
packet
request
relay control
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001348951A
Other languages
Japanese (ja)
Other versions
JP3557188B2 (en
Inventor
Maki Tanigawa
真樹 谷川
Kiyoshi Yanagimoto
清 柳本
Shigehiko Ushijima
重彦 牛島
Shinya Hanano
真也 花野
Tatsuro Kimura
達郎 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001348951A priority Critical patent/JP3557188B2/en
Publication of JP2003152789A publication Critical patent/JP2003152789A/en
Application granted granted Critical
Publication of JP3557188B2 publication Critical patent/JP3557188B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To efficiently respond to request processing of each client in the case of distributing a large scale stream. SOLUTION: A stream information analyzing part 210 extracts a maximum UDP (user datagram protocol) packet size of stream contents from a stream information packet transmitted from a stream server, and a resource managing part 209, on the basis of the maximum UDP packet size, calculates a contents copying processing time needed to copy and distribute a stream data packet about the stream contents, and further calculates the total copying processing time to calculate the number of processable retransmission requests. If a request packet analyzing part 204 receives a retransmission request message packet from a client, the request packet analyzing part 204 judges whether or not the number of processable retransmission requests exceeds the number of retransmission requests during processing, and the retransmission request is accepted if the number of processable retransmission requests does not exceed the number of retransmission requests during processing.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、ネットワーク上で
大規模なストリームデータ配信サービスを効率的に実現
するためのストリーム中継制御方法、そのプログラム及
びそのプログラムを記録した媒体並びにストリーム中継
制御装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stream relay control method for efficiently realizing a large-scale stream data distribution service on a network, a program thereof, a medium recording the program, and a stream relay control device.

【0002】[0002]

【従来の技術】従来、インターネット上でストリーム配
信を行う場合、一般に、ストリームコンテンツの要求及
び設定を行うストリーム設定プロトコル、設定に基づい
てストリームコンテンツを配信するストリーム配信プロ
トコル及び配信中のストリームコンテンツパケットの配
信状況や配信品質の通知、サーバ・クライアント間の接
続状態の通知を行うストリーム制御プロトコルが用いら
れる。
2. Description of the Related Art Conventionally, when stream distribution is performed on the Internet, generally, a stream setting protocol for requesting and setting stream content, a stream distribution protocol for distributing stream content based on the setting, and a stream content packet being distributed. A stream control protocol is used to notify the delivery status and delivery quality, and the connection status between the server and the client.

【0003】IETF(Internet Engin
eering Task Force)で規定されるプ
ロトコルとしては、RTSP(Real Time S
trearming Protocol:RFC232
6)、RTP(Real−time Transpor
t Protocol:RFC1889)及びRTCP
(RTP Control Protocol:RFC
1889)が挙げられる。
IETF (Internet Engine)
RTSP (Real Time S) is a protocol defined by the "Eering Task Force".
streaming Protocol: RFC232
6), RTP (Real-time Transport)
t Protocol: RFC1889) and RTCP
(RTP Control Protocol: RFC
1889).

【0004】また、これら以外のプロトコルを用いてス
トリーム配信を行う際も、上記機能を持ったプロトコル
が利用されている。例として、Microsoft社の
MMSプロトコル、Real Network社のRD
T、PNAプロトコルなどが挙げられる。
Also, when stream distribution is performed using a protocol other than these, a protocol having the above function is used. Examples include Microsoft's MMS protocol, Real Network's RD.
T, PNA protocol and the like.

【0005】いずれのプロトコルにおいても、クライア
ントまでのネットワーク等でパケットが廃棄された場
合、当該パケットを再度サーバから送信させることで欠
落したパケットを回復させる、再送と呼ばれるメカニズ
ムを有することが一般的である。このメカニズムを図1
を用いて説明する。
In any of the protocols, it is common to have a mechanism called retransmission, in which when a packet is discarded in the network up to the client, the packet is transmitted again from the server to recover the missing packet. is there. This mechanism is shown in Figure 1.
Will be explained.

【0006】図1はストリーム中継網(ストリーム配信
ネットワーク)とその間で送受信されるパケットやメッ
セージの一例を示すもので、図中、101,102はク
ライアント、200はストリーム中継制御装置、300
はストリームサーバである。
FIG. 1 shows an example of a stream relay network (stream distribution network) and packets and messages transmitted and received between them. In the figure, 101 and 102 are clients, 200 is a stream relay control device, and 300.
Is a stream server.

【0007】(ストリーム配信設定処理)クライアント
101が特定のストリームコンテンツの受信要求メッセ
ージaをストリーム中継制御装置200に対して送信す
ると、ストリーム中継制御装置200は当該ストリーム
コンテンツが既に自装置で配信中かどうかを確認し、配
信中でない場合はストリームサーバ300に当該ストリ
ーム受信要求メッセージa’を送信する。
(Stream distribution setting process) When the client 101 transmits a reception request message a of a specific stream content to the stream relay control device 200, the stream relay control device 200 determines whether the stream content is already distributed by itself. If it is not being distributed, the stream reception request message a ′ is transmitted to the stream server 300.

【0008】当該メッセージを受信したストリームサー
バ300は、通常、ストリーム受信許可メッセージbを
ストリーム中継制御装置200に対して応答する。スト
リーム中継制御装置200では、当該メッセージb’を
クライアント101に対して送信する。
The stream server 300 that has received the message normally responds to the stream relay control device 200 with a stream reception permission message b. The stream relay control device 200 transmits the message b ′ to the client 101.

【0009】このシーケンス処理終了に伴い、ストリー
ムサーバ300から当該ストリーム(データ)パケット
1,2,…がストリーム中継制御装置200に対して送
信され、当該ストリームパケットを受信したストリーム
中継制御装置200は現在の配信対象を検索し、クライ
アント101にのみ当該ストリームパケット1,2,…
を送信する。
Upon completion of this sequence processing, the stream server 300 transmits the stream (data) packets 1, 2, ... To the stream relay control apparatus 200, and the stream relay control apparatus 200 that has received the stream packet is currently Of the stream packets 1, 2, ...
To send.

【0010】次に、クライアント102においても当該
ストリームコンテンツを受信しようとする場合、クライ
アント102はストリーム中継制御装置200に対して
当該ストリームコンテンツの受信要求メッセージcを送
信する。
Next, when the client 102 also wants to receive the stream content, the client 102 sends a reception request message c for the stream content to the stream relay control device 200.

【0011】当該メッセージを受信したストリーム中継
制御装置200は当該ストリームコンテンツが既に自装
置で配信中であることを確認し、ストリーム受信許可メ
ッセージdをクライアント102に対して送信する。
Upon receiving the message, the stream relay control device 200 confirms that the stream content is already being distributed by itself, and sends a stream reception permission message d to the client 102.

【0012】このシーケンス処理終了に伴い、ストリー
ム中継制御装置200はストリームサーバ300から送
信されたストリームパケットを受信した時、クライアン
ト101,102に対して当該パケットを複製した上で
送信する。
Upon completion of this sequence processing, when the stream relay control device 200 receives the stream packet transmitted from the stream server 300, the stream relay control device 200 duplicates the packet and transmits it to the clients 101 and 102.

【0013】(再送要求処理)ストリームパケット受信
中に特定のパケットが中継ネットワークでの廃棄等の原
因により欠落した場合、クライアントは上流サーバ等に
対して当該パケットの再送を要求する。図1の場合、ク
ライアント101はストリームパケット3を受信できな
かったことを認識し、ストリーム中継制御装置200に
対してストリームパケット3の再送要求メッセージeを
送信する。ストリーム中継制御装置200では、当該メ
ッセージeを受信して内容を解析し、クライアント10
1に対して要求されたストリームパケット3を再送信す
る。
(Retransmission request processing) If a specific packet is dropped during stream packet reception due to discarding in the relay network, the client requests the upstream server or the like to retransmit the packet. In the case of FIG. 1, the client 101 recognizes that the stream packet 3 could not be received, and transmits the retransmission request message e of the stream packet 3 to the stream relay control device 200. The stream relay control device 200 receives the message e, analyzes the content, and
Retransmit stream packet 3 requested for 1.

【0014】[0014]

【発明が解決しようとする課題】上記の再送処理を行う
場合、ネットワークの通信品質状況によっては、ストリ
ーム中継制御装置200やストリームサーバ300にお
いて、各クライアントから再送要求が大量に発生するこ
とによるメッセージ処理輻輳が生じてしまう可能性があ
る。この場合、当該メッセージに応じた再送要求処理に
よるストリームパケットコピー処理の割り込みのため
に、ストリームパケットのコピー処理自身も行えなくな
ってしまい、さらに再送要求が頻発してしまう可能性が
ある。
When performing the above-mentioned retransmission processing, depending on the communication quality situation of the network, message processing due to a large number of retransmission requests from each client in the stream relay control device 200 or stream server 300. Congestion may occur. In this case, the stream packet copy process itself cannot be performed due to the interruption of the stream packet copy process by the resend request process corresponding to the message, and the resend request may occur frequently.

【0015】また、クライアントによっては、ネットワ
ーク品質が非常に劣化しているために再送要求メッセー
ジの大量送信を行う場合があるが、このようなクライア
ントに対して再送要求処理を行ったとしても再びパケッ
ト廃棄が生じ、同一パケットの再送要求が頻発してしま
う可能性があり、ストリーム中継制御装置等の有する再
送要求処理リソースの浪費になる可能性がある。
In addition, depending on the client, the network quality may be so deteriorated that a large amount of resend request messages may be sent. Even if resend request processing is performed for such a client, the packet is retransmitted. There is a possibility that discarding will occur, and retransmission requests for the same packet will occur frequently, and there is a possibility that the retransmission request processing resources of the stream relay control device and the like will be wasted.

【0016】上記の問題に対して、予め再送要求処理受
付数を定めておき、その数以上の要求がきた場合には処
理を行わないという方法が考えられるが、その場合に
は、実際にはより多くの要求を受け付けられるリソース
を有しているにも拘わらず、要求処理を行わないために
クライアントの視聴品質が劣化してしまったり、反対
に、既に再送要求処理リソースを割り当てることができ
なくなっているにも拘わらず、再送要求処理を受け付け
てしまったために処理能力オーバーとなり、新たなパケ
ット廃棄を起こしてしまうという問題があった。
In order to solve the above problem, a method may be considered in which the number of requests for retransmission request processing is set in advance and the processing is not performed when the number of requests exceeds the number, but in that case, in practice, Despite having resources that can accept more requests, the viewing quality of the client will deteriorate because request processing is not performed, or conversely, it will no longer be possible to allocate retransmission request processing resources. However, there is a problem that the processing capacity is exceeded because the retransmission request processing is accepted and a new packet is discarded.

【0017】これまで説明したように、従来の技術で
は、ネットワーク品質の低下等に起因したストリームパ
ケットの大量廃棄による、各クライアントからの再送要
求処理が頻発した場合、ストリームサーバあるいはスト
リーム中継制御装置での当該要求処理可能リソースを越
えてしまい、その結果としてサーバ自身でのパケット廃
棄による、さらなる再送要求を招いてしまうという問題
があった。
As described above, according to the conventional technique, when retransmission request processing from each client occurs frequently due to a large amount of stream packets being discarded due to deterioration of network quality, etc., the stream server or stream relay control device However, there is a problem that the request processing resources are exceeded, and as a result, the server itself discards the packet, which causes a further retransmission request.

【0018】これを解決しようとして、予め定めた再送
要求処理受付数に従って要求受付処理を行った場合は、
実際の処理可能リソースとの乖離のため、クライアント
の視聴品質の劣化あるいはサーバ自身での処理能力オー
バーによるクライアントでの新たな再送要求を引き起こ
してしまうという問題があった。
In order to solve this, when the request reception processing is performed according to the predetermined number of retransmission request processing receptions,
Due to the difference from the actual processable resources, there is a problem that the client's viewing quality is deteriorated or a new retransmission request is caused at the client due to the server's own processing capacity being exceeded.

【0019】本発明は、このような背景に鑑みてなされ
たものであり、大規模なストリーム配信を行った状況
で、効率的にクライアント毎の要求処理に応答可能とす
ることを目的としている。
The present invention has been made in view of such a background, and it is an object of the present invention to efficiently respond to request processing for each client in a situation where large-scale stream distribution is performed.

【0020】[0020]

【課題を解決するための手段】上記目的を達成するた
め、本発明のストリーム中継制御方法では、クライアン
トから送信されたパケットを受信し、当該パケットを解
析し、コンテンツ視聴要求もしくはコンテンツ視聴停止
要求である時、当該コンテンツ同時配信数を計数した上
で配信処理リソース量を算出し 再送処理可能リソース
量を推定し、クライアントから送信されたパケットを受
信し、当該パケットを解析し、パケット再送要求である
時、再送処理可能かの比較演算処理を行い、再送処理可
能な場合、要求されたパケットをクライアントに送信す
ることを特徴とする。
To achieve the above object, in the stream relay control method of the present invention, a packet transmitted from a client is received, the packet is analyzed, and a content viewing request or a content viewing stop request is issued. At some point, the number of simultaneous deliveries of the content is calculated, the amount of delivery processing resources is calculated, the amount of retransmittable resources is estimated, the packet sent from the client is received, the packet is analyzed, and a packet resend request is made. At this time, a comparison calculation process is performed to determine whether or not retransmission processing is possible, and when retransmission processing is possible, the requested packet is transmitted to the client.

【0021】また、本発明では、ストリームサーバから
送信されたストリームデータパケットよりストリーム情
報要素を解析し、配信処理リソース量を算出することを
特徴とする。
Further, the present invention is characterized in that the stream information element is analyzed from the stream data packet transmitted from the stream server, and the distribution processing resource amount is calculated.

【0022】また、本発明では、ストリーム情報要素の
値に応じて再送処理可能リソース量を推定することを特
徴とする。
Further, the present invention is characterized in that the amount of retransmittable resources is estimated according to the value of the stream information element.

【0023】また、本発明では、クライアントから送信
されたパケット再送要求メッセージより要求パケット数
を解析し、当該数に応じて再送要求処理可能かの比較演
算処理を行い、再送処理可能な場合、要求されたパケッ
トをクライアントに対して送信することを特徴とする。
Further, according to the present invention, the number of request packets is analyzed from the packet resend request message sent from the client, and a comparison calculation process is performed according to the number to determine whether resend request processing is possible. The transmitted packet is sent to the client.

【0024】また、本発明では、再送処理可能リソース
量を推定する際、ストリームデータパケットサイズと、
最大転送可能パケットサイズとから当該ストリームデー
タパケットをコピー処理するための時間を推定し、当該
ストリームコンテンツの同時視聴数が増加もしくは減少
する際にストリーム中継制御装置全体のコピー処理時間
を算出し、再送要求処理可能数を推定し、クライアント
から再送要求が発生した場合、現在の再送処理中数と再
送要求処理可能数とを比較し、再送要求処理可能数の方
が大きい場合は当該要求を受け付け、再送要求処理可能
数のほうが小さい場合は当該要求を受け付けないことを
特徴とする。
Further, according to the present invention, the stream data packet size and the
Estimate the time to copy the stream data packet from the maximum transferable packet size, calculate the copy processing time of the entire stream relay control device when the number of simultaneous viewing of the stream content increases or decreases, and resend Estimate the number of requests that can be processed, and if a retransmission request is generated from the client, compare the current number of times retransmission processing is in progress and the number of retransmission requests that can be processed, and if the number of retransmission requests that can be processed is greater, accept the request. The feature is that the request is not accepted when the number of retransmit request processes is smaller.

【0025】なお、これらのストリーム中継制御方法
は、前述した各処理をコンピュータ上で実行するプログ
ラム、もしくは該プログラムを記録したコンピュータ読
み取り可能な媒体によっても実現できる。
Note that these stream relay control methods can also be realized by a program for executing the above-described processes on a computer, or a computer-readable medium recording the program.

【0026】また、本発明のストリーム中継制御装置で
は、ストリームサーバから送信されたストリームデータ
パケットを受信する手段と、当該ストリームデータパケ
ットを格納する共通メモリと、当該ストリームデータパ
ケットを少なくとも1つのクライアントに転送する手段
と、クライアントから送信されたパケットを受信する手
段と、当該パケットの情報を解析する手段と、要求受付
可能リソース量を算出する手段と、再送要求の受付可能
性を判断する手段と、当該要求に対するストリームデー
タパケットをクライアントに転送する手段とを具備した
ことを特徴とする。
Further, in the stream relay control device of the present invention, means for receiving the stream data packet transmitted from the stream server, a common memory for storing the stream data packet, and the stream data packet for at least one client. A means for transferring, a means for receiving the packet transmitted from the client, a means for analyzing the information of the packet, a means for calculating the request receivable resource amount, a means for judging the acceptability of the resend request, Means for transferring a stream data packet for the request to the client.

【0027】また、本発明では、ストリームサーバから
送信されたパケットよりストリーム情報要素を解析する
手段を具備したことを特徴とする。
Further, the present invention is characterized by comprising means for analyzing the stream information element from the packet transmitted from the stream server.

【0028】これらにより、ストリーム中継制御装置の
残余リソース量に応じて、クライアントからのストリー
ムパケット再送要求を処理することで、大規模ストリー
ム配信を効率的に行うことが可能となる。
As a result, by processing the stream packet retransmission request from the client according to the remaining resource amount of the stream relay control device, it becomes possible to efficiently perform the large-scale stream distribution.

【0029】[0029]

【発明の実施の形態】[第1の実施の形態]本発明の第
1の実施の形態について、図2乃至図6を参照して説明
する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [First Embodiment] A first embodiment of the present invention will be described with reference to FIGS.

【0030】図2はストリーム中継制御装置の主要ブロ
ック構成を示すもので、図中、201a,201bは外
部との回線、202a,202bは回線終端部、203
a,203bはパケット振り分け部、204はリクエス
トパケット解析部、205は再送要求処理部、206は
コピー処理部、207は再送要求受付部、208は共通
メモリ、209はリソース管理部、210はストリーム
情報解析部である。
FIG. 2 shows the main block configuration of the stream relay control device. In the figure, 201a and 201b are lines to the outside, 202a and 202b are line termination units, and 203.
a and 203b are packet distribution units, 204 is a request packet analysis unit, 205 is a retransmission request processing unit, 206 is a copy processing unit, 207 is a retransmission request reception unit, 208 is a common memory, 209 is a resource management unit, and 210 is stream information. It is an analysis unit.

【0031】なお、ストリーム中継網全体の構成、その
間で送受信されるパケットやメッセージは従来の場合と
同様である。
The structure of the entire stream relay network and the packets and messages transmitted and received between them are the same as in the conventional case.

【0032】(再送処理可能数算出処理)まず、再送処
理可能数算出処理について説明する。
(Resendable Number Calculation Process) First, the resendable number calculation process will be described.

【0033】ストリーム中継制御装置200において、
ストリームサーバ300から送信されたストリームの各
種のプロパティが含まれたストリーム情報パケットを回
線201a及び回線終端部202aを経由して受信する
と、パケット振り分け部203aで当該パケットがスト
リーム情報パケットであることを解析し(図3のステッ
プs1)、ストリーム情報解析部210に出力し(図3
のステップs2)、そこで当該ストリームコンテンツの
情報要素を抽出する。具体的には、当該ストリームコン
テンツの最大UDPパケットサイズ(Max Pack
et Size)を抽出する。
In the stream relay control device 200,
When the stream information packet including various properties of the stream transmitted from the stream server 300 is received via the line 201a and the line termination unit 202a, the packet distribution unit 203a analyzes that the packet is a stream information packet. (Step s1 in FIG. 3), and outputs it to the stream information analysis unit 210 (see FIG.
In step s2), the information element of the stream content is extracted. Specifically, the maximum UDP packet size (Max Pack) of the stream content is
et Size).

【0034】その後、リソース管理部209において、
当該ストリームコンテンツについて、ストリームサーバ
300から送信されたストリームパケットをコピー配信
するために必要なコンテンツコピー処理時間(Cont
ent Copy Cost)を以下の式に従い算出す
る(図4のステップs11,s12)。
Then, in the resource management unit 209,
Regarding the stream content, the content copy processing time (Cont) required to copy and deliver the stream packet transmitted from the stream server 300.
ent Copy Cost) is calculated according to the following formula (steps s11 and s12 in FIG. 4).

【0035】 Content Copy Cost i=(CCAlfa*(MTU+C CBeta)*RD+(CCAlfa*(MPS i−MTU*RD)+CCB eta) ……(1) 但し、RD=Round Down(MPS i/MT
U) MPS i:当該コンテンツiのMax Packet
Size MTU:コンテンツ受信IFのMTUサイズ CCAlfa,CCBeta:算出用定数 次に、トータルコピー処理時間(Total Copy
Cost)を以下の式に従い算出する(図4のステッ
プs13)。
Content Copy Cost i = (CCAlfa * (MTU + CCBeta) * RD + (CCAlfa * (MPS i-MTU * RD) + CCB eta) (1) However, RD = Round Down (MPS i / MT
U) MPS i: Max Packet of the content i
Size MTU: MTU size of content reception IF CCAlfa, CCBeta: constant for calculation Next, total copy processing time (Total Copy)
Cost) is calculated according to the following formula (step s13 in FIG. 4).

【0036】 Total Copy Cost:=Total Copy Cost +Copy Cost i(新規接続時) ……(2) Total Copy Cost:=Total Copy Cost −Copy Cost i(切断時) ……(3) 但し、クライアントが当該コンテンツに新規接続してき
た場合には式(2)により算出し、切断要求してきた場
合には式(3)により算出する。
Total Copy Cost: = Total Copy Cost + Copy Cost i (at the time of new connection) (2) Total Copy Cost: = Total Copy Cost-Copy Cost i (during disconnection) (3) However, when the client newly connects to the content, the calculation is performed by the equation (2), and when the disconnection request is made, the calculation is performed by the equation (3).

【0037】次に、再送要求処理可能数を以下の式に従
い算出する(図4のステップs14)。
Next, the number of resend requests that can be processed is calculated according to the following formula (step s14 in FIG. 4).

【0038】 Remain Num=(100−Total Copy Cost) /Process Time ……(4) 但し、Process Time:再送要求処理可能時
間 なお、その後、クライアントの接続数に変動があった場
合は、その都度、トータルコピー処理時間及び再送要求
処理可能数を再計算する(図4のステップs15,s1
6,s17)。
Remain Num = (100-Total Copy Cost) / Process Time (4) However, Process Time: Retransmission request processable time Note that if the number of client connections fluctuates after that, each time, The total copy processing time and the number of retransmit request processes that can be processed are recalculated (steps s15 and s1 in FIG. 4).
6, s17).

【0039】(再送要求受付処理)次に、クライアント
から再送要求メッセージパケットが送信された場合の、
ストリーム中継制御装置200での再送要求受付処理の
流れについて説明する。
(Resend Request Acceptance Process) Next, when a resend request message packet is transmitted from the client,
The flow of retransmission request acceptance processing in the stream relay control device 200 will be described.

【0040】まず、クライアントからのパケットを回線
201b及び回線終端部202bを経由して受信する。
パケット振り分け部203bでクライアントからのスト
リームパケット再送要求パケットであることを識別し、
リクエストパケット解析部204に通知する(図3のス
テップs1,s3)。
First, the packet from the client is received via the line 201b and the line terminating unit 202b.
The packet distribution unit 203b identifies that the packet is a stream packet retransmission request packet from the client,
The request packet analysis unit 204 is notified (steps s1 and s3 in FIG. 3).

【0041】次に、リクエストパケット解析部204で
は、以下の判断式に従い、再送要求受付可能かを判断す
る(図5のステップs21)。
Next, the request packet analysis unit 204 determines whether or not the retransmission request can be accepted according to the following determination formula (step s21 in FIG. 5).

【0042】もし、Remain Num−Resen
d Process Num>0ならば再送要求を受け
付ける(但し、Resend Process Nu
m:再送処理中数)。
If Remain Num-Resen
If d Process Num> 0, the resend request is accepted (however, Resend Process Nu
m: number of retransmission processes in progress).

【0043】再送要求を受け付けた場合には、再送処理
可能数を1減算し(図5のステップs22)、再送要求
中数(Resend Process Num)を1加
算する(図5のステップs23)。なお、Remain
Num−Resend Process Num≦0
ならば、クライアントに要求不許可のパケットを送信す
る(図5のステップs24)。
When the resend request is accepted, the resendable number is subtracted by 1 (step s22 in FIG. 5), and the resend request number (Resend Process Num) is incremented by 1 (step s23 in FIG. 5). In addition, Remain
Num-Resend Process Num ≦ 0
If so, the request-denied packet is transmitted to the client (step s24 in FIG. 5).

【0044】また、再送処理が終了した場合には、再送
要求中数(Resend Process Num)を
1減算する(図6のステップs31)。
When the resend process is completed, the resend request number (Resend Process Num) is decremented by 1 (step s31 in FIG. 6).

【0045】以上説明した第1の実施の形態により、ス
トリーム中継制御装置の処理リソースに応じて、クライ
アントからのストリームパケット再送要求処理を行うこ
とができるようになる。
According to the first embodiment described above, it becomes possible to perform the stream packet retransmission request process from the client according to the processing resource of the stream relay control device.

【0046】[第2の実施の形態]本発明の第2の実施
の形態について、図7を参照して説明する。なお、第1
の実施の形態と同じ処理をする部分については説明を省
略する場合がある。
[Second Embodiment] A second embodiment of the present invention will be described with reference to FIG. The first
Descriptions of parts that perform the same processes as those in the embodiment may be omitted.

【0047】図7はストリーム中継制御装置の主要ブロ
ック構成を示すもので、ここでは図1に示した第1の実
施の形態での構成に加えて、要求数解析部211を有し
ているところに特徴がある。
FIG. 7 shows a main block configuration of the stream relay control device. Here, in addition to the configuration of the first embodiment shown in FIG. 1, a request number analysis unit 211 is provided. Is characterized by.

【0048】(再送要求受付処理)クライアントから再
送要求メッセージパケットが送信された場合の、ストリ
ーム中継制御装置200での再送要求受付処理の流れに
ついて説明する。
(Retransmission Request Acceptance Process) The flow of the retransmission request acceptance process in the stream relay control device 200 when a retransmission request message packet is transmitted from the client will be described.

【0049】リクエストパケット解析部204で、クラ
イアントからのストリームパケット再送要求パケットを
解析した後、要求数解析部211にストリームパケット
再送要求メッセージ情報を通知する。要求数解析部21
1では、当該メッセージ中に格納されている、再送要求
UDPパケット数を解析する。その結果、1つの再送要
求メッセージ中に、ある一定数以上の再送要求パケット
数が格納されていた場合は、当該クライアントの要求を
受け付けない。
The request packet analysis unit 204 analyzes the stream packet retransmission request packet from the client, and then notifies the request number analysis unit 211 of the stream packet retransmission request message information. Request number analysis unit 21
In 1, the number of retransmission request UDP packets stored in the message is analyzed. As a result, if one retransmission request message contains a certain number or more of retransmission request packets, the request from the client is not accepted.

【0050】以上説明した第2の実施の形態により、当
該クライアントのネットワーク品質が著しく低下してい
ることによる大量のストリームパケットの廃棄に伴う大
量の再送要求に対し、当該クライアントの要求を受け付
けないことでストリーム中継制御装置200の再送処理
可能リソースの浪費を防ぐことが可能となる。また、こ
の処理により、再送要求を頻発してしまうような異常な
クライアントからのストリームパケット再送要求に対し
ても、ストリーム中継制御装置200の再送処理可能リ
ソースの浪費を防ぐことが可能となる。
According to the second embodiment described above, the request of the client is not accepted in response to a large number of retransmission requests due to the discarding of a large number of stream packets due to the network quality of the client being significantly deteriorated. As a result, it is possible to prevent waste of resources that can be resent by the stream relay control device 200. Further, by this processing, it is possible to prevent the retransmission processable resource of the stream relay control device 200 from being wasted even in the case of a stream packet retransmission request from an abnormal client that frequently issues a retransmission request.

【0051】前述した説明において、コピーコストの算
出式として式(1)の場合の説明を行ったが、Max
Packet Sizeに比例したコピーコスト算出式
を用いたり、コピーコストを固定値で算出した上で、再
送処理可能数を算出することは容易に可能である。
In the above description, the case of Expression (1) has been described as the copy cost calculation expression.
It is easily possible to use the copy cost calculation formula proportional to the Packet Size, or to calculate the copy cost with a fixed value, and then to calculate the retransmittable number.

【0052】[0052]

【発明の効果】以上説明したように、本発明によれば、
大規模なストリーム配信を行った状況で、ストリーム中
継制御装置のリソース量に応じて効率的にクライアント
毎の要求処理に応答することが可能となる。
As described above, according to the present invention,
In a situation where a large-scale stream distribution is performed, it becomes possible to efficiently respond to the request processing for each client according to the resource amount of the stream relay control device.

【図面の簡単な説明】[Brief description of drawings]

【図1】ストリーム中継網とその間で送受信されるパケ
ットやメッセージの一例を示す説明図
FIG. 1 is an explanatory diagram showing an example of packets and messages transmitted and received between a stream relay network and the stream relay network.

【図2】本発明のストリーム中継制御装置の第1の実施
の形態を示す構成図
FIG. 2 is a configuration diagram showing a first embodiment of a stream relay control device of the present invention.

【図3】パケット振り分け処理の流れ図FIG. 3 is a flow chart of packet distribution processing.

【図4】再送処理可能数算出処理の流れ図FIG. 4 is a flowchart of a process for calculating the number of retransmittable processes

【図5】再送要求受付処理の流れ図FIG. 5 is a flowchart of a resend request acceptance process.

【図6】再送処理終了処理の流れ図FIG. 6 is a flowchart of retransmission processing end processing.

【図7】本発明のストリーム中継制御装置の第2の実施
の形態を示す構成図
FIG. 7 is a configuration diagram showing a second embodiment of a stream relay control device of the present invention.

【符号の説明】[Explanation of symbols]

101,102:クライアント、200:ストリーム中
継制御装置、201a,201b:外部との回線、20
2a,202b:回線終端部、203a,203b:パ
ケット振り分け部、204:リクエストパケット解析
部、205:再送要求処理部、206:コピー処理部、
207:再送要求受付部、208:共通メモリ、20
9:リソース管理部、210:ストリーム情報解析部、
211:要求数解析部、300:ストリームサーバ。
101, 102: client, 200: stream relay control device, 201a, 201b: external line, 20
2a, 202b: line termination unit, 203a, 203b: packet distribution unit, 204: request packet analysis unit, 205: retransmission request processing unit, 206: copy processing unit,
207: Retransmission request receiving unit, 208: Common memory, 20
9: resource management unit, 210: stream information analysis unit,
211: Request number analysis unit, 300: Stream server.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 牛島 重彦 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 花野 真也 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 木村 達郎 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5C056 FA05 HA04 HA11 5C064 BA07 BB05 BC11 BC18 BC20 BD02 BD08 5K030 GA01 HA08 HB02 JT04 LA01 LD07    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Shigehiko Ushijima             2-3-1, Otemachi, Chiyoda-ku, Tokyo             Inside Telegraph and Telephone Corporation (72) Inventor Shinya Hanano             2-3-1, Otemachi, Chiyoda-ku, Tokyo             Inside Telegraph and Telephone Corporation (72) Inventor Tatsuro Kimura             2-3-1, Otemachi, Chiyoda-ku, Tokyo             Inside Telegraph and Telephone Corporation F-term (reference) 5C056 FA05 HA04 HA11                 5C064 BA07 BB05 BC11 BC18 BC20                       BD02 BD08                 5K030 GA01 HA08 HB02 JT04 LA01                       LD07

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 ストリームサーバから送信されたストリ
ームデータパケットを受信し、当該ストリームデータパ
ケットを少なくとも1つのクライアントに送信するスト
リーム中継制御装置におけるストリーム中継制御方法で
あって、 クライアントから送信されたパケットを受信し、当該パ
ケットを解析し、コンテンツ視聴要求もしくはコンテン
ツ視聴停止要求である時、当該コンテンツ同時配信数を
計数した上で配信処理リソース量を算出し、再送処理可
能リソース量を推定し、 クライアントから送信されたパケットを受信し、当該パ
ケットを解析し、パケット再送要求である時、再送処理
可能かの比較演算処理を行い、 再送処理可能な場合、要求されたパケットをクライアン
トに送信することを特徴とするストリーム中継制御方
法。
1. A stream relay control method in a stream relay control device for receiving a stream data packet transmitted from a stream server and transmitting the stream data packet to at least one client, the packet being transmitted from a client. When the packet is received, the packet is analyzed, and when it is a content viewing request or a content viewing stop request, the delivery processing resource amount is calculated after counting the number of simultaneous delivery of the content, and the retransmittable resource amount is estimated. The feature is that it receives a transmitted packet, analyzes the packet, performs a comparison calculation process to determine whether a retransmission process is possible when the packet is a retransmission request, and transmits the requested packet to the client when the retransmission process is possible. Stream relay control method.
【請求項2】 請求項1記載のストリーム中継制御方法
において、 ストリームサーバから送信されたストリームデータパケ
ットよりストリーム情報要素を解析し、配信処理リソー
ス量を算出することを特徴とするストリーム中継制御方
法。
2. The stream relay control method according to claim 1, wherein the stream information element is analyzed from the stream data packet transmitted from the stream server, and the distribution processing resource amount is calculated.
【請求項3】 請求項2記載のストリーム中継制御方法
において、 ストリーム情報要素の値に応じて再送処理可能リソース
量を推定することを特徴とするストリーム中継制御方
法。
3. The stream relay control method according to claim 2, wherein the retransmittable resource amount is estimated according to the value of the stream information element.
【請求項4】 請求項1記載のストリーム中継制御方法
において、 クライアントから送信されたパケット再送要求メッセー
ジより要求パケット数を解析し、当該数に応じて再送要
求処理可能かの比較演算処理を行い、 再送処理可能な場合、要求されたパケットをクライアン
トに対して送信することを特徴とするストリーム中継制
御方法。
4. The stream relay control method according to claim 1, wherein the number of request packets is analyzed from the packet resend request message transmitted from the client, and a comparison calculation process is performed according to the number to determine whether resend request processing is possible. A method for controlling stream relay, which comprises transmitting a requested packet to a client when retransmission processing is possible.
【請求項5】 請求項1記載のストリーム中継制御方法
において、 再送処理可能リソース量を推定する際、ストリームデー
タパケットサイズと、 最大転送可能パケットサイズとから当該ストリームデー
タパケットをコピー処理するための時間を推定し、 当該ストリームコンテンツの同時視聴数が増加もしくは
減少する際にストリーム中継制御装置全体のコピー処理
時間を算出し、再送要求処理可能数を推定し、 クライアントから再送要求が発生した場合、現在の再送
処理中数と再送要求処理可能数とを比較し、 再送要求処理可能数の方が大きい場合は当該要求を受け
付け、再送要求処理可能数のほうが小さい場合は当該要
求を受け付けないことを特徴とするストリーム中継制御
方法。
5. The stream relay control method according to claim 1, wherein, when estimating a retransmittable resource amount, a time for copying the stream data packet from a stream data packet size and a maximum transferable packet size. When the number of simultaneous viewing of the stream content increases or decreases, the copy processing time of the entire stream relay control device is calculated, the number of resend requests that can be processed is estimated, and if a resend request is generated from the client, The number of retransmission requests being processed is compared with the number of retransmission requests that can be processed, and if the number of retransmission requests that can be processed is larger, the request is accepted, and if the number of retransmission requests that can be processed is smaller, the request is not accepted. Stream relay control method.
【請求項6】 ストリームサーバから送信されたストリ
ームデータパケットを受信し、当該ストリームデータパ
ケットを少なくとも1つのクライアントに送信するスト
リーム中継制御装置におけるストリーム中継制御プログ
ラムであって、 該プログラムはストリーム中継制御装置を構成するコン
ピュータ上で、 クライアントから送信されたパケットを受信し、当該パ
ケットを解析し、コンテンツ視聴要求もしくはコンテン
ツ視聴停止要求である時、当該コンテンツ同時配信数を
計数した上で配信処理リソース量を算出し、再送処理可
能リソース量を推定し、 クライアントから送信されたパケットを受信し、当該パ
ケットを解析し、パケット再送要求である時、再送処理
可能かの比較演算処理を行い、 再送処理可能な場合、要求されたパケットをクライアン
トに送信する処理を実行することを特徴とするストリー
ム中継制御プログラム。
6. A stream relay control program in a stream relay control device for receiving a stream data packet transmitted from a stream server and transmitting the stream data packet to at least one client, the program being a stream relay control device. On the computer that configures, the packet sent from the client is received, the packet is analyzed, and when it is a content viewing request or a content viewing stop request, the distribution processing resource amount is calculated after counting the number of simultaneous distribution of the content. Calculate, estimate the amount of resources that can be retransmitted, receive the packet sent from the client, analyze the packet, and when the packet is a retransmission request, perform a comparison calculation process to determine whether the packet can be retransmitted. If the requested packet The stream relay control program and executes the process of sending to the client.
【請求項7】 請求項6記載のストリーム中継制御プロ
グラムにおいて、 ストリームサーバから送信されたストリームデータパケ
ットよりストリーム情報要素を解析し、配信処理リソー
ス量を算出することを特徴とするストリーム中継制御プ
ログラム。
7. The stream relay control program according to claim 6, wherein the stream information element is analyzed from the stream data packet transmitted from the stream server, and the distribution processing resource amount is calculated.
【請求項8】 請求項7記載のストリーム中継制御プロ
グラムにおいて、 ストリーム情報要素の値に応じて再送処理可能リソース
量を推定することを特徴とするストリーム中継制御プロ
グラム。
8. The stream relay control program according to claim 7, wherein the retransmission processable resource amount is estimated according to the value of the stream information element.
【請求項9】 請求項6記載のストリーム中継制御プロ
グラムにおいて、 クライアントから送信されたパケット再送要求メッセー
ジより要求パケット数を解析し、当該数に応じて再送要
求処理可能かの比較演算処理を行い、 再送処理可能な場合、要求されたパケットをクライアン
トに対して送信することを特徴とするストリーム中継制
御プログラム。
9. The stream relay control program according to claim 6, wherein the number of request packets is analyzed from the packet resend request message transmitted from the client, and a comparison calculation process is performed according to the number to determine whether resend request processing is possible. A stream relay control program, which transmits a requested packet to a client when retransmission processing is possible.
【請求項10】 請求項6記載のストリーム中継制御プ
ログラムにおいて、 再送処理可能リソース量を推定する際、ストリームデー
タパケットサイズと、最大転送可能パケットサイズとか
ら当該ストリームデータパケットをコピー処理するため
の時間を推定し、 当該ストリームコンテンツの同時視聴数が増加もしくは
減少する際にストリーム中継制御装置全体のコピー処理
時間を算出し、再送要求処理可能数を推定し、 クライアントから再送要求が発生した場合、現在の再送
処理中数と再送要求処理可能数とを比較し、 再送要求処理可能数の方が大きい場合は当該要求を受け
付け、再送要求処理可能数のほうが小さい場合は当該要
求を受け付けないことを特徴とするストリーム中継制御
プログラム。
10. The stream relay control program according to claim 6, wherein a time for copying the stream data packet from the stream data packet size and the maximum transferable packet size when estimating the retransmittable resource amount. When the number of simultaneous viewing of the stream content increases or decreases, the copy processing time of the entire stream relay control device is calculated, the number of resend requests that can be processed is estimated, and if a resend request is generated from the client, The number of retransmission requests being processed is compared with the number of retransmission requests that can be processed, and if the number of retransmission requests that can be processed is larger, the request is accepted, and if the number of retransmission requests that can be processed is smaller, the request is not accepted. And a stream relay control program.
【請求項11】 請求項6乃至10いずれか記載のスト
リーム中継制御プログラムを記録したことを特徴とする
コンピュータ読み取り可能な媒体。
11. A computer-readable medium on which the stream relay control program according to claim 6 is recorded.
【請求項12】 ストリームサーバとクライアントとの
間でストリームデータパケットを中継するストリーム中
継制御装置であって、 ストリームサーバから送信されたストリームデータパケ
ットを受信する手段と、 当該ストリームデータパケットを格納する共通メモリ
と、 当該ストリームデータパケットを少なくとも1つのクラ
イアントに転送する手段と、 クライアントから送信されたパケットを受信する手段
と、 当該パケットの情報を解析する手段と、 要求受付可能リソース量を算出する手段と、 再送要求の受付可能性を判断する手段と、 当該要求に対するストリームデータパケットをクライア
ントに転送する手段とを具備したことを特徴とするスト
リーム中継制御装置。
12. A stream relay control device for relaying a stream data packet between a stream server and a client, comprising: a means for receiving the stream data packet transmitted from the stream server; and a common means for storing the stream data packet. A memory, a means for transferring the stream data packet to at least one client, a means for receiving the packet transmitted from the client, a means for analyzing the information of the packet, and a means for calculating the request acceptable resource amount A stream relay control device comprising: means for determining acceptability of a retransmission request; and means for transferring a stream data packet for the request to a client.
【請求項13】 請求項12記載のストリーム中継制御
装置において、 ストリームサーバから送信されたストリームデータパケ
ットよりストリーム情報要素を解析する手段を具備した
ことを特徴とするストリーム中継制御装置。
13. The stream relay control device according to claim 12, further comprising means for analyzing a stream information element from a stream data packet transmitted from a stream server.
JP2001348951A 2001-11-14 2001-11-14 Stream relay control method, stream relay control program, medium recording the program, and stream relay control device Expired - Lifetime JP3557188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001348951A JP3557188B2 (en) 2001-11-14 2001-11-14 Stream relay control method, stream relay control program, medium recording the program, and stream relay control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001348951A JP3557188B2 (en) 2001-11-14 2001-11-14 Stream relay control method, stream relay control program, medium recording the program, and stream relay control device

Publications (2)

Publication Number Publication Date
JP2003152789A true JP2003152789A (en) 2003-05-23
JP3557188B2 JP3557188B2 (en) 2004-08-25

Family

ID=19161692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001348951A Expired - Lifetime JP3557188B2 (en) 2001-11-14 2001-11-14 Stream relay control method, stream relay control program, medium recording the program, and stream relay control device

Country Status (1)

Country Link
JP (1) JP3557188B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319423A (en) * 2005-05-10 2006-11-24 Toshiba Corp Transmitter and receiver
WO2009141992A1 (en) * 2008-05-19 2009-11-26 パナソニック株式会社 Communication processor, communication processing method, control method and communication device of communication processor
JP2014049935A (en) * 2012-08-31 2014-03-17 Fujitsu Ltd Communication device, and communication method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319423A (en) * 2005-05-10 2006-11-24 Toshiba Corp Transmitter and receiver
JP4688566B2 (en) * 2005-05-10 2011-05-25 富士通東芝モバイルコミュニケーションズ株式会社 Transmitter and receiver
WO2009141992A1 (en) * 2008-05-19 2009-11-26 パナソニック株式会社 Communication processor, communication processing method, control method and communication device of communication processor
US8438323B2 (en) 2008-05-19 2013-05-07 Panasonic Corporation Communication processing apparatus, communication processing method, control method and communication device of communication processing apparatus
JP5205454B2 (en) * 2008-05-19 2013-06-05 パナソニック株式会社 COMMUNICATION PROCESSING DEVICE, COMMUNICATION PROCESSING METHOD, COMMUNICATION PROCESSING DEVICE CONTROL METHOD, AND COMMUNICATION DEVICE
JP2014049935A (en) * 2012-08-31 2014-03-17 Fujitsu Ltd Communication device, and communication method
US9419738B2 (en) 2012-08-31 2016-08-16 Fujitsu Limited Communication device, method and system for queueing packets to be transmitted

Also Published As

Publication number Publication date
JP3557188B2 (en) 2004-08-25

Similar Documents

Publication Publication Date Title
KR101046105B1 (en) Computer program manufacturing, resource demand adjustment methods, and end systems
US8392555B2 (en) Push-back mechanism for pub/sub brokers
EP2522109B1 (en) Method of estimating congestion
CN107979449B (en) Data transmission method and device
EP2903192B1 (en) Packet handling method and forwarding device
US20100005178A1 (en) Method and system for firewall friendly real-time communication
US20060168240A1 (en) Method and apparatus for determining client-perceived server response time
WO2009039754A1 (en) Method, media gateway and system for controlling redundant data packets transport
JPWO2005099188A1 (en) Communication quality control method and apparatus
US7949778B2 (en) Systems, methods, apparatus and computer program products for providing packet-level FEC with higher throughput using user datagram protocol (UDP)
JP5807710B2 (en) Content distribution system, content distribution method and program
JP3871661B2 (en) Multimedia content receiving apparatus and multimedia content receiving method
EP1687955B1 (en) Feedback provision using general nack report blocks and loss rle report blocks
JP2007013449A (en) Shaper control method, data communication system, network interface device and network repeating device
JP3557188B2 (en) Stream relay control method, stream relay control program, medium recording the program, and stream relay control device
KR100737678B1 (en) Delay analysis method for multimedia streaming services
JP5375416B2 (en) Stream delivery apparatus, stream delivery system, stream delivery method, and stream delivery program
JP2008236709A (en) Communication quality control method, communication quality control apparatus, communication system, and program
US20030079009A1 (en) Gatekeeper apparatus and communication system
KR100639650B1 (en) Vod streaming service system and method thereof
JP3478259B2 (en) Stream relay control device, stream relay control system, stream relay control method, and recording medium recording the method
KR102491033B1 (en) Round-trip estimation
JP3848222B2 (en) Resending method
JP2004120230A (en) Quality of service control method and system in data communication
Sullivan et al. A protocol for simultaneous real time playback and full quality storage of streaming media

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040514

R150 Certificate of patent or registration of utility model

Ref document number: 3557188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term