JP2004228746A - Stream quality observation apparatus, program, and recording medium - Google Patents

Stream quality observation apparatus, program, and recording medium Download PDF

Info

Publication number
JP2004228746A
JP2004228746A JP2003012099A JP2003012099A JP2004228746A JP 2004228746 A JP2004228746 A JP 2004228746A JP 2003012099 A JP2003012099 A JP 2003012099A JP 2003012099 A JP2003012099 A JP 2003012099A JP 2004228746 A JP2004228746 A JP 2004228746A
Authority
JP
Japan
Prior art keywords
stream
quality
received packet
communication
transmitting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003012099A
Other languages
Japanese (ja)
Other versions
JP3711981B2 (en
Inventor
Hideaki Miyazaki
英明 宮崎
Hitoshi Yamauchi
仁 山内
Masanobu Morinaga
正信 森永
Noriyuki Fukuyama
訓行 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003012099A priority Critical patent/JP3711981B2/en
Publication of JP2004228746A publication Critical patent/JP2004228746A/en
Application granted granted Critical
Publication of JP3711981B2 publication Critical patent/JP3711981B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem that it is difficult to more circumstantially particularize a defective point in a network from information obtained by technologies drawn up into bylaws wherein a receiving apparatus side observes quality of stream communication and informs a transmission apparatus about the result in the quality observation of the stream communication. <P>SOLUTION: Provided is a stream quality observation apparatus located between the transmission apparatus and the receiving apparatus that is characterized in to include a function of storing in units of sessions a first quality value denoting the quality of a stream between the transmission apparatus and the receiving apparatus obtained from the result of observation and a second quality value denoting the quality of a stream between the transmission apparatus and the observation apparatus obtained from the result of observation and to calculate a third quality value denoting the quality of the stream between the observation apparatus and the receiving apparatus, which cannot directly be obtained from the observation, on the basis of the first and second quality values. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明が属する技術分野】
本発明は、インターネット上のストリーム配信やVoIPなどのシステムにおいて音声・ビデオなどのストリーム品質低下の原因となるネットワーク箇所を特定する技術に関わる。
【0002】
【従来の技術】
近年、ネットワークのブロードバンド化にともなって、音声や映像のストリーム配信サービスやインターネット電話サービスが普及してきている。このようなサービスを提供する業者(以下、サービス提供業者と呼ぶ)とその利用者とを接続する通信経路は、図2に示すように複数のネットワークセグメントで構成されたネットワーク網となることが多い。ここで言うネットワークセグメントとは、LANを構成する単位であるブロードキャストリクエストが到達できるネットワーク範囲であるブロードキャストドメインであっても良いし、又は組織のイントラネットを構成するWANであっても良く、ネットワークを論理的に区分けした範囲とする。図2で示す送信装置はサービス提供業者に相当し、受信装置は利用者に相当すると考える。前述の複数のネットワークセグメントで構成されたネットワーク網とは、図2で示すところのネットワークA400及びネットワークB500で構成されるネットワーク網に相当する。この様な接続形態において、ストリーム通信で配信される音声や映像が途切れるといった事象が発生した場合、ストリーム通信のネットワーク品質の低下を招いている原因となる箇所を特定することが必要となってくる。特にサービス提供業者は、問題となる箇所が、自らが管轄するネットワーク網内か、外部の通信事業者が管轄するネットワーク網内かを識別し、早急に対応する必要がある。
【0003】
ネットワークのサービス品質の観測結果から問題箇所を特定する従来の技術としては、ネットワークのサービス品質(ビットエラーレート、パケット損失レート、データジッタ、遅延変異等)を観測し、ネットワークの品質が基準より劣るようになれば、別の経路に切り替える機能を有する通信コントローラがある(特許文献1参照)。ここでの経路の切替は、各経路のサービス品質を観測することにより、ネットワーク品質の低下した箇所を特定し、自動的に行われるものとしている。
【0004】
また、サービス品質、セルの廃棄、セルの喪失及びその他のネットワークの品質値を複数のネットワーク要素から収集し、特定のノードや特定のリンクについて、サービス品質が低下していることを検出することができるデータモニタリング装置がある(特許文献2参照)。
【0005】
また、ネットワークのサービス品質を観測する従来の技術としては、送信装置と受信装置間のパケットロス・ジッタを求めるために送信装置から受信装置にpingコマンドを定期的に発行し、pingの応答の有無や応答までの時間により、ネットワーク品質を表すパケットロス率やジッタ値を求めるという技術が普及している。
【0006】
【特許文献1】
特開平11−27327号公報
【0007】
【特許文献2】
特開平10−233773号公報
【0008】
【発明が解決しようとする課題】
上述の特許文献1,2に開示された従来の方法は、ネットワーク上を流れる全てのパケットを観測対象としており、ストリーム通信以外のパケットを観測対象に含む可能性があるため、観測結果とストリーム通信のネットワーク品質との関係が不明確であるという問題がある。すなわち、ネットワーク品質を表す値の一つであるパケットロス率を、ネットワーク上を流れる全てのパケットを観測対象として求めた場合、パケットロス率はストリーム通信以外のパケットの損失を含んだ値となる可能性がある。ところが、損失したパケットに占めるストリーム通信のパケットの割合を特定することができないため、全てのパケットを対象にして得たパケットロス率からは、実際のストリーム通信のネットワーク品質を判断することができない。
【0009】
この不具合を解決する技術として、ストリーム通信のネットワーク品質を表すパケットロス率及びジッタ値を、ストリーム通信を行う受信装置で観測し、ストリーム通信を行う送信装置に通知する技術が規約化されている。
【0010】
しかし、これより得られるストリーム通信のネットワーク品質からは、送信装置と受信装置とを接続するネットワーク網が複数のネットワークセグメントで構成されている場合に、送信装置と受信装置とを接続する通信網をさらに細分化した区間の品質を得ることが出来ない。そのため、音声や映像のストリームを配信しているサービス提供業者は、ストリーム通信の品質低下を招く原因となる箇所が、自らが管轄するネットワーク網内か、外部の通信事業者が管轄するネットワーク網かを識別することが困難となっている。
【0011】
上述のように、送信装置から受信装置までの通信経路を対象区間とした観測値からは、通信経路をさらに細分化した区間についての品質を得ることが出来ない、という問題がある。この問題を解決する公知の手段として、送信装置から受信装置までの通信経路上に観測地点を設ける方法がある。例えば図2に示すように、送信装置と受信装置とを接続する通信路であるネットワークA400とネットワークB500との間に観測装置を接続した場合、送信装置から受信装置へ(以下、下り方向と呼ぶ)送信されるパケットを、観測装置を用いて観測することで、送信装置と観測装置との間の下り方向のネットワーク品質を得ることが出来る。同様に、受信装置から送信装置へ(以下、上り方向と呼ぶ)送信されるパケットを、観測装置を用いて観測することで、受信装置と観測装置との間の上り方向のネットワーク品質を得ることが出来る。
【0012】
これにより、送信装置から受信装置までの通信経路を、さらに細分化した区間の品質を得ることが出来るが、前述の観測により得られたネットワークA400及びネットワークB500の品質値は、観測対象となる回線の方向が異なる。すなわち、ストリーム通信で配信される音声や映像を構成するストリームデータは、下り方向の回線を利用して送信装置から受信装置へ送られるが、前述の方法は全ての観測区間において下り方向を観測できていないため、ストリーム通信で配信される音声や映像を構成するストリームデータを実際に観測したことにはならない。このため、例えばADSLのように上り方向と下り方向とで帯域が異なる回線を使用した場合、上り方向と下り方向との回線でネットワークの品質値が異なる可能性があり、前述の方法ではストリーム通信に関する正確なネットワーク品質を観測することが出来ない、という問題がある。
【0013】
そこで本発明は、複数の異なるネットワークセグメントで構成されるネットワーク網を介して接続された送信装置と受信装置とを含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を細分化した区間を観測対象とすると共に、送信装置と受信装置とを接続する通信経路が上り方向と下り方向とで回線の帯域が非対称又は対称であることに関係なく、ストリーム通信に関するネットワーク品質の正常性の判断を可能とすることを目的とする。
【0014】
【課題を解決するための手段】
複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置と接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する受信処理手段と、前記受信処理手段を用いて受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段とを備えることを特徴とする。なお、ここで定義するストリームの品質値とは、例えばジッタ値やパケットロス率となる。
【0015】
【発明の実施の形態】
制御プロトコルとしてRTSP(Real Time Streaming Protocol;RFC2326)、ストリームデータ用プロトコルとしてRTP(Real−time Transport Protocol;RFC1889)を使用したストリーム通信システムを例に実施例を記述する。なお、制御プロトコルとしてH.323やSIP(Session Initiation Protocol)などの他のプロトコルを使用したり、ストリームデータプロトコルとしてRDT(Real Data Transport; RealNetworks社)などのプロトコルを使用してもよい。
【0016】
本発明の実施例1におけるシステム構成を図2に示す。実施例1の観測装置100は、送信装置200と受信装置300とを接続するネットワークA400とネットワークB500との間に接続され、制御プロトコルであるRTSPとストリームデータRTPと受信状況メッセージを含むRTCP(RTP Control Protocol)とを中継する中継装置として動作する。前記中継装置としては、RTSPプロキシが公知のものとして存在するため、中継装置としての動作の詳細な内容については省略する。
【0017】
図1にストリーム品質観測装置100の内部構成を示す。ストリーム品質観測装置100は、通信制御部150、ストリームデータ解析部130、受信状況メッセージ解析部140、ストリーム品質解析部120、表示制御部110、ストリーム管理データベース101を含んだ構成となる。
【0018】
ストリーム管理データベース101は、セション管理データベース102と各セションの受信パケットリスト103と品質データ104と規定値データ105,106の4種類のデータベースを含む。
【0019】
通信制御部150は、送信装置‐観測装置間及び観測装置‐受信装置間のコネクションを管理し、送信装置‐受信装置間でやり取りされるデータを中継するRTSPプロキシとしての機能を実現させるための図示しない中継処理手段を持つ。さらに通信制御部150は、セション管理データベース102に基づいて送信装置‐受信装置間のセションごとにデータの振り分けを行うセション識別部151と、パケット種別により受信パケットをストリームデータと受信状況メッセージとに振り分けを行うパケット種別識別部152を含む。前記中継処理手段は、公知のRTSPプロキシと同様の処理手順により実現される。
【0020】
ストリームデータ解析部130は、ストリームデータのフォーマットを解析し、ストリームデータより取得したシーケンス番号とタイムスタンプ及び受信時刻を、受信パケットリスト103に記録する。さらに、ストリームデータ解析部130は、受信パケットリスト103に記録した値より、ストリーム品質観測装置100で観測した受信パケットよりジッタ値J1、パケットロス率P1を生成する処理を含み、求めた値を品質データ104に記録する。
【0021】
受信状況メッセージ解析部140は、受信状況メッセージのフォーマットを解析し、受信状況メッセージに含まれている受信装置で観測されたパケットロス率P2及びジッタ値J2を取得する。さらに受信状況メッセージ解析部は、取得した品質値と通信制御部150にて取得したセションIDとを、品質管理データ104においてセションIDが一意となるように関連付けて記録する。
【0022】
ストリーム品質解析部120は、品質データ104に登録されている現在のJ1、J2、P1、P2の値から観測装置‐受信装置間のジッタ値J3、パケットロス率P3を求める処理と品質低下の原因個所を検出する処理を含む。
【0023】
表示制御部110は、セションID107−1、受信装置IPアドレス107−2、送信装置IPアドレス107−3、警告表示107−4より構成される表示データ107の内容を、表示装置を介して表示する。
【0024】
次に、記憶されている各種データについて図5乃至図11を用いて説明する。
【0025】
図5に示すセション管理データベースは、セションID102−1、受信装置IPアドレス102−2、送信装置IPアドレス102−3、受信状況メッセージ受信ポート102−4より構成される。
【0026】
図6に示す受信パケットリストは、受信時刻103−1、シーケンス番号103−2、タイムスタンプ103−3より構成される。
【0027】
図7に示す品質データは、セションID104−1、送信装置−中継装置間のパケットロス率(P1)104−5及びジッタ値(J1)104−6、送信装置−受信装置間のパケットロス率(P2)104−7及びジッタ値(J2)104−8、受信装置−観測装置間のパケットロス率(P3)104−9及びジッタ値(J3)104−10より構成される。
【0028】
図8及び図9に示す規定値データは、受信(送信)装置IPアドレス105−1(106−1)、パケットロス規定値105−2(106−2)、ジッタ規定値105−3(106−3)よりなる。
【0029】
図10に示す表示データは、セションID107−1、受信装置IPアドレス107−2、送信装置IPアドレス107−3、警告表示107−4より構成される。
【0030】
次に、図4に示すフローチャートを用いて、パケット受信時の処理の流れを説明する。
【0031】
まず観測装置100は、ストリーム通信を行う送信装置200から受信装置300へ送信されるストリームデータのパケットを、ネットワークA400を介して受信し(#401)、通信制御部150が実行される。実行された通信制御部150は、セション識別処理部151を用いてセション識別処理を受信パケットに対して行う(#402)。このセション識別処理#402では、受信装置のIPアドレスと送信装置のIPアドレス及び受信ポート番号を、受信パケットから取得し、取得した値とセション管理データベース102に記録されているデータとを照合することにより、セションを一意に識別するためのセションID102−1を得る(#402)。
【0032】
ここで用いられるセション管理データベース102の内容は、ストリーム通信を行う送信装置より送信されたRTSPのSETUP応答メッセージのパケットから取得した情報を用いて、前述のセション識別処理#402が実行される前に作成される。前述のRTSPのSETUP応答のメッセージは、ストリーム通信を行う受信装置から送信装置へ送信されるRTSPのSETUP要求に対する応答として、前述の送信装置から受信装置へ送信されるRTSPのパケットであり、この応答メッセージには受信装置で使用するストリームデータ(以下、RTPと呼称する場合がある)及び受信状況メッセージ(以下、RTCPと呼称する場合がある)のポート番号が記述されている。通信制御部150は、前述の応答メッセージより送信装置及び受信装置のIPアドレスとストリームデータ及び受信状況メッセージのポート番号を取得し、取得した値を受信装置のIPアドレス102−2、送信装置のIPアドレス102−3、ストリームデータ受信ポート102−4、受信状況メッセージ受信ポート102−5に各値の組み合わせが一意となるように関連付けて記録する。さらに通信制御部150は、前述の値の組み合わせをセション管理データベースにおいて一意に識別するための任意の値を、前述の値の組み合わせに関連付けてセションID102−1に記録することにより、セション管理データベース102を作成する。
【0033】
次に通信制御部150は、パケット種別識別処理部152を用いて、受信パケットのパケット種別を識別し、その種別に応じた解析処理を実行する(#403)。
【0034】
実行されたパケット種別識別処理部152は、受信パケットから受信装置及び送信装置のIPアドレスと受信ポート番号を取得し、取得した受信装置及び送信装置のIPアドレスの組み合わせに関連付けられているセション情報群を、セション管理データベースから取得する。前述のセション情報は、セション管理データベースに記録されている1レコードに相当し、セションID、受信装置及び送信装置のIPアドレス、ストリームデータ受信ポート、受信状況メッセージ受信ポートより構成される。次にパケット種別識別処理部152は、受信パケットから取得したポート番号を、取得したセション情報群のストリームデータ及び受信状況メッセージの受信ポートと照合し、ストリームデータ受信ポートと一致した場合は受信パケットの種別をストリームデータとして判定し、受信状況メッセージ受信ポートと一致した場合は受信パケットの種別を受信状況メッセージとして判定する。
【0035】
前述の識別処理において、パケット種別がストリームデータと判定された受信パケットは、ストリームデータ解析部130へ伝えられる(#403−1)。一方、パケット種別が受信状況メッセージと判定された受信パケットは、受信状況メッセージ解析部140へ伝えられる(#403−2)。
【0036】
ストリームデータ解析部130は、ストリームデータのフォーマット情報を備えており、フォーマット情報に基づいて、受信パケットからシーケンス番号とタイムスタンプ(送信装置からパケットが送信されたときの送信装置の時刻)を取得し、この取得処理実行時の観測装置の時刻(以下、受信時刻と呼ぶ)をシステム時刻から取得し、取得した各値を受信パケットリスト103の受信時刻103−1、シーケンス番号103−2、タイムスタンプ103−3に記録する。例えば図12に示すようにRTPのフォーマット情報700は、データの3〜4バイト目がシーケンス番号701、5〜8バイト目がタイムスタンプ702という形式になっており、受信パケットの3〜4バイト目及び5〜8バイト目より、シーケンス番号とタイムスタンプを取得することが出来る。
【0037】
次にストリームデータ解析部130は、受信パケットリスト103に記録した値から、パケットロス率P1、ジッタ値J1を求め、品質データ104のパケットロス率P1(104−5)、ジッタ値J1(104−6)に記録する(#405)。前述の処理は、あらかじめ設定する所定の時間間隔をもって繰返し実行される。
【0038】
パケットロス率P1の求め方は、受信パケットリスト103において、受信したパケット数Rとその受信したパケットのシーケンス番号103−2を参照し、スキップしている回数Sをカウントする。この回数Sをパケットロスの数とし、パケットロス率P1を次式で求める。
【0039】
【数1】

Figure 2004228746
ジッタ値J1は、タイムスタンプ103−3とRFC1889に記述されているアルゴリズムを使用して求める。
【0040】
受信状況メッセージ解析部140は、受信状況メッセージについてのフォーマット情報を備えており、フォーマット情報に基づいて、受信パケットからパケットロス率P2、ジッタ値J2を取得し(#406)、品質データ104の送信装置−受信装置間の品質値104−3のパケットロス率P2(104−7)及びジッタ値J2(104−8)に、前述のセションIDに対応付けて記録する(#407)。
【0041】
ストリーム品質解析部120は、品質データ104から、送信装置−観測装置間の品質値104−2のパケットロス率P1(104−5)及びジッタ値J1(104−6)と、送信装置−受信装置間の品質値104−3のパケットロス率P2(104−7)及びジッタ値J2(104−8)とを取得する。次にストリーム品質解析部120は、取得した送信装置−受信装置間の品質値104−3から、取得した送信装置−観測装置間の品質値104−2を減算することにより、受信装置−観測装置間の品質値104−4を生成し、パケットロス率P3(104−9)とジッタ値J3(104−10)に記録する(#408)。
【0042】
観測装置‐受信装置間のジッタ値J3及びパケットロス率P3は、次式を用いて求める。
【0043】
【数2】
Figure 2004228746
【0044】
【数3】
Figure 2004228746
次にストリーム品質解析部120は、品質データ104に記録されている各品質値について、正常性の判定処理を行う(#409)。この判定処理は、品質データ104に記録されている各品質値と規定値データ105,106とを比較することで行う。例えば、送信装置−観測装置間のジッタ値の判定処理は、品質データ104の送信装置−観測装置間のジッタ値J1(104−6)と、規定値データ(送信側)106のジッタ規定値106−3について、条件式[J1>ジッタ規定値]を評価し、評価結果が真となる場合は、送信装置−観測装置間のジッタ値J1(104−6)は異常であると判定し、評価結果が偽となる場合は正常と判定する(#409)。同様に、受信装置−観測装置間のジッタ値の判定処理は、品質データ104の受信装置−観測装置間のジッタ値J3(104−10)と規定値データ(受信側)105のジッタ規定値105−3について、条件式[J3>ジッタ規定値]を評価し、評価結果が真となる場合は、受信装置−観測装置間のジッタ値J3(104−10)は異常であると判定し、評価結果が偽となる場合は正常と判定する(#409)。パケットロス率についても同様に、各ネットワーク区間の品質値について、条件式[生成処理手段を用いて生成したパケットロス率>パケットロス規定率]を評価し、評価結果が真となる場合は異常と判定し、評価結果が偽となる場合は正常と判定する(#409)。
【0045】
前述の規定値データ105及び規定値データ106は、観測装置100を起動する前に設定されているものとし、ジッタ値及びパケットロス率と音声・映像ストリームの品質との関係を実験により調査して定めても良いし、又はプロバイダ事業者と利用者の間で交わされるサービス品質保証契約(SLA)で定めた値を用いても良い。
【0046】
次にストリーム品質解析部120は、前述のセションIDを用いてセション管理データベース102より得られる受信装置IPアドレス102−2及び送信装置IPアドレス102−3と、品質データ104に記録されているセションID104−1と、前述の判定結果とを用いて、表示データ107を作成し(#410)、表示制御部110を実行する。
【0047】
実行された表示制御部110は、ストリーム品質解析部120より通知された表示データ107を表示装置を介して表示する(#411)。
【0048】
本発明の実施例2におけるシステム構成を図3に示す。実施例2の観測装置100は、送信装置200と受信装置300とを接続するネットワークA400とネットワークB500との間に接続され、ハブ600のミラーリング機能を利用して、送信装置と受信装置間で送受信されるパケットのコピーを受信し、受信したパケットを観測する装置として機能する。
【0049】
本実施例2は、実施例1の観測装置で行っていた中継処理に相当する処理をハブ600で行うという点で実施例1と異なる以外は、実施例1と同じ構成となる。すなわち、ストリームデータ解析部130、受信状況メッセージ解析部140、ストリーム品質解析部120、表示制御部110については実施例1と同様となる。
【0050】
また以上で説明した実施例は、ストリーム通信の品質の正常性を判定する基準として、各品質値の種別毎(ジッタ値、パケットロス率)に1つの規定値を設けた例を示したが、品質が正常である状態から異常への遷移の判定に用いる第一の規定値と、異常である状態から正常への遷移の判定に用いる第二の規定値との2つの規定値を設けても良い。この場合、第一の規定値と第二の規定値とは次の関係式を満たすものとする。
【0051】
・第一の規定値 ≧ 第二の規定値
前記第一及び第二の規定値は、いずれか一方を設定することにより、他方の値を算出処理により導出しても良い。前記第一及び第二の規定値により、品質値が規定値近傍を推移する場合において、正常と異常とが短い間隔で交互に判定されることを避けることが可能となり、利用者の誤認を防ぐという効果を期待できる。
【0052】
【発明の効果】
本発明により、インターネット上のストリーム配信やVoIPなどのシステムにおいてユーザの音声・ビデオのストリーム品質が低下した時に、原因が送信装置側のネットワークか受信装置側のネットワークか識別できるようになる。
【0053】
以上の説明に関して更に以下の項を開示する。
【0054】
(付記1)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置との通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する受信処理手段と、
前記受信処理手段を用いて受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、
前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、
前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、
前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段と、
を備えることを特徴とするストリーム品質観測装置。
【0055】
(付記2)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理手段と、
を備えることを特徴とする付記1に記載のストリーム品質観測装置。
【0056】
(付記3)前記品質判定処理手段により判定された送信装置と観測装置間及び受信装置と観測装置間におけるストリーム通信の品質の結果をセション単位に表示する表示処理手段と、
を備えることを特徴とする付記2に記載のストリーム品質観測装置。
【0057】
(付記4)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムであって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と、
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラム。
【0058】
(付記5)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理、
をコンピュータに行わせることを特徴とする付記4に記載のプログラム。
【0059】
(付記6) 前記品質判定処理により判定された送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質の結果をセション単位に表示する処理、
をコンピュータに行わせることを特徴とする付記5に記載のプログラム。
【0060】
(付記7)複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムを記録したコンピュータ可読の記録媒体であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラムを記録したコンピュータ可読の記録媒体。
【0061】
(付記8)送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質値と、品質の判断基準とする目的であらかじめ設定された規定値と、を比較することによりストリーム通信の品質の正常性を判定する品質判定処理、
をコンピュータに行わせることを特徴とする付記7に記載のプログラムを記録したコンピュータ可読の記録媒体。
【0062】
(付記9) 前記品質判定処理により判定された送信装置と観測装置間及び観測装置と受信装置間におけるストリーム通信の品質の結果をセション単位に表示する処理、
をコンピュータに行わせることを特徴とする付記8に記載のプログラムを記録したコンピュータ可読の記録媒体。
【図面の簡単な説明】
【図1】観測装置の構成を示す図
【図2】実施例1のシステム構成を示す図
【図3】実施例2のシステム構成を示す図
【図4】パケット受信時の処理の内容を示すフローチャート図
【図5】実施例1のセション管理データベースの内容を示す図
【図6】受信パケットリストの内容を示す図
【図7】品質データの内容を示す図
【図8】規定値データ(受信側)の内容を示す図
【図9】規定値データ(送信側)の内容を示す図
【図10】表示データの内容を示す図
【図11】実施例2のセション管理データベースの内容を示す図
【図12】RTPのデータ形式(ストリームデータ)を示す図[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for specifying a network location that causes a decrease in stream quality of audio / video in a system such as stream distribution on the Internet or VoIP.
[0002]
[Prior art]
2. Description of the Related Art In recent years, as networks have become broadband, audio and video stream distribution services and Internet telephone services have become widespread. A communication path connecting a provider of such a service (hereinafter, referred to as a service provider) and a user thereof is often a network composed of a plurality of network segments as shown in FIG. . The network segment referred to here may be a broadcast domain that is a network range that can be reached by a broadcast request, which is a unit constituting a LAN, or may be a WAN that constitutes an organization intranet. Range. The transmission device shown in FIG. 2 corresponds to a service provider, and the reception device corresponds to a user. The above-described network composed of a plurality of network segments corresponds to the network composed of the network A400 and the network B500 shown in FIG. In such a connection form, when an event such as interruption of audio or video delivered in stream communication occurs, it is necessary to specify a location that causes a decrease in network quality of the stream communication. . In particular, the service provider needs to identify whether the problematic location is within the network under its own control or within the network under the control of an external communication carrier, and take immediate action.
[0003]
As a conventional technique for identifying a problem part from observation results of network service quality, network service quality (bit error rate, packet loss rate, data jitter, delay variation, etc.) is observed, and the network quality is inferior to the standard. Then, there is a communication controller having a function of switching to another route (see Patent Document 1). The route switching here is assumed to be performed automatically by observing the service quality of each route, specifying the location where the network quality has deteriorated.
[0004]
It can also collect quality of service, cell discards, cell loss and other network quality values from multiple network elements to detect that the quality of service is degraded for a particular node or link. There is a data monitoring device that can be used (see Patent Document 2).
[0005]
Further, as a conventional technique for observing the service quality of a network, a ping command is periodically issued from a transmitting apparatus to a receiving apparatus in order to obtain packet loss / jitter between a transmitting apparatus and a receiving apparatus, and whether or not a ping response is received. A technique of obtaining a packet loss rate or a jitter value representing network quality based on the response time or the time until a response is widely used.
[0006]
[Patent Document 1]
JP-A-11-27327
[0007]
[Patent Document 2]
JP-A-10-233773
[0008]
[Problems to be solved by the invention]
In the conventional methods disclosed in Patent Documents 1 and 2 described above, all packets flowing on the network are to be observed, and packets other than stream communication may be included in the observation target. There is a problem that the relationship with the network quality is unclear. That is, when the packet loss rate, which is one of the values representing the network quality, is obtained for all packets flowing on the network as observation targets, the packet loss rate may be a value including the loss of packets other than stream communication. There is. However, since the ratio of the stream communication packets to the lost packets cannot be specified, the actual network quality of the stream communication cannot be determined from the packet loss rate obtained for all the packets.
[0009]
As a technique for solving this problem, a technique for observing a packet loss rate and a jitter value representing the network quality of stream communication at a receiving apparatus performing stream communication and notifying the transmitting apparatus performing stream communication is defined as a protocol.
[0010]
However, from the network quality of the stream communication obtained from this, when the network connecting the transmitting device and the receiving device is composed of a plurality of network segments, the communication network connecting the transmitting device and the receiving device is not considered. It is not possible to obtain the quality of the subdivided section. For this reason, service providers that distribute audio and video streams should determine whether the cause of the degradation in stream communication quality is within their own network or a network under the control of an external telecommunications carrier. It has become difficult to identify.
[0011]
As described above, there is a problem in that it is not possible to obtain the quality of a section in which the communication path is further subdivided from an observation value in which the communication path from the transmitting apparatus to the receiving apparatus is the target section. As a known means for solving this problem, there is a method of providing an observation point on a communication path from a transmitting device to a receiving device. For example, as shown in FIG. 2, when an observation device is connected between a network A400 and a network B500, which are communication paths connecting the transmission device and the reception device, the transmission device transmits to the reception device (hereinafter, referred to as a downlink direction). ) By observing the transmitted packet using the observation device, it is possible to obtain downlink network quality between the transmission device and the observation device. Similarly, by observing a packet transmitted from the receiving device to the transmitting device (hereinafter, referred to as an up direction) using the observing device, obtaining the network quality in the up direction between the receiving device and the observing device. Can be done.
[0012]
This makes it possible to obtain the quality of a section in which the communication path from the transmitting device to the receiving device is further subdivided. However, the quality values of the network A400 and the network B500 obtained by the above-described observation are determined by the line to be observed. Direction is different. In other words, stream data that constitutes audio and video distributed by stream communication is sent from the transmitting device to the receiving device using the downlink line, but the above method can observe the downlink direction in all observation sections. Therefore, it does not mean that the stream data constituting the audio and video distributed by the stream communication is actually observed. For this reason, for example, when a line having a different band between the upstream and downstream, such as ADSL, is used, there is a possibility that the network quality value differs between the upstream and downstream lines. The problem is that accurate network quality cannot be observed for
[0013]
Therefore, the present invention has subdivided a communication path connecting a transmitting device and a receiving device in a stream communication system including a transmitting device and a receiving device connected via a network composed of a plurality of different network segments. Regarding the section as the observation target, regardless of whether the communication path connecting the transmitting device and the receiving device has an asymmetrical or symmetrical line bandwidth in the upstream and downstream directions, the normality of the network quality of the stream communication is checked. The purpose is to enable judgment.
[0014]
[Means for Solving the Problems]
In a stream communication system including a transmitting device and a receiving device connected via a network constituted by a plurality of different network segments, the streaming system is connected between network segments forming a communication path connecting the transmitting device and the receiving device. , A device for observing network quality of stream communication in a communication path connecting a transmitting device and a receiving device, and receiving a packet constituting stream data of the stream communication in a communication route connecting the transmitting device and the receiving device. Processing means, a session identification processing means for allocating a unique session identifier for each session to a reception packet received by using the reception processing means, and managing the reception packet in association with the session identifier; and Packet that identifies the packet type A type identification processing unit, and a transmission device included in the reception packet from the reception packet when the packet type identification processing unit determines that the reception packet is a reception status message transmitted from the reception device to the transmission device. Quality value generation processing means for generating a quality value of a stream in a communication path connecting the communication device and the reception device; and stream data in which the reception packet is transmitted from the transmission device to the reception device by the reception packet type identification processing means. If it is determined that, the second quality value generation processing means for generating a stream communication quality value in the communication path connecting the transmitting device and the observation device based on information obtained from the received packet, Quality values generated using the first and second quality value generation processing means associated with the same session identifier Et al., Characterized in that it comprises a third quality value generating means for generating a quality value of the stream communication in the communication path connecting the observation device and a receiving device. Note that the stream quality value defined here is, for example, a jitter value or a packet loss rate.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
The embodiment will be described using a stream communication system using RTSP (Real Time Streaming Protocol; RFC2326) as a control protocol and RTP (Real-time Transport Protocol; RFC1889) as a stream data protocol. Note that H.264 is used as a control protocol. Other protocols such as H.323 and SIP (Session Initiation Protocol) may be used, and a protocol such as RDT (Real Data Transport; RealNetworks) may be used as a stream data protocol.
[0016]
FIG. 2 shows a system configuration according to the first embodiment of the present invention. The observation device 100 according to the first embodiment is connected between a network A400 and a network B500 that connect the transmission device 200 and the reception device 300, and includes an RTCP (RTP) including a control protocol RTSP, stream data RTP, and a reception status message. Control Protocol). As the relay device, an RTSP proxy exists as a publicly known device, and thus detailed description of the operation as the relay device will be omitted.
[0017]
FIG. 1 shows the internal configuration of the stream quality observation device 100. The stream quality observation device 100 includes a communication control unit 150, a stream data analysis unit 130, a reception status message analysis unit 140, a stream quality analysis unit 120, a display control unit 110, and a stream management database 101.
[0018]
The stream management database 101 includes four types of databases: a session management database 102, a received packet list 103 of each session, quality data 104, and prescribed value data 105 and 106.
[0019]
The communication control unit 150 manages connections between the transmission device and the observation device and between the observation device and the reception device, and realizes a function as an RTSP proxy that relays data exchanged between the transmission device and the reception device. No relay processing means. Further, the communication control unit 150 sorts data for each session between the transmitting device and the receiving device based on the session management database 102, and sorts a received packet into stream data and a reception status message according to a packet type. And a packet type identification unit 152 that performs The relay processing means is realized by a processing procedure similar to that of a known RTSP proxy.
[0020]
The stream data analysis unit 130 analyzes the format of the stream data, and records the sequence number, the time stamp, and the reception time obtained from the stream data in the reception packet list 103. Further, the stream data analysis unit 130 includes a process of generating a jitter value J1 and a packet loss rate P1 from the received packets observed by the stream quality observation device 100 based on the values recorded in the received packet list 103, and converts the obtained values into quality values. Record in the data 104.
[0021]
The reception status message analysis unit 140 analyzes the format of the reception status message, and obtains the packet loss rate P2 and the jitter value J2 observed by the receiving device included in the reception status message. Further, the reception status message analysis unit records the acquired quality value and the session ID acquired by the communication control unit 150 in association with each other so that the session ID is unique in the quality management data 104.
[0022]
The stream quality analysis unit 120 calculates the jitter value J3 between the observation device and the reception device and the packet loss rate P3 from the current values of J1, J2, P1, and P2 registered in the quality data 104, and the cause of the quality deterioration. Including processing for detecting a location.
[0023]
The display control unit 110 displays the contents of the display data 107 including the session ID 107-1, the receiving device IP address 107-2, the transmitting device IP address 107-3, and the warning display 107-4 via the display device. .
[0024]
Next, various stored data will be described with reference to FIGS.
[0025]
The session management database shown in FIG. 5 includes a session ID 102-1, a receiving device IP address 102-2, a transmitting device IP address 102-3, and a receiving status message receiving port 102-4.
[0026]
The reception packet list shown in FIG. 6 includes a reception time 103-1, a sequence number 103-2, and a time stamp 103-3.
[0027]
The quality data shown in FIG. 7 includes the session ID 104-1, the packet loss rate (P1) 104-5 and the jitter value (J1) 104-6 between the transmitting device and the relay device, and the packet loss rate ( P2) 104-7 and a jitter value (J2) 104-8, a packet loss rate (P3) 104-9 between the receiving device and the observation device, and a jitter value (J3) 104-10.
[0028]
The specified value data shown in FIGS. 8 and 9 include the receiving (transmitting) device IP address 105-1 (106-1), the specified packet loss value 105-2 (106-2), and the specified jitter value 105-3 (106-). 3).
[0029]
The display data shown in FIG. 10 includes a session ID 107-1, a receiving device IP address 107-2, a transmitting device IP address 107-3, and a warning display 107-4.
[0030]
Next, the flow of processing at the time of packet reception will be described using the flowchart shown in FIG.
[0031]
First, the observation device 100 receives a packet of stream data transmitted from the transmission device 200 performing stream communication to the reception device 300 via the network A400 (# 401), and the communication control unit 150 is executed. The executed communication control unit 150 performs a session identification process on the received packet by using the session identification processing unit 151 (# 402). In the session identification process # 402, the IP address of the receiving device, the IP address of the transmitting device, and the receiving port number are obtained from the received packet, and the obtained value is compared with the data recorded in the session management database 102. As a result, a session ID 102-1 for uniquely identifying the session is obtained (# 402).
[0032]
The contents of the session management database 102 used here are determined before the above-described session identification process # 402 is executed using the information obtained from the packet of the RTSP SETUP response message transmitted from the transmitting device performing the stream communication. Created. The above-described RTSP SETUP response message is an RTSP packet transmitted from the transmitting device to the receiving device as a response to the RTSP SETUP request transmitted from the receiving device performing the stream communication to the transmitting device. The message describes port numbers of stream data (hereinafter, sometimes referred to as RTP) and a reception status message (hereinafter, sometimes referred to as RTCP) used by the receiving device. The communication control unit 150 obtains the IP addresses of the transmission device and the reception device, the stream data, and the port number of the reception status message from the response message described above, and stores the obtained values in the IP address 102-2 of the reception device and the IP address of the transmission device. The address 102-3, the stream data reception port 102-4, and the reception status message reception port 102-5 are recorded in association with each other so that each combination of values is unique. Further, the communication control unit 150 records an arbitrary value for uniquely identifying the above-described combination of values in the session management database in the session ID 102-1 in association with the combination of the above-described values, so that the session management database 102 Create
[0033]
Next, the communication control unit 150 uses the packet type identification processing unit 152 to identify the packet type of the received packet, and executes an analysis process according to the type (# 403).
[0034]
The executed packet type identification processing unit 152 acquires the IP addresses and the receiving port numbers of the receiving device and the transmitting device from the received packet, and sets the session information group associated with the combination of the acquired IP addresses of the receiving device and the transmitting device. From the session management database. The above-described session information corresponds to one record recorded in the session management database, and includes a session ID, IP addresses of a receiving device and a transmitting device, a stream data receiving port, and a receiving status message receiving port. Next, the packet type identification processing unit 152 checks the port number acquired from the received packet against the stream data of the acquired session information group and the reception port of the reception status message. The type is determined as stream data, and if it matches the reception status message reception port, the type of the received packet is determined as a reception status message.
[0035]
In the above-described identification processing, the received packet whose packet type is determined to be stream data is transmitted to the stream data analysis unit 130 (# 403-1). On the other hand, the received packet whose packet type is determined to be the reception status message is transmitted to the reception status message analysis unit 140 (# 403-2).
[0036]
The stream data analysis unit 130 includes format information of stream data, and acquires a sequence number and a time stamp (time of the transmitting device when the packet was transmitted from the transmitting device) from the received packet based on the format information. The time of the observation device at the time of execution of the acquisition process (hereinafter, referred to as reception time) is acquired from the system time, and the acquired values are received time 103-1, sequence number 103-2, and time stamp of the reception packet list 103. Record in 103-3. For example, as shown in FIG. 12, the format information 700 of the RTP is such that the third and fourth bytes of the data have a sequence number 701, the fifth and eighth bytes have a time stamp 702, and the third and fourth bytes of the received packet have the same format. From the fifth and eighth bytes, the sequence number and the time stamp can be obtained.
[0037]
Next, the stream data analysis unit 130 obtains the packet loss rate P1 and the jitter value J1 from the values recorded in the received packet list 103, and obtains the packet loss rate P1 (104-5) and the jitter value J1 (104-104) of the quality data 104. 6) (# 405). The above-described processing is repeatedly executed at predetermined time intervals set in advance.
[0038]
The method of calculating the packet loss rate P1 refers to the number R of received packets and the sequence number 103-2 of the received packets in the received packet list 103, and counts the number of skips S. The number of times S is defined as the number of packet losses, and the packet loss rate P1 is obtained by the following equation.
[0039]
(Equation 1)
Figure 2004228746
The jitter value J1 is obtained by using an algorithm described in the time stamp 103-3 and RFC1889.
[0040]
The reception status message analyzer 140 has format information on the reception status message, acquires the packet loss rate P2 and the jitter value J2 from the received packet based on the format information (# 406), and transmits the quality data 104. The packet loss rate P2 (104-7) and the jitter value J2 (104-8) of the quality value 104-3 between the device and the receiving device are recorded in association with the above-mentioned session ID (# 407).
[0041]
From the quality data 104, the stream quality analysis unit 120 calculates the packet loss rate P1 (104-5) and the jitter value J1 (104-6) of the quality value 104-2 between the transmission device and the observation device, and the transmission device and the reception device. The packet loss rate P2 (104-7) and the jitter value J2 (104-8) of the interim quality value 104-3 are acquired. Next, the stream quality analysis unit 120 subtracts the acquired transmission device-observation device quality value 104-2 from the acquired transmission device-reception device quality value 104-3, thereby obtaining the reception device-observation device. A quality value 104-4 is generated and recorded in the packet loss rate P3 (104-9) and the jitter value J3 (104-10) (# 408).
[0042]
The jitter value J3 and the packet loss rate P3 between the observation device and the reception device are obtained using the following equations.
[0043]
(Equation 2)
Figure 2004228746
[0044]
[Equation 3]
Figure 2004228746
Next, the stream quality analysis unit 120 performs normality determination processing on each quality value recorded in the quality data 104 (# 409). This determination process is performed by comparing each quality value recorded in the quality data 104 with the specified value data 105 and 106. For example, the determination process of the jitter value between the transmission device and the observation device includes the jitter value J1 (104-6) between the transmission device and the observation device of the quality data 104 and the jitter specification value 106 of the specification value data (transmission side) 106. -3, the conditional expression [J1> specified jitter value] is evaluated. If the evaluation result is true, the jitter value J1 (104-6) between the transmitting device and the observation device is determined to be abnormal, and the evaluation is performed. If the result is false, it is determined to be normal (# 409). Similarly, the determination process of the jitter value between the receiving device and the observation device is performed by determining the jitter value J3 (104-10) between the receiving device and the observation device of the quality data 104 and the jitter specified value 105 of the specified value data (receiving side) 105. -3, the conditional expression [J3> specified jitter value] is evaluated. If the evaluation result is true, the jitter value J3 (104-10) between the receiving device and the observation device is determined to be abnormal, and the evaluation is performed. If the result is false, it is determined to be normal (# 409). Similarly, regarding the packet loss rate, the conditional expression [the packet loss rate generated by using the generation processing unit> the packet loss specified rate] is evaluated for the quality value of each network section, and if the evaluation result is true, it is determined to be abnormal. It is determined, and when the evaluation result is false, it is determined to be normal (# 409).
[0045]
It is assumed that the above-mentioned specified value data 105 and specified value data 106 are set before the observation device 100 is started, and the relationship between the jitter value and the packet loss rate and the quality of the audio / video stream is experimentally investigated. It may be determined, or a value determined by a service quality assurance contract (SLA) between the provider and the user may be used.
[0046]
Next, the stream quality analyzer 120 receives the receiver IP address 102-2 and the transmitter IP address 102-3 obtained from the session management database 102 using the above-described session ID, and the session ID 104 recorded in the quality data 104. The display data 107 is created using # 1 and the above-described determination result (# 410), and the display control unit 110 is executed.
[0047]
The executed display control unit 110 displays the display data 107 notified from the stream quality analysis unit 120 via the display device (# 411).
[0048]
FIG. 3 shows a system configuration according to the second embodiment of the present invention. The observation device 100 according to the second embodiment is connected between a network A400 and a network B500 that connect the transmission device 200 and the reception device 300, and transmits and receives between the transmission device and the reception device using the mirroring function of the hub 600. Function as a device that receives a copy of the received packet and observes the received packet.
[0049]
The second embodiment has the same configuration as the first embodiment except that the hub 600 performs processing corresponding to the relay processing performed by the observation device of the first embodiment. That is, the stream data analysis unit 130, the reception status message analysis unit 140, the stream quality analysis unit 120, and the display control unit 110 are the same as in the first embodiment.
[0050]
Further, in the embodiment described above, an example in which one specified value is provided for each type of quality value (jitter value, packet loss rate) as a criterion for determining the normality of the quality of stream communication, Even if two specified values are provided, a first specified value used to determine the transition from a state where the quality is normal to abnormal and a second specified value used to determine the transition from the abnormal state to normal. good. In this case, the first specified value and the second specified value satisfy the following relational expression.
[0051]
・ First specified value ≧ Second specified value
The first and second specified values may be set by setting one of them, and the other value may be derived by a calculation process. According to the first and second specified values, when the quality value changes in the vicinity of the specified value, it is possible to avoid that the normal and the abnormal are alternately determined at short intervals, thereby preventing the user from being erroneously recognized. The effect can be expected.
[0052]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, when the stream quality of a user's audio / video is reduced in a system such as stream distribution on the Internet or VoIP, the cause can be identified as the network on the transmitting device side or the network on the receiving device side.
[0053]
With respect to the above description, the following items are further disclosed.
[0054]
(Supplementary Note 1) In a stream communication system including a transmitting device and a receiving device connected via a network constituted by a plurality of different network segments, between a network segment forming a communication path between the transmitting device and the receiving device. A device for observing network quality of stream communication in a communication path connecting a transmitting device and a receiving device,
Receiving processing means for receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device;
A session identification processing unit that allocates a unique session identifier for each session to a reception packet received using the reception processing unit, and manages the reception packet in association with the session identifier.
Packet type identification processing means for identifying a packet type of the received packet;
When the packet type identification processing means determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device included in the received packet are connected from the received packet. First quality value generation processing means for generating a stream quality value in the communication path to be performed,
When the received packet type identification processing means determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observing device are determined based on information obtained from the received packet. Second quality value generation processing means for generating a stream communication quality value in a communication path to be connected,
From the quality values generated using the first and second quality value generation processing means associated with the same session identifier, a quality value of stream communication in a communication path connecting the observation device and the reception device is generated. Third quality value generation processing means,
A stream quality observing device comprising:
[0055]
(Supplementary Note 2) The quality of the stream communication is compared by comparing the quality value of the stream communication between the transmitting device and the observing device and between the observing device and the receiving device with a predetermined value set for the purpose of determining the quality. Quality determination processing means for determining the normality of
2. The stream quality observation device according to claim 1, further comprising:
[0056]
(Supplementary Note 3) Display processing means for displaying the result of the quality of the stream communication between the transmitting device and the observing device and between the receiving device and the observing device determined by the quality determining processing means in session units,
3. The stream quality observation device according to supplementary note 2, comprising:
[0057]
(Supplementary Note 4) In a stream communication system including a transmitting device and a receiving device connected via a network configured by a plurality of different network segments, a stream segment that configures a communication path connecting the transmitting device and the receiving device. A program that causes a computer to function as a device that observes network quality of stream communication in a communication path that connects a transmitting device and a receiving device,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device;
A process of allocating a unique session identifier for each session to the received packet received in the receiving process, and managing the received packet and the session identifier in association with each other;
A process of identifying a packet type of the received packet;
If it is determined by the packet type identification processing that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device are connected based on information obtained from the received packet. A first quality value generation process of generating a quality value of stream communication in a communication path to be performed,
When it is determined by the received packet type identification processing that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a stream communication quality value in the communication path to be performed,
From the quality values generated in the first and second quality value generation processes associated with the same session identifier, a third value for generating a stream communication quality value in a communication path connecting the observation device and the reception device. Quality value generation processing,
A program that causes a computer to perform the following.
[0058]
(Supplementary Note 5) The quality of the stream communication is compared by comparing the quality value of the stream communication between the transmitting device and the observing device and between the observing device and the receiving device with a predetermined value set for the purpose of determining the quality. Quality judgment processing for judging the normality of
4. The program according to claim 4, wherein the program causes a computer to execute the program.
[0059]
(Supplementary Note 6) A process of displaying the results of the quality of the stream communication between the transmission device and the observation device and between the observation device and the reception device determined in the quality determination process in session units,
6. The program according to supplementary note 5, wherein the program causes the computer to execute the following.
[0060]
(Supplementary Note 7) In a stream communication system including a transmitting device and a receiving device connected via a network configured by a plurality of different network segments, a stream segment that forms a communication path connecting the transmitting device and the receiving device. A computer-readable recording medium recorded with a program for causing a computer to function as a device for observing network quality of stream communication in a communication path connecting a transmitting device and a receiving device,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device;
A process of allocating a unique session identifier for each session to the received packet received in the receiving process, and managing the received packet and the session identifier in association with each other;
A process of identifying a packet type of the received packet;
If it is determined by the packet type identification processing that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device included in the received packet are connected from the received packet. A first quality value generation process for generating a stream communication quality value on the communication path;
When it is determined by the received packet type identification processing that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a stream communication quality value in the communication path to be performed,
From the quality values generated in the first and second quality value generation processes associated with the same session identifier, a third value for generating a stream communication quality value in a communication path connecting the observation device and the reception device. Quality value generation processing,
And a computer-readable recording medium on which a program is recorded.
[0061]
(Supplementary Note 8) The quality of the stream communication is compared by comparing the quality value of the stream communication between the transmitting device and the observing device and between the observing device and the receiving device with a predetermined value set as a criterion for determining the quality. Quality judgment processing for judging the normality of
A computer-readable recording medium recording the program according to Supplementary Note 7, wherein the program causes a computer to execute the program.
[0062]
(Supplementary Note 9) A process of displaying the result of the quality of the stream communication between the transmission device and the observation device and between the observation device and the reception device determined in the quality determination process in session units,
A computer-readable recording medium recording the program according to Supplementary Note 8, wherein the program causes a computer to execute the program.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an observation device.
FIG. 2 is a diagram illustrating a system configuration according to a first embodiment;
FIG. 3 is a diagram illustrating a system configuration according to a second embodiment;
FIG. 4 is a flowchart showing the contents of processing at the time of receiving a packet;
FIG. 5 is a diagram showing contents of a session management database according to the first embodiment;
FIG. 6 shows the contents of a received packet list.
FIG. 7 is a diagram showing contents of quality data;
FIG. 8 is a diagram showing contents of prescribed value data (reception side).
FIG. 9 is a diagram showing the contents of specified value data (transmission side).
FIG. 10 shows the contents of display data.
FIG. 11 is a diagram showing contents of a session management database according to the second embodiment;
FIG. 12 is a diagram showing a data format (stream data) of RTP.

Claims (3)

複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する受信処理手段と、
前記受信処理手段を用いて受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理するセション識別処理手段と、
前記受信パケットのパケット種別を識別するパケット種別識別処理手段と、
前記パケット種別識別処理手段により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリームの品質値を生成する第一の品質値生成処理手段と、
前記受信パケット種別識別処理手段により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理手段と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理手段を用いて生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理手段と、
を備えることを特徴とするストリーム品質観測装置。
In a stream communication system including a transmitting device and a receiving device connected via a network constituted by a plurality of different network segments, the streaming system is connected between network segments forming a communication path connecting the transmitting device and the receiving device. An apparatus for observing network quality of stream communication in a communication path connecting a transmitting apparatus and a receiving apparatus,
Receiving processing means for receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device;
A session identification processing unit that allocates a unique session identifier for each session to a reception packet received using the reception processing unit, and manages the reception packet in association with the session identifier.
Packet type identification processing means for identifying a packet type of the received packet;
When the packet type identification processing means determines that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device included in the received packet are connected from the received packet. First quality value generation processing means for generating a stream quality value in the communication path to be performed,
When the received packet type identification processing means determines that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observing device are determined based on information obtained from the received packet. Second quality value generation processing means for generating a stream communication quality value in a communication path to be connected,
From the quality values generated using the first and second quality value generation processing means associated with the same session identifier, a quality value of stream communication in a communication path connecting the observation device and the reception device is generated. Third quality value generation processing means,
A stream quality observing device comprising:
複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムであって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と、
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラム。
In a stream communication system including a transmitting device and a receiving device connected via a network constituted by a plurality of different network segments, the streaming system is connected between network segments forming a communication path connecting the transmitting device and the receiving device. A program that causes a computer to function as a device for observing network quality of stream communication in a communication path connecting a transmitting device and a receiving device,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device;
A process of allocating a unique session identifier for each session to the received packet received in the receiving process, and managing the received packet and the session identifier in association with each other;
A process of identifying a packet type of the received packet;
If it is determined by the packet type identification processing that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device are connected based on information obtained from the received packet. A first quality value generation process of generating a quality value of stream communication in a communication path to be performed,
When it is determined by the received packet type identification processing that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a stream communication quality value in the communication path to be performed,
From the quality values generated in the first and second quality value generation processes associated with the same session identifier, a third value for generating a stream communication quality value in a communication path connecting the observation device and the reception device. Quality value generation processing,
A program that causes a computer to perform the following.
複数の異なるネットワークセグメントで構成されたネットワーク網を介して接続された送信装置と受信装置を含むストリーム通信システムにおいて、送信装置と受信装置とを接続する通信経路を構成するネットワークセグメントの間に接続され、送信装置と受信装置とを接続する通信経路におけるストリーム通信のネットワーク品質を観測する装置としてコンピュータを機能させるプログラムを記録したコンピュータ可読の記録媒体であって、
送信装置と受信装置とを接続する通信経路におけるストリーム通信のストリームデータを構成するパケットを受信する処理と
前記受信処理で受信した受信パケットに対してセション単位で一意となるセション識別子を割り振り、前記受信パケットとセション識別子を対応付けて管理する処理と、
前記受信パケットのパケット種別を識別する処理と、
前記パケット種別識別処理により前記受信パケットが受信装置から送信装置へ送信された受信状況メッセージであると判定された場合は、前記受信パケットから受信パケット中に含まれる送信装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第一の品質値生成処理と、
前記受信パケット種別識別処理により前記受信パケットが送信装置から受信装置へ送信されたストリームデータであると判定された場合は、前記受信パケットから得られる情報をもとに送信装置と観測装置とを接続する通信経路におけるストリーム通信の品質値を生成する第二の品質値生成処理と、
同一のセション識別子で対応付けされた前記第一及び第二の品質値生成処理で生成した品質値から、観測装置と受信装置とを接続する通信経路におけるストリーム通信の品質値を生成する第三の品質値生成処理と、
をコンピュータに行わせることを特徴とするプログラムを記録したコンピュータ可読の記録媒体。
4.
In a stream communication system including a transmitting device and a receiving device connected via a network constituted by a plurality of different network segments, the streaming system is connected between network segments forming a communication path connecting the transmitting device and the receiving device. A computer-readable recording medium that records a program that causes a computer to function as a device that observes network quality of stream communication in a communication path connecting a transmitting device and a receiving device,
A process of receiving a packet constituting stream data of stream communication in a communication path connecting the transmitting device and the receiving device, and allocating a unique session identifier to the received packet received in the receiving process for each session, A process of associating and managing packets and session identifiers;
A process of identifying a packet type of the received packet;
If it is determined by the packet type identification processing that the received packet is a reception status message transmitted from the receiving device to the transmitting device, the transmitting device and the receiving device included in the received packet are connected from the received packet. A first quality value generation process for generating a stream communication quality value on the communication path;
When it is determined by the received packet type identification processing that the received packet is stream data transmitted from the transmitting device to the receiving device, the transmitting device and the observation device are connected based on information obtained from the received packet. Second quality value generation processing for generating a stream communication quality value in the communication path to be performed,
From the quality values generated in the first and second quality value generation processes associated with the same session identifier, a third value for generating a stream communication quality value in a communication path connecting the observation device and the reception device. Quality value generation processing,
And a computer-readable recording medium on which a program is recorded.
4.
JP2003012099A 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium Expired - Fee Related JP3711981B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003012099A JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003012099A JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004228746A true JP2004228746A (en) 2004-08-12
JP3711981B2 JP3711981B2 (en) 2005-11-02

Family

ID=32900817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003012099A Expired - Fee Related JP3711981B2 (en) 2003-01-21 2003-01-21 Stream quality observation apparatus, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3711981B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165789A (en) * 2004-12-03 2006-06-22 Nippon Telegr & Teleph Corp <Ntt> Device and method for monitoring user physical feeling quality
JP2007019903A (en) * 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd Transmission speed measuring method, transmission speed measurement system and transmission speed measuring terminal for video distribution service
JP2007208328A (en) * 2006-01-30 2007-08-16 Fujitsu Ltd Method, system and apparatus for determining communication state
JP2008252580A (en) * 2007-03-30 2008-10-16 Kddi Corp Packet communication control method and device
JP2010004107A (en) * 2008-06-18 2010-01-07 Oki Electric Ind Co Ltd Packet relay device and packet relay method
WO2010001795A1 (en) * 2008-07-01 2010-01-07 日本電気株式会社 Quality degradation position estimating apparatus, method and communication network system
JP2010183220A (en) * 2009-02-04 2010-08-19 Oki Electric Ind Co Ltd Quality deterioration detection apparatus, and wireline/wireless detection apparatus
JP2011182212A (en) * 2010-03-02 2011-09-15 Hitachi Ltd Communication control apparatus and communication quality measuring method
US8611206B2 (en) 2010-04-02 2013-12-17 Fujitsu Limited Failure-section determining device and failure-section determining method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523395B2 (en) * 2004-12-03 2010-08-11 日本電信電話株式会社 User experience quality monitoring apparatus and method
JP2006165789A (en) * 2004-12-03 2006-06-22 Nippon Telegr & Teleph Corp <Ntt> Device and method for monitoring user physical feeling quality
JP2007019903A (en) * 2005-07-08 2007-01-25 Matsushita Electric Ind Co Ltd Transmission speed measuring method, transmission speed measurement system and transmission speed measuring terminal for video distribution service
JP2007208328A (en) * 2006-01-30 2007-08-16 Fujitsu Ltd Method, system and apparatus for determining communication state
JP4583312B2 (en) * 2006-01-30 2010-11-17 富士通株式会社 Communication status determination method, communication status determination system, and determination device
JP2008252580A (en) * 2007-03-30 2008-10-16 Kddi Corp Packet communication control method and device
JP2010004107A (en) * 2008-06-18 2010-01-07 Oki Electric Ind Co Ltd Packet relay device and packet relay method
WO2010001795A1 (en) * 2008-07-01 2010-01-07 日本電気株式会社 Quality degradation position estimating apparatus, method and communication network system
JP2010183220A (en) * 2009-02-04 2010-08-19 Oki Electric Ind Co Ltd Quality deterioration detection apparatus, and wireline/wireless detection apparatus
US8472332B2 (en) 2009-02-04 2013-06-25 Oki Electric Industry Co., Ltd. Apparatus for detecting quality deterioration of a telecommunications network by discriminating periodic faults
JP2011182212A (en) * 2010-03-02 2011-09-15 Hitachi Ltd Communication control apparatus and communication quality measuring method
US8693359B2 (en) 2010-03-02 2014-04-08 Hitachi, Ltd. Communication control device and communication quality measurement method
US8611206B2 (en) 2010-04-02 2013-12-17 Fujitsu Limited Failure-section determining device and failure-section determining method

Also Published As

Publication number Publication date
JP3711981B2 (en) 2005-11-02

Similar Documents

Publication Publication Date Title
US8811395B2 (en) System and method for determination of routing information in a network
EP2678990B1 (en) Voip quality measurement enhancements using the internet control message protocol
EP1646183B1 (en) Method and apparatus for non-intrusive measurement of delay variation of data traffic on communication networks
US9236559B2 (en) Determination of a quality induced termination rate of communication sessions
Frost et al. Packet loss and delay measurement for mpls networks
US7936695B2 (en) Tunneling reports for real-time internet protocol media streams
US8036121B2 (en) Method of estimating quality degradation on network in communication network system
US8248942B2 (en) Monitoring of real-time transport protocol (RTP) packet flow along RTP path
US6836466B1 (en) Method and system for measuring IP performance metrics
WO2017031858A1 (en) Method and apparatus for detecting time delay state information, and network architecture
US8817820B2 (en) System for controlling path maximum transmission unit by detecting repetitional IP packet fragmentation and method thereof
KR20150090216A (en) Monitoring encrypted sessions
JP4704443B2 (en) System and method for improving the quality of real-time multimedia sessions
US8254271B1 (en) Point-to-multipoint connectivity verification
JP2004228746A (en) Stream quality observation apparatus, program, and recording medium
US8661122B2 (en) Method for monitoring access networks
US20090059798A1 (en) Apparatus for and method of monitoring QoS metrics of VoIP voice traffic using SIP/RTP
WO2010130102A1 (en) Method, device and system for measuring network performance
US20070280296A1 (en) System and method for measuring distribution quality of video image
US20070280227A1 (en) Packet distribution system using reproducing appartus and packet distribution method
US8345683B1 (en) Data plane independent assert election
US7535850B2 (en) Method and apparatus for providing voice path assurance testing through a packet network
US20070133432A1 (en) Methods and system for measuring the round trip time in packet switching telecommunication networks
US11784895B2 (en) Performance measurement in a packet-switched communication network
EP2187563B1 (en) Method for measuring quality of service, transmission method, device and system of messages

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130826

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees