JP2001268124A - 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体 - Google Patents

音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体

Info

Publication number
JP2001268124A
JP2001268124A JP2000081568A JP2000081568A JP2001268124A JP 2001268124 A JP2001268124 A JP 2001268124A JP 2000081568 A JP2000081568 A JP 2000081568A JP 2000081568 A JP2000081568 A JP 2000081568A JP 2001268124 A JP2001268124 A JP 2001268124A
Authority
JP
Japan
Prior art keywords
audio
packet
underflow
overflow
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000081568A
Other languages
English (en)
Other versions
JP3586719B2 (ja
Inventor
Satoru Iai
知 井合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000081568A priority Critical patent/JP3586719B2/ja
Publication of JP2001268124A publication Critical patent/JP2001268124A/ja
Application granted granted Critical
Publication of JP3586719B2 publication Critical patent/JP3586719B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 受信者の実感する品質を反映した品質監視が
可能となる音声映像通信の品質監視装置,品質監視方
法,該方法を記録した記録媒体の提供。 【解決手段】 パケットキャプチャ・パケット受信時刻
記録部601でパケットをキャプチャし、その受信時刻
が記録された後、送信元宛先選別収集部602で特定の
送信元と宛先のパケットが選別され、受信時刻や音声映
像データバイト数が抽出される。それらの情報を入力と
して、受信側の音声映像劣化回数を推定する受信側音声
映像劣化回数推定部666により受信者によって受信者
の実感する品質が推定される。受信側音声映像劣化回数
推定部666は、アンダーフローとオーバーフローを検
出し、その回数をカウントすることにより品質を推定す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、電話やテレビ電話
やテレビ会議や音声映像配信のように、ネットワークを
経由して、音声情報や映像情報をパケットにより伝達す
る場合において、音声や映像の通信の品質を監視する音
声映像通信の品質監視装置および品質監視方法ならびに
該方法を記録したコンピュータ読取可能な記録媒体に関
する。
【0002】
【従来の技術】まず、従来技術を電話の例を用いて説明
する。図10に示すように、送信側の音声は、電話機1
01から入力され、PBX(Private Branch eXchang
e;企業内で使用する電話交換機)103を経由してゲ
ートウェイ104に達する、あるいは、電話機102か
らゲートウェイ104に達する。ゲートウェイ104内
部では、音声符号化部105により符号化された音声情
報データは、送信元と宛名を示すへッダ情報と共に音声
パケット組立部106によりパケットが組み立てられ、
その後、組み立てられたパケットはノード121を通過
してネットワーク120に伝達される。
【0003】ネットワーク120は、例えば、ATM(Asy
nchronous Transfer Mode)方式、FR(Frame Relay)方
式、IP(Internet Protocol)方式等のネットワークであ
る。ネットワーク120内では、経路の分岐点となる交
換機やルータ等のノードにおいて輻輳が生じるため、パ
ケットが損失したり、受信側に到着する時刻が輻輳の無
い時に比べて遅れて変動するパケット転送遅延ゆらぎを
引き起こす。
【0004】ネットワーク120を通過したパケット
は、ノード122からネットワークを出てゲートウェイ
114の内部でゆらぎ吸収バッファ111によりゆらぎ
が補正された後、音声パケット分解部112で音声情報
データとへッダに分解され、音声復号化部113にて音
声情報データがアナログ音声信号に復元されて、電話機
116から、あるいは、PBX115を経由して電話機
117から、受信側に音声が出力される。
【0005】従来の通信の品質監視方法は、図10にお
いて矢印(イ)で示すように、ネットワーク120内の
ノード間、例えばノード121からノード122までの
間、でパケット損失率やパケット転送遅延ゆらぎ等のネ
ットワーク性能要因を測定していたため、受話者の実感
する品質、即ち、受信側ゲートウェイ114等の受信側
装置で発生する音声品質劣化まで考慮しないで品質監視
を行っていた。
【0006】
【発明が解決しようとする課題】受信者の実感する品質
は、主に、知覚される音声や映像劣化回数に大きく依存
する。音声や映像劣化は、パケット損失に伴って発生す
るだけでなく、ゆらぎ吸収バッファ111がアンダーフ
ロー状態になる場合とオーバーフロー状態になる場合を
引き起こすパケット転送遅延ゆらぎによっても発生す
る。パケット損失は、ネットワーク内のノード間で測定
できるが、ゆらぎ吸収バッファはネットワーク外にある
ため、ゆらぎ吸収バッファで発生するアンダーフローや
オーバーフローの状態は、従来のようなネットワーク測
定によって直接測定することは不可能である。
【0007】例えば、パケット転送遅延ゆらぎがあり、
ゆらぎ吸収バッファ111内に復号すべき情報がないこ
とを表すアンダーフロー状態となると、異音や言葉の間
延びや言葉のタイミングのズレ等の音声品質劣化を引き
起こす。また、逆に、パケット転送遅延ゆらぎがあり、
ゆらぎ吸収バッファ111内に短時間に多数のパケット
が到着するため蓄積できなくなることを表すオーバーフ
ロー状態となると、言葉の欠落や異音等の音声品質劣化
を引き起こす。しかし、受信側装置内部で発生する劣化
は、ネットワーク内のノード間の測定で検出することは
できない。したがって、ネットワーク内に閉じた測定結
果に基づいた従来の品質監視方法では、受話者の実感す
る品質を反映した通信の品質監視を行うことができなか
った。
【0008】また、テレビ電話やテレビ会議や音声メデ
ィアと映像メディアの配信においても、電話の場合と同
様に、受信側装置内部で発生する劣化は、ネットワーク
内のノード間での測定では検出できない。したがって、
ネットワーク内に閉じた測定結果に基づいた従来の品質
監視方法では、受話者の実感する品質を反映した通信の
品質監視を行うことができなかった。
【0009】本発明の目的は、上記問題点を解消し、受
信者の実感する品質を推定する手段、即ち音声や映像の
劣化回数を推定する手段を設けることにより、受信者の
実感する品質を反映した品質監視が可能となる音声映像
通信の品質監視装置および品質監視方法ならびに該方法
を記録した記録媒体を提供することにある。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、本発明の音声映像通信の品質監視装置および品質監
視方法は、ネットワークまたはネットワークから受信側
の端末を集約するゲートウェイの間の伝送路を通過する
パケットをキャプチャし、ヘッダ情報を参照して送信元
と宛先の組が同一のパケットを選別収集し、選別収集し
たパケットの受信時刻を読み取り、当該受信端末あるい
は当該ゲートウェイに装備されているパケット転送遅延
時間の変動を吸収するゆらぎ吸収バッファ内に復号化す
べき情報が無いことを表すアンダーフロー状態を受信時
刻から推定し、ゆらぎ吸収バッファに短時間に多数のパ
ケットが到着するため蓄積できなくなることを表すオー
バーフロー状態を受信時刻から推定し、アンダーフロー
状態の回数またはオーバーフロー状態の回数をカウント
するようにしたことを特徴とするものである。
【0011】また、本発明の音声映像通信の品質監視装
置および品質監視方法は、受信端末またはゲートウェイ
において、パケット転送遅延時間の変動を吸収するゆら
ぎ吸収バッファ内に復号化すべき情報が無いことを表す
アンダーフロー状態を検出し、ゆらぎ吸収バッファに短
時間に多数のパケットが到着するため音声映像データを
蓄積できなくなることを表すオーバーフロー状態を検出
し、アンダーフロー状態の回数またはオーバーフロー状
態の回数をカウントするようにしたことを特徴とするも
のである。
【0012】さらに、本発明の記録媒体は、上記構成を
プログラムコード化して記録した、例えばFD,DVD
またはCD−ROMなどのコンピュータ読取可能な記録
媒体である。
【0013】
【発明の実施の形態】(本発明の原理および概要)本発
明に用いられる受信者の実感する品質、即ち、音声や映
像の劣化回数を推定する手段について説明する。ここで
は、電話の場合を例にして説明する。
【0014】図2は、アンダーフローに伴う音声劣化メ
カニズムを説明するための図である。図2中の矢印はパ
ケット受信時刻、縦棒は音声パケット分解までに到着し
ないとアンダーフローを起こす受信限界時刻、半円は1
パケットにより伝達される再生音声区間、横棒はパケッ
ト到着が受信限界時刻からズレた時間を表す。同図にお
いて、パケットは受信限界時刻に到着し、パケット
は少し早めに到着し、パケットはさらに早めに到着
し、パケットは受信限界時刻に到着し、パケット
は大幅に遅れて到着し、パケットと間およびパケ
ットと間は再生音声区間より短い場合を表してい
る。
【0015】その際に再生される音声は、音声区間
(1)(2)(3)(4)は連続するのでパケット転送
遅延ゆらぎがあっても音声劣化はおきない。パケット
との間は大幅に間隔が空いているので、再生する情報
がなくなってゆらぎ吸収バッファがアンダーフローを起
こし、音声が不連続となるあるいは音声を補償する機能
によって生成された信号で補われるが不完全な音声とな
るため音声劣化として知覚される。パケットは到
着が大幅に遅れているが、新たに設定される受信限界時
刻(破線)に基づいて処理されるため、音声は連続し音
声劣化はおきない。
【0016】図3は、オーバーフローに伴う音声劣化メ
カニズムを説明するための図である。ここでは、バッフ
ァに蓄積できるパケット数が2の場合を例にして説明す
る。図3中の矢印はパケット受信時刻、縦棒は音声パケ
ット分解までに到着しないとアンダーフローを起こす受
信限界時刻、半円は1パケット当たりの再生音声区間を
表す。同図において。パケットは受信限界時刻に到着
し、パケットは少し早めに到着し、音声区間(2)の
再生処理中にパケットが到着し、パケット
は受信限界時刻より少し早めに到着し、パケットと
間およびパケットと間は再生音声区間より短い場
合を表している。
【0017】パケットは音声区間が連続するよ
うに正常に処理されるが、バッファには2パケットまで
しか蓄積できないため、この場合パケットとだけが
蓄積され、パケットとはオーバーフローして欠落し
てしまう。したがって、再生処理の時刻となっても情報
が欠落してしまっているため、音声が不連続となり音声
劣化として知覚される。パケットは到着が少し早
めになっているが、新たに設定される受信限界時刻(破
線)に基づいて処理されるため、音声は連続し音声劣化
はおきない。
【0018】オーバーフローに伴って再生される音声区
間が図3とは異なるケース、例えば、再生音声区間
(3)(4)が欠落して(5)(6)が再生されるケー
ス、再生音声区間(3)(4)(5)(6)全てが欠落
するケース等がある。
【0019】一方、知覚される音声劣化回数と一意の関
係を示すようなパケット転送遅延ゆらぎの大きさを表現
する尺度が明らかになっていない。例えば、遅延時間の
標準偏差で表現したとしても、音声劣化との対応が必ず
しもよくない。
【0020】図4および図5は、その事情を説明するた
めの図であり、横軸に受信パケットの順番を、縦軸に遅
延時間をとった図である。音声劣化は遅延時間が直前よ
り急に大きくなる時にアンダーフローに伴って発生する
ことを考えれば、図4、図5のケースでは、遅延時間の
標準偏差は等しいにもかかわらず、図4では音声劣化は
1回、図5では音声劣化は5回となり、劣化回数は大き
く異なってしまう。このように、遅延時間の標準偏差を
尺度として、受信者の実感する品質を表現することはで
きない。以上、電話の場合で説明したが、テレビ電話や
テレビ会議や音声映像情報の配信においても、電話の場
合と同様に、アンダーフローやオーバーフローは同じメ
カニズムによって起こる。
【0021】次に、本発明において受信者の知覚する音
声映像劣化回数を数える手段について説明する。受信者
の知覚する音声映像劣化回数を数える手段(受信側音声
映像劣化回数推定部)は、アンダーフローを推定し検出
する手段(アンダーフロー検出部)と、オーバーフロー
を推定し検出する手段(オーバーフロー検出部)と、ア
ンダーフローの回数を数える手段(アンダーフロー回数
カウンタ部)と、オーバーフローの回数を数える手段
(オーバーフロー回数カウンタ部)と、音声映像データ
バイト数が規定値より大きいか否かを判定する手段(有
音・無音判定部)からなる。この場合、音声映像データ
バイト数が規定値より大きい時にのみアンダーフロー回
数とオーバーフロー回数を数える手段を設けると、音声
劣化の数の推定精度を向上させることができる。
【0022】アンダーフローを推定し検出する手段(ア
ンダーフロー検出部)は、図2で説明したように、アン
ダーフローはゆらぎ吸収バッファに情報がなくなる時と
考え、パケット受信時刻が受信限界時刻より遅れるケー
スを検出する。
【0023】オーバーフローを推定し検出する手段(オ
ーバーフロー検出部)は、図3で説明したように、オー
バーフローはゆらぎ吸収バッファから情報が溢れる時と
考え、ゆらぎ吸収バッファに蓄積されているパケット数
をパケット受信時刻と受信限界時刻の関係から求め、当
該蓄積パケット数が規定値を超えるケースを検出する。
【0024】観測時間内でアンダーフローとオーバーフ
ローの回数をそれぞれ数え、その結果をネットワークを
経由して、特定の端末、例えば、ネットワーク品質監視
端末等に送信することにより、音声や映像の劣化回数即
ち受信者の実感する品質を反映した通信の品質監視がで
きる。音声通信において、国際標準符号化方式G72
3.1や国際標準符号化方式G729には、有音と無音
を判定し、無音の場合には送信データバイト数を減らす
機能がある。この場合には、音声データバイト数が規定
値を超える場合には有音と考えて、有音と判定された時
のみ、アンダーフローとオーバーフローの回数をそれぞ
れ数えることにより、音声劣化の数の推定精度を向上さ
せることができる。
【0025】また、当該検出手段によれば、パケット損
失は、損失直後のパケットが遅れて到着したと判定され
るため、アンダーフローに伴う音声劣化や映像劣化とし
て劣化回数がカウントされる。
【0026】本発明では、上述した如き構成を採用する
ことにより、受信者の実感する品質を反映した通信の品
質監視を可能としたものである。すなわち、アンダーフ
ロー状態をパケットの受信時刻を入力値として計算によ
り検出し、ゆらぎ吸収バッファに短時間に多数のパケッ
トが到着するため音声映像データを蓄積できなくなるこ
とを表すオーバーフローをパケットの受信時刻を入力値
として演算により検出し、アンダーフローの回数やオー
バーフローの回数を数えることにより、受信者が知覚す
る音声劣化や映像劣化の回数を推定する。これにより、
受信者の実感する品質を推定することが可能となり本発
明の目的である受信者の実感する品質に基づいた通信の
品質監視が可能となる。
【0027】以下、本発明の具体的な実施例を、図面を
用いて説明する。 (第1の実施例)図1は、本発明の第1〜第3の実施例
を説明するための構成図であり、品質監視を行うための
パケットを取り込む位置を示している。第1の実施例で
は、パケットを、同図の矢印(A)で示す位置からパケ
ットを取り込む。図6は、本発明の第1の実施例を説明
する図であって、受信側ゲートウェイ114と受信側ノ
ード122の間、あるいは、受信側ノード122を含む
ネットワーク120内(図1の矢印(A))において、
品質監視を行う場合の構成図である。本実施例における
受信端末は、ゲートウェイを経由する通常のアナログ電
話機116でもよいが、例えば、パケットを送受信でき
るゲートウェイ114の内部のゆらぎ吸収バッファ11
1、音声パケット分解部112、音声復号化部113と
同じ機能を有するゆらぎ吸収バッファ1261、音声パ
ケット分解部1262、音声復号化部1263を備える
ディジタル型の電話機126またはゆらぎ吸収バッファ
1271、音声パケット分解部1272、音声復号化部
1273を備えるパソコン127などのディジタル端末
でもよい。
【0028】図6において、601は、図1の受信側ゲ
ートウェイ114と受信側ノード122の間、あるい
は、受信側ノード122を含むネットワーク120内
(図1の矢印(A))を通過するパケットをキャプチャ
するとともにパケット受信時刻を記録するパケットキャ
プチャ・パケット受信時刻記録部、602は特定の送信
元と宛先のパケットを選別する送信元宛先選別収集部で
ある。
【0029】また、603はアンダーフロー検出部、6
04はアンダーフロー回数カウンタ部、605はオーバ
ーフロー検出部、606はオーバーフロー回数カウンタ
部、607はアンダーフロー回数とオーバーフロー回数
を合計するための回数合計カウンタ部、621はパケッ
トをキャプチャした時にへッダ情報等に記録されている
音声映像データバイト数を読み取り予め設定した規定値
との比較により有音か無音を判定する有音・無音判定部
であり、666は、上述したアンダーフロー検出部60
3,アンダーフロー回数カウンタ部604,オーバーフ
ロー検出部605,オーバーフロー回数カウンタ部60
6,回数合計カウンタ部607,および有音・無音判定
部621の各機能を統合した受信側音声映像劣化回数推
定部を示している。
【0030】さらに、608はアンダーフロー回数やオ
ーバーフロー回数や両者の合計回数が予め設定された規
定値を観測時間内に超える場合にアラーム信号を発信す
るアラーム発生部、609は回数やアラーム信号を特定
の端末、例えばネットワーク品質管理端末、に向けて送
出する回数・アラーム送信部、610は品質監視端末で
ある。
【0031】パケットキャプチャ・パケット受信時刻記
録部601でパケットをキャプチャし、その受信時刻が
記録された後、送信元宛先選別収集部602で特定の送
信元と宛先のパケットが選別され、受信時刻や音声映像
データバイト数が抽出される。それらの情報を入力とし
て、受信側の音声映像劣化回数を推定する受信側音声映
像劣化回数推定部666により受信者によって知覚する
劣化回数、即ち、受信者の実感する品質が推定される。
【0032】次に、受信側音声映像劣化回数推定部66
6内部の構成について詳細に説明する。アンダーフロー
検出部603では、ゆらぎ吸収バッファ111に情報が
無くなる状態についてパケット受信時刻を入力値として
計算により検出する。このアンダーフロー検出部603
の詳細については後述する。検出されたアンダーフロー
状態を、観測時間内のアンダーフローの回数を数えるア
ンダーフロー回数カウンタ604にて集計した後、この
アンダーフロー回数を回数・アラーム送信部609に伝
達する構成と、観測時間内のアンダーフローの回数が予
め設定された規定値以上になる毎にアラーム信号を発生
するアラーム発生部608を経由し、アラーム発生部6
08で発生したアラーム信号を回数・アラーム送信部6
09に伝達する構成を設ける。
【0033】一方、オーバーフロー検出部605では、
ゆらぎ吸収バッファ111から情報が溢れる状態につい
てパケット受信時刻を入力値として計算により検出す
る。このオーバーフロー検出部605の詳細については
後述する。検出されたオーバーフロー状態を、観測時間
内のオーバーフローの回数を数えるオーバーフロー回数
カウンタ606にて集計した後、オーバーフロー回数を
回数・アラーム送信部609に伝達する構成と、観測時
間内のオーバーフローの回数が予め設定された規定値以
上になる毎にアラーム信号を発生するアラーム発生部6
08を経由してアラーム信号を回数・アラーム送信部6
09に伝達する構成を設ける。
【0034】また、回数合計カウンタ部607にて、ア
ンダーフロー回数カウンタ部604とオーバーフロー回
数カウンタ部606で集計された回数を合計した後、観
測時間内の合計回数を回数・アラーム送信部609に伝
達する構成と、観測時間内の合計回数が予め設定された
規定値以上になる毎にアラーム信号を発生するアラーム
発生部608を経由してアラーム信号を回数・アラーム
送信部609に伝達する構成を設ける。そして、回数・
アラーム送信部609から品質監視端末610に向けて
回数やアラームを送信する。
【0035】なお、上記説明では、回数やアラームを送
信する契機は、一定時間毎に、アンダーフロー状態の回
数やオーバーフロー状態の回数がそれぞれの規定値以上
になる毎に、回数・アラーム送信部609から品質監視
端末610に送信するようにしているが、回数やアラー
ムを一旦蓄積しておき、品質管理端末610からの送信
要求の毎に送信するようにしてもよい。
【0036】図7は、受信側音声映像劣化回数推定部6
66の処理を説明するためのフローチャートであって、
アンダーフロー検出方法およびオーバーフロー検出方法
の詳細についても示している。フローチャート中の各ス
テップの処理が図6のどの部分で処理されるかを明確に
するために、各ステップの右上に、アンダーフロー検出
部603の機能を“U”、オーバーフロー検出部605
の機能を“O”、アンダーフロー回数カウンタ部604
の機能を“UC”、オーバーフロー回数カウンタ部60
6の機能を“OC”、有音無音判定部621の機能を
“V”として示した。
【0037】パケット受信時刻Taと音声映像データバ
イト数Pksを読み込む。1パケット当たりの音声映像
データにより再生される再生音声区間長Sectは予め
保持している。次に、ステップ701にて音声映像デー
タバイト数Pksが設定値以上か未満か判定し、以上で
あれば有音と判定し(ステップ701:Y)、ステップ
702にて有音連続数カウンタをCv=Cv+1とし、
未満であれば無音と判定し(ステップ701:N)、ス
テップ703にてCv=0とする。
【0038】次に、有音の場合、ステップ704にてオ
ーバーフローフラグSkkが正数の場合はオーバーフロ
ー状態と判定し(ステップ704:Y)、ステップ70
5にてパケット分解処理を進める時刻Tcになっている
かを判定し、処理を進められる時刻であれば(Ta>T
c、ステップ705:Y)、ステップ706にてゆらぎ
吸収バッファ内に蓄積されているパケット数をクリアし
(Nbuf=0)、次の受信限界時刻をTc=Tc+S
ectとし、オーバーフローフラグSkkを解除(負数
値)してオーバーフロー状態の終了を表す。
【0039】ステップ704にてオーバーフローフラグ
が負数の場合は(ステップ704:N)、次にステップ
707にてパケット受信時刻Taが受信限界時刻Tcよ
り早いか遅いかを判定し、早い場合(Ta<Tc)には
ステップ708にて有音(Cv>0)であることがわか
れば、ステップ709にてゆらぎ吸収バッファ111に
蓄積されているパケット数をNbuf=Nbuf+1と
1増加し、ステップ710にてNbufが設定値より大
きくなったか判定し、大きい場合には(ステップ71
0:Y)、ステップ711にてオーバーフロー回数カウ
ンタをNover=Nover+1と1増加し、オーバ
ーフローフラグSkkを正数としてオーバーフロー状態
であることを表す。
【0040】また、ステップ707にてパケット受信時
刻Taが受信限界時刻Tcより遅い場合には(ステップ
707:N)、ステップ712にてTa≧Tcとなるま
でゆらぎ吸収バッファに蓄積されているパケットを使用
するものと仮定し、その際、1パケットを使用する毎に
受信限界時刻TcはSectずつ増加すると仮定して、
使用パケット数Jを割り出し、ゆらぎ吸収バッファ11
1内に蓄積されているパケット数をNbuf=Nbuf
−Jとする。
【0041】次に、ステップ713にてNbufが負で
あれば(ステップ713:Y)、ゆらぎ吸収バッファ1
11に蓄積されていたパケット数が足りないことを意味
しているので、ステップ714にてNbufが負となら
ない時点での受信限界時刻Tc+Sect×(J+Nb
uf)とパケット受信時刻Taの差分TTを求め、ステ
ップ715にて規定値、例えばゆらぎ吸収バッファ11
1で待たせる時間等が前記差分TTより小さければ、ス
テップ716にて有音判定を行い、有音Cv>0であれ
ば(ステップ716:Y)、ステップ717にてアンダ
ーフローとして回数をNunder=Nunder+1
として1増加する。
【0042】その後、ステップ718にて負となったN
bufをリセットし(Nbuf=0)、次の受信限界時
刻をTc=Tc+Sectとして終了する。
【0043】一方、ステップ713にてNbuf≧0で
あれば(ステップ713:N)、ステップ719にてN
buf=Nbuf+1とし、次の受信限界時刻をTc=
Tc+Sect×(J−1)として終了する。終了後
は、次のパケット受信時刻Ta、音声映像データバイト
数Pksを読み込み、前記フローを繰り返し実行する。
【0044】このような構成になっているので、受信者
が知覚する音声劣化や映像劣化の回数が推定できる。そ
の効果としては、受信者の実感する品質を推定すること
が可能となり、ネットワーク側でパケットの到着時刻や
音声映像データバイト数を監視するだけで、受信者の実
感する品質を反映した通信の品質監視が可能となる。
【0045】(第2の実施例)図8は、本発明の第2の
実施例を説明する図であって、受信端末やゲートウェイ
(図1の矢印(B)参照)に品質監視機能を付加する場
合である。本実施例における受信端末は、図1に示した
ように、パケットを送受信できるゲートウェイ114の
内部のゆらぎ吸収バッファ111、音声パケット分解部
112、音声復号化部113と同じ機能を有するゆらぎ
吸収バッファ1261、音声パケット分解部1262、
音声復号化部1263を備えるディジタル型の電話機1
26またはゆらぎ吸収バッファ1271、音声パケット
分解部1272、音声復号化部1273を備えるパソコ
ン127などのディジタル端末である。
【0046】パケットをキャプチャした時点でパケット
受信時刻を記録するパケット受信時刻記録部801、音
声映像データバイト数を読み取る音声映像データバイト
数読取部802を既設の受信端末やゲートウェイに装備
し、パケット受信時刻記録部801と音声映像データバ
イト数読取部802で読み取ったパケット受信時刻と音
声映像データバイト数の情報を、受信側音声映像劣化回
数推定部666への入力とする構成である。
【0047】受信側音声映像劣化回数推定部666やア
ラーム発生部608や回数・アラーム送信部609の機
能、動作は、第1の実施例(図6,図7参照)で説明し
たとおりである。
【0048】第2の実施例は、このような構成になって
いるので、第1の実施例に比べて受信者に近い地点でパ
ケット受信時刻を検出でき、受信者が知覚する音声劣化
や映像劣化の回数がより高い精度で推定できる。その効
果としては、受信者の実感する品質を推定することが可
能となり、ネットワーク側でパケットの到着時刻や音声
映像データバイト数を監視するだけで、受信者の実感す
る品質を反映した通信の品質監視が可能となる。
【0049】(第3の実施例)図9は、本発明の第3の
実施例を説明する図であって、受信端末やゲートウェイ
に品質監視機能を装備する別の場合である。本実施例に
おける受信端末は、第2の実施例と同様、パケットを送
受信できるゲートウェイ114の内部のゆらぎ吸収バッ
ファ111、音声パケット分解部112、音声復号化部
113と同じ機能を有するゆらぎ吸収バッファ126
1、音声パケット分解部1262、音声復号化部126
3を備えるディジタル型の電話機126またはゆらぎ吸
収バッファ1271、音声パケット分解部1272、音
声復号化部1273を備えるパソコン127などのディ
ジタル端末である。
【0050】既設のゆらぎ吸収バッファ111(図1参
照)の蓄積パケット数を受信限界時刻ごとにチェックす
る蓄積パケット数チェック部901、音声映像データバ
イト数を読み取る音声映像データバイト数読取部902
からの情報を直接利用して、受信側音声映像劣化回数推
定部999への入力とする構成である。
【0051】蓄積パケット数チェック部901は、ゆら
ぎ吸収バッファ111がアンダーフローとなっているか
オーバーフローとなっているかを直接チェックするの
で、アンダーフロー検出部903では、有音の時のみア
ンダーフロー回数をカウントする信号をアンダーフロー
回数カウンタ部604に送出する。オーバーフロー検出
部904では、有音の時のみオーバーフロー回数をカウ
ントする信号をオーバーフロー回数カウンタ部606に
送出する。回数合計カウンタ部607、アラーム発生部
608や回数・アラーム送信部609や有音・無音判定
部621の機能は、第1の実施例(図6,図7参照)で
説明したとおりである。
【0052】第3の実施例は、このような構成になって
いるので、ゆらぎ吸収バッファの状態を直接観測でき、
受信者が知覚する音声劣化や映像劣化の回数が実施例2
より精度良く推定できる。その効果としては、受信者の
実感する品質を推定することが可能となり、ネットワー
ク側でパケットの到着時刻や音声映像データバイト数を
監視するだけで、受信者の実感する品質を反映した通信
の品質監視が可能となる。
【0053】以上、3つの実施例を説明したが、これら
の実施例を実現する処理ステップ(特に図7のフローチ
ャート参照)を、プログラムコード化し、DVDやCD
−ROMなどコンピュータ読取可能な記録媒体に記録し
市場に流通させることにより本発明を広く普及すること
ができる。
【0054】
【発明の効果】以上説明したように、本発明によれば、
受信者が知覚する音声劣化や映像劣化の回数が推定でき
るので、受信者の実感する品質を推定することが可能と
なり、受信者の実感する品質を反映した通信の品質監視
が可能となる効果がある。
【図面の簡単な説明】
【図1】音声映像データを載せたパケットを伝達するた
めの構成要素を説明するための図である。
【図2】アンダーフローに伴う音声劣化メカニズムを説
明するための図である。
【図3】オーバーフローに伴う音声劣化メカニズムを説
明するための図である。
【図4】パケット転送遅延ゆらぎの例を説明するための
図である(その1)。
【図5】パケット転送遅延ゆらぎの例を説明するための
図である(その2)。
【図6】本発明の第1の実施例を説明するための図であ
る。
【図7】本発明の第1の実施例の受信側音声映像劣化回
数推定部の動作を説明するためのフローチャートであ
る。
【図8】本発明の第2の実施例を説明するための図であ
る。
【図9】本発明の第3の実施例を説明するための図であ
る。
【図10】従来技術を説明するための図である。
【符号の説明】
101,102,116,117:電話機、 103:PBX、 104:ゲートウェイ、 105:音声符号化部、 106:音声パケット組立部、 111,1261,1271:ゆらぎ吸収バッファ、 112,1262,1272:音声パケット分解部、 113,1263,1273:音声復号化部、 114:ゲートウェイ、 115:PBX、 120:ネットワーク、 121,122:ノード、 123,126:ディジタル型電話機、 125,127:パソコン、 601:パケットキャプチャ・パケット受信時刻記録
部、 602:送信元宛先選別収集部、 603:アンダーフロー検出部、 604:アンダーフロー回数カウンタ部、 605:オーバーフロー検出部、 606:アンダーフロー回数カウンタ部、 607:回数合計カウンタ部、 608:アラーム発生部、 609:回数・アラーム送信部、 610:品質監視端末、 621:有音・無音判定部、 666:受信側音声映像劣化回数推定部、 801:パケット受信時刻記録部、 802:音声映像データバイト数読取部、 901:蓄積パケット数チェック部、 902:音声映像データバイト数読取部、 903:アンダーフロー検出部、 905:オーバーフロー検出部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 17/00 H04L 11/20 D Fターム(参考) 5C061 BB05 BB13 5K030 GA08 HA08 HA10 HB02 HB13 HC02 JA05 KA02 KA19 LD08 LD18 MA01 MB04 MC08 5K042 AA01 CA12 DA15 EA02 FA15 GA11 JA01 5K051 AA02 BB01 CC01 CC04 DD01 DD12 DD13 EE01 EE02 GG02 JJ02 JJ03 JJ04 JJ13 9A001 BB04 BB06 CC02 DD15 JJ12 JJ19 JJ23 JJ24 KZ56 LL02 LL05 LL09

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 音声映像データとへッダ情報を含むパケ
    ットを、ネットワークを経由して、受信端末あるいはゲ
    ートウェイで集約された受信端末で送受信あるいは受信
    する場合における音声映像通信の品質監視装置であっ
    て、 前記ネットワーク、または、前記ネットワークから前記
    ゲートウェイの間の伝送路を通過するパケットをキャプ
    チャし、前記ヘッダ情報に基づいて送信元と宛先の組が
    同一のパケットを選別収集する手段と、該選別収集した
    パケットの受信時刻を読み取る手段と、当該端末あるい
    は当該ゲートウェイに装備されているパケット転送遅延
    時間の変動を吸収するゆらぎ吸収バッファ内に復号化す
    べき情報が無いことを表すアンダーフロー状態を受信時
    刻から推定する手段と、ゆらぎ吸収バッファに短時間に
    多数のパケットが到着するため蓄積できなくなることを
    表すオーバーフロー状態を受信時刻から推定する手段
    と、アンダーフロー状態の回数またはオーバーフロー状
    態の回数をカウントする手段を有することを特徴とする
    音声映像通信の品質監視装置。
  2. 【請求項2】 音声映像データとへッダ情報を含むパケ
    ットを、ネットワークを経由して、受信端末あるいはゲ
    ートウェイで集約された受信端末で送受信または受信す
    る場合における音声映像通信の品質監視装置であって、 前記受信端末または前記ゲートウェイにおいてパケット
    転送遅延時間の変動を吸収するゆらぎ吸収バッファ内に
    復号化すべき情報が無いことを表すアンダーフロー状態
    を検出する手段と、ゆらぎ吸収バッファに短時間に多数
    のパケットが到着するため音声映像データを蓄積できな
    くなることを表すオーバーフロー状態を検出する手段
    と、アンダーフロー状態の回数またはオーバーフロー状
    態の回数をカウントする手段とを有することを特徴とす
    る音声映像通信の品質監視装置。
  3. 【請求項3】 前記受信したパケットの音声映像データ
    バイト数を読み取る手段と、該読み取った音声映像デー
    タバイト数と規定値との大小を比較する手段と、音声映
    像データバイト数が規定値より大きい時にのみアンダー
    フロー状態の回数またはオーバーフロー状態の回数を数
    える手段を有することを特徴とする請求項1または2記
    載の音声映像通信の品質監視装置。
  4. 【請求項4】 アンダーフロー状態の回数またはオーバ
    ーフロー状態の回数を一定時間カウントした後、それぞ
    れの回数を特定の端末に向けて送信する手段を有するこ
    とを特徴とする請求項1〜3のいずれか1項に記載の音
    声映像通信の品質監視装置。
  5. 【請求項5】 アンダーフロー状態の回数またはオーバ
    ーフロー状態の回数を一定時間カウントした後、それぞ
    れの回数が各々の規定値を超えた時のみ、その回数また
    は規定値を超えたことを表す信号を特定の端末に向けて
    送信する手段を有することを特徴とする請求項1〜3の
    いずれか1項に記載の音声映像通信の品質監視方法。
  6. 【請求項6】 アンダーフロー状態の回数またはオーバ
    ーフロー状態の回数を一定時間カウントした後、それぞ
    れの回数が各々の規定値を超えた場合あるいはそれぞれ
    の合計がその規定値を超えた場合に、それらの情報を特
    定の端末に向けて送信する手段を有することを特徴とす
    る請求項1〜3のいずれか1項に記載の音声映像通信の
    品質監視装置。
  7. 【請求項7】 アンダーフロー状態の回数またはオーバ
    ーフロー状態の回数を一定時間カウントした後、それぞ
    れの回数が各々の規定値を超えた場合あるいはそれぞれ
    の合計がその規定値を超えた場合に、それらの情報を蓄
    積しておき、特定の端末から送信要求があったときに該
    要求してきた端末に向けて蓄積内容を送信する手段を有
    することを特徴とする請求項1〜3のいずれか1項に記
    載の音声映像通信の品質監視装置。
  8. 【請求項8】 音声映像データとへッダ情報を含むパケ
    ットを、ネットワークを経由して、受信端末あるいはゲ
    ートウェイで集約された受信端末で送受信あるいは受信
    する場合における音声映像通信の品質監視方法であっ
    て、 前記ネットワーク、または、前記ネットワークから前記
    ゲートウェイの間の伝送路を通過するパケットをキャプ
    チャし、ヘッダ情報に基づいて送信元と宛先の組が同一
    のパケットを選別収集するステップと、選別収集したパ
    ケットの受信時刻を読み取るステップと、当該端末ある
    いは当該ゲートウェイに装備されているパケット転送遅
    延時間の変動を吸収するゆらぎ吸収バッファ内に復号化
    すべき情報が無いことを表すアンダーフロー状態を受信
    時刻から推定するステップと、ゆらぎ吸収バッファに短
    時間に多数のパケットが到着するため蓄積できなくなる
    ことを表すオーバーフロー状態を受信時刻から推定する
    ステップと、アンダーフロー状態の回数またはオーバー
    フロー状態の回数をカウントするステップを有すること
    を特徴とする音声映像通信の品質監視方法。
  9. 【請求項9】 音声映像データとへッダ情報を含むパケ
    ットを、ネットワークを経由して、受信端末あるいはゲ
    ートウェイで集約された受信端末で送受信あるいは受信
    する場合における音声映像通信の品質監視方法であっ
    て、 前記受信端末または前記ゲートウェイにおいてパケット
    転送遅延時間の変動を吸収するゆらぎ吸収バッファ内に
    復号化すべき情報が無いことを表すアンダーフロー状態
    を検出するステップと、ゆらぎ吸収バッファに短時間に
    多数のパケットが到着するため音声映像データを蓄積で
    きなくなることを表すオーバーフロー状態を検出するス
    テップと、アンダーフロー状態の回数またはオーバーフ
    ロー状態の回数をカウントするステップとを有すること
    を特徴とする音声映像通信の品質監視方法。
  10. 【請求項10】 前記受信したパケットの音声映像デー
    タバイト数を読み取るステップと、該読み取った音声映
    像データバイト数と規定値との大小を比較するステップ
    と、該音声映像データバイト数が規定値より大きい時に
    のみアンダーフロー状態の回数またはオーバーフロー状
    態の回数を数えるステップを有することを特徴とする請
    求項8または9記載の音声映像通信の品質監視方法。
  11. 【請求項11】 アンダーフロー状態の回数またはオー
    バーフロー状態の回数を一定時間カウントした後、それ
    ぞれの回数を特定の端末に向けて送信するステップを有
    することを特徴とする請求項8〜10のいずれか1項に
    記載の音声映像通信の品質監視方法。
  12. 【請求項12】 アンダーフロー状態の回数またはオー
    バーフロー状態の回数を一定時間カウントした後、それ
    ぞれの回数が各々の規定値を超えた時のみ、その回数ま
    たは規定値を超えたことを表す信号を特定の端末に向け
    て送信するステップを有することを特徴とする請求項8
    〜10のいずれか1項に記載の音声映像通信の品質監視
    方法。
  13. 【請求項13】 アンダーフロー状態の回数またはオー
    バーフロー状態の回数を一定時間カウントした後、それ
    ぞれの回数が各々の規定値を超えた場合あるいはそれぞ
    れの合計がその規定値を超えた場合に、それらの情報を
    特定の端末に向けて送信するステップを有することを特
    徴とする請求項8〜10のいずれか1項に記載の音声映
    像通信の品質監視方法。
  14. 【請求項14】 アンダーフロー状態の回数またはオー
    バーフロー状態の回数を一定時間カウントした後、それ
    ぞれの回数が各々の規定値を超えた場合あるいはそれぞ
    れの合計がその規定値を超えた場合に、それらの情報を
    蓄積するステップと、特定の端末から送信要求があった
    ときに該要求してきた端末に向けて蓄積内容を送信する
    ステップを有することを特徴とする請求項8〜10のい
    ずれか1項に記載の音声映像通信の品質監視方法。
  15. 【請求項15】 請求項8〜14のいずれか1項に記載
    の音声映像通信の品質監視方法における各ステップをプ
    ログラムコード化して記録したことを特徴とするコンピ
    ュータ読取可能な記録媒体。
JP2000081568A 2000-03-23 2000-03-23 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体 Expired - Lifetime JP3586719B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000081568A JP3586719B2 (ja) 2000-03-23 2000-03-23 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000081568A JP3586719B2 (ja) 2000-03-23 2000-03-23 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001268124A true JP2001268124A (ja) 2001-09-28
JP3586719B2 JP3586719B2 (ja) 2004-11-10

Family

ID=18598486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000081568A Expired - Lifetime JP3586719B2 (ja) 2000-03-23 2000-03-23 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3586719B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085891A (ja) * 2004-09-14 2006-03-30 Marvell World Trade Ltd 統合型dvd/hddシステムのための統一された制御および記憶
WO2008048155A1 (en) 2006-10-19 2008-04-24 Telefonaktiebolaget Lm Ericsson (Publ) A method of determining video quality
JP2009049708A (ja) * 2007-08-20 2009-03-05 Fujitsu Ltd ネットワーク障害情報収集装置、システム、方法及びプログラム
JPWO2007029731A1 (ja) * 2005-09-06 2009-03-19 日本電信電話株式会社 映像コミュニケーション品質推定装置、方法、およびプログラム
JP2009147459A (ja) * 2007-12-11 2009-07-02 Fujitsu Ltd パケットキャプチャ装置、パケットキャプチャ方法およびパケットキャプチャプログラム
WO2014061529A1 (ja) * 2012-10-15 2014-04-24 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP2014200028A (ja) * 2013-03-29 2014-10-23 富士通株式会社 通信装置、通信方法、及びプログラム
JP2017204840A (ja) * 2016-05-13 2017-11-16 日本電信電話株式会社 音声品質推定装置、音声品質推定方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085891A (ja) * 2004-09-14 2006-03-30 Marvell World Trade Ltd 統合型dvd/hddシステムのための統一された制御および記憶
JP4486130B2 (ja) * 2005-09-06 2010-06-23 日本電信電話株式会社 映像コミュニケーション品質推定装置、方法、およびプログラム
JPWO2007029731A1 (ja) * 2005-09-06 2009-03-19 日本電信電話株式会社 映像コミュニケーション品質推定装置、方法、およびプログラム
TWI449409B (zh) * 2006-10-19 2014-08-11 Ericsson Telefon Ab L M 決定視訊品質之方法
EP2074827A1 (en) * 2006-10-19 2009-07-01 Telefonaktiebolaget LM Ericsson (PUBL) A method of determining video quality
WO2008048155A1 (en) 2006-10-19 2008-04-24 Telefonaktiebolaget Lm Ericsson (Publ) A method of determining video quality
EP2074827A4 (en) * 2006-10-19 2011-06-22 Ericsson Telefon Ab L M METHOD FOR DETERMINING VIDEO QUALITY
US8339976B2 (en) 2006-10-19 2012-12-25 Telefonaktiebolaget Lm Ericsson (Publ) Method of determining video quality
EP2615833A1 (en) 2006-10-19 2013-07-17 Telefonaktiebolaget L M Ericsson (publ) A method for determining video quality
US8902782B2 (en) 2006-10-19 2014-12-02 Telefonaktiebolaget L M Ericsson (Publ) Method of determining video quality
JP2009049708A (ja) * 2007-08-20 2009-03-05 Fujitsu Ltd ネットワーク障害情報収集装置、システム、方法及びプログラム
JP2009147459A (ja) * 2007-12-11 2009-07-02 Fujitsu Ltd パケットキャプチャ装置、パケットキャプチャ方法およびパケットキャプチャプログラム
WO2014061529A1 (ja) * 2012-10-15 2014-04-24 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP2014200028A (ja) * 2013-03-29 2014-10-23 富士通株式会社 通信装置、通信方法、及びプログラム
JP2017204840A (ja) * 2016-05-13 2017-11-16 日本電信電話株式会社 音声品質推定装置、音声品質推定方法及びプログラム

Also Published As

Publication number Publication date
JP3586719B2 (ja) 2004-11-10

Similar Documents

Publication Publication Date Title
US7924824B2 (en) Voice packet communications system with communications quality evaluation function
CN109587551B (zh) 一种流媒体直播卡顿的判断方法、装置、设备及存储介质
JP3699910B2 (ja) データ伝送装置、データ伝送方法及びプログラム
US8542723B2 (en) Information processing apparatus and information generation method
US20010004352A1 (en) Data communication system, data receiving terminal and data sending terminal
US20130091528A1 (en) Video reproduction system, receive terminal, home gateway device, and quality control system
JP2002077233A (ja) リアルタイム情報受信装置
JP2007524299A (ja) マルチメディアデータの伝送品質測定方法および装置
US9112961B2 (en) Audio quality analyzing device, audio quality analyzing method, and program
JP3586719B2 (ja) 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体
JPH09224008A (ja) オーディオ再生時刻調整回路
US8649277B2 (en) Communication apparatus and method
US8339974B1 (en) Method and system for detecting and mitigating RTP-based denial of service attacks
US7233605B1 (en) Method and apparatus for minimizing delay induced by DTMF processing in packet telephony systems
JP4272033B2 (ja) データ再生装置
JP5707309B2 (ja) 品質劣化判定装置及び方法
EP1691561A2 (en) Erasure of DTMF signal transmitted as speech data
US7299176B1 (en) Voice quality analysis of speech packets by substituting coded reference speech for the coded speech in received packets
KR100911771B1 (ko) 음성통신의 패킷 손실을 은닉하는 단말장치 및 방법
JP3481087B2 (ja) 音声通信ゆらぎ吸収方法
JP3668144B2 (ja) パケット通信音声シミュレーション装置および方法
JP4408743B2 (ja) 通信装置及び受信バッファの制御方法
JP4299731B2 (ja) 受信装置及び受信再生方法
EP1443724A1 (en) Gateway system
JP4392378B2 (ja) 音声符号化選択制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040719

R151 Written notification of patent or utility model registration

Ref document number: 3586719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110820

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term