JP4027330B2 - 音声・映像通信サービス品質推定方法及びその装置 - Google Patents

音声・映像通信サービス品質推定方法及びその装置 Download PDF

Info

Publication number
JP4027330B2
JP4027330B2 JP2004047866A JP2004047866A JP4027330B2 JP 4027330 B2 JP4027330 B2 JP 4027330B2 JP 2004047866 A JP2004047866 A JP 2004047866A JP 2004047866 A JP2004047866 A JP 2004047866A JP 4027330 B2 JP4027330 B2 JP 4027330B2
Authority
JP
Japan
Prior art keywords
video
quality
audio
evaluation value
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004047866A
Other languages
English (en)
Other versions
JP2005244321A (ja
Inventor
孝典 林
和久 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004047866A priority Critical patent/JP4027330B2/ja
Publication of JP2005244321A publication Critical patent/JP2005244321A/ja
Application granted granted Critical
Publication of JP4027330B2 publication Critical patent/JP4027330B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定方法及び装置に関するものである。
インターネットのアクセス回線の高速・広帯域化に伴い、音声・映像メディアを用いた双方向リアルタイム通信サービス(例として、テレビ電話/会議サービス、コラボレーションサービス等)が期待されている。インターネットは必ずしも通信品質の保証されないネットワークであるため、音声及び映像メディアを用いて通信を行う場合、通信者(ユーザ)間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアに対してユーザが体感する品質(主観品質)が劣化してしまう。具体的には、音声に品質劣化が加わると、途切れ・雑音・応答の遅れ等として知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感・応答の遅れ等として知覚される。また、音声・映像メディア信号送信時の処理時間(音声・映像の符号化処理時間、送信バッファ時間等)、ネットワークにおける遅延時間(ネットワーク構成、通信者間の物理的距離等)、音声・映像メディア信号受信時の処理時間(受信バッファ時間、音声・映像の復号時間)に起因する遅延時間等によって、音声や映像の応答の遅れが知覚される場合がある。上記サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。
従来、音声品質を推定する技術については、例えば、国際標準化機関ITU−T(International Telecommunication Union Telecommunication Standardization Sector)勧告 P.862において音声品質客観評価尺度PESQ(Perceptual Evaluation of Speech Quality)が規定されている。また、映像品質を推定する技術についても、ITU−T勧告J.144等において映像品質客観評価尺度が記載されており、専門家機関であるVQEG(Video Quality Expert Group, URL:http://www.vqeg.org/)等においても継続して議論が行われている。これらの客観品質評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能にしている。
従来の技術1の音声映像総合品質推定方法(特許文献1 参照)は、原音声に雑音を付加した雑音付加音声と原画像に雑音を付加した雑音付加映像により評価用標準信号を構成し、原音声への雑音付加量により決まる音声品質を表すパラメータQaと原画像への雑音付加量により決まる映像品質を表すパラメータQvにより、上記評価用標準信号の総合品質を変化させた場合に総合品質を一元的に表すパラメータQavを規定し、このQavをQaとQvにより推定する関係式を主観評価により導出する。
従来の技術2の通信・放送ネットワークを介した信号伝送の品質評価システム(特許文献2 参照)は、評価対象たる通信・放送ネットワークに対してテスト用の入力信号を入力し、入力信号は通信・放送ネットワーク内で劣化が生じ、その伝送結果が出力され、客観品質評価部に入力される。客観品質評価部では入力信号と出力信号とを比較して通信・放送ネットワーク内での品質の劣化を推定して、品質の評価を行う。
特開平8−289333号公報(要約、構成) 特開2001−298428(要約、構成)
しかしながら、上記の客観品質評価尺度は、音声メディアあるいは映像メディア等の個別メディアの品質を取り扱っているのがほとんどであり、音声及び映像メディアを用いた通信サービスの総合的な品質評価尺度として利用することができないという問題がある。また、テレビ電話/会議サービスやコラボレーションサービス等のような双方向通信サービスの場合には、各メディアの伝送遅延時間やメディア間の遅延時間のずれもサービスの品質を劣化させる原因となり得るが、上記と同様に品質評価尺度として考慮されていないという問題がある。
従来の技術1においては、テレビ放送のような片方向の音声・映像サービスを前提としており、双方向性すなわち本発明における応答品質を考慮していない。また、従来の技術2においては、音声や映像信号の品質評価システムを実現しているが、ユーザが享受する音声や映像の品質をどのように取り扱って総合品質を導出するのかについては全く言及していない。
本発明は、上記に鑑みてなされたもので、その目的とするところは、音声・映像メディアを用いた双方向リアルタイム通信サービスの総合的な品質を求めることを可能とする音声・映像通信サービス品質推定方法及びその装置を提供することにある。
上記の目的を達成するため、請求項1記載の本発明は、音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおいて、音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力するステップと、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の2つあるいは3つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定するステップとを備えることを要旨とする。また、請求項2記載の本発明は、請求項1の発明に対して、音声に対して通信者が体感する音声品質評価値を推定するステップと、映像に対して通信者が体感する映像品質評価値を推定するステップと、音声及び映像の応答遅れに対して通信者が体感する応答品質評価値を推定するステップとを備えることを要旨とする。
請求項3記載の本発明は、音声および映像メディアを用いてネットワーク経由で通信相定と会話可能なシステムにおいて、音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力する手段と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の2つあるいは3つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定する手段とを備えることを要旨とする。また、請求項4記載の本発明は、請求項3の発明に対して、音声に対して通信者が体感する音声品質評価値を推定する手段と、映像に対して通信者が体感する映像品質評価値を推定する手段と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を推定する手段とを備えることを要旨とする。
以上のような音声・映像通信サービス品質推定方法及びその装置では、音声品質、映像品質、応答品質の相互作用を評価して、音声・映像通信サービスの総合的な品質を推定することが可能となるため、ユーザに対してある一定以上の品質を保つための音声品質、映像品質、応答品質への要求条件を明確にすることができる。これにより、上記サービスで用いるアプリケーションパラメータ(例えば、符号化速度、映像フレームレート等の値)やネットワーク品質パラメータ(例えば、パケット損失率、遅延時間等の許容値)の設計、提供中のサービスの品質実態を把握・管理することが可能となる。
本発明によれば、音声品質、映像品質、応答品質の相互作用を評価して、音声・映像通信サービスの総合的な品質を推定することが可能となるため、サービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。また、品質をより改善するための指針として、音声品質、映像品質、応答品質の何を改善すればよいかを把握することもできる。これらにより、上記サービスで用いるアプリケーションパラメータ(例えば、符号化速度、映像フレームレート等の値)やネットワーク品質パラメータ(例えば、パケット損失率、遅延時間等の許容値)の設計や、提供中のサービスの品質実施を把握・管理することが可能となる。
以下、図面を用いて本発明の実施形態を説明する。
(実施形態1)
図1は本発明の実施形態1に関わる音声・映像通信サービス品質推定システムの構成を示す図である。図1に示すように音声・映像通信サービス品質推定システム100は、音声品質推定部110、映像品質推定部120、応答品質推定部130、音声・映像通信サービス品質推定部140より構成されている。
次に、本発明の音声・映像通信サービス品質推定システムを介した総合品質の推定の流れを説明する。
音声品質推定部110は、送信音声(符号化・伝送装置への入力音声信号)及び受信音声(符号化・伝送・復号された出力音声信号)を入力とし、音声品質推定部110内の品質推定は、前述のITU−T勧告P.862等のアルゴリズムを適用することで実現することが可能となる。
映像品質推定部120は、送信映像(符号化・伝送装置への入力映像信号)及び受信映像(符号化・伝送・復号された出力映像信号)を入力とし、映像品質評価値を出力する。
映像品質推定部120内の品質推定は、前述のITU−T勧告J.144等のアルゴリズムを適用することで実現することが可能となる。ここで、音声品質あるいは映像品質を推定する際には、送受信信号の同期をとることが必要となるが、同期がとれた送受信信号は相関が高くなることを利用してずれた時間(符号化・伝送・復号の処理時間)すなわち遅延時間を求めることが可能である。
音声信号の遅延時間と映像信号の遅延時間を求めて応答品質推定部130への入力とし、応答品質評価値を出力する。
応答品質推定部130内の品質推定は、予め求めておいた遅延時間と応答品質の関係から導出する。その後、音声品質評価値、映像品質評価値、応答品質評価値を入力とした音声・映像通信サービス品質推定部140において、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の2つあるいは3つの積を重み付けた値の加算から、音声・映像通信サービスに対する総合的な品質を推定し、相互品質評価値を出力する。
上記の流れの具体例として、実際にユーザの主観品質評価実験によって遅延時間と応答品質の関係を求めた結果を図2に示す。図2は、1対1のテレビ電話サービスにおいて1分間自由に会話した場合の片道遅延時間と5段階品質尺度により求めた平均オピニオン評点MOS(Mean opinion Score:「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の5段階の評価尺度に対してそれぞれ5〜1点を付け、評価者が投票した得点の平均値を平均オピニオン評点と呼ぶ)の関係を示している。図2では、応答品質のMOS値であることがわかるようにdを添字として付している。また、音声信号と映像信号は同じ時間だけ遅れている(同期している)場合に結果である。ここで、評価者はインターネットを利用する20〜39歳までの男女計32名である。図2より、片道遅延時間と応答品質の関係を定式化して対応関係を求めておくことは容易である。
次に、音声・映像通信サービスに対する総合的な品質の推定方法の具体例を示す。
上記と同じ主観品質評価実験により、音声品質評価値MOSa、映像品質評価値MOSv、応答品質評価値MOSdと総合品質MOStの関係を定式化した結果、MOSt=α・MOSa+β・MOSv+γ・MOSd+δ・MOSa・MOSv+ε・MOSa・MOSd+ψ・MOSv・MOSd+φ・MOSa・MOSv・MOSd+μという関数で推定可能であることがわかった。ここで、α、β、γ、δ、ε、ψ、φ、μは定数で、音声・映像通信サービス(ここではテレビ電話サービス)をどのようなシーンで利用するのか、どのような会話を行うか等により変化する値である。想定するサービス利用シーンを決定し、一度主観品質評価実験を行うことでこれらの定数は求めることが可能である。
各定数を求める方法について説明する。
まず、音声品質、映像品質、応答品質が異なる複数の実験条件を設定し、これらに対してITU−T勧告P.911に準拠した主観評価実験を行う。各品質は、音声・映像通信サービスの通信環境(パケット損失率、パケット遅延時間/ゆらぎ時間等のネットワーク品質パラメータ)が制御できる実験系(例えば、ネットワークエミュレータ装置を介して、音声・映像コミュニケーションサービスで用いる端末/アプリケーションを接続する)を用いることで制御可能である。主観評価実験では、被験者に想定するサービス利用シーンを模擬する会話を実施してもらい、音声品質、映像品質、応答品質の他に、音声・映像通信サービスに対する総合的な品質を評価し、前述のMOSa,MOSv,MOSd,MOStの値を求める。これらのデータから、MOStを目的変数、MOSa,MOSv,MOSdを説明変数とし、それぞれの交互作用を考慮した関数、MOSt=α・MOSa+β・MOSv+γ・MOSd+δ・MOSa・MOSv+ε・MOSa・MOSd+ψ・MOSv・MOSd+φ・MOSa・MOSv・MOSd+μにより重回帰分析を行うことにより、定数α、β、γ、δ、ε、ψ、φ、μの値を求めることができる。
上記と同様に、自由に会話をする場合を想定した評価結果に本推定関数を適用した結果を図3に示す。横軸は実測により求めた総合品質MOSt、縦軸はMOSa,MOSv,MOSdの関数である上記推定式より求めた総合品質MOSt estを示している。殆どのデータが45度の線上に位置することから、上記推定式は非常に精度良く総合品質を推定していることがわかる。
以上の実施形態により、本発明が対象として課題を解決し、送受信した音声信号と映像信号から、音声・映像メディアを用いた双方向リアルタイム通信サービスの総合的な品質を求めることが可能となる。
(実施形態2)
実施形態1において、音声品質、映像品質、応答品質のそれぞれを推定するステップ/手段を備えていない実施形態、すなわち音声品質推定部110、映像品質推定部120、応答品質推定部130を除いた形態も本発明の範囲に含まれる。
(実施形態3)
図4は、本発明の実施形態3に関わる音声・映像通信サービス品質推定システム構成を示す図である。
実施形態1で示した図1と同様に、図4の音声・映像通信サービス品質推定システム200は、音声品質推定部210、映像品質推定部220、応答品質推定部230、音声・映像通信サービス品質推定部240より構成されている。実施形態1とは、音声品質推定部210、映像品質推定部220、応答品質推定部230への入力信号が異なる。音声品質推定部210、映像品質推定部220では、送信音声あるいは送信映像がない場合の品質推定アルゴリズムを用いることで音声品質あるいは映像品質を推定することが可能となる。ただし、受信音声あるいは受信映像のみから音声と映像の遅延時間を求めることはできないため、別方法で遅延時間を求めて応答品質推定部230の入力とする必要がある。ネットワークの遅延時間を推定する方法については数多くの提案がされているため、ここでは省略する。図4の実施の形態では、音声と映像の両者を受信信号のみを入力としたが、音声あるいは映像のどちらか一方を受信信号のみとする実施形態についても本発明の範囲に含まれる。
本発明の音声・映像通信サービス品質推定システム(実施形態1)の構成を示す図。 片道遅延時間と主観品質の関係を示す図。 本発明の実施形態1で用いた音声・映像通信サービス品質推定方法の評価精度を示す図。 本発明の音声・映像通信サービス品質推定システム(実施形態3)の構成を示す図。
符号の説明
100,200・・・音声・映像通信サービス品質推定システム
110,210・・・音声品質推定部
120,220・・・映像品質推定部
130,230・・・応答品質推定部
140,240・・・音声・映像通信サービス推定部

Claims (4)

  1. 音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定方法において、
    音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力するステップと、
    前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の2つあるいは3つの積を重み付けた値を加算し、加算した値から、音声・映像通信サービスに対する総合的な品質を推定するステップと、
    を備えることを特徴とする音声・映像通信サービス品質推定方法。
  2. 請求項1に記載の音声・映像通信サービス品質推定方法において、
    音声に対して通信者が体感する音声品質評価値を推定するステップと、
    映像に対して通信者が体感する映像品質評価値を推定するステップと、
    音声及び映像の応答遅れに対して通信者が体感する応答品質評価値を推定するステップと、
    を備えることを特徴とする音声・映像通信サービス品質推定方法。
  3. 音声及び映像メディアを用いてネットワーク経由で通信相手と会話可能なシステムにおける音声・映像通信サービス品質推定装置において、
    音声に対して通信者が体感する音声品質評価値と、映像に対して通信者が体感する映像品質評価値と、音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を入力する手段と、
    前記音声品質評価値、前記映像品質評価値、前記応答品質評価値を重み付けた値と、前記音声品質評価値、前記映像品質評価値、前記応答品質評価値の2つあるいは3つの積を重み付けた値を加算し、加算した値から、音声・映像通信サービスに対する総合的な品質を推定する手段と、
    を備えることを特徴とする音声・映像通信サービス品質推定装置。
  4. 請求項3に記載の音声・映像通信サービス品質推定装置において、
    音声に対して通信者が体感する音声品質評価値を推定する手段と、
    映像に対して通信者が体感する映像品質評価値を推定する手段と、
    音声及び映像の応答の遅れに対して通信者が体感する応答品質評価値を推定する手段と、
    を備えることを特徴とする音声・映像通信サービス品質推定装置。
JP2004047866A 2004-02-24 2004-02-24 音声・映像通信サービス品質推定方法及びその装置 Expired - Lifetime JP4027330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004047866A JP4027330B2 (ja) 2004-02-24 2004-02-24 音声・映像通信サービス品質推定方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004047866A JP4027330B2 (ja) 2004-02-24 2004-02-24 音声・映像通信サービス品質推定方法及びその装置

Publications (2)

Publication Number Publication Date
JP2005244321A JP2005244321A (ja) 2005-09-08
JP4027330B2 true JP4027330B2 (ja) 2007-12-26

Family

ID=35025632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004047866A Expired - Lifetime JP4027330B2 (ja) 2004-02-24 2004-02-24 音声・映像通信サービス品質推定方法及びその装置

Country Status (1)

Country Link
JP (1) JP4027330B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248679B (zh) 2005-09-06 2010-07-14 日本电信电话株式会社 视频通信品质推测装置、方法
JP4718501B2 (ja) * 2007-02-28 2011-07-06 Kddi株式会社 通話品質試験用サーバおよび通話品質試験方法
JP5142316B2 (ja) * 2007-07-19 2013-02-13 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置およびプログラム
EP2106154A1 (en) 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
JP5957419B2 (ja) * 2013-06-27 2016-07-27 日本電信電話株式会社 QoE推定装置、QoE推定方法及びプログラム
CN111507873A (zh) * 2020-04-14 2020-08-07 四川聚阳科技集团有限公司 一种基于声音图像联合采样的课堂参与度评估方法
CN113727100A (zh) * 2021-09-30 2021-11-30 北京达佳互联信息技术有限公司 音视频通信质量的诊断方法及装置

Also Published As

Publication number Publication date
JP2005244321A (ja) 2005-09-08

Similar Documents

Publication Publication Date Title
JP4486130B2 (ja) 映像コミュニケーション品質推定装置、方法、およびプログラム
Robitza et al. A modular http adaptive streaming qoe model—candidate for itu-t p. 1203 (“p. nats”)
Yamagishi et al. Qrp08-1: Opinion model for estimating video quality of videophone services
Yang et al. Content-adaptive packet-layer model for quality assessment of networked video services
JP4317540B2 (ja) 映像品質推定装置、方法およびプログラム
Usman et al. A no reference video quality metric based on jerkiness estimation focusing on multiple frame freezing in video streaming
da Silva et al. Quality assessment of interactive voice applications
JP4490374B2 (ja) 映像品質評価装置および方法
Hayashi et al. Multimedia quality integration function for videophone services
JP4787210B2 (ja) 映像品質推定方法、装置、およびプログラム
JP4510583B2 (ja) 双方向マルチモーダルサービス品質推定装置および方法
JP4027330B2 (ja) 音声・映像通信サービス品質推定方法及びその装置
JP4745721B2 (ja) ネットワークコミュニケーションサービス満足度推定装置、方法、およびプログラム
JP4460523B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
Yamagishi et al. Opinion model using psychological factors for interactive multimodal services
JP4365291B2 (ja) 双方向通信サービスシステムにおける品質推定方法および品質推定装置
Vaalgamaa et al. Audiovisual communication
Han et al. Hybrid real-time quality assessment model for voice over IP
JP2004222257A (ja) 総合通話品質推定方法及び装置、その方法を実行するプログラム、及びその記録媒体
Casas et al. End-2-end evaluation of ip multimedia services, a user perceived quality of service approach
Su et al. Packet-layer quality assessment for networked video
Yamagishi et al. Verification of video quality opinion model for videophone services
Schiffner et al. Related Work and Theoretical Background
Rodrigues et al. QoE assessment of VoIP in next generation networks
Dadheech et al. A call quality assessment and analysis framework for video telephony applications in enterprise networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4027330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term