JP2008005108A - 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム - Google Patents
映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム Download PDFInfo
- Publication number
- JP2008005108A JP2008005108A JP2006171235A JP2006171235A JP2008005108A JP 2008005108 A JP2008005108 A JP 2008005108A JP 2006171235 A JP2006171235 A JP 2006171235A JP 2006171235 A JP2006171235 A JP 2006171235A JP 2008005108 A JP2008005108 A JP 2008005108A
- Authority
- JP
- Japan
- Prior art keywords
- video
- invalid
- quality
- frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】映像動き率算出部13により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出し、無効フレーム率算出部14により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末2Bで正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出し、映像品質推定部16により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づいて、無効フレーム率算出部14で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する。
【選択図】 図1
Description
この技術では、サーバ側でユーザの体感品質を推定する手法が提案されているが、ネットワーク品質だけが考慮され、端末でのパケット損失は考慮されておらず、パケット損失に対する平均的なユーザ体感品質を推定することしかできなかった。これは、映像フレーム種別情報を収集する手段がなく映像フレーム種別の影響を把握することができなかったためである。
したがって、従来のように複数映像の平均や安全側を考慮して映像品質を推定した場合と比較して、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現でき、多種多様な映像に対するユーザ体感品質を、ユーザごとにリアルタイムで、高い精度で推定することが可能となる。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置について説明する。図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置1には、主な機能部として、映像符号化情報収集部11、無効パケット情報収集部12、映像動き率算出部13、無効フレーム率算出部14、映像品質推定モデルデータベース(以下、映像品質推定モデルDBという)15、および映像品質推定部16が設けられている。
映像品質推定装置1の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部は、CPUなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
また、映像符号化情報のうち、符号化方式、符号化速度、GOP構成については、測定時に一度送出すればよく、映像フレームごとの動き量については、任意の測定期間ごとに送ってもよい。
次に、図1を参照して、映像通信端末について説明する。
映像通信端末2A,2Bは、通信機能を有する情報処理装置からなり、所定のリアルタイム系アプリケーションを実行することにより、映像通信端末2A,2B間で映像通信を行う機能を有している。
映像通信端末2A,2Bは、主な機能手段として、映像符号化情報データベース(以下、映像符号化情報DBという)21および無効パケット情報取得部22を備えている。
無効パケット情報収集部12は、通信相手の映像通信端末2から損失パケット、順序逆転パケット、遅着パケットなどの無効パケットに関する発生情報を収集する機能を有している。
次に、図2を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の無効フレーム判定処理について詳細に説明する。図2は、本発明の第1の実施の形態にかかる映像品質推定装置の無効フレーム判定処理を示すフローチャートである。
ここでは、無効フレーム率算出部14における無効フレーム判定処理の具体例について説明する。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
次に、図4を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の動作について説明する。図4は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像動き率を考慮した、無効フレーム率による映像品質推定モデルは、Xを無効フレーム率とし、Aを定数とし、Bを映像動き率から求められるモデル係数とし、Yをユーザ体感品質とした場合、次のような指数関数で表すことができる。
Y=A・exp(−BX)+1
B=aZ2+bZ+c
図5は、映像品質推定モデル例を示す説明図であり、映像動き率Zに応じて映像品質推定モデルここでは無効フレーム率−MOS値特性が異なることがわかる。したがって、映像動き率ごとに映像品質推定モデルを予め算出しておき、これらを映像品質推定モデルDB15へ保存しておけばよい。
したがって、従来のように複数映像の平均や安全側を考慮して映像品質を推定した場合と比較して、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現でき、多種多様な映像に対するユーザ体感品質を、ユーザごとにリアルタイムで、高い精度で推定することが可能となる。
次に、図6を参照して、本発明の第2の実施の形態にかかる映像通信品質管理装置について説明する。図6は、本発明の第2の実施の形態にかかる映像通信品質管理装置の構成を示すブロック図であり、前述した図1と同じまたは同等部分には同一符号を付してある。
この際、映像品質管理部57は、判定結果として映像品質推定値17と所定の管理値との比較表示し、映像品質推定値17が所定の管理値を下回る場合にはアラーム表示を行う。また、このような判定結果を電子メールで管理者宛に送信するようにしてもよい。
以上の各実施の形態では、映像符号化情報や無効パケット情報を映像通信時にリアルタイムで映像通信端末2A,2Bから収集する場合を例として説明したが、予め管理サーバ(図示せず)が映像通信時にリアルタイムでこれら映像符号化情報や無効パケット情報を収集して蓄積し、その後、映像品質推定装置1や映像品質管理装置5が、管理サーバから所望の映像通信に関する映像符号化情報や無効パケット情報を収集して、映像品質を推定し、さらには映像品質を管理するようにしてもよい。
Claims (6)
- パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置であって、
前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、
前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、
前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、
前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、
前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定部と
を備えることを特徴とする映像品質推定装置。 - パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置であって、
前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、
前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、
前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、
前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、
前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定部と
前記推定値と所定の管理値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理部と
を備えることを特徴とする映像品質管理装置。 - パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、
映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと
を備えることを特徴とする映像品質推定方法。 - パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置で用いられる映像品質管理方法であって、
映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと、
映像品質管理部により、前記推定値と所定のしきい値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップと
を備えることを特徴とする映像品質管理方法。 - パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置のコンピュータに、
映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと
を実行させるプログラム。 - パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置のコンピュータに、
映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと、
映像品質管理部により、前記推定値と所定のしきい値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171235A JP4308227B2 (ja) | 2006-06-21 | 2006-06-21 | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171235A JP4308227B2 (ja) | 2006-06-21 | 2006-06-21 | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008005108A true JP2008005108A (ja) | 2008-01-10 |
JP4308227B2 JP4308227B2 (ja) | 2009-08-05 |
Family
ID=39009158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006171235A Expired - Fee Related JP4308227B2 (ja) | 2006-06-21 | 2006-06-21 | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4308227B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009273010A (ja) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定方法、装置およびプログラム |
JP2009273013A (ja) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム |
JP2010011112A (ja) * | 2008-06-27 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2010081157A (ja) * | 2008-09-25 | 2010-04-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
WO2010092848A1 (ja) * | 2009-02-10 | 2010-08-19 | 日本電気株式会社 | 映像品質推定装置および映像品質推定方法 |
JP2011049645A (ja) * | 2009-08-25 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2011510562A (ja) * | 2008-01-18 | 2011-03-31 | トムソン ライセンシング | 知覚上の品質を評価する方法 |
JP2011514059A (ja) * | 2008-07-10 | 2011-04-28 | ▲ホア▼▲ウェイ▼技術有限公司 | ビデオ符号ストリームの品質を評価する方法、装置およびシステム |
JP2013541281A (ja) * | 2010-09-16 | 2013-11-07 | ドイッチェ テレコム アーゲー | 伝送チェーンを介したオーディオおよびビデオビットストリーム伝送の品質を測定するための方法およびシステム |
-
2006
- 2006-06-21 JP JP2006171235A patent/JP4308227B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011510562A (ja) * | 2008-01-18 | 2011-03-31 | トムソン ライセンシング | 知覚上の品質を評価する方法 |
JP2009273013A (ja) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム |
JP2009273010A (ja) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定方法、装置およびプログラム |
JP2010011112A (ja) * | 2008-06-27 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
US9438913B2 (en) | 2008-07-10 | 2016-09-06 | Snaptrack, Inc. | Method, apparatus and system for evaluating quality of video streams |
US8576921B2 (en) | 2008-07-10 | 2013-11-05 | Huawei Technologies Co., Ltd. | Method, apparatus and system for evaluating quality of video streams |
JP2011514059A (ja) * | 2008-07-10 | 2011-04-28 | ▲ホア▼▲ウェイ▼技術有限公司 | ビデオ符号ストリームの品質を評価する方法、装置およびシステム |
JP2010081157A (ja) * | 2008-09-25 | 2010-04-08 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP4544435B2 (ja) * | 2009-02-10 | 2010-09-15 | 日本電気株式会社 | 映像品質推定装置、映像品質推定方法およびプログラム |
US8254464B2 (en) | 2009-02-10 | 2012-08-28 | Nec Corporation | Image quality estimation apparatus and image quality estimation method |
JP2010187097A (ja) * | 2009-02-10 | 2010-08-26 | Nec Corp | 映像品質推定装置、映像品質推定方法およびプログラム |
WO2010092848A1 (ja) * | 2009-02-10 | 2010-08-19 | 日本電気株式会社 | 映像品質推定装置および映像品質推定方法 |
JP2011049645A (ja) * | 2009-08-25 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2013541281A (ja) * | 2010-09-16 | 2013-11-07 | ドイッチェ テレコム アーゲー | 伝送チェーンを介したオーディオおよびビデオビットストリーム伝送の品質を測定するための方法およびシステム |
US9374282B2 (en) | 2010-09-16 | 2016-06-21 | Deutsche Telekom Ag | Method of and system for measuring quality of audio and video bit stream transmissions over a transmission chain |
Also Published As
Publication number | Publication date |
---|---|
JP4308227B2 (ja) | 2009-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4308227B2 (ja) | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム | |
US8405773B2 (en) | Video communication quality estimation apparatus, method, and program | |
JP5215288B2 (ja) | 映像符号化のための時間的品質メトリック | |
JP5172440B2 (ja) | 映像品質推定装置、方法およびプログラム | |
CN109618565B (zh) | 流式视频用户体验质量的自动测量方法和系统 | |
US9723329B2 (en) | Method and system for determining a quality value of a video stream | |
EP3393125B1 (en) | Audio/visual quality estimation device, method for estimating audio/visual quality, and program | |
WO2010054690A1 (en) | Method for estimating the 'quality of experience' of a user in respect of audio and/or video contents distributed through telecommunications networks | |
Yang et al. | Content-adaptive packet-layer model for quality assessment of networked video services | |
JP2007019802A (ja) | 映像品質推定装置および映像品質推定方法 | |
JP4460506B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
JP5390369B2 (ja) | 映像品質推定装置および方法、符号化ビットレート推定装置および方法、並びにプログラム | |
JP4460523B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
JP6162596B2 (ja) | 品質推定装置、方法及びプログラム | |
JP4634339B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
JP2007006203A (ja) | ユーザ体感品質推定モデル生成装置、品質管理装置、およびプログラム | |
JP4733071B2 (ja) | 映像品質推定方法および装置 | |
JP2007329778A (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
JP2007329777A (ja) | コンテンツ特性解析装置、方法、およびプログラム | |
JP5707461B2 (ja) | 映像品質推定装置、映像品質推定方法及びプログラム | |
JP4460548B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
Klein et al. | Evaluation of video quality monitoring based on pre-computed frame distortions | |
JP2007329775A (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
JP6061778B2 (ja) | 映像品質評価装置、映像品質評価方法及びプログラム | |
JP4460549B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090430 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |