JP2012147504A - 分類されたメディア経験の質 - Google Patents
分類されたメディア経験の質 Download PDFInfo
- Publication number
- JP2012147504A JP2012147504A JP2012108623A JP2012108623A JP2012147504A JP 2012147504 A JP2012147504 A JP 2012147504A JP 2012108623 A JP2012108623 A JP 2012108623A JP 2012108623 A JP2012108623 A JP 2012108623A JP 2012147504 A JP2012147504 A JP 2012147504A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- quality metric
- quality
- streaming
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013442 quality metrics Methods 0.000 claims abstract description 210
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010295 mobile communication Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【解決手段】少なくとも1つの連続メディアストリームが、クライアントに配信され、該配信は、該クライアントとサーバとの間で動作するプロトコルによって制御される。本発明の方法は、少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定のセットから品質メトリクスクラスと、を選択するステップと、上記少なくとも1つの選択された品質メトリクスと上記選択された品質メトリクスクラスとに基づく上記ストリーミング品質を上記サーバへ報告するステップと、を具備する。上記プロトコルは、3GPPパケット交換型ストリーミングサービス(PSS)と関連して、セッション記述プロトコル(SDP)と組み合わされるリアルタイム・ストリーミングプロトコル(RTSP)が望ましい。本発明は、さらにシステム、サーバ及びプロトコル等にも関する。
【選択図】図7
Description
第1セットの品質メトリクスは、端末装置ベースのメディア品質測定値(デコーダ内で測定されるか、またはデコーダ入力箇所で予測される値)から計算される。例えば、測定値は、データ破損持続時間(corruption duration)で規定し、データ破損して復号化されたメディア(オーディオ/スピーチ/ビデオ)の第1のフレームの開始から、後続する復号化された良好な第1のフレームの開始または報告期間の終了(のいずれか早い方)までの時間とする。ただし、フリーズ/ギャップのバッファ処理時間、フリーズ/ギャップの一時停止時間は含まないものとする。
(1)「Off」パラメータが使用されるときだけ、これは、ストリーミングサーバまたはストリーミングクライアントのいずれかが、品質メトリクスのモニターおよび報告の取消しを要求していることを示す。
(2)ヘッダ2aが別のパラメータを含むとき、品質メトリクスの送信開始(または、中間セッションでのモニター再開)が要求される。
「良好なフレームとは、最後の損失後のN個のフレームまたは完全なI−フレームのうちの時間的に早い方のどちらかのフレームである。但し、Nは、
(a)信号による送信値、または
(b)デフォルト値∞(ビデオのとき)、もしくはデフォルト値1(オーディオのとき)のいずれかの値である。」
ストリーミング品質を報告する方法であって、少なくとも1つの連続メディアストリームをクライアントに対して配信し、該配信を該クライアントとサーバとの間で動作するプロトコルによって制御する方法において、少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定のセットから品質メトリクスクラスと、を選択するステップ、および、上記少なくとも1つの選択された品質メトリクスと上記選択された品質メトリクスクラスとに基づく上記ストリーミング品質を、上記サーバへ報告するステップを具備する。
上記少なくとも1つの連続メディアストリームのイントラ符号化されたフレームを上記クライアント側で完全に受信したとき、上記フレームを良好なフレームと決定し、そうでないとき、上記フレームをデータ破損フレームと決定するステップ、または
上記少なくとも1つの連続メディアストリームの予測符号化フレームを上記クライアント側で完全に受信し、かつ、上記予測符号化フレームの予測参照サンプルのすべてが良好なフレームに属するとき、上記フレームを良好なフレームと決定し、そうでないとき、上記フレームをデータ破損フレームと決定するステップを含むことが望ましい。
ビデオ用の上記イントラ符号化されたフレームは、時間的動き補償予測を使用せずに、おそらくフレーム内の空間的冗長性を除去できるフレームとして理解することができ、そして、ビデオ用の上記予測符号化フレームは、ビデオフレーム間での強い相関関係をうまく利用することにより、時間的冗長性を低減する時間的動き補償予測を有するフレームとして理解できる。例えばビデオの場合、上記予測参照サンプルは、予測参照ピクセルとすることができる。
上記少なくとも1つの連続メディアストリームのイントラ符号化されたフレームを上記クライアント側で完全に受信したとき、上記フレームを良好なフレームと決定し、そうでないとき、上記フレームをデータ破損フレームと決定するステップ、または
上記少なくとも1つの連続メディアストリームの予測符号化フレームを前記クライアント側で完全に受信し、かつ、上記予測符号化フレームの予測参照サンプルのすべてが良好なフレームに属するとき、あるいは、上記フレームの少なくとも一部を完全に受信し、例えば、ビデオ用の参照ピクセルなどの、上記フレームの上記完全に受信した部分のすべての予測参照サンプルが良好なフレームに属し、かつ、上記フレームのすべての隠蔽された部分が良好と見なされるとき、上記フレームを良好なフレームと決定するステップを含み、
上記フレームの復号化された損失部分またはエラー部分に、エラー隠蔽アルゴリズムを適用することによって、上記フレームの隠蔽された部分を取得し、かつ、上記フレームの上記隠蔽された部分と上記フレームの完全に受信し復号化された周辺部分との間の平均境界誤差が閾値未満であるとき、上記隠蔽された部分を良好とみなすことが望ましい。例えば、上記隠蔽アルゴリズムは、上記ピクセルの空間的及び/又は時間的隣接部分に基づいて、損失ピクセルまたはエラーピクセルを再構成する推定処理を含むことができる。上記平均境界誤差は、隠蔽された部分のエッジにおけるピクセル間の輝度の差の合計を定量化することができる。上記閾値は、例えば3に等しい値にすることができる。
第1の方法は、Tdoc S4-030860で開示された方法に類似する方法であり、いくつかの改善を図る修正が含まれる。この方法を、以下に記述する。
良好なフレームは、下記のうちの時間的に早い方のフレームである。
1)完全に受信されたI−フレーム(H.264またはMPEG−4のAVCビデオ、IDR−フレーム)、または、
2)最後のエラーまたは損失の後で、N番目に完全受信されたフレーム、但しNは、信号による送信値、またはデフォルト値の∞(ビデオ用)か1(オーディオ用)のいずれかの値である。
クライアントが、追加情報から必要とするNの値を導き出すことができれば、追加情報の値によって上記特定値は無効にされる。追加情報とは、例えばAVCビデオ用のAVC回復ポイント補助拡張機能情報(SEI:Supplement Enhancement Information)メッセージから得られる情報である。”完全に受信された”ということは、すべてのビットが受信され、ビットエラーが発生しなかったことを意味する。
第2の方法は、エラートラッキングアルゴリズムの適用を特徴とする方法である。第2の方法の1つの可能な実施形態を以下に記述する。
イントラ符号化されたフレームのとき、このフレームが完全に受信されたとき、受信フレームは良好なフレームである。そうでないとき、受信フレームはデータ破損フレームである。
第3の方法は、特定の復号化品質評価アルゴリズムの適用を特徴とする方法である。第3の判定方法の可能な実施形態を以下に記述する。
イントラ符号化されたフレームのとき、このフレームが完全に受信されたとき、受信フレームは良好なフレームである。そうでないとき、受信フレームはデータ破損フレームである。
a)予測符号化フレームが、完全に/正常に受信され、かつ、すべての予測符号化フレームの予測参照サンプルが良好なフレームに属するとき、この予測符号化フレームは良好なフレームである。
b)フレームの少なくとも一部が完全に/正常に受信され、かつ、この完全に/正常受信された部分の予測参照サンプルが良好なフレームに属するとき、このフレームは、下記のステップcを使用して判断される。そうでないとき、このフレームはデータ破損している。
c)フレームが復号化され、損失部分またはエラー部分が上述のエラー隠蔽アルゴリズムを用いて隠蔽される。隠蔽された部分と、完全/正常に受信されかつ復号化された囲まれた部分との間の平均境界誤差、すなわち数式(1)のサイドマッチ歪みが、閾値よりも小さければ、上記隠蔽された部分は良好と見なされる。すべての隠蔽された部分が良好であるとき、フレームは良好なフレームである。そうでないとき、フレームはデータ破損している。
Claims (21)
- ストリーミング品質を報告する方法であって、少なくとも1つの連続メディアストリームをクライアント(601)に対して配信し、該配信を該クライアント(601)とサーバ(600)との間で動作するプロトコル(109)によって制御する方法において、
少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定のセットから品質メトリクスクラスと、を選択するステップ(602)と、
前記少なくとも1つの選択された品質メトリクスと前記選択された品質メトリクスクラスとに基づく前記ストリーミング品質を、前記サーバ(600)へ報告するステップ(603)と、を具備する方法。 - 前記品質メトリクスクラスを選択する前記ステップ(602)が、前記クライアント(601)と前記サーバ(600)との間で、前記品質メトリクスクラスを協議するステップ(605〜609)を含む請求項1に記載の方法。
- 前記プロトコル(109)が、前記プロトコルの少なくとも1つのプロトコルデータユニット内で品質メトリクスクラス・フィールドを規定し、該品質メトリクスクラス・フィールドは、前記少なくとも2つの品質メトリクスクラスからなる所定のセット内の個々の品質メトリクスクラスを特定することができる請求項1〜2のいずれか一項に記載の方法。
- 前記品質メトリクスクラス・フィールドが、前記少なくとも1つのプロトコルデータユニットのヘッダセクション(3)に配置される請求項3に記載の方法。
- 前記少なくとも1つの選択された品質メトリクスが、前記少なくとも1つの連続メディアストリームの少なくとも1つのフレームが良好なフレームか否かの決定に、少なくとも部分的に根拠となる経験の質(QoE)メトリクスである請求項1〜4のいずれか一項に記載の方法。
- 前記少なくとも2つの品質メトリクスクラスからなる所定のセット内の個々の品質メトリクスクラスが、前記少なくとも1つの連続メディアストリームのフレームが良好なフレームか否かを決定する方法に関する異なるセットの規則を規定する請求項5に記載の方法。
- 前記品質メトリクスクラスのうちの少なくとも1つによって規定される前記セットの規則が、
前記少なくとも1つの連続メディアストリームを完全に受信したI−フレーム、または
エラーまたは損失の最後のフレームの後、前記少なくとも1つの連続メディアストリームのN番目(整数Nは、信号による送信値、または、ビデオフレームのときは∞の値もしくはオーディオフレームのときは1の値のデフォルト値のいずれかの値)に完全受信したフレーム、のうちの時間的に早い方のフレームを、良好なフレームと決定するステップと、
良好なフレームの後に続く前記少なくとも1つの連続メディアストリームのフレームが完全に受信されたとき、該フレームを良好なフレームと決定し、そうでないとき、次の良好なフレームまで、該フレームおよび後続するすべてのフレームを破損フレームと決定するステップと、を含む請求項6に記載の方法。 - 前記品質メトリクスクラスのうちの少なくとも1つによって規定される前記セットの規則が、エラートラッキングアルゴリズムに従って、前記少なくとも1つの連続メディアストリームの符号化されたフレームを良好なフレームと決定するステップを含む請求項6に記載の方法。
- 前記品質メトリクスクラスのうちの少なくとも1つによって規定される前記セットの規則が、
前記少なくとも1つの連続メディアストリームのイントラ符号化されたフレームを前記クライアント側で完全に受信したとき、該フレームを良好なフレームと決定し、そうでないとき、該フレームを破損フレームと決定するステップ、または
前記少なくとも1つの連続メディアストリームの予測符号化フレームを前記クライアント側で完全に受信し、かつ、上記予測符号化フレームの予測参照サンプルのすべてが良好なフレームに属するとき、該フレームを良好なフレームと決定し、そうでないとき、該フレームを破損フレームと決定するステップを含む請求項8に記載の方法。 - 前記品質メトリクスクラスのうちの少なくとも1つによって規定される前記セットの規則が、
復号化品質評価アルゴリズムに従って、前記少なくとも1つの連続メディアストリームの符号化されたフレームを良好なフレームと決定するステップを含む請求項6に記載の方法。 - 前記品質メトリクスクラスのうちの少なくとも1つによって規定される前記セットの規則が、
前記少なくとも1つの連続メディアストリームのイントラ符号化されたフレームを前記クライアント側で完全に受信したとき、前記フレームを良好なフレームと決定し、そうでないとき、破損フレームと決定するステップ、または
前記少なくとも1つの連続メディアストリームの予測符号化フレームを前記クライアント側で完全に受信し、かつ、上記予測符号化フレームの予測参照サンプルのすべてが良好なフレームに属するとき、あるいは、
前記フレームの少なくとも一部(403)が完全に受信され、前記フレームの該完全に受信された部分のすべての予測参照サンプルが良好なフレームに属し、かつ、前記フレームのすべての隠蔽された部分(402)が良好とみなされるとき、前記フレームを良好なフレームと決定するテップを含む方法であって、
前記フレームの復号化バージョンの損失部分やエラー部分(400、404)にエラー隠蔽アルゴリズムを適用することによって、前記フレームの隠蔽された部分(402)を取得し、前記フレームの前記隠蔽された部分(402、503)と前記フレームの完全受信された周辺部分(403、504)で復号化された部分との間(502a−d)の平均境界誤差が、閾値未満であるとき、前記隠蔽された部分(403)を良好とみなす請求項10に記載の方法。 - 前記プロトコル(109)が、第3世代移動通信システムのパケット交換型ストリーミングサービスPSSと関連して、セッション記述プロトコルSDP(110)と組み合わされるリアルタイム・ストリーミングプロトコルRTSP(109)である請求項1〜11のいずれかに一項に記載の方法。
- 前記セッション記述プロトコルSDP(110)は、少なくとも1つの品質メトリクスクラス・フィールドを規定する少なくとも1つのSDP属性を含み、該品質メトリクスクラス・フィールドは、前記少なくとも2つの品質メトリクスクラスからなる所定のセットの個々の品質メトリクスクラスを特定できる請求項12に記載の方法。
- 少なくとも部分的に前記SDP属性に基づいて、前記クライアント(601)と前記サーバ(600)との間で品質メトリクスクラスを協議するために、前記RTSP(109)が使用される請求項13に記載の方法。
- 前記RTSP(109)が、前記協議用としてDESCRIBE法を使用する請求項14に記載の方法。
- 請求項1〜15の方法ステップをプロセッサに実行させるように動作できる命令を有するコンピュータプログラム。
- 請求項1〜15の方法ステップをプロセッサに実行させるように動作できる命令を有するコンピュータプログラムを含むコンピュータプログラム製品。
- 少なくとも1つのクライアント(601)と、少なくとも1つのサーバ(600)と、を具備するストリーミングシステムであって、
少なくとも1つの連続メディアストリームを、前記少なくとも1つのクライアント(601)に対して配信し、該配信を、前記少なくとも1つのクライアント(601)と前記少なくとも1つのサーバ(600)との間で動作するプロトコル(109)によって制御し、
少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定のセットから品質メトリクスクラスと、を選択し、
前記少なくとも1つの選択された品質メトリクスと前記選択された品質メトリクスクラスとに基づく前記ストリーミング品質を、前記少なくとも1つのサーバ(600)へ報告するシステム。 - ストリーミングシステムにおけるクライアント(601)であって、
前記クライアント(601)に対する少なくとも1つの連続メディアストリームの配信を制御するプロトコル(109)を動作させる手段(701)と、
少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定のセットから品質メトリクスクラスと、を選択する手段(701)と、
前記少なくとも1つの選択された品質メトリクスと前記選択された品質メトリクスクラスとに基づく前記ストリーミング品質を、サーバ(600)へ報告する手段(701)と、を具備するクライアント。 - ストリーミングシステムにおけるサーバ(600)であって、
クライアント(601)に対する少なくとも1つの連続メディアストリームの配信を制御するプロトコル(109)を動作させる手段(700)と、
少なくとも1つの品質メトリクスと、少なくとも2つの品質メトリクスクラスからなる所定セットから品質メトリクスクラスと、を選択する手段(700)と、
前記クライアント(601)からの前記ストリーミングに関する品質報告を受信する手段(700、706)と、を具備するサーバにおいて、
前記品質が、前記少なくとも1つの選択された品質メトリクスと前記選択された品質メトリクスクラスとに基づき報告されるサーバ。 - ストリーミングシステム用プロトコル(109)であって、
クライアント(601)に対する少なくとも1つの連続メディアストリームの配信を制御するための規則と、
少なくとも1つの品質メトリクスおよび少なくとも2つの品質メトリクスクラスからなるセットの規定と、
少なくとも1つの品質メトリクスと、前記少なくとも2つの品質メトリクスクラスからなるセットから品質メトリクスクラスと、を選択するための規則と、
前記少なくとも1つの選択された品質メトリクスと前記選択された品質メトリクスクラスとに基づく前記ストリーミング品質をサーバ(600)へ報告するための規則と、を含むプロトコル。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012108623A JP5525005B2 (ja) | 2012-05-10 | 2012-05-10 | 分類されたメディア経験の質 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012108623A JP5525005B2 (ja) | 2012-05-10 | 2012-05-10 | 分類されたメディア経験の質 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006552702A Division JP5356652B2 (ja) | 2004-02-12 | 2004-02-12 | 分類されたメディア経験の質 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012147504A true JP2012147504A (ja) | 2012-08-02 |
JP2012147504A5 JP2012147504A5 (ja) | 2012-09-13 |
JP5525005B2 JP5525005B2 (ja) | 2014-06-18 |
Family
ID=46790504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012108623A Expired - Lifetime JP5525005B2 (ja) | 2012-05-10 | 2012-05-10 | 分類されたメディア経験の質 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5525005B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007527664A (ja) * | 2004-02-12 | 2007-09-27 | ノキア コーポレイション | 分類されたメディア経験の質 |
-
2012
- 2012-05-10 JP JP2012108623A patent/JP5525005B2/ja not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007527664A (ja) * | 2004-02-12 | 2007-09-27 | ノキア コーポレイション | 分類されたメディア経験の質 |
Non-Patent Citations (1)
Title |
---|
JPN5007001950; M.FREDERIC GABIN: 'Draft Rel-6 PSS Quality Metrics Permanent Document' 3GPP TSG-SA4,MEETING #29 N.TDOC S4-030860, 20031124, P1-19 * |
Also Published As
Publication number | Publication date |
---|---|
JP5525005B2 (ja) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5356652B2 (ja) | 分類されたメディア経験の質 | |
US7743141B2 (en) | Refined quality feedback in streaming services | |
US7873727B2 (en) | System and method for evaluating streaming multimedia quality | |
Park et al. | Mobile IPTV: Approaches, challenges, standards, and QoS support | |
KR20090084826A (ko) | 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체 | |
US10944973B2 (en) | Estimation of video quality of experience on media servers | |
Shen et al. | Dynamic video transcoding in mobile environments | |
JP5525005B2 (ja) | 分類されたメディア経験の質 | |
KR100808982B1 (ko) | 클래스화된 미디어 경험 품질 | |
KR100808981B1 (ko) | 사용자 경험 품질 메트릭스의 타이밍 | |
TW202423095A (zh) | 回應於網路中斷的視訊內容的自動產生 | |
WO2021144139A1 (en) | Method, apparatus and computer program product providing for signaling of viewport orientation timing in panoramic video delivery | |
Daka | Mixed streaming of video over wireless networks | |
Salem et al. | TOSCANE: TOwards SCalable audiovisual communication networks | |
Kim | Smart SoftPhone Device for Networked Audio-Visual QoS/QoE Discovery & Measurement | |
KR20060128574A (ko) | 동영상 통신의 에러 프레임 재전송 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120704 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120911 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20121101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20130625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130924 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5525005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |