JP2012050685A - 周期的情報抽出方法 - Google Patents

周期的情報抽出方法 Download PDF

Info

Publication number
JP2012050685A
JP2012050685A JP2010195648A JP2010195648A JP2012050685A JP 2012050685 A JP2012050685 A JP 2012050685A JP 2010195648 A JP2010195648 A JP 2010195648A JP 2010195648 A JP2010195648 A JP 2010195648A JP 2012050685 A JP2012050685 A JP 2012050685A
Authority
JP
Japan
Prior art keywords
amplitude
phase
present
wave
mrf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010195648A
Other languages
English (en)
Other versions
JP5660436B2 (ja
Inventor
Yasushi Naruse
康 成瀬
Tsutomu Murata
勉 村田
Masato Okada
真人 岡田
Ken Takiyama
健 瀧山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2010195648A priority Critical patent/JP5660436B2/ja
Publication of JP2012050685A publication Critical patent/JP2012050685A/ja
Application granted granted Critical
Publication of JP5660436B2 publication Critical patent/JP5660436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】振幅・周波数が揺らぎノイズを含む系において、高精度で周期的情報を抽出する方法を提供すること。
【解決手段】振幅・周波数が揺らぎ、ノイズを含む系において、高精度で位相及び振幅を推定する方法であって、マルコフ確率場(MRF)のもとで確率伝播法による確率的推論手法を用い、瞬時の位相及び振幅を含むパラメータとその周辺尤度を算出し、その周辺尤度を最大化する第二種最尤推定法に基づいて、位相及び振幅のなめらかさを含むハイパーパラメータを算出し、得られたハイパーパラメータのもとで、瞬時の位相及び振幅を含むパラメータを推定する。
【選択図】図1

Description

本発明は、振幅・周波数が揺らぎノイズを含む系において、高精度で周期的情報を抽出する方法に関する。
神経活動など、振幅・周波数が揺らぎノイズを含む系において、高精度で位相及び振幅を推定したい場合がある。
例えば、α波は、8-13Hz の後頭の視覚野から発生する周期的活動であり、後頭由来の脳波の主要な成分である。近年、このα波の振幅が、working memory task 等のcognitive task のパフォーマンスに影響を与えること(非特許文献1〜2)や、刺激提示時のα波の位相が知覚に影響を与えること(非特許文献3〜5)が報告され、α波の位相及び振幅に注目が集まっている。
従来の脳波を用いた研究では、α波の瞬時における位相及び振幅を推定するために、主にヒルベルト変換(非特許文献6〜8)、ウェーブレット変換(非特許文献9〜10) が用いられてきた。
しかし、脳波には多くのノイズが含まれていることから、単一試行からこれらの手法で推定したα波の瞬時における位相及び振幅の推定精度が悪いため、試行間平均をとることでノイズを軽減して議論してきた。
このように試行間平均をとることは、試行間で同期した活動しか抽出できないという問題点がある。脳の高次の活動は試行間で同期していない可能性が高く(非特許文献11)、このような活動は単一試行で議論する必要がある。そして、そのためには瞬時における位相及び振幅の推定精度を向上させる必要がある。
従来の技術では、α波の位相や振幅を推定するには、その精度に限界があった。
W. Klimesch: Int. J.Psychophysiol. 24 (1996) 61 H. Van Dijk, J.M. Schoffelen, R. Oostenveld, and O. Jensen:J. Neurosci. 28 (2008) 1816 N.A. Busch, J. Dubois, and R. VanRullen: J. Neurosci. 29 (2009) 7869 K.E. Mathewson, G. Gratton, M. Fabiani, D.M. Beck, and T. Ro: J.Neurosci. 29 (2009) 2725 F.J. Varela, A. Toro, E.R. John, and E.L. Schwartz: Neuropsychologia 19 (1981) 675 A. Matani, Y. Naruse, Y. Terazono, T. Iwasaki, N. Fujimaki,and T. Murata:to be published in IEEE Trans.Biomed. Eng V.V. Nikulin, and T. Brismar: Neuroscience 137 (2006)647 V.V. Nikulin, K. Linkenkaer-Hansen, G. Nolte, S. Lemm,K.R. Muller,R.J.Ilmoniemi, and G. Curio: Eur. J. Neurosci.25 (2007) 3146 J.M. Palva, S. Palva, and K. Kaila: J. Neurosci. 25 (2005)3962 Y. Naruse, A. Matani, Y. Miyawaki, and M. Okada: to be published in Hum.Brain. Mapp Arieli, A. Sterkin, A. Grinvald, and A. Aertsen: Science 273 (1996) 1868 K. Linkenkaer-Hansen, V.V. Nikouline, J.M. Palva, and R.J. Ilmoniemi:J.Neurosci. 21 (2001) 1370 J. Pearl: Probabilistic Reasoning in Intelligent Systems(Morgan Kaufmann,San Mateo, 1988) K. Tanaka, H. Shouno, M. Okada, and D.M. Titterington:J. Phys. A Math.Gen. 37 (2004) 8675 K. Takiyama, K. Katahira, and M. Okada: J. Phys. Soc.Jpn. 78 (2009) 064003 K. Watanabe, H. Tanaka, K. Miura, and M. Okada: IEICE Trans. Inf. Syst. E92d (2009) 1362 C.M. Bishop: Pattern Recognition and Machine Learning (Spinger-Verlag,Berlin, 2006) F.H. Lopes da Silva, J.P. Pijn, D. Velis, and P.C.G. Nijssen:Int.J.Psychophysiol. 26 (1997) 237 C.J. Stam, J.P.M. Pijn, P. Suffczynski, and F.H. Lopes da Silva: Clin.Neurophysiol. 110 (1999) 1801 Y. Naruse, A. Matani, T. Hayakawa, and N. Fujimaki: Neuroimage 32 (2006) 1221 S. Makeig, M. Westerfield, T.P. Jung, S. Enghoff, J.Townsend, E.Courchesne, and T.J. Sejnowski: Science 295 (2002) 690 Mazaheri, and O. Jensen: Proc. Natl. Acad. Sci. U. S.A. 103 (2006) 2948 M.L. Risner, C.J. Aura, J.E. Black, and T.J. Gawne: Neuroimage 45 (2009) 463 W. Klimesch, P. Sauseng, and W. Gruber: Neuroimage 47 (2009) 5
そこで、本発明は、振幅・周波数が揺らぎノイズを含む系において、高精度で周期的情報を抽出する方法を提供することを課題とする。
上記課題を達成するため、本発明の周期的情報抽出方法は、振幅・周波数が揺らぎ、ノイズを含む系において、高精度で位相及び振幅を推定する方法であって、マルコフ確率場(MRF)のもとで確率伝播法による確率的推論手法を用い、瞬時の位相及び振幅を含むパラメータとその周辺尤度を算出し、その周辺尤度を最大化する第二種最尤推定法に基づいて、位相及び振幅のなめらかさを含むハイパーパラメータを算出し、得られたハイパーパラメータのもとで、瞬時の位相及び振幅を含むパラメータを推定することを特徴とする。
ここで、ハイパーパラメータに、中心周波数も含めてもよい。
ハイパーパラメータに、観測ノイズの強度も含も含めてもよい。
対象となる周期的情報としては、神経活動情報に好適に適用できる。
神経活動情報としては例えば、脳において観測されるα波が挙げられる。
本発明によると、脳活動のα波など、ゆらぎとノイズのある系において、位相及び振幅などの周期的情報を高精度で求められる。
脳波の実測データ(EEG) と観測データ(Observed data) のFourier spectrumの比較を示すグラフ 位相、振幅に対する確率の典型例を示すグラフ 観測値(Observed data)と本発明による推定値(MRF) と真値との間の絶対誤差の典型例を示すグラフ 観測値(Observed data)と本発明による推定値(MRF)と真値との間の平均絶対誤差の試行間平均値を示すグラフ 本発明(MRF)及びヒルベルト変換(HT)による位相推定値と真の位相値との間の絶対誤差の典型例を示すグラフ 本発明(MRF)及びヒルベルト変換(HT)による振幅推定値と真の振幅値との間の絶対誤差の典型例を示すグラフ 本発明(MRF)及びヒルベルト変換(HT) よる位相推定値と真の位相値との間の平均絶対誤差の試行間平均値を示すグラフ 本発明(MRF)及びヒルベルト変換(HT) よる振幅推定値と真の振幅値との間の平均絶対誤差の試行間平均値を示すグラフ
以下に、本発明の実施形態を図面に基づいて説明する。実施形態は、前記特許文献など従来公知の技術を援用して適宜設計変更可能であり、また、計算の方法及び装置についても従来公知の技術を適宜適用可能である。
以下の実施例では、対象をα波とした例を挙げるが、本発明は、振幅・周波数が揺らぎノイズを含む系一般に適用可能である。
本発明では、マルコフ確率場(MRF) モデルを用い、従来の脳波解析で使われてきた手法よりも精度よく瞬時の位相及び振幅を推定する方法を提供する。観測されたα波は、特定の周波数の位相及び振幅があり、そこに観測ノイズが加わっているとモデル化することができる。
α波の位相は、各人により異なるα波中心周波数の周辺で時間とともになめらかに変化しながら進行し、その振幅も時間とともになめらかに変化している(非特許文献12)。そこで、本発明では、特定のサンプリングポイントの瞬時の位相及び振幅は、その前後のサンプリングポイントからなめらかに変化しているという位相及び振幅に関するMRFモデルによりα波を記述する。
しかし、位相及び振幅の変化のなめらかさやα波の中心周波数は、被験者ごとに異なり、さらに、観測ノイズは実験ごとに異なっているため、定かではない。そこで、各サンプリングポイントにおける瞬時の位相及び振幅といったパラメータのみならず、位相及び振幅の変化のなめらかさ、α波の中心周波数、観測ノイズの強度といったハイパーパラメータも同時に推定する必要がある。
MRF の元では、確率的推論手法の一つである確率伝播法(非特許文献13)を用いることで瞬時の位相及び振幅といったパラメータの推定及び周辺尤度を計算することが可能である(非特許文献14〜16)。そこで、本発明では、この周辺尤度を最大化する第二種最尤推定(非特許文献17)に基づいて、位相及び振幅のなめらかさ、α波の中心周波数、観測ノイズの強度といったハイパーパラメータを推定する。そして、この推定したハイパーパラメータの元で瞬時の位相及び振幅といったパラメータを推定するアルゴリズムを構築する。
以下の実施例では、まず、脳波を模した人工データを用いて、本発明を用いて推定した時に観測ノイズを軽減できるかについて検証する。続いて、本発明を用いて推定した時の瞬時の位相及び振幅が、脳波データ解析で従来一般的に使われるヒルベルト変換よりも推定精度がよいことを示す。
脳波によって計測されるα波の時系列における各サンプリングポイントk の観測データyk は、サンプリングポイントk におけるα波の瞬時の位相及び振幅をそれぞれxk、ak とすると、そこに各時刻間で独立なノイズσ がのっているという次式で表すことができる。
Figure 2012050685
ここで、ノイズをガウスノイズであると仮定すると、尤度関数は次式で表すことができる。
Figure 2012050685
ここで、α はノイズ強度を表すハイパーパラメータである。
α波の周波数及び振幅は、時間とともになめらかに変化することが知られているので(非特許文献11)、位相xk はα波中心周波数の周辺で時間とともになめらかに変化しながら進行し、また振幅ak も時間とともになめらかに変化する場合を考える。
このときの観測値y = {y1, y2, . . . , yN} から、振幅a = {a1, a2, . . . , aN}と、位相x = {x1, x2.
. . . , xN} を、確率伝播法により同時に推定する。
ここで、瞬時位相及び振幅の生成モデルは、次式とする。
Figure 2012050685
Figure 2012050685
ただし、I0(β) は、modified Bessel function of order zero であり、次式で表すことができる。
Figure 2012050685
振幅ak は、0 以上であるため、規格化定数Zampは次式となる。
Figure 2012050685
ここで、β、 γ、ω はそれぞれ、位相変化のなめらかさ、振幅変化のなめらかさ、α波中心周波数を表すハイパーパラメータである。
振幅と位相の事前分布を独立と仮定すると、次式となる。
Figure 2012050685
マルコフ確率場を仮定していることから、観測データ数をN とすると、次式で表わされる。
Figure 2012050685
また、周辺分布は次式で表わされる。
Figure 2012050685
ここで、次式より、Z = p(y) とおくと、下式が得られる。
Figure 2012050685
Figure 2012050685
この式における重積分は一般に計算困難である。しかし、確率伝播法により以下で定義されるmessage ML、MR に関する漸化式を構築することで、数値積分をする上での振幅の分割数をna、位相の分割数をnp とすると2(N −1) 重積分の計算量をO(na(N-1)×np(N-1))からO((N−1)na2×(N−1)np2)へ削減することができる。
ここでML、MR を、次式とすると下式が得られる。
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
次に、ML(ak, xk)、MR(ak, xk) の漸化式を構築する。
Figure 2012050685
Figure 2012050685
これらを用いることで、任意のk におけるML(ak, xk)、 MR(ak, xk)を計算できる。
また、ak、 xk を周辺化することで、次式として、規格化定数Z を求めることができる。
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
Figure 2012050685
図4は、観測値(Observed data) 及び、本発明による推定値(MRF)と真値との間の平均絶対誤差の試行間平均値を示すグラフである。
真値からの平均絶対誤差を観測データ及び本発明の推定値とで比較した結果、平均絶対誤差はすべての試行において観測データよりも推定値の方が小さかった(Wilcoxon signed rank test、 p < 0.0001)。このことから、本発明を用いて推定することで、観測ノイズを軽減できていることが示された。
次に、本発明による瞬時位相及び振幅の推定精度を調べた。
図5は、本発明(MRF)及びヒルベルト変換(HT)による位相推定値と真の位相値との間の絶対誤差の典型例を示すグラフであり、図6は、本発明(MRF)及びヒルベルト変換(HT)による振幅推定値と真の振幅値との間の絶対誤差の典型例を示すグラフである。
図7は、本発明(MRF)及びヒルベルト変換(HT) よる位相推定値と真の位相値との間の平均絶対誤差の試行間平均値を示すグラフであり、図8は、本発明(MRF)及びヒルベルト変換(HT) よる振幅推定値と真の振幅値との間の平均絶対誤差の試行間平均値を示すグラフである。
Figure 2012050685
Figure 2012050685
位相、振幅の平均絶対誤差はともにすべての試行において、本発明にて推定した方が小さかった(Wilcoxon signed rank test, p < 0.0001)。
以上のように、本発明では、α波を特定のサンプリングポイントの瞬時の位相及び振幅は、前後のサンプリングポイントからなめらかに変化するというMRF モデルにより記述し、これを確率伝播法を用いて瞬時位相及び振幅を推定し、周辺尤度を計算する手法を構築した。そして、周辺尤度を最大化することでハイパーパラメータを推定した。
尤度関数(数2)は、位相、振幅の非線形項を含む。しばしば非線形項を含む事後分布から隠れ変数を推定する際にはラプラス近似が用いられる(非特許文献17)。しかし、ラプラス近似は単峰のガウス分布で事後分布を近似してしまうため、図2に示した多峰性の事後分布へ適用は、精度の低い推定値を与える可能性が高く、本発明にて構築したMRF モデルには適さない。
また、本発明では瞬時の位相及び振幅の推定にMPM 推定を用いたが、他にpoterior mean 推定(PM 推定) を用いることもできる。しかし、各瞬時の位相値及び振幅値に対する確率は多峰性を示すので、このような場合のPM 推定結果は、確率が高い部分の間の確率が低い部分を推定してしまう可能性があり、適切ではない。そのため、本発明ではMPM 推定を用いることが適切である。
従来、周波数が揺らいでいるときの脳波における瞬時の位相及び振幅の推定にヒルベルト変換が広く使われてきた。脳波には観測ノイズがのっているにもかかわらず、ヒルベルト変換ではそのノイズも信号と見なして瞬時の位相及び振幅を推定してしまっていたため、精度が悪かった。しかし、本発明では瞬時の位相及び振幅の推定と同時に観測ノイズも軽減していることから、ヒルベルト変換よりも精度よく瞬時位相及び振幅が推定できていると考えられる。
本発明を脳波の実データに適応することにより、より精度よく瞬時位相及び振幅の推定が可能となる。
近年、α波の振幅や位相がcognitive task のパフォーマンスや知覚に影響を与えることが報告されているが(非特許文献1〜5)、試行間平均をとった結果でしか議論できていないため、試行間で同期していない活動を検出できていない。さらに、α波は非線形振動子と見なすことが出来る可能性が示唆されているが(非特許文献10、18〜19)、α波の位相が視覚刺激などの外部刺激により影響を受けるか否かについては結論が出ていない(非特許文献20〜24)。この原因も、単一試行における推定精度が悪いことに依存する。本発明によると、高い精度でα波の位相や振幅を推定することで、これらの問題を解決することができる可能性があり、脳波を用いた神経科学的研究の発展に寄与する。
本発明によると、脳活動のα波など、ゆらぎとノイズのある系において、位相及び振幅などの周期的情報を高精度でを求められるので、脳波を用いた神経科学的研究や工学的応用としてブレインマシンインターフェースなどに寄与するので、産業上利用価値が高い。

Claims (1)

  1. 振幅・周波数が揺らぎ、ノイズを含む系において、高精度で位相及び振幅を推定する方法であって、
    マルコフ確率場(MRF)のもとで確率伝播法による確率的推論手法を用い、瞬時の位相及び振幅を含むパラメータとその周辺尤度を算出し、
    その周辺尤度を最大化する第二種最尤推定法に基づいて、位相及び振幅のなめらかさを含むハイパーパラメータを算出し、
    得られたハイパーパラメータのもとで、瞬時の位相及び振幅を含むパラメータを推定する
    ことを特徴とする周期的情報抽出方法。
JP2010195648A 2010-09-01 2010-09-01 周期的情報抽出方法 Expired - Fee Related JP5660436B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010195648A JP5660436B2 (ja) 2010-09-01 2010-09-01 周期的情報抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010195648A JP5660436B2 (ja) 2010-09-01 2010-09-01 周期的情報抽出方法

Publications (2)

Publication Number Publication Date
JP2012050685A true JP2012050685A (ja) 2012-03-15
JP5660436B2 JP5660436B2 (ja) 2015-01-28

Family

ID=45904758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010195648A Expired - Fee Related JP5660436B2 (ja) 2010-09-01 2010-09-01 周期的情報抽出方法

Country Status (1)

Country Link
JP (1) JP5660436B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181679A (ja) * 2005-12-29 2007-07-19 General Electric Co <Ge> 空間解析に対する先行処理として時間解析を利用するコンピュータ支援式検出システム
JP2007536050A (ja) * 2004-05-07 2007-12-13 アイシス イノヴェイション リミテッド 信号解析法
JP2008519357A (ja) * 2004-11-05 2008-06-05 本田技研工業株式会社 データ駆動確率伝播を伴う人間の姿勢推定
JP2009087235A (ja) * 2007-10-02 2009-04-23 Toshiba Corp モデル構築装置並びにモデル構築のための方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007536050A (ja) * 2004-05-07 2007-12-13 アイシス イノヴェイション リミテッド 信号解析法
JP2008519357A (ja) * 2004-11-05 2008-06-05 本田技研工業株式会社 データ駆動確率伝播を伴う人間の姿勢推定
JP2007181679A (ja) * 2005-12-29 2007-07-19 General Electric Co <Ge> 空間解析に対する先行処理として時間解析を利用するコンピュータ支援式検出システム
JP2009087235A (ja) * 2007-10-02 2009-04-23 Toshiba Corp モデル構築装置並びにモデル構築のための方法およびプログラム

Also Published As

Publication number Publication date
JP5660436B2 (ja) 2015-01-28

Similar Documents

Publication Publication Date Title
Hussein et al. Optimized deep neural network architecture for robust detection of epileptic seizures using EEG signals
Li et al. Epileptic seizure detection in EEG signals using sparse multiscale radial basis function networks and the Fisher vector approach
Siuly et al. Designing a robust feature extraction method based on optimum allocation and principal component analysis for epileptic EEG signal classification
Lee et al. Classification of normal and epileptic seizure EEG signals using wavelet transform, phase-space reconstruction, and Euclidean distance
Lima et al. Kernel machines for epilepsy diagnosis via EEG signal classification: A comparative study
Val-Calvo et al. Optimization of real-time EEG artifact removal and emotion estimation for human-robot interaction applications
Zhang et al. EEG-based expert system using complexity measures and probability density function control in alpha sub-band
Kaleem et al. Patient-specific seizure detection in long-term EEG using signal-derived empirical mode decomposition (EMD)-based dictionary approach
Yang et al. Removal of EOG artifacts from EEG using a cascade of sparse autoencoder and recursive least squares adaptive filter
Arnau-González et al. ES1D: A deep network for EEG-based subject identification
Zhang et al. A deep learning scheme for mental workload classification based on restricted Boltzmann machines
Al-Salman et al. An efficient approach for EEG sleep spindles detection based on fractal dimension coupled with time frequency image
Li et al. Infrasound signal classification based on spectral entropy and support vector machine
Tian et al. Dual-encoder VAE-GAN with spatiotemporal features for emotional EEG data augmentation
Prabhakar et al. Comparison of fuzzy output optimization with expectation maximization algorithm and its modification for epilepsy classification
Thilagaraj et al. Identification of drivers drowsiness based on features extracted from EEG signal using SVM classifier
Fryz Conditional linear random process and random coefficient autoregressive model for EEG analysis
Yucelbas et al. Effect of EEG time domain features on the classification of sleep stages
Malviya et al. CIS feature selection based dynamic ensemble selection model for human stress detection from EEG signals
JP5660436B2 (ja) 周期的情報抽出方法
Huang et al. Automatic artifact removal in EEG using independent component analysis and one-class classification strategy
Naruse et al. Inference in alpha rhythm phase and amplitude modeled on Markov random field using belief propagation from electroencephalograms
Adhikary et al. Optimized EEG based mood detection with signal processing and deep neural networks for brain-computer interface
Song et al. Probing epileptic disorders with lightweight neural network and EEG's intrinsic geometry
Chowdhury et al. Efficient mathematical procedural model for brain signal improvement from human brain sensor activities

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141120

R150 Certificate of patent or registration of utility model

Ref document number: 5660436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees