JP2006171574A - 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム - Google Patents
顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム Download PDFInfo
- Publication number
- JP2006171574A JP2006171574A JP2004366679A JP2004366679A JP2006171574A JP 2006171574 A JP2006171574 A JP 2006171574A JP 2004366679 A JP2004366679 A JP 2004366679A JP 2004366679 A JP2004366679 A JP 2004366679A JP 2006171574 A JP2006171574 A JP 2006171574A
- Authority
- JP
- Japan
- Prior art keywords
- microscope
- image
- microscope image
- images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 時系列的に取得された複数の顕微鏡画像Gnの各画素における輝度値に基づいて、時間的に隣接する2つの顕微鏡画像Gn,Gn+1の相関係数γnを全ての顕微鏡画像Gn(n=1〜N−1)に対して順次算出し、算出された複数の相関係数γnを時系列的に配列し、各相関係数γnと所定のしきい値γsとを比較し、相関係数γnが時間的に2回連続してしきい値γsを下回っている場合に、両者の相関係数γnの算出に使用した共通の顕微鏡画像Gnを不要画像として特定する顕微鏡画像処理方法を提供する。
【選択図】 図1
Description
このような動的挙動を観察するものとしては、顕微鏡写真撮影装置が知られている(例えば、特許文献1参照。)。
また、膨大な数の顕微鏡画像の中から、必要な情報を含まない不要画像を目視により確認しながら除去することは不経済である。
本発明は、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する2つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、算出された複数の相関係数を時系列順位所定のしきい値と比較し、前記相関係数が時間的に2回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法を提供する。
本発明によれば、第2の顕微鏡画像の輝度平均値から第1の顕微鏡画像の輝度平均値を差し引いた変化量が、負の所定のしきい値を越えている場合に、第1の顕微鏡画像よりも輝度平均値が小さい第2の顕微鏡画像が、不要画像として特定されることになる。
本発明によれば、時系列的に取得された顕微鏡画像の各画素における輝度値に基づいて算出された標準偏差が所定のしきい値を下回っている場合には、ブレが生じている場合が多いため、これを不要画像として特定することとした。これにより、簡易に不要画像を顕在化させることができる。
このようにすることで、同時に表示された複数の顕微鏡画像を比較しながら観察することができる。この場合に、特定された不要画像を識別可能に表示することで、不要画像を一目で探すことができるとともに、その不要画像に解析に必要な情報が含まれているか否かを判定することができる。
このようにすることで、取得された複数の顕微鏡画像を時系列に順次動画的に表示する場合に、不要画像によって顕微鏡画像が不連続になることを防止し、観察を容易にすることができる。
また、上記発明においては、時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示するステップをコンピュータに実行させることとしてもよい。
また、上記発明においては、前記表示装置が、特定された不要画像を除去して、他の顕微鏡画像を表示することとしてもよい。
このようにすることで、解析に必要な情報を含む顕微鏡画像を不要画像として特定しないように、観察者にしきい値を調節させることが可能となる。
本実施形態に係る顕微鏡画像処理方法は、時系列的に取得された複数の顕微鏡画像の中から、解析に必要な情報を含まない不要画像を簡易に特定するための方法であって、図1に示されるように、時系列的に取得された複数の顕微鏡画像G1〜GNから時間的に隣接する2つの顕微鏡画像Gn,Gn+1を(n=1〜N−1)順次選択するステップS1と、選択された2つの顕微鏡画像の各画素における輝度値に基づいて相関係数γnを順次算出するステップS2と、各相関係数と所定のしきい値γsとを比較するステップS3と、不要画像を特定するステップS4とを備えている。
図2は、時系列的に取得した顕微鏡画像の一例を示している。この図2には、顕微鏡画像G1から顕微鏡画像G9までが例示されている。この図2において、顕微鏡画像G3,G6,G9がブレにより画像に乱れを生じている。そこで、本実施形態に係る顕微鏡画像処理方法を用いて、これら顕微鏡画像G3,G6,G9を不要画像として特定できればよい。
また、相関係数γ2,γ3、相関係数γ5,γ6および相関係数γ8,γ9はそれぞれ1より小さい値となっている。例えば、相関係数γ2,γ3についてみると、相関係数γ2は、顕微鏡画像G2,G3を算出の基礎としており、相関係数γ3は、顕微鏡画像G3,G4を算出の基礎としている。
したがって、本実施形態に係る顕微鏡画像処理方法によれば、1より低いしきい値γsを設定しておくことにより、この顕微鏡画像G3を不要画像として特定することとしている。同様に、顕微鏡画像G6,G9を不要画像として特定することができる。
本実施形態に係る顕微鏡画像処理方法は、図5に示されるように、時系列的に取得された複数の顕微鏡画像Gn(n=1〜N)について、各画素における輝度の平均値Anを算出するステップS11と、時間的に隣接する2つの顕微鏡画像Gn,Gn+1の輝度平均値An,An+1の差分値(変化量)αn(n=1〜N−1)を全ての顕微鏡画像Gnに対して順次算出するステップS12と、各差分値αnと所定のしきい値αsとを比較するステップS13と、不要画像を特定するステップS14とを含んでいる。
本実施形態に係る顕微鏡画像処理方法は、顕微鏡画像にブレが生ずることにより、暗くなる部分が多くなることに着目している。したがって、顕微鏡画像にブレが生ずると、該顕微鏡画像の全ての画素の輝度の平均値は低下することになるため、時間的に隣接する他の顕微鏡画像との差分値を求め、その差分値が所定のしきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定することができる。
図6は、顕微鏡画像G1〜G9の各画素の輝度の平均値Anと、その差分値αnとを時系列的に配列して示したグラフである。差分値αnは、輝度平均値An+1から輝度平均値Anを差し引くことにより算出し、便宜上、輝度平均値An+1と同じ横軸位置にプロットしている。
なお、本実施形態においては、負のしきい値αsを設定し、値の小さい輝度平均値An+1から値の大きな輝度平均値Anを減算することにより算出された差分値αnが、しきい値αsをその絶対値において越えた場合に、値の小さい輝度平均値An+1を不要画像として特定することとした。これに代えて、正のしきい値αsを設定しておき、値の大きな輝度平均値An+1から値の小さな輝度平均値Anを減算することにより算出された差分値αnが、しきい値αsをその絶対値において越えた場合に、値の小さい輝度平均値Anを不要画像として特定することにしてもよい。
本実施形態に係る顕微鏡画像処理方法は、図7に示されるように、時系列的に取得された複数の顕微鏡画像Gn(n=1〜N)について、各画素における輝度の標準偏差σnを順次算出するステップS21と、各標準偏差σnと所定のしきい値σsとを比較するステップS22と、不要画像を特定するステップS23とを含んでいる。
不要画像を特定するステップS23は、標準偏差σnが、しきい値σsを下回った場合に、その標準偏差σnを有する顕微鏡画像Gnを不要画像として特定するようになっている。
図8は、顕微鏡画像G1〜G9の輝度の標準偏差σnを時系列的に配列して示したグラフである。標準偏差σnは、通常の方法で算出している。
不要画像が特定された後には、第1、第2の実施形態と同様にして、図4のように不要画像にマークMを付けて表示したり、不要画像を除去して動画的に表示することで、観察および解析の容易性を向上することができる。
本実施形態に係る顕微鏡画像処理システム1は、時系列的に複数の顕微鏡画像を取得する顕微鏡装置2と、取得された顕微鏡画像を処理する顕微鏡画像処理装置3と、処理された顕微鏡画像を表示する表示装置4とを備えている。
顕微鏡画像処理装置3は、前記顕微鏡装置2の受光素子9から出力された顕微鏡画像を表すアナログ信号をディジタル信号に変換するA/D変換器10と、該A/D変換器10から出力されるディジタル信号を処理するCPU11とを備えている。
An 輝度平均値
Gn 顕微鏡画像
γn 相関係数
γs しきい値
αn 差分値(変化量)
αs しきい値
σn 標準偏差
σs しきい値
S2 相関係数算出ステップ
S3,S13,S22,S42 比較ステップ
S11 輝度平均値算出ステップ
S12 変化量算出ステップ
S14,S23,S43 不要画像特定ステップ
S21 標準偏差算出ステップ
1 顕微鏡システム
2 顕微鏡装置
3 顕微鏡画像処理装置
4 表示装置
12 入力装置(しきい値調節装置)
Claims (16)
- 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する2つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、
算出された複数の相関係数を時系列順に所定のしきい値と比較し、
前記相関係数が時間的に2回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法。 - 時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出し、
時間的に隣接する2つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出し、
各変化量と所定のしきい値とを比較し、
前記変化量が前記しきい値を越えている場合に、輝度平均値が小さい側の顕微鏡画像を不要画像として特定する顕微鏡画像処理方法。 - 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出し、
算出された各顕微鏡画像の標準偏差と所定のしきい値とを比較し、
前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定する顕微鏡画像処理方法。 - 時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するとともに、
特定された不要画像を識別可能に表示する請求項1から請求項3のいずれかに記載の顕微鏡画像処理方法。 - 時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示する請求項1から請求項3のいずれかに記載の顕微鏡画像処理方法。
- 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する2つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出するステップと、
算出された複数の相関係数を時系列順に、所定のしきい値と比較するステップと、
前記相関係数が時間的に2回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラム。 - 時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出するステップと、
時間的に隣接する2つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出するステップと、
各変化量と所定のしきい値とを比較するステップと、
前記変化量が前記しきい値を越えている場合に、輝度平均値の小さい側の顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラム。 - 時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出するステップと、
算出された複数の標準偏差と所定のしきい値とを比較するステップと、
前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定するステップとをコンピュータに実行させるための顕微鏡画像処理プログラム。 - 時系列的に取得された複数の顕微鏡画像を一画面上に同時に表示するステップと、
特定された不要画像を識別可能に表示するステップとをコンピュータに実行させるための請求項6から請求項8のいずれかに記載の顕微鏡画像処理プログラム。 - 時系列的に取得された複数の顕微鏡画像から特定された不要画像を除去して画面上に表示するステップをコンピュータに実行させるための請求項6から請求項8のいずれかに記載の顕微鏡画像処理プログラム。
- 時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、
該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、
該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、
顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、時間的に隣接する2つの顕微鏡画像の相関係数を全ての顕微鏡画像に対して順次算出し、算出された複数の相関係数を時系列順に所定のしきい値と比較し、前記相関係数が時間的に2回連続して前記しきい値を下回っている場合に、両者の相関係数の算出に使用した共通の顕微鏡画像を不要画像として特定する顕微鏡システム。 - 時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、
該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、
該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、
顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像について、各画素における輝度の平均値を算出し、時間的に隣接する2つの顕微鏡画像の輝度平均値の変化量を全ての顕微鏡画像に対して順次算出し、各変化量と所定のしきい値とを比較し、前記変化量が前記しきい値を越えている場合に、輝度平均値の小さい側の顕微鏡画像を不要画像として特定する顕微鏡システム。 - 時系列的に複数の顕微鏡画像を取得する顕微鏡装置と、
該顕微鏡装置により取得された顕微鏡画像を処理する顕微鏡画像処理装置と、
該顕微鏡画像処理装置により処理された顕微鏡画像を表示する表示装置とを備え、
顕微鏡画像処理装置が、時系列的に取得された複数の顕微鏡画像の各画素における輝度値に基づいて、標準偏差を算出し、算出された各顕微鏡画像の標準偏差と所定のしきい値とを比較し、前記標準偏差が前記しきい値を下回っている場合に、その標準偏差を有する顕微鏡画像を不要画像として特定する顕微鏡システム。 - 前記表示装置が、特定された不要画像を識別可能にして、他の顕微鏡画像とともに表示する請求項11から請求項13のいずれかに記載の顕微鏡システム。
- 前記表示装置が、特定された不要画像を除去して、他の顕微鏡画像を表示する請求項11から請求項13のいずれかに記載の顕微鏡システム。
- 前記顕微鏡画像処理装置が、しきい値を調節可能にするしきい値調節装置を備える請求項11から請求項15のいずれかに記載の顕微鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004366679A JP4515899B2 (ja) | 2004-12-17 | 2004-12-17 | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004366679A JP4515899B2 (ja) | 2004-12-17 | 2004-12-17 | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006171574A true JP2006171574A (ja) | 2006-06-29 |
JP4515899B2 JP4515899B2 (ja) | 2010-08-04 |
Family
ID=36672390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004366679A Expired - Fee Related JP4515899B2 (ja) | 2004-12-17 | 2004-12-17 | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4515899B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012103691A (ja) * | 2010-10-19 | 2012-05-31 | Leica Microsystems Cms Gmbh | サンプル構造の顕微鏡結像用の方法および装置 |
WO2016162945A1 (ja) * | 2015-04-07 | 2016-10-13 | オリンパス株式会社 | 細胞解析装置および細胞解析方法 |
JP2016185106A (ja) * | 2015-03-27 | 2016-10-27 | 大日本印刷株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
CN113470166A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06102452A (ja) * | 1992-09-22 | 1994-04-15 | Canon Inc | 合焦検出手段を有した撮像装置 |
JPH1184223A (ja) * | 1997-09-03 | 1999-03-26 | Fujitsu Ltd | 自動位置検出方法及び自動位置検出装置 |
JP2000316120A (ja) * | 1999-03-03 | 2000-11-14 | Denso Corp | 全焦点撮像装置 |
JP2002094839A (ja) * | 2000-09-20 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 電子スチルカメラ |
JP2003207720A (ja) * | 2002-01-10 | 2003-07-25 | Shimadzu Corp | 分析用試料観察装置 |
JP2004080156A (ja) * | 2002-08-12 | 2004-03-11 | Sony Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム |
JP2004145302A (ja) * | 2002-10-02 | 2004-05-20 | Olympus Corp | 光走査型観察装置 |
JP2004294965A (ja) * | 2003-03-28 | 2004-10-21 | Furoobell:Kk | オートフォーカス装置およびオートフォーカス方法 |
JP2004538509A (ja) * | 2001-08-06 | 2004-12-24 | バイオビュー リミテッド | 蛍光撮像における画像合焦 |
-
2004
- 2004-12-17 JP JP2004366679A patent/JP4515899B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06102452A (ja) * | 1992-09-22 | 1994-04-15 | Canon Inc | 合焦検出手段を有した撮像装置 |
JPH1184223A (ja) * | 1997-09-03 | 1999-03-26 | Fujitsu Ltd | 自動位置検出方法及び自動位置検出装置 |
JP2000316120A (ja) * | 1999-03-03 | 2000-11-14 | Denso Corp | 全焦点撮像装置 |
JP2002094839A (ja) * | 2000-09-20 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 電子スチルカメラ |
JP2004538509A (ja) * | 2001-08-06 | 2004-12-24 | バイオビュー リミテッド | 蛍光撮像における画像合焦 |
JP2003207720A (ja) * | 2002-01-10 | 2003-07-25 | Shimadzu Corp | 分析用試料観察装置 |
JP2004080156A (ja) * | 2002-08-12 | 2004-03-11 | Sony Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム |
JP2004145302A (ja) * | 2002-10-02 | 2004-05-20 | Olympus Corp | 光走査型観察装置 |
JP2004294965A (ja) * | 2003-03-28 | 2004-10-21 | Furoobell:Kk | オートフォーカス装置およびオートフォーカス方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012103691A (ja) * | 2010-10-19 | 2012-05-31 | Leica Microsystems Cms Gmbh | サンプル構造の顕微鏡結像用の方法および装置 |
JP2016185106A (ja) * | 2015-03-27 | 2016-10-27 | 大日本印刷株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
WO2016162945A1 (ja) * | 2015-04-07 | 2016-10-13 | オリンパス株式会社 | 細胞解析装置および細胞解析方法 |
JPWO2016162945A1 (ja) * | 2015-04-07 | 2018-02-08 | オリンパス株式会社 | 細胞解析装置および細胞解析方法 |
US10438047B2 (en) | 2015-04-07 | 2019-10-08 | Olympus Corporation | Cell analysis device and cell analysis method |
CN113470166A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
CN113470166B (zh) * | 2021-06-28 | 2024-04-26 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4515899B2 (ja) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4462959B2 (ja) | 顕微鏡画像撮影システム及び方法 | |
EP1336888B1 (en) | Microscopy imaging system and data acquisition method | |
US9332190B2 (en) | Image processing apparatus and image processing method | |
JP5245424B2 (ja) | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム | |
JP4663602B2 (ja) | 自動合焦装置、顕微鏡および自動合焦方法 | |
US8654188B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
EP2796916A1 (en) | Image processing device, imaging device, microscope system, image processing method, and image processing program | |
JP2006209698A (ja) | 対象追跡装置、顕微鏡システムおよび対象追跡プログラム | |
JP5047764B2 (ja) | 顕微鏡用撮影装置 | |
US20180338079A1 (en) | Microscope system, control method, and computer readable medium | |
US11169079B2 (en) | Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program | |
US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
JP4515899B2 (ja) | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム | |
EP3471393B1 (en) | Data recovery device, microscope system, and data recovery method | |
JP2010117229A (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
WO2022113367A1 (ja) | 画像変換方法、プログラム、画像処理装置 | |
JP6438276B2 (ja) | 顕微鏡システム | |
JPWO2022014258A5 (ja) | ||
JP6422761B2 (ja) | 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法 | |
US9046696B2 (en) | Image processing apparatus | |
EP1892555A2 (en) | Optical examination apparatus | |
WO2013099190A1 (en) | Display data generating apparatus and control method for the same | |
JP7369801B2 (ja) | 顕微鏡システム、設定探索方法、及び、プログラム | |
JP6534294B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
WO2023157567A1 (ja) | 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100513 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |