JP2008043244A - 細胞自動解析装置および細胞自動解析方法 - Google Patents

細胞自動解析装置および細胞自動解析方法 Download PDF

Info

Publication number
JP2008043244A
JP2008043244A JP2006221109A JP2006221109A JP2008043244A JP 2008043244 A JP2008043244 A JP 2008043244A JP 2006221109 A JP2006221109 A JP 2006221109A JP 2006221109 A JP2006221109 A JP 2006221109A JP 2008043244 A JP2008043244 A JP 2008043244A
Authority
JP
Japan
Prior art keywords
cell
image
exposure
small
exposure condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006221109A
Other languages
English (en)
Other versions
JP4885646B2 (ja
Inventor
浩輔 ▲高▼木
Kosuke Takagi
Yuichiro Matsuo
祐一郎 松尾
Yoshihiro Shimada
佳弘 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006221109A priority Critical patent/JP4885646B2/ja
Priority to PCT/JP2007/065722 priority patent/WO2008020572A1/ja
Priority to US12/377,324 priority patent/US8175370B2/en
Publication of JP2008043244A publication Critical patent/JP2008043244A/ja
Application granted granted Critical
Publication of JP4885646B2 publication Critical patent/JP4885646B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6482Sample cells, cuvettes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】複雑な染色方法を用いることなく、細径突起部の鮮明な画像を取得して、解析精度を向上する。
【解決手段】細胞Sから発せられる蛍光を撮像して細胞画像を取得する撮像装置4と、該撮像装置4による細胞画像の取得時における露光条件を切り替える露光切替手段5と、切り替えられた露光条件においてそれぞれ取得された複数の細胞画像に基づいて細胞Sの解析処理を行う処理手段5とを備える細胞自動解析装置1を提供する。
【選択図】 図1

Description

本発明は、例えば、細胞のサンプル画像を自動的に取得し、これらを解析する細胞自動解析装置および細胞自動解析方法に関するものである。
従来、例えば、薬による細胞のダメージを数値的に測定するために細胞を自動解析する装置が提案されている(例えば、特許文献1参照。)。
この細胞解析装置は、細胞を撮像することにより取得した画像上の細胞の位置や境界を画像処理により特定し、その特徴量、例えば、細胞の大きさ、長さ等を計算することにより解析を行うものである。
特開2002−355090号公報
しかしながら、細胞は、蛍光染色等の処理をした後に顕微鏡観察する場合に、各細胞あるいは各細胞の器官ごとに染色度合いが異なり、蛍光の強度が一定ではない。このため、例えば、神経細胞画像を解析する場合には、神経細胞から足のように出ている細径突起部の染色が不十分となり易く、画像解析を正確に行うことができない不都合がある。具体的には、本来繋がっているはずの伸張した細径突起部が、蛍光の強度不足のために途中で切れているような画像が取得されてしまう等の不都合がある。
この場合に、細径突起部に対し、該細径突起部を特異的に染色する染色方法を併用することも考えられるが、異なる複数の染色方法を用いる場合には、観察前の前処理工程および実験者による処理作業を複雑にしてしまう不都合がある。このようにすると、大量のサンプルを処理するために多大な時間を要してしまうので、煩雑な前処理をできるだけなくすことが求められている。
この発明は、上述した事情に鑑みてなされたものであって、複雑な染色方法を用いることなく、細径突起部の鮮明な画像を取得して、解析精度を向上することができる細胞自動解析装置および細胞自動解析方法を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、細胞から発せられる蛍光を撮像して細胞画像を取得する撮像装置と、該撮像装置による細胞画像の取得時における露光条件を切り替える露光切替手段と、切り替えられた露光条件においてそれぞれ取得された複数の細胞画像に基づいて細胞の解析処理を行う処理手段とを備える細胞自動解析装置を提供する。
本発明によれば、撮像装置による細胞画像の取得時に、露光切替手段の作動によって、露光条件が切り替えられることにより、異なる露光条件で複数の細胞画像が取得される。そして、処理手段の作動により、異なる露光条件においてそれぞれ取得された複数の細胞画像に基づいて細胞の解析処理が行われる。
細径突起部等の細胞の微細な部分については、蛍光の輝度が低いので、露光時間を長くする等の露光条件に設定して撮像することで、細胞の一部が欠けた細胞画像が取得されてしまうことを防止できる。その一方で、蛍光の輝度が高い細胞体等のその他の部分については露光時間を短くする等の露光条件に設定して撮像することにより、細胞画像が明るくなり過ぎないようにすることができる。
上記発明においては、前記細胞が、細径突起部を有する神経細胞であることとしてもよい。
このようにすることで、神経細胞の細径突起部が途切れることなく連続した細胞画像を取得することができる。
また、上記発明においては、前記露光切替手段が、前記細径突起部の形状を解析可能な第1の細胞画像を取得可能な第1の露光条件と、前記細径突起部以外の形状を解析可能な第2の細胞画像を取得可能な第2の露光条件とを切り替えることとしてもよい。
このようにすることで、第1の露光条件で撮像した第1の細胞画像と、第2の露光条件で撮像した第2の細胞画像とに基づいて、細径突起部の形状および細胞突起部以外の形状を鮮明に解析することができる。
また、上記発明においては、前記処理手段が、前記細胞画像の輪郭形状に内接する円の径寸法を基準として前記細径突起部を検出することとしてもよい。
このようにすることで、同等の径寸法の比較的小さい内接円が連続する領域を細径突起部として容易に検出することができる。
また、本発明は、細胞から発せられる蛍光を第1の露光条件で撮像して第1の細胞画像を取得するステップと、前記細胞から発せられる蛍光を前記第1の露光条件とは異なる第2の露光条件で撮像して第2の細胞画像を取得するステップと、前記第1の細胞画像と前記第2の細胞画像とに基づいて細胞の解析処理を行うステップとを含む細胞自動解析方法を提供する。
上記発明においては、前記第1の露光条件が、細胞体を適正露出とする条件であり、前記第2の露光条件が、細胞体からの細径突起部を適正露出とする条件であることとしてもよい。
本発明によれば、複雑な染色方法を用いることなく、細径突起部の鮮明な画像を取得して、解析精度を向上することができるという効果を奏する。
本発明の一実施形態に係る細胞自動解析装置1および細胞自動解析方法について、図1〜図7を参照して、以下に説明する。
本実施形態に係る細胞自動解析装置1は、図1に示されるように、細胞試料S等を載置して水平2軸方向に移動させるステージ2と、細胞試料Sからの蛍光を集光する対物レンズ3と、該対物レンズ3により集光された蛍光を撮像するCCDカメラ等の撮像装置4と、これらの機器を制御するとともに、撮像装置4により取得された画像を処理する制御装置5と、該制御装置5により処理された細胞画像を表示する表示装置6とを備えている。図中、符号7は、対物レンズ3により細胞試料Sをそのまま、あるいは集光された細胞試料Sからの蛍光を目視観察するための接眼光学系である。
細胞試料S等はスライドガラスやマルチプレート上に載置されるようになっている。
撮像装置4は、異なる2つの露光条件で細胞画像を取得するようになっている。
第1の露光条件は、比較的短い露光時間で細胞試料Sを撮像する条件である。この第1の露光条件は、図2(a)に示されるような実際の細胞試料Sにおいて、図2(b)に示されるように、面積が大きく比較的輝度の高い細胞体Aが適正露出となる露光条件である。この場合、上記細胞体Aにおいて輪郭が鮮明な画像を取得することができる一方、細長く比較的輝度の低い細径突起部Bにおいては露光不足のため部分的な像しか得られず、不連続な、すなわち、連続せず、途切れた形態の画像が取得される。
第2の露光条件は、第1の露光条件よりも長い露光時間で細胞試料Sを撮像する条件である。この第2の露光条件は、第1の露光条件の場合とは逆に、図3(a)に示されるような実際の細胞試料Sが、図3(b)に示されるように、比較的輝度の低い細径突起部Bにおいて適正露出となり、連続した形態の画像を取得することができる一方、比較的輝度の高い細胞体Aは露光オーバーのため輪郭がぼやけた画像が取得される。
制御装置5は、取得された2つの細胞画像を画像処理して、細胞試料Sの細胞体aと細径突起部Bとをともに精度よく表現した細胞画像を合成し、表示装置6により表示するようになっている。
制御装置5による画像処理は、図4に示されるように、まず、取得された画像を2値化して輪郭を抽出する(ステップS1)。輪郭の抽出は、例えば、2値化された細胞画像において、隣接する画素の輝度が変化する画素を抽出することにより行うことができる。
次いで、第1の露光条件で取得した細胞画像においては、面積の広い細胞体の領域の輪郭を選択し、図5(a)に示されるように、第1の輪郭画像とする(ステップS2)。第2の露光条件で取得した細胞画像においては、幅の細い細径突起部の領域の輪郭を選択し、図5(b)に示されるように、第2の輪郭画像とする(ステップS3)。ステップS2,S3は順序が逆でもよい。
ここで、第1および第2の輪郭画像の選択は、図6に示されるように、例えば、上記において選択された第1、第2の輪郭画像において、輪郭線に内接する円を描き、その径寸法により判断する。
図6に示されるように、内接円Cの径寸法が所定値以上に大きい場合には、細胞体Aの画像であると判断し、第1の輪郭画像においてその細胞体Aの輪郭部分を選択する。また、内接円Cの径寸法が所定値より小さい場合には、細径突起部Bの画像であると判断し、第2の輪郭画像においてその細径突起部Bの輪郭部分を選択する。
この場合において、単に内接円Cの半径寸法が所定値より小さい場合のみを全て細径突起部Bであると判断する場合には、連続していない微細なゴミ等も細径突起部Bとして取り扱われてしまうので、以下のようにしてこれを防止することとしている。
すなわち、図7に示されるように、細径突起部Bのような管状形態の場合には、内接円Cがほぼ180°離れた2点で輪郭画像に内接し、その内接点P,Qを結ぶ直線に対して略直交する方向(矢印D)に内接する輪郭画像が存在しない。したがって、内接円Cの内接方向に対して直交する方向に輪郭画像が内接しない限り、細径突起部Bが連続し、他の輪郭画像が内接したところで細径突起部Bが終了していると判定することができる。
最後に、第1の輪郭画像において選択された細胞体Aの輪郭部分と、第2の輪郭画像において選択された細径突起部Bの輪郭部分とを合成する(ステップS4)。これにより、図6に示されるような細胞資料S全体の輪郭画像を構築することができる。
以上説明したように、本実施形態に係る細胞自動解析装置1によれば、露光条件を異ならせて撮像した2つの細胞画像に基づいて、細胞試料Sの輪郭形状を精度よく再現することができる。すなわち、比較的面積の広い細胞体Aの領域においては、ボケのない鮮明な輪郭形状を有する画像を取得することができ、比較的細い細径突起部Bの領域においては、該細径突起部Bが途切れることなく連続した輪郭形状を有する画像を取得することができる。
その結果、複雑な染色方法を利用することなく、染色特性の異なる器官を含む細胞試料Sの輪郭形状を精度よく把握して、正確な解析を行うことができるという利点がある。
なお、本実施形態においては、露光時間を異ならせることにより露光条件を切り替えることとしたが、これに代えて、絞り等により露光量を異ならせることにより露光条件を切り替えることとしてもよい。
また、本実施形態においては、2つの露光条件によって2枚の細胞画像を取得して、これらを画像処理することとしたが、これに代えて、3つ以上の露光条件によって3枚以上の細胞画像を取得することとしてもよい。
本発明の一実施形態に係る細胞自動解析装置を示す模式的な全体構成図である。 図1の細胞自動解析装置において解析される、(a)実際の細胞資料の形状例、(b)露光時間の短い第1の露光条件により取得した画像例をそれぞれ示す図である。 図1の細胞自動解析装置において解析される、(a)実際の細胞資料の形状例、(b)露光時間の長い第2の露光条件により取得した画像例をそれぞれ示す図である。 図1の細胞自動解析装置による細胞自動解析方法を示すフローチャートである。 (a)第1の露光条件により取得された細胞体の輪郭画像例、(b)第2の露光条件により取得された細径突起部の輪郭画像例をそれぞれ示す図である。 図1の細胞自動解析装置による輪郭形状の選択方法を説明する説明図である。 図1の細胞自動解析装置による管状形態の細胞の選択方法を説明する説明図である。
符号の説明
B 細径突起部
C 内接円
S 細胞資料(細胞)
1 細胞自動解析装置
4 撮像装置
5 制御装置(露光切替手段、処理手段)

Claims (7)

  1. 細胞から発せられる蛍光を撮像して細胞画像を取得する撮像装置と、
    該撮像装置による細胞画像の取得時における露光条件を切り替える露光切替手段と、
    切り替えられた露光条件においてそれぞれ取得された複数の細胞画像に基づいて細胞の解析処理を行う処理手段とを備える細胞自動解析装置。
  2. 前記細胞が、細径突起部を有する神経細胞である請求項1に記載の細胞自動解析装置。
  3. 前記露光切替手段が、前記細径突起部の形状を解析可能な第1の細胞画像を取得可能な第1の露光条件と、前記細径突起部以外の形状を解析可能な第2の細胞画像を取得可能な第2の露光条件とを切り替える請求項2に記載の細胞自動解析装置。
  4. 前記処理手段が、前記細胞画像の輪郭形状に内接する円の径寸法を基準として前記細径突起部を検出する請求項3に記載の細胞自動解析装置。
  5. 前記第1の露光条件が、細径突起部を適正露出とする露光条件であり、
    前記第2の露光条件が、細径突起部以外を適正露出する露光条件である請求項3に記載の細胞自動解析装置。
  6. 細胞から発せられる蛍光を第1の露光条件で撮像して第1の細胞画像を取得するステップと、
    前記細胞から発せられる蛍光を前記第1の露光条件とは異なる第2の露光条件で撮像して第2の細胞画像を取得するステップと、
    前記第1の細胞画像と前記第2の細胞画像とに基づいて細胞の解析処理を行うステップとを含む細胞自動解析方法。
  7. 前記第1の露光条件が、細胞体を適正露出とする条件であり、
    前記第2の露光条件が、細胞体からの細径突起部を適正露出とする条件である請求項6に記載の細胞自動解析方法。
JP2006221109A 2006-08-14 2006-08-14 細胞自動解析装置および細胞自動解析方法 Expired - Fee Related JP4885646B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006221109A JP4885646B2 (ja) 2006-08-14 2006-08-14 細胞自動解析装置および細胞自動解析方法
PCT/JP2007/065722 WO2008020572A1 (fr) 2006-08-14 2007-08-10 Analyseur automatique de cellule et procédé d'analyse automatique de cellule
US12/377,324 US8175370B2 (en) 2006-08-14 2007-08-10 Automatic cell analyzer and automatic cell analyzing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006221109A JP4885646B2 (ja) 2006-08-14 2006-08-14 細胞自動解析装置および細胞自動解析方法

Publications (2)

Publication Number Publication Date
JP2008043244A true JP2008043244A (ja) 2008-02-28
JP4885646B2 JP4885646B2 (ja) 2012-02-29

Family

ID=39082097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006221109A Expired - Fee Related JP4885646B2 (ja) 2006-08-14 2006-08-14 細胞自動解析装置および細胞自動解析方法

Country Status (3)

Country Link
US (1) US8175370B2 (ja)
JP (1) JP4885646B2 (ja)
WO (1) WO2008020572A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114209B2 (en) 2013-12-04 2018-10-30 Olympus Corporation Microscope apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243289A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像加算装置
JP2002355090A (ja) * 1997-02-27 2002-12-10 Cellomics Inc 細胞に基づくスクリーニングシステム
JP2005215712A (ja) * 2002-01-21 2005-08-11 Nisca Corp 個体数カウント用の撮像装置及び制御手段

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989835A (en) * 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
US7117098B1 (en) * 1997-02-27 2006-10-03 Cellomics, Inc. Machine-readable storage medium for analyzing distribution of macromolecules between the cell membrane and the cell cytoplasm
US6727071B1 (en) * 1997-02-27 2004-04-27 Cellomics, Inc. System for cell-based screening
US20060018013A1 (en) * 2004-07-07 2006-01-26 Yoshimasa Suzuki Microscope imaging apparatus and biological-specimen examination system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243289A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像加算装置
JP2002355090A (ja) * 1997-02-27 2002-12-10 Cellomics Inc 細胞に基づくスクリーニングシステム
JP2005215712A (ja) * 2002-01-21 2005-08-11 Nisca Corp 個体数カウント用の撮像装置及び制御手段

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114209B2 (en) 2013-12-04 2018-10-30 Olympus Corporation Microscope apparatus

Also Published As

Publication number Publication date
US8175370B2 (en) 2012-05-08
WO2008020572A1 (fr) 2008-02-21
JP4885646B2 (ja) 2012-02-29
US20100202679A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP6496708B2 (ja) コンピュータ実装方法、画像解析システム及びデジタル顕微鏡撮像システム
US10444486B2 (en) Systems and methods for detection of blank fields in digital microscopes
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
JP6448996B2 (ja) 顕微鏡システム
CN111399208B (zh) 生物荧光样本的聚焦拍摄实现方法、显微镜和存储介质
JP2006209698A (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
JP2016125913A (ja) 画像取得装置及び画像取得装置の制御方法
JP5698489B2 (ja) 検査装置
JP2008212017A (ja) 細胞状態判定装置、および細胞状態判定方法
WO2013002720A1 (en) Image quality optimization of biological imaging
JP5677770B2 (ja) 医療診断支援装置、バーチャル顕微鏡システムおよび標本支持部材
JP2023052796A (ja) 顕微鏡システムの制御方法、顕微鏡システム
JP2009198709A5 (ja)
EP1967845A2 (en) Fluorescence observation apparatus
JP2010187925A (ja) 血流観測装置
RU2010153685A (ru) Способ клеточного анализа пробы при помощи виртуальной аналитической пластинки
JP2008139143A (ja) 標本画像作成方法及び装置
JP4885646B2 (ja) 細胞自動解析装置および細胞自動解析方法
TWI625394B (zh) 圖像處理方法、控制程式、記錄媒體及圖像處理裝置
JP2008268027A (ja) 画像解析方法と、蛍光検出装置
JP5615252B2 (ja) 外観検査装置
JP6570434B2 (ja) 顕微鏡システム
JP2006017489A (ja) 細胞識別装置、細胞識別用プログラム、細胞解析装置、および細胞解析用プログラム
JP2006171574A (ja) 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4885646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees