JP2008164834A - 顕微鏡及び顕微鏡の明るさ調整方法 - Google Patents

顕微鏡及び顕微鏡の明るさ調整方法 Download PDF

Info

Publication number
JP2008164834A
JP2008164834A JP2006353102A JP2006353102A JP2008164834A JP 2008164834 A JP2008164834 A JP 2008164834A JP 2006353102 A JP2006353102 A JP 2006353102A JP 2006353102 A JP2006353102 A JP 2006353102A JP 2008164834 A JP2008164834 A JP 2008164834A
Authority
JP
Japan
Prior art keywords
brightness
observation image
luminance
luminance profile
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006353102A
Other languages
English (en)
Other versions
JP4912862B2 (ja
Inventor
Tomoyuki Iizuka
智幸 飯塚
Hideo Watabe
秀夫 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006353102A priority Critical patent/JP4912862B2/ja
Publication of JP2008164834A publication Critical patent/JP2008164834A/ja
Application granted granted Critical
Publication of JP4912862B2 publication Critical patent/JP4912862B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】観察画像の明るさを簡単に調整できる顕微鏡を提供することである。
【解決手段】表示部300の輝度プロファイルウィンドウ32には、輝度プロファイル32aと基準ライン32bが表示され、基準ライン32bは、輝度プロファイル32aの最大値の位置に表示される。カーソル32cを基準ライン32aの位置に合わせ、カーソル32cを上方向に移動させると、基準ライン32cが上方向に移動し、それに伴って輝度プロファイル32aの最大値が上方向に移動する。これにより、観察画像31の明るさを明るくする方向に調整できる。
【選択図】 図3

Description

本発明は、顕微鏡とその顕微鏡の観察画像の明るさ調整方法に関する。
観察試料から反射及び透過された照明光を光検出器などを介して電子画像として表示させる顕微鏡では、観察画像の明るさを調整するために、光検出器の出力信号を増幅する増幅器のゲインを調整する、あるいは照明光の光量を調整することが行われている。例えば、光検出器として光電子倍増管を用いる場合には、光電子倍増管に印加する電圧を制御して出力信号のレベルを調整している。また、CCDカメラやフォトダイオードなどを用いる場合には、増幅回路のゲインを制御して出力信号のレベルを調整している。また、照明光の光源としてハロゲンランプ、レーザダイオード、LEDなどを用いる場合には、光源の駆動電流を調整し、あるいはND(Neutral Density)フィルタなどで照明光の遮光量を調整することが行われている。
観察画像の明るさを調整する方法として、マニュアルで調整する方法と自動調整する方法がある。ここで、マニュアルで調整する場合と、自動で調整する場合の従来の調整方法について図13(A)、(B)を参照して説明する。
図13(A)に示すように、表示部300には、観察画像31が表示される領域と輝度プロファイル32aが表示される輝度プロファイルウィンドウ32と、照明光調整スライダ34と、ゲイン調整スライダ35等が表示される制御パネル33が設けられている。
各調整スライダには、図13(B)に示すようにUPボタン34aとDOWNボタン34bとスライダバー34cが設けられている。UPボタン34aとDOWNボタン34bをマウスでクリックすると、1回クリックする毎に一定量だけ照明光の光量や検出信号のゲインが増加または減少する。UPボタン34aまたはDOWNボタン34bが操作されると、スライダバー34cの位置も同時に変化し、そのときの調整状態が指示値34dとして照明光調整スライダ34の上部に表示される。また、スライダバー34cを直接マウスで操作して光量やゲインを調整することもできる。
自動で調整する場合には、制御パネル33に表示されるオートゲインボタン41を操作する。オートゲインボタン41が操作されると、自動調整機構が起動し最適な明るさとなるように自動的に照明光の光量や増幅率が調整される。
特許文献1には、オートゲイン調整機能を有する走査形レーザ顕微鏡において、自動調整の基礎となる調整条件の設定を可能にすることが記載されている。
特許文献2には、共焦点顕微鏡システムにおいて、任意の直線に沿う画素の受光量の分布を示すグラフをピークホールド画像に重ねてリアルタイムで表示する光量プロファイル表示機能について記載されている。
特許文献3には、レーザ変調共焦点顕微鏡システムにおいて、レーザ光の照射光量を設定可能にすることが記載されている。
ところで、マニュアル操作により観察画像31の明るさを調整する場合、明るさの調整量が大きいときには、UPボタン34aまたはDOWNボタン34bを何度も操作する必要があり調整作業が煩わしかった。これに対して、スライダバー34cをドラックアンドドロップなどの操作で動かす調整方法は、1回の操作で大きな調整量を得ることができるが、微妙な位置の調整が難しいので目標とする明るさに対して明るすぎたり、暗すぎたりすることがある。従って、スライダバー34cで明るさを粗調整し、その後、UPボタン34aまたはDOWNボタン34bを操作して微調整することが行われていた。しかしながら、この調整方法は調整に2段階の手間がかかり煩雑である。
さらに、従来のスライダバー34cをマウス等で操作する方法は、スライダバー34cの操作量が大き過ぎて明るさのダイナミックレンジをオーバーした場合、フォトマルチプライヤー等の受光素子が損傷する可能性があった。そのため、受光素子の損傷を防ぐために照明光の光量や検出信号の増幅率を制限する自動保護回路を設ける必要があった。自動保護回路を設けると、観察画像31の明るさを調整するときに、自動保護回路が動作して明るさの調整に支障がでる可能性がある。
また、明るさを自動調整する方法は、観察画像31上に輝度ノイズが乗っている場合、最大輝度として輝度ノイズが検出され、その輝度ノイズを基準にして明るさが自動調整されるので、観察したい箇所が最適な明るさに調整されないという問題点があった。
さらに、照明光の反射率が大きく異なる場合には、反射率の低い箇所や高い箇所に対してユーザの希望する明るさに調整にすることが困難であった。また、顕微鏡で観察する観察試料は多種多様であり、そのような観察試料に対して最適な明るさの観察画像31を得るためには、試料に応じて自動調整機構の設定を変える必要があった。
特開2006−126375号公報 特開2004−157410号公報 特開2005−189774号公報
本発明の課題は、観察画像の明るさを簡単に調整できる顕微鏡を提供することである。
本発明の顕微鏡は、観察試料の照明となる光源と、前記観察試料からの反射光を検出し、検出した光量に応じた検出信号を出力する受光手段と、前記受光手段の前記検出信号に基づいて前記観察試料の観察画像を作成して表示部に表示させる画像作成手段と、前記画像作成手段により作成される前記観察画像の輝度情報を取得して、前記観察画像の輝度変化を示す輝度プロファイルを前記表示部の輝度プロファイルウィンドウに表示させる表示制御手段と、前記輝度プロファイルウィンドウ上で所望する位置を指示する指示手段と、前記指示手段による前記輝度プロファイルウィンドウ上での指示に基づいて前記観察画像の明るさを調整する制御手段とを備える。
上記の発明の顕微鏡において、前記表示制御手段は、前記輝度プロファイルウィンドウに前記輝度プロファイルと基準ラインを表示させ、前記制御手段は、前記指示手段により前記基準ライン上の任意の位置が指示され、かつ前記基準ラインの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する。
上記の発明の顕微鏡において、前記制御手段は、前記指示手段により前記輝度プロファイル上の任意の位置が指示され、かつ前記輝度プロファイルの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する。
上記の発明の顕微鏡において、前記表示制御手段は、前記観察画像の明るさの調整に基づいて変化する前記輝度プロファイルを、前記指示手段による前記観察画像の明るさの調整に連動して、前記輝度プロファイルウィンドウに表示させる。
上記の発明の顕微鏡において、前記画像作成手段は、前記観察画像上に、前記表示ラインを複数表示させ、前記表示制御手段は、複数表示された前記表示ライン毎で指定される位置の前記輝度情報をそれぞれ取得し、取得された前記輝度プロファイルを前記輝度プロファイルウィンドウ上に表示する。
本発明によれば、簡単な操作で顕微鏡の観察画像の明るさを調整することができる。
以下、本発明の実施の形態について図面を参照して説明する。図1は、実施の形態の顕微鏡500の全体構成を示す図である。この実施の形態は、共焦点走査型レーザ顕微鏡に関するものである。
図1において、顕微鏡500は、光学系からなる顕微鏡本体100とコントローラ部200と表示部300と指示部400とからなる。コントローラ部200としてはパーソナルコンピュータや専用のコントローラユニット、表示部300としては液晶ディスプレイ、指示部400としてはマウス、キーボード、スタイラスなどが用いられる。
顕微鏡本体100は、レーザ光2を出力するレーザ光源1と、レーザ光2を反射または透過させる偏光ビームスプリッタ3と、レーザ光2を2次元走査する2次元走査機構4と、瞳投影レンズ5と、1/4波長板6と、結像レンズ7と、対物レンズ8と、対物レンズ8で集光されるレーザ光2と観察試料9の相対位置を調整するステージ10と、対物レンズ移動機構11とを有する。また、顕微鏡本体100は、観察試料9からの反射レーザ光を結像させる結像レンズ12と、共焦点絞り13と、反射レーザ光を受光する受光部14とを有する。
2次元走査機構4としては、例えば、ガルバノミラー、受光部14としては光電子倍増管やフォトダイオードなどを用いることができる。対物レンズ8は複数使用可能であり、それらの対物レンズ8が対物レンズ移動機構11に搭載され、対物レンズ8をレーザ光2の光軸上に移動させてピント調整を行うことも可能である。ステージ10は、手動で調整するマニュアルステージ、あるいは電動ステージの何れでも良い。
ここで、顕微鏡本体100の光学系の原理を説明する。レーザ光源1から放射されたレーザ光2は、偏光ビームスプリッタ3を通過して2次元走査機構4により2次元方向に偏向される。2次元方向に偏向されたレーザ光2は瞳投影レンズ5で一度結像され、1/4波長板6を通過して偏光状態が1/4波長分変化する。そして、結像レンズ7を通過し、対物レンズ8に導かれて集光され、集光されたレーザ光2は観察試料9上で反射される。対物レンズ8の瞳位置と2次元走査機構4のレーザ光2の反射位置とが共役な位置に配置されているため、観察試料9で反射されて戻ってきたレーザ光2は、それまで通過してきた光路と同じ光路を戻る。また、レーザ光2は1/4波長板6を2度通過することになり、偏光ビームスプリッタ3に到達した反射レーザ光2は偏光状態が1/2波長分異なる。従って、反射レーザ光2は偏光ビームスプリッタ3により結像レンズ12の方向に反射される。結像レンズ12に入射したレーザ光2は共焦点絞り13の絞り穴を通過した後、受光部14で検出され、受光したレーザ光2の強度に応じた出力信号に変換される。この出力信号の大きさを明るさとしてコントローラ部200が観察画像を生成する。
ここで、共焦点絞り13は対物レンズ8の集光位置と共役な位置に配置されているので、対物レンズ8により観察試料9上で集光されたレーザ光2のみ共焦点絞り13の絞り穴を通過することが可能となる。従って、受光部14によって検出されたレーザ光2に基づいて構築される観察画像は、焦点深度が浅くコントラストの高い画像を得ることができる。
コントローラ部200は、制御部21と第1演算部22と第2演算部23とを有する。制御部21は、指示部400からの指示に従ってレーザ光源1の発光光量や受光部14の出力信号のゲインの制御を行う。具体的には、レーザ光源1のレーザダイオードへの指示電圧を変化させ、あるいはレーザ光源1に遮光率が一様でないNDフィルタを搭載しておき、そのNDフィルタを動かすことによりレーザ光2の光量を調整する。また、制御部21は、受光部14に光電子倍増管を使用している場合には印加電圧の大きさを調整し、あるいはフォトダイオードを使用している場合には増幅回路のゲインを調整する。
第1演算部22は、受光部14の出力信号(検出信号)の輝度情報に基づいて観察画像を生成し、その観察画像を表示部300に表示する。
第2演算部23は、第1演算部22から観察画像の輝度情報を取得し、観察画像の特定のラインの輝度変化を示す輝度プロファイルを生成し、その輝度プロファイルを表示部300に表示する。第1演算部22と第2演算部23は、画像作成手段と表示制御手段に対応する。
図2は、表示部300の構成を示す図である。表示部300の右側には、観察画像31がリアルタイムで表示される画像ウィンドウ30と、輝度プロファイル32aが表示される輝度プロファイルウィンドウ32が表示され、表示部300の左側には、光量、ゲイン等を調整するための制御パネル33が表示される。
画像ウィンドウ30には、観察画像31と表示ライン31aが表示され、その下側の輝度プロファイルウィンドウ32には、表示ライン31a上の観察画像31の輝度変化を示す輝度プロファイル32aが表示される。
制御パネル33には、照明光調整スライダ34と、ゲイン調整スライダ35と、プロファイル調整スライダ36と、輝度プロファイルウィンドウ32に輝度プロファイルを表示させるか否かを決めるプロファイルチェックボックス36eが表示される。
光量調整スライダ34は、レーザ光源1から放射されるレーザ光の光量を調整するためのものである。ゲイン調整スライダ35は、受光部14の出力信号を増幅する図示しない増幅回路のゲインを調整するためのものである。
プロファイル調整スライダ36は、観察画像31の輝度プロファイルを表示させる位置(表示ライン31aの指す位置)を調整するためのものである。
プロファイル調整スライダ36は、図2(B)に示すように、UPボタン36aとDOWNボタン36bとスライダバー36cを有している。これらのボタンまたはバーを操作して表示ライン31aを上方向または下方向に移動させることで観察画像31の輝度プロファイル32を表示する位置を任意に指定できる。
スライダバー36cは、表示ライン31aの位置を調整するためのものであり、スライダバー36cをマウスでクリックして左右に移動させることで、表示ライン31aを上下に任意量移動させることができる。また、UPボタン36aとDOWNボタン36bをマウスでクリックすることで、1クリック毎に表示ライン31aを上方向または下方向に一定量移動させ、観察画像31の輝度プロファイルを表示させる位置を任意に変更することができる。設定された表示ライン31aの位置は、プロファイル調整スライダ36の上部に指示値(例えば、「Profile 250」)36dとして表示される。
次に、本発明の第1の実施の形態の観察画像31の明るさの調整方法について、図3(A)〜(C)を参照して説明する。
この第1の実施の形態では、図3(A)に示すように、輝度プロファイルウィンドウ32には、輝度プロファイル32aと基準ライン32bが同時に表示される。基準ライン32bは、輝度プロファイル32aの最大値の位置に表示される。輝度プロファイルウィンドウ32内にカーソル32cを移動させると、カーソル32cは斜め方向を指す矢印で表示される。なお、基準ライン32bを表示する位置は、輝度プロファイル32aの最大値の位置に限らず、輝度プロファイル32aと水平方向で交差または接する任意の位置に表示させても良い。
図3(B)は、カーソルを基準ライン32b上に移動させたときの表示状態を示している。カーソル32cを基準ライン32b上に移動させると、カーソル32cの形状は、斜め方向を指す矢印から上下方向を指す矢印に変化する。カーソル32cが上下方向を指す矢印で表示される状態は、基準ライン32cを上下方向に移動可能な状態である。
図3(C)は、基準ライン32cを上方向に移動させたときの表示状態を示している。図3(B)の状態で基準ライン32b上にあるカーソル32cを上方向に移動させると、基準ライン32cが上方向に移動し、基準ライン32cの移動に応じてレーザ光2の光量または受光部14のゲインが大きくなると、それに伴って輝度プロファイル32aの最大値も大きくなり、表示ライン31a上の観察画像31の明るさが明るくなる。また、輝度プロファイル32aの波形の振幅も大きくなる。
輝度プロファイルウィンドウ32の枠の上限32d及び下限32eは、観察画像31の明るさのダイナミックレンジの上限及び下限と対応するので、基準ライン32cを上方向に移動させて輝度プロファイル32aの最大値を輝度プロファイルウィンドウ32の上限32dに近づけることで、観察画像31の明るさを明るくすることができる。同様に、基準ライン32cを下方向に移動させて輝度プロファイル32aの最大値を上限32dから遠ざけることで、観察画像31の明るさを暗くすることができる。
このように、輝度プロファイルウィンドウ32上で基準ライン32bを移動させることで、観察画像31の明るさを任意に調整することができる。このとき、輝度プロファイル32aの最大値が輝度プロファイルウィンドウ32の上限32dを超えないように輝度を調整することで、観察画像31の明るさが予め決められているダイナミックレンジを超えないように制御し、かつ特定の表示ライン31a上の観察画像31の明るさを操作者の望む明るさに調整することができる。
図4は、上述した本発明の第1の実施の形態の観察画像31の明るさの調整方法を示すフローチャートである。
操作者は、観察画像31をリアルタイムで表示部300に表示させる(図4,S11)。次に、輝度プロファイル32aのプロファイルチェックボックス36eをオンして、輝度プロファイルウィンドウ32に、観察画像31の表示ライン31a上の輝度変化を示す輝度プロファイル32aを表示させる(S12)。
次に、プロファイル調整スライダ36を操作して表示ライン31aを上下に移動させ、表示させたい位置の輝度プロファイル32aを輝度プロファイルウィンドウ32上に表示させる(S13)。
次に、輝度プロファイルウィンドウ32上の基準ライン32b上にカーソル32cを合わせる(S14)。
次に、マウスなどを操作して基準ライン32bを上方向または下方向に移動させ、観察画像31の明るさを調整する(S15)。
コントローラ部200の第1演算部22は、指示部400の指示により基準ライン32b上にカーソル32cが移動され、基準ライン32bが選択状態となったことを検出し、さらにカーソル32cの位置が変更されたことを検出すると、カーソル32cの移動先の位置を第2演算部23に通知する。第2演算部23は、カーソル32cの移動先の位置に基準ライン32bを移動させるとともに、制御部21による基準ライン32bの移動量に基づくレーザ光源1の光量の調整または受光部14のゲインの調整によって変化する輝度プロファイル32aを表示する。
上述した第1の実施の形態によれば、輝度プロファイルウィンドウ32に表示される基準ライン32bを上下方向に移動させることで、観察画像31の特定の位置の明るさを操作者の望む明るさに調整することができる。このとき、輝度プロファイルウィンドウ32の上限32dと下限32eを、観察画像31の明るさのダイナミックレンジの上限値及び下限値と等しく設定しておくことで、輝度プロファイル32aの輝度の最大値が、観察画像31の明るさのダイナミックレンジの上限値を超えない範囲で、かつ最適な明るさになるように調整することができる。
次に、本発明の第2の実施の形態の観察画像の明るさの調整方法について、図5〜図7を参照して説明する。この第2の実施の形態は、観察画像31上に複数の表示ラインを設定可能にし、表示ライン毎に輝度プロファイル表示させ、観察画像31の複数の箇所により明るさを調整できるようにしたものである。この第2の実施の形態の顕微鏡500の基本的構成は、図1と同じである。
この第2の実施の形態においては、制御パネル33には、観察画像31上に表示される2本の表示ライン(図6に示す第1表示ライン38aと第2表示ライン38b)の選択を切り換えるための第1表示ライン表示ボタン37aと第2表示ライン表示ボタン37bが表示される。この第1表示ライン表示ボタン37aと第2表示ライン表示ボタン37bの一方を選択すると、選択した方の表示ボタンに対応する表示ラインが選択状態となり、選択された表示ラインの位置が変更可能となる。
図5は、輝度プロファイルウィンドウ32に、第1表示ライン38aに対応する第1輝度プロファイル39aを表示させたときの表示状態を示している。図6は、第1表示ライン38aと第2表示ライン38bに対応する第1輝度プロファイル39aと第2輝度プロファイル39bを表示させたときの表示状態を示している。
表示部300に観察画像がリアルタイムで表示されている状態で、操作者が、プロファイルチェックボックス36eをオン(プロファイルチェックボックス36eの表示が×印の状態)にすると、初期状態では、第1表示ライン38aがアクティブな状態(選択された状態)となり、プロファイル調整スライダ36により第1表示ライン38aの位置を任意に設定することができる。このとき、コントローラ部200の第2演算部23(図1参照)は、観察画像31の輝度情報を第1演算部22から取得し、第1表示ライン38a上の観察画像31の輝度変化を示す第1輝度プロファイル39aを輝度プロファイルウィンドウ32にリアルタイムで表示させる(図5の表示状態)。
操作者が、第2表示ライン表示ボタン37bを操作すると、第2表示ライン38bが選択された状態となり、プロファイル調整スライダ36を操作して第2表示ライン38bの位置を任意に設定できる。このとき、第2演算部23は、第1演算部22から取得した輝度情報に基づいて第2表示ライン38b上の観察画像31の輝度変化を示す第2輝度プロファイル39cを輝度プロファイルウィンドウ32にリアルタイムで表示させる(図6の表示状態)。
次に、上記の第2の実施の形態の観察画像31の明るさの調整方法を図7(A)〜(C)を参照して説明する。
輝度プロファイルウィンドウ32には、図7(A)に示すように、第1表示ライン38a上の観察画像31の輝度変化を示す第1輝度プロファイル39aと、第2表示ライン38b上の輝度変化を示す第2輝度プロファイル39cが表示され、さらに、第1輝度プロファイル38aの最大値の位置に第1基準ライン39bが表示され、第2輝度プロファイル38cの最大値の位置に第2基準ライン38dが表示される。
操作者が、指示部400を操作してカーソル32cを輝度プロファイルウィンドウ32内に移動させると、カーソル32cは、図7(A)に示すように斜め方向を向いた矢印で表示される。この状態でカーソル32cを第1基準ライン39b上に移動させカーソルをクリックすると、カーソル32cの形状が、斜め方向を指す矢印から上下方向を指す矢印に変化する。この状態は第1基準ライン39bを上下方向に移動可能な状態である(図7(B)の状態)。
次に、指示部400を操作してカーソル32cを上方向または下方向に移動させると、第1基準ライン39bが上方向または下方向に移動し、制御部21により、その移動量に基づくレーザ光源1の光量の調整または受光部14のゲインの調整が行われる。そして、この調整により、第1輝度プロファイル39aの最大値が大きくなり輝度プロファイルウィンドウ32の上限32dに近づく、あるいは最大値が小さくなり、上限32dから離れる。この時、輝度プロファイル39aの最大値が輝度プロファイルウィンドウ32の上限32dに近づくと観察画像31の明るさが明るくなり、輝度プロファイル39aの最大値が上限39dから遠ざかると観察画像31の明るさが暗くなる。このようにして観察画像31の明るさを任意に調整できる。なお、この調整時、第2輝度プロファイル39cも、制御部21によるレーザ光源1の光量の調整または受光部14のゲインの調整に伴って変化する。
次に、カーソル32cを第2基準ライン39d上に移動させ、同様の操作を行うと、カーソル32cの形状が上下方向を指す矢印に変化し、第2基準ライン39dの位置が調整可能となる(図7(C)の状態)。第2基準ライン39dを上方向または下方向に移動させることで観察画像31の明るさを任意に調整できる。
上述した第2の実施の形態によれば、観察画像31の複数の箇所の輝度プロファイル39a、39cの波形の最大値が、輝度プロファイルウィンドウ32の上限32d未満となるように調整することで、観察画像31の複数の箇所の明るさが決められたダイナミックレンジの範囲に入り、かつ観察画像31の複数の箇所の明るさを操作者の望む明るさに調整することができる。これにより、例えば、観察画像31内の最高輝度の部分と、最低輝度の部分の輝度プロファイル39a、39cを輝度プロファイルウィンドウ32に同時に表示させて、お互いの明るさが最適になるように調整することができる。また、反射率の異なる複数箇所の輝度プロファイルを同時に表示させることによって、それら複数箇所の明るさが決められたダイナミックレンジに入るように簡易に調整することができる。
次に、本発明の第3の実施の形態の観察画像31の明るさの調整方法について図8(A)〜(C)を参照して説明する。
第3の実施の形態は、基準ライン32bを用いずに観察画像31の明るさ変更できるようにしたものである。第3の実施の形態の顕微鏡500の基本的構成は図1と同じである。
輝度プロファイルウィンドウ32には、観察画像31の特定のラインの輝度プロファイル32aが表示される。輝度プロファイルウィンドウ32にカーソル32cを移動させると、斜めの方向を指す矢印でカーソル32cが表示される(図8、(A)の表示状態)。
次に、カーソル32cを輝度プロファイル32a上の任意の位置に移動させた後、指示部400のマウスをクリックすると、カーソル32cの形状が斜め方向を指す矢印から上下方向を指す矢印に変化する。この状態は、カーソル32cを上下に移動させることで、カーソル32cのある位置の輝度プロファイル32aの輝度を任意に調整できる状態である(図8、(B)の表示状態)。
図8(B)の状態でカーソル32cを上方向に移動させると、カーソル32cで指定される位置に応じて、制御部21はレーザ光源1の光量または受光部14のゲインが増加するような制御を行い、観察画像31の明るさが明るくなるように調整される。この時、輝度プロファイル32aの波形全体も上方向に移動する(図8,(C)の表示状態)。
上述した第3の実施の形態によれば、輝度プロファイル32a上の任意の位置の輝度に基づいて調整することができるので、観察画像31の特定の位置の明るさを輝度プロファイル32aの最大値がダイナミックレンジの上限値を超えないように調整することができる。
また、第3の実施の形態は、輝度プロファイル32a上の任意の位置の輝度に基づいて調整することができるので、例えば、観察画像31の最大輝度がノイズの影響を受けている場合でも、輝度プロファイル32aのノイズの影響を受けていない部分の輝度に基づいて変化させ、観察画像31を最適な明るさに調整することができる。これにより輝度ノイズの影響を受けずに観察画像31の明るさを調整することができる。
次に、上述した第1〜第3の実施の形態の変形例について説明する。以下の変形例は、輝度プロファイルウィンドウ32上で観察画像31の明るさを調整する場合の実現方法の1つであり、上述した第1〜第3の実施の形態の何れにも適用できる。
<変形例1>
変形例1は、上述した第1〜第3の実施の形態における観察画像31の明るさを調整する具体的方法の一例である。この変形例1においては、輝度プロファイルウィンドウ32上で観察画像31の明るさを調整する場合、制御部21が、レーザ光源1の発光光量を制御する。レーザ光源1の光量の調整方法としては、レーザダイオードに印加する電圧を変化させる、あるいはレーザ光源1から放射されるレーザ光2を遮光率が一様でないNDフィルによりレーザ光2の透過率を変化させて光量を制御する。これにより、受光部14の検出感度を上げると、受光部14から出力される出力信号のS/Nが悪くなるような場合でも、S/Nを劣化させずに観察画像31の明るさを調整することができる。
<変形例2>
変形例2は、輝度プロファイルウィンドウ32上で観察画像31の明るさを調整する場合、第1演算部22が受光部14の出力信号に対してオフセットを加算または減算して観察画像31を構築するものである。これにより、レーザ光源1からのレーザ光2の出射光量及び受光部14の検出感度が共に調整範囲の最大値に達している場合でも、オフセット値を変化させることで観察画像31の明るさを上げることができる。
<変形例3>
この変形例3は、輝度プロファイルウィンドウ32上で観察画像31の明るさを上げたい場合に、先ず、制御部21がレーザ光源1から出射するレーザ光2の光量を上げ、出射光量が調整範囲の最大値に達したなら、次に、受光部14の検出感度を上げる。逆に、観察画像31の明るさを下げたい場合には、先ず、制御部21が受光部14の検出感度を下げ、受光部14の検出感度が調整範囲の下限に達したなら、次に、制御部21がレーザ光源1の出射光量を減らす。このように構成することで、受光部14の検出感度を上げると出力信号のS/Nが悪化する場合でも、S/Nの良い条件で観察画像31の明るさを調整できる。
<変形例4>
変形例4は、輝度プロファイルウィンドウ32に表示される基準ライン32b、39b、39dの表示に関するものである。変形例4では、カーソル32cが輝度プロファイル32a、39a、39c上にあるときのみ基準ラインを表示する。このように構成することで、観察画像31の明るさを調整しないときには、基準ラインが表示されないので輝度プロファイル32a、39a、39c等が見易くなる。
<変形例5>
変形例5は、輝度プロファイルに対する基準ライン32b、39b、39dを、最大輝度値から最小輝度値の間で任意に設定できるようにしたものである。
制御パネル33内に、図9(A)に示すような基準ライン表示位置設定ウィンドウ40を表示し、その基準ライン表示位置設定ウィンドウ40内の入力ボックス40aの数値を書き換えることで基準ライン32bの位置を任意に変えることができる。
例えば、入力ボックス40aに数値「70」を設定すると、図9(B)に示すように、輝度プロファイル32の最大輝度値の70%の位置に基準ライン32bが表示される。なお、基準ライン32bの表示位置の設定方法は、図9(A)に示すような入力ボックス40aに限らず、図2に示す光量調整スライダ34等の表示形式でも良い。
このように構成することで、輝度プロファイル32a、39a、39cの任意の位置に基準ライン32b、39b、39dを表示させることができるので、輝度プロファイル32a、39b、39dに輝度ノイズが乗って、これらの輝度ノイズが最大輝度値として表示されている場合でも、基準ラインを最大輝度値より若干下げた位置に設定することで、輝度ノイズの影響を受けずに観察画像31の明るさを調整することができる。
<変形例6>
変形例6は、輝度プロファイルウィンドウ32に表示される基準ライン32b、39b、39dの表示方法に関するものである。図10及び図11は、変形例6の基準ラインの表示方法の説明図である。
変形例6においては、カーソル32cを基準ライン32b上に移動すると、カーソル32cの形状が上下方向を指す矢印に変化する(図10(A)の表示状態)。この状態でカーソル32cを移動させて、指示部400のマウスをダブルクリックすると、基準ライン32bの表示が消え(図10,(B)の表示状態)、代わりに十字ラインL1、L2の交点がカーソル32cとして表示される(図10,(C)の表示状態)。
この状態で、操作者がカーソル32cを移動させると、十字ラインL1、L2がカーソル32cと共に移動する。カーソル32cの移動方法としては、指示部400としてマウスを使用している場合には、マウスを移動させるか、ダブルクリックしたままの状態でドラッグアンドドロップによりカーソル32cを移動させる。
十字ラインL1、L2の交点のカーソル21cを輝度プロファイル32a上の目的の位置に移動させる。
十字ラインL1、L2の交点のカーソル21cを輝度プロファイル32a上の所望の位置に移動させたなら、指示部400を操作して基準ライン32aの位置を確定する操作を行う。カーソル32cの位置を確定する操作としては、指示部400のマウスボタンを1回クリックする操作、あるいはマウスボタンを押したままドラッグアンドドロップで移動させた場合には、マウスボタンを離す等の操作を行う。この操作を行うと、十字ラインL1、L2の交点の位置の輝度プロファイル32aの輝度が基準ライン32bの輝度として設定される。
指示部400を操作して基準ライン32bの位置を確定する操作を行うと、十字ラインL1、L2の表示が消え、指定した位置に基準ライン32bが表示され、その基準ライン32b上に上下方向を指す矢印の形状のカーソル32cが表示される(図11,(A)の表示状態)。
この状態でカーソル32cを上方向に移動させると、基準ライン32bが上方向に移動し、同時に輝度プロファイル32aの波形全体が上方向に移動し(図11,(B)の状態)、観察画像31の明るさが明るくなる。
ここで、変形例6の観察画像31の明るさの調整方法について、図12のフローチャートを参照して説明する。
操作者は、指示部400を操作してリアルタイムの観察画像31を表示部300に表示させる(図12,S21)。
次に、輝度プロファイルウィンドウ32に、表示ライン31aの位置の観察画像31の輝度変化を示す輝度プロファイル32aを表示させる(S22)。
次に、指示部400を操作して表示ライン31aを移動させ、表示させたい位置の輝度プロファイル32aを輝度プロファイルウィンドウ32に表示させる(S23)。
次に、輝度プロファイルウィンドウ32の基準ライン32b上にカーソル32cを合わせ(S24)、基準ライン32bの位置を変更するか否かを決める(S25)。
基準ライン32bの位置を変更する場合には、マウス(指示部400)のボタンをダブルクリックする(S26)。マウスをダブルクリックすると、基準ライン32bが十字ラインの表示に変更される(S27)。
次に、マウス(指示部400)を操作して基準ライン32bを表示させたい位置まで十字ラインを移動させる(S28)。
次に、移動先の位置でマウス(指示部400)をクリックすると(S29)、カーソル32cと基準ライン32bが元の表示状態に戻る(S30)。
すなわち、コントロール部200の第2演算部23は、十字状の基準ライン32bが輝度プロファイル32a上の任意の位置まで移動された後、基準ライン32bの位置を確定する操作(例えば、マウスをクリックする操作)が行われたか否かを検出する。そして、基準ライン32bの位置を確定する操作が行われた場合には、基準ライン32bを十字ラインから通常の水平方向に延びる基準ライン32bに変更し、カーソル32cの形状を上下方向を指す矢印に戻す。これにより、基準ライン32aがそのときカーソル32cがある位置に設定される。
ステップS30の次、または、ステップS25において基準ライン32bの位置を変更しなかった場合には、マウス(指示部400)をドラッグアンドドロップさせてカーソル32cを動かし、基準ライン32bを上下方向に移動させる(S31)。基準ライン32bを上下方向に移動させると、輝度プロファイル32aの波形全体が上下に移動する。輝度プロファイル32aの位置が上下に移動することで観察画像31の明るさが変化する(S32)。
第2演算部23は、基準ライン32bが確定された後、基準ライン32bを垂直方向に移動させる操作が行われたことを検出すると、制御部21は、基準ライン32bの移動量に基づいて、レーザ光源1の光量を変化させる、あるいは受光部14の出力信号を増幅する増幅器のゲインを変化させ、これにより、観察画像31の明るさが調整され、同時に輝度プロファイル23aも、基準ライン32bの移動量分だけ垂直方向に移動する。
上述した変形例6によれば、輝度プロファイル32aまたは39a、39cの任意の位置に基準ライン32bまたは39b、39dを設定することができるので、観察画像31で特に注目したい箇所がある場合に、十字状の基準ラインの交点を輝度プロファイル32a(または39a、39c)上で移動させて、その箇所の輝度プロファイル32aの輝度値を輝度プロファイルウィンドウ32上で確認しながら、観察画像31の特定の位置の明るさが最適な明るさとなるように調整することができる。
本発明は上述した実施の形態及び変形例に限らず、例えば、以下のように構成しても良い。
(1)実施の形態では、輝度プロファイルウィンドウ32の枠の上限32dが観察画像31の明るさのダイナミックレンジの上限値と等しくなるようにしたが、これに限らず、例えば、ダイナミックレンジの上限値を示すラインを輝度プロファイルウィンドウ32内に基準ライン32bと別に表示しても良い。そして、輝度プロファイル32aの最大値がその上限値を超えないように観察画像31の明るさを調整すれば良い。
(2)上述した実施の形態では、顕微鏡500が、顕微鏡本体100とコントローラ部200と表示部300と指示部400とからなるものとして説明したが、顕微鏡500がそれらの一部のもので構成され、別に販売されている光学系の機器等と組み合わせて使用する場合にも本発明を適用できる。
(3)上記の実施の形態では、第1演算部22と第2演算部23の2つの演算部が、観察画像31の作成及び表示機能と、輝度プロファイル32aと基準ライン32bの表示機能を分担しているが、これらの機能を1つの演算部で実現しても良い。さらに、制御部21と第1演算部22と第2演算部23の機能を1つの演算部で実現しても良い。
(4)上記の実施の形態では、表示ライン31aの位置を調整する方法として、プロファイル調整スライダ36を用いて行っているが、マウス等の指示部400により、観察画像31上で直接指示して位置を調整してもよい。
(5)本発明は走査型レーザ顕微鏡に限らず他の光源を用いる顕微鏡にも適用できる。
実施の形態の顕微鏡の構成を示す図である。 第1の実施の形態の表示部の構成を示す図である。 第1の実施の形態の観察画像の明るさの調整方法の説明図である。 第1の実施の形態の観察画像の明るさの調整方法を示すフローチャートである。 第2の実施の形態の表示部の構成と表示状態を示す図である。 第2の実施の形態の表示状態を示す図である。 第2の実施の形態の観察画像の明るさの調整方法の説明図である。 第3の実施の形態の観察画像の明るさの調整方法の説明図である。 変形例1の基準ライン表示位置設定ウィンドウと輝度プロファイルウィンドウの表示状態を示す図である。 変形例6の基準ラインの表示方法の説明図(1)である。 変形例6の基準ラインの表示方法の説明図(2)である。 変形例6の観察画像の明るさの調整方法を示すフローチャートである。 従来の表示部の構成と表示状態を示す図である。
符号の説明
1 レーザ光源
3 ビームスプリッタ
4 2次元操作機構
5 瞳投影レンズ
6 1/4波長板
7 結像レンズ
8 対物レンズ
9 観察試料
10 ステージ
21 制御部
22 第1演算部
23 第2演算部
32 輝度プロファイルウィンドウ
32a 輝度プロファイル
32b 基準ライン
100 顕微鏡本体
200 コントローラ部
300 表示部
400 指示部
500 顕微鏡

Claims (10)

  1. 観察試料の照明となる光源と、
    前記観察試料からの反射光を検出し、検出した光量に応じた検出信号を出力する受光手段と、
    前記受光手段の前記検出信号に基づいて前記観察試料の観察画像を作成して表示部に表示させる画像作成手段と、
    前記画像作成手段により作成される前記観察画像の輝度情報を取得して、前記観察画像の輝度変化を示す輝度プロファイルを前記表示部の輝度プロファイルウィンドウに表示させる表示制御手段と、
    前記輝度プロファイルウィンドウ上で所望する位置を指示する指示手段と、
    前記指示手段による前記輝度プロファイルウィンドウ上での指示に基づいて前記観察画像の明るさを調整する制御手段と、
    を備える顕微鏡。
  2. 前記表示制御手段は、前記輝度プロファイルウィンドウに前記輝度プロファイルと基準ラインを表示させ、
    前記制御手段は、前記指示手段により前記基準ライン上の任意の位置が指示され、かつ前記基準ラインの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する請求項1記載の顕微鏡。
  3. 前記制御手段は、前記指示手段により前記輝度プロファイル上の任意の位置が指示され、かつ前記輝度プロファイルの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する請求項1記載の顕微鏡。
  4. 前記表示制御手段は、前記観察画像の明るさの調整に基づいて変化する前記輝度プロファイルを、前記指示手段による前記観察画像の明るさの調整に連動して、前記輝度プロファイルウィンドウに表示させる請求項2または3記載の顕微鏡。
  5. 前記画像作成手段は、前記観察画像の前記輝度プロファイルを表示させる位置を指定する表示ラインを前記観察画像上に表示させ、
    前記表示制御手段は、前記観察画像の前記表示ラインで指定される位置の輝度情報を取得し、
    取得された前記輝度プロファイルを前記輝度プロファイルウィンドウ上に表示する請求項1記載の顕微鏡。
  6. 前記画像作成手段は、前記観察画像上に、前記表示ラインを複数表示させ、
    前記表示制御手段は、複数表示された前記表示ライン毎で指定される位置の前記輝度情報をそれぞれ取得し、取得された前記輝度プロファイルを前記輝度プロファイルウィンドウ上に表示する請求項5記載の顕微鏡。
  7. 観察試料からの反射光を受光手段で検出し、前記受光手段で検出される検出信号に基づいて前記観察試料の観察画像を作成して表示部に表示する顕微鏡の観察画像の明るさ調整方法であって、
    前記観察画像の輝度情報を取得して前記観察画像の輝度変化を示す輝度プロファイルを前記表示部の輝度プロファイルウィンドウに表示させ、
    前記輝度プロファイルウィンドウ上で所望する位置を指示し、
    前記指示に基づいて前記観察画像の明るさを調整する顕微鏡の観察画像の明るさ調整方法。
  8. 前記輝度プロファイルウィンドウに前記輝度プロファイルと基準ラインを表示させ、
    前記基準ライン上の任意の位置が指示され、かつ前記基準ラインの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する請求項7記載の顕微鏡の観察画像の明るさ調整方法。
  9. 前記輝度プロファイルの上の任意の位置が指示され、かつ前記輝度プロファイルの移動が指示されたとき、指示された移動の量に基づいて、前記観察画像の明るさを調整する請求項8記載の顕微鏡の観察画像の明るさ調整方法。
  10. 前記観察画像の明るさの調整に基づいて変化する前記輝度プロファイルを、前記観察画像の明るさの調整に連動して、前記輝度プロファイルウィンドウに表示させる請求項8または9記載の顕微鏡の観察画像の明るさ調整方法。
JP2006353102A 2006-12-27 2006-12-27 顕微鏡 Expired - Fee Related JP4912862B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006353102A JP4912862B2 (ja) 2006-12-27 2006-12-27 顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006353102A JP4912862B2 (ja) 2006-12-27 2006-12-27 顕微鏡

Publications (2)

Publication Number Publication Date
JP2008164834A true JP2008164834A (ja) 2008-07-17
JP4912862B2 JP4912862B2 (ja) 2012-04-11

Family

ID=39694447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006353102A Expired - Fee Related JP4912862B2 (ja) 2006-12-27 2006-12-27 顕微鏡

Country Status (1)

Country Link
JP (1) JP4912862B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518582A (ja) * 2012-05-02 2015-07-02 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 顕微鏡の稼働時に実施する方法および顕微鏡
JP2015127774A (ja) * 2013-12-27 2015-07-09 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2016114795A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、設定値算出方法、及び、プログラム
US10288877B2 (en) 2015-07-16 2019-05-14 Olympus Corporation Microscopy system, determination method, and recording medium
US10379329B2 (en) 2014-12-15 2019-08-13 Olympus Corporation Microscope system and setting value calculation method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355040A (ja) * 1991-05-31 1992-12-09 Shimadzu Corp 試料画像表示方法
JPH10103924A (ja) * 1996-09-27 1998-04-24 Olympus Optical Co Ltd 微少寸法測定装置
JP2000078620A (ja) * 1998-08-31 2000-03-14 Hitachi Ltd ディジタルカメラ評価方法及びコンピュータシステム
JP2002328305A (ja) * 2001-04-26 2002-11-15 Olympus Optical Co Ltd 共焦点走査型レーザ顕微鏡の調整診断方法及びその装置
JP2005148584A (ja) * 2003-11-19 2005-06-09 Olympus Corp 共焦点レーザ顕微鏡
JP2005156847A (ja) * 2003-11-25 2005-06-16 Olympus Corp 共焦点顕微鏡システム及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355040A (ja) * 1991-05-31 1992-12-09 Shimadzu Corp 試料画像表示方法
JPH10103924A (ja) * 1996-09-27 1998-04-24 Olympus Optical Co Ltd 微少寸法測定装置
JP2000078620A (ja) * 1998-08-31 2000-03-14 Hitachi Ltd ディジタルカメラ評価方法及びコンピュータシステム
JP2002328305A (ja) * 2001-04-26 2002-11-15 Olympus Optical Co Ltd 共焦点走査型レーザ顕微鏡の調整診断方法及びその装置
JP2005148584A (ja) * 2003-11-19 2005-06-09 Olympus Corp 共焦点レーザ顕微鏡
JP2005156847A (ja) * 2003-11-25 2005-06-16 Olympus Corp 共焦点顕微鏡システム及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518582A (ja) * 2012-05-02 2015-07-02 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 顕微鏡の稼働時に実施する方法および顕微鏡
JP2015127774A (ja) * 2013-12-27 2015-07-09 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2016114795A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、設定値算出方法、及び、プログラム
US10379329B2 (en) 2014-12-15 2019-08-13 Olympus Corporation Microscope system and setting value calculation method
US10288877B2 (en) 2015-07-16 2019-05-14 Olympus Corporation Microscopy system, determination method, and recording medium

Also Published As

Publication number Publication date
JP4912862B2 (ja) 2012-04-11

Similar Documents

Publication Publication Date Title
JP5732265B2 (ja) 顕微鏡システム、焦点位置検出方法および焦点位置検出プログラム
JP4912862B2 (ja) 顕微鏡
JP6305012B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
JP6266302B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
US20120188360A1 (en) Microscope System, Surface State Observing Method, And Surface State Observing Program
JP4996304B2 (ja) 走査型顕微鏡とその調節方法
JP2008083601A (ja) 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5403458B2 (ja) 表面形状測定方法及び表面形状測定装置
JP2007139884A (ja) 共焦点走査型顕微鏡
JP6246555B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
JP4180322B2 (ja) 共焦点顕微鏡システム及びパラメータ設定用コンピュータプログラム
JP4542302B2 (ja) 共焦点顕微鏡システム
US10816783B2 (en) Magnifying observation apparatus
JP2006171213A (ja) 顕微鏡システム
JP4576112B2 (ja) 共焦点レーザ顕微鏡
JP2003029152A (ja) 共焦点レーザ走査型顕微鏡
JP2005156651A (ja) 走査型光学顕微鏡
JP5340820B2 (ja) 共焦点レーザ顕微鏡
JP7430597B2 (ja) 白色干渉顕微鏡
JP2004145153A (ja) 光量飽和表示機能付共焦点顕微鏡
JP4493453B2 (ja) 光検出回路および該光検出回路を備えた走査型共焦点顕微鏡
JP4021750B2 (ja) 受光素子に光電子増倍管を用いた共焦点顕微鏡システム、コンピュータプログラム、及び画面表示の明るさ調整方法
US10539775B2 (en) Magnifying observation apparatus
US20220269062A1 (en) Magnified observation apparatus
JP2018097048A (ja) 検出装置および顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120118

R151 Written notification of patent or utility model registration

Ref document number: 4912862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees