JP2018194780A - 顕微鏡システム、制御方法、及び、プログラム - Google Patents

顕微鏡システム、制御方法、及び、プログラム Download PDF

Info

Publication number
JP2018194780A
JP2018194780A JP2017100821A JP2017100821A JP2018194780A JP 2018194780 A JP2018194780 A JP 2018194780A JP 2017100821 A JP2017100821 A JP 2017100821A JP 2017100821 A JP2017100821 A JP 2017100821A JP 2018194780 A JP2018194780 A JP 2018194780A
Authority
JP
Japan
Prior art keywords
microscope
image
correction
display
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017100821A
Other languages
English (en)
Other versions
JP6887875B2 (ja
Inventor
伸吾 鈴木
Shingo Suzuki
伸吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017100821A priority Critical patent/JP6887875B2/ja
Priority to US15/967,951 priority patent/US20180338079A1/en
Publication of JP2018194780A publication Critical patent/JP2018194780A/ja
Application granted granted Critical
Publication of JP6887875B2 publication Critical patent/JP6887875B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Abstract

【課題】球面収差を補正する補正装置の設定を容易に且つ正しく評価する。
【解決手段】顕微鏡システム100は、顕微鏡画像を取得する顕微鏡装置10と、制御装置40を備える。顕微鏡装置10は、球面収差を補正する補正装置である補正環23を含む。制御装置40は、顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの補正環23の設定情報を表示装置50に表示させる。さらに、制御装置40は、顕微鏡装置10が新たな顕微鏡画像を取得したときに、表示装置50に既に表示されている画像評価値と設定情報に加えて、新たな顕微鏡画像の画像評価値とその新たな顕微鏡画像を取得したときの補正環23の設定情報とを表示装置50に表示させる。
【選択図】図1

Description

本明細書の開示は、顕微鏡システム、制御方法、及び、プログラムに関する。
顕微鏡分野では、カバーガラスの厚さに起因する球面収差を補正する補正環付きの対物レンズが知られている(例えば、特許文献1参照)。対物レンズの補正環は、従来は、専らカバーガラスの厚さに起因する球面収差を補正する目的で用いられてきたが、近年では、観察対象面の深さに応じて変化する球面収差を補正する目的でも使用されている。
特開平05−119263号公報
補正環を用いて球面収差を補正する場合、顕微鏡利用者は、顕微鏡画像の明るさ又はコントラストの変化を観察しながら補正環の設定を調整するというのが一般的である。しかしながら、顕微鏡画像を見た顕微鏡利用者がその画像の明るさ又はコントラストの変化を正確に把握することは容易ではない。
また、サンプルが例えばGCaMPなど明滅を繰り返す成分を含む場合や、画像にノイズ成分がのりやすいサンプルの深部を観察する場合などには、顕微鏡画像の明るさ又はコントラストの変化が補正環の設定変更に起因するとは限らない。このため、顕微鏡利用者がたとえ画像の明るさ又はコントラストの変化を把握できたとしても、補正環の設定を正しく評価することは容易ではない。
なお、球面収差を補正する補正装置として補正環を例示したが、球面収差を補正する任意の補正装置において、同様の課題が生じうる。
以上のような実情を踏まえ、本発明の一側面に係る目的は、球面収差を補正する補正装置の設定を容易に且つ正しく評価するための技術を提供することである。
本発明の一態様に係る顕微鏡システムは、球面収差を補正する補正装置を含み、顕微鏡画像を取得する顕微鏡装置と、前記顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報を表示装置に表示させる制御装置と、を備える。前記制御装置は、前記顕微鏡装置が新たな顕微鏡画像を取得したときに、前記表示装置に既に表示されている画像評価値と設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを前記表示装置に表示させる。
本発明の一態様に係る制御方法は、顕微鏡画像を取得する顕微鏡装置と表示装置を制御する制御装置とを備える顕微鏡システムの制御方法である。制御方法は、球面収差を補正する補正装置を含む前記顕微鏡装置が、新たな顕微鏡画像を取得し、前記制御装置が、前記表示装置に既に表示されている顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを前記表示装置に表示させる。
本発明の一態様に係るプログラムは、顕微鏡画像を取得する顕微鏡装置を備える顕微鏡システムの制御装置に、以下の処理を実行させる。その処理は、表示装置に既に表示されている、球面収差を補正する補正装置を含む前記顕微鏡装置が取得した顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを、前記表示装置に表示させる処理である。
上記の態様によれば、球面収差を補正する補正装置の設定を容易に且つ正しく評価することができる。
顕微鏡システム100の構成を例示した図である。 顕微鏡20の構成を例示した図である。 制御装置40の構成を例示した図である。 表示装置50に表示される画面の一例を示した図である。 自動調整処理のフローチャートである。 推奨位置の推定方法について説明するための図である。 手動調整処理のフローチャートである。 第1表示領域の表示の変化の一例を示した図である。 第1表示領域の表示の変化の別の例を示した図である。 第1表示領域の表示の変化の更に別の例を示した図である。 第2表示領域の表示の変化の一例を示した図である。
以下、図1から図3を参照しながら、顕微鏡システム100の構成について説明する。図1は、一実施形態に係る顕微鏡システム100の構成を例示した図である。図2は、顕微鏡システム100に含まれる顕微鏡20の構成を例示した図である。図3は、顕微鏡システム100に含まれる制御装置40の構成を例示した図である。
図1に示す顕微鏡システム100は、顕微鏡画像を取得する顕微鏡装置10と、制御装置40と、表示装置50と、制御装置40への指示を入力するための複数の入力装置(キーボード60、レボルバ操作装置70)を備える。
顕微鏡装置10は、例えば、二光子励起顕微鏡装置である。また、顕微鏡装置10は、共焦点顕微鏡装置、ライトシート顕微鏡装置、ライトフィールド顕微鏡装置などであってもよい。顕微鏡装置10は、顕微鏡20と、顕微鏡20の各部を駆動する駆動装置30と、を備える。なお、図1では、顕微鏡20と駆動装置30は別個に記載されているが、顕微鏡20と駆動装置30は一体に構成されてもよい。
顕微鏡20は、例えば、図2に示すような二光子励起顕微鏡である。顕微鏡20は、サンプルSを照明する照明光路上に、レーザー25と、スキャナ26と、リレーレンズRL1と、ミラー27と、ダイクロイックミラーDMと、補正環23付きの対物レンズ22と、ステージ21を備えている。また、対物レンズ22は、レボルバ24に装着されている。
観察対象物であるサンプルSは、ステージ21に置載されている。より詳細には、ステージ21に試料台21aが置載され、その試料台21aの上に上面がカバーガラスCGで覆われたサンプルSが置載される。サンプルSは、例えば、マウスの脳などの生体サンプルであり、GCaMPなどのカルシウムプローブを含んでいる。
レーザー25は、例えば、超短パルスレーザーであり、近赤外域のレーザー光を発振する。レーザー25の出力は、制御装置40から指示を受けた駆動装置30によって調整される。
スキャナ26は、レーザー光でサンプルSを2次元に走査するスキャナであり、例えば、ガルバノスキャナとレゾナントスキャナを含んでいる。顕微鏡システム100では、スキャナ26の走査範囲が変化することでズーム倍率が変化する。スキャナ26の走査範囲は、制御装置40から指示を受けた駆動装置30によって調整される。
リレーレンズRL1は、スキャナ26を対物レンズ22の瞳位置に投影する瞳投影光学系である。ダイクロイックミラーDMは、励起光(レーザー光)とサンプルSからの検出光(蛍光)とを分離するスプリッタであり、波長によりレーザー光と蛍光を分離する。
対物レンズ22は、補正環23を備えた乾燥系又は液浸系の対物レンズであり、レボルバ24に装着されている。補正環23は、球面収差を補正する補正装置の一例であり、対物レンズ22内のレンズを設定に応じた位置に移動させる。対物レンズ22の補正環23は、電動補正環であり、補正環23の設定は、制御装置40から指示を受けた補正環駆動装置31によって変更される。
なお、補正環23の設定とは、補正環23の位置、より詳細には、基準となる位置からの回転角度のことである。即ち、補正環23の設定を変更するとは、補正環23の位置を変更することであり、補正環23の設定情報とは、補正環23の位置についての情報である。
レボルバ24は、レボルバ24に装着された図示しない複数の対物レンズの中から光路上に配置する対物レンズを切り替える装置である。図1及び図2では、補正環23付きの対物レンズ22が光路上に配置されている様子が示されている。また、レボルバ24は、ステージ21と対物レンズ22の間の距離を変更する焦準装置でもある。レボルバ24は、レボルバ24が対物レンズ22の光軸方向に移動することでステージ21と対物レンズ22の間の距離を変更する。
なお、図1及び図2では、レボルバ24が対物レンズ22の光軸方向に移動する例を示したが、レボルバ24の代わりにステージ21が対物レンズ22の光軸方向に移動してもよい。顕微鏡システム100の焦準装置は、レボルバ24ではなくステージ21であってもよい。
顕微鏡20は、さらに、検出光路(ダイクロイックミラーDMの反射光路)上に、リレーレンズRL2と、光電子増倍管(以降、PMTと記す)28とを備えている。PMT28から出力された信号は、A/Dコンバータ29に出力される。
リレーレンズRL2は、対物レンズ22の瞳をPMT28に投影する瞳投影光学系である。PMT28は、光検出器の一例であり、ここでは、入射した蛍光の光量に応じたアナログ信号を出力する。A/Dコンバータ29は、PMT28からのアナログ信号をデジタル信号(輝度信号)に変換する。
駆動装置30は、補正環駆動装置31と、レボルバ駆動装置32を備えている。補正環駆動装置31は、制御装置40からの指示に従って補正環23を駆動する装置であり、補正環23の設定を変更する装置である。レボルバ駆動装置32は、制御装置40からの指示に従ってレボルバ24を駆動する装置であり、レボルバ24を対物レンズ22の光軸方向に移動させる装置である。
制御装置40は、例えば、標準的なコンピュータである。制御装置40は、図3に示すように、プロセッサ41、メモリ42、ストレージ43、インタフェース装置44、及び、可搬記憶媒体46が挿入される可搬記憶媒体駆動装置45を備え、これらがバス47によって相互に接続されている。
プロセッサ41は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などであり、プログラムを実行してプログラムされた処理を行う。メモリ42は、例えば、RAM(Random Access Memory)であり、プログラムの実行の際に、ストレージ43または可搬記憶媒体46に記憶されているプログラムまたはデータを一時的に記憶する。
ストレージ43は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記憶に用いられる。インタフェース装置44は、制御装置40以外の装置(例えば、顕微鏡装置10、表示装置50、キーボード60、レボルバ操作装置70など)と信号をやり取りする回路である。可搬記憶媒体駆動装置45は、光ディスクやコンパクトフラッシュ(登録商標)等の可搬記憶媒体46を収容し、可搬記憶媒体46に対してデータを読み書きするものである。可搬記憶媒体46は、ストレージ43を補助する役割を有する。ストレージ43及び可搬記憶媒体46は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。
図2に示す構成は、制御装置40のハードウェア構成の一例であり、制御装置40はこの構成に限定されるものではない。制御装置40は、汎用装置ではなく専用装置であってもよい。制御装置40は、プログラムを実行するプロセッサの代わりに又は加えて、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの電気回路を備えてもよく、それらの電気回路により、後述する処理が行われてもよい。
表示装置50は、例えば、液晶ディスプレイ、有機ELディスプレイ、CRTディスプレイなどのディスプレイである。なお、表示装置50は、タッチパネルセンサを備えてもよく、その場合、入力装置としても機能する。
レボルバ操作装置70は、顕微鏡利用者が観察対象面の位置を指示するための入力装置である。顕微鏡利用者がレボルバ操作装置70を用いて観察対象面の位置を変更する指示を制御装置40へ入力することで、制御装置40がレボルバ駆動装置32にレボルバ24を光軸方向に移動させる。これにより、対物レンズ22が光軸方向に移動し、その結果、観察対象面の位置が変化する。なお、観察対象面とは、顕微鏡装置10によって画像が取得される対物レンズ22の光軸と直交する平面であり、例えば、画像取得時における対物レンズ22の焦点面である。
以上のように構成された顕微鏡システム100では、顕微鏡装置10は、スキャナ26を用いてレーザー光で対物レンズ22の光軸と直交する方向にサンプルSを走査して、サンプルSの各位置からの蛍光をPMT28で検出する。さらに、PMT28からの信号を変換したデジタル信号(輝度信号)を二次元にマッピングすることで顕微鏡画像の画像データを生成し、生成した画像データを制御装置40へ出力する。
次に、補正環23の設定を調整する方法について説明する。図4は、表示装置50に表示される画面の一例を示した図である。画面200は、顕微鏡システム100の種々の設定を変更するための設定画面であり、補正環設定領域210、画像取得条件設定領域250、画像表示領域280、コントラスト表示領域290を備えている。
補正環設定領域210は、補正環23の設定に関する領域であり、自動設定領域220と手動設定領域230と記録表示領域240を含んでいる。自動設定領域220は、補正環23の設定を自動で調整する際に操作する領域である。手動設定領域230は、補正環23の設定を手動で調整する際に操作する領域である。記録表示領域240は、自動又は手動調整で得られた補正環23の設定情報に基づいて生成された、観察対象面の位置と補正環23の推奨設定の関係、つまり、観察深さに応じた補正環23の推奨設定を表示する領域である。
画像取得条件設定領域250は、顕微鏡画像を取得する条件を設定するための領域であり、明るさ設定領域260と明るさ以外設定領域270を含んでいる。明るさ設定領域260は、顕微鏡画像の明るさを調整する際に操作する領域である。明るさ以外設定領域270は、明るさ以外の画像取得条件、具体的には、フレームレート、ズーム倍率、画素サイズ(ビニング)などを調整する際に操作する領域である。
画像表示領域280は、顕微鏡画像を表示する領域であり、ライブ画像表示領域281と、ツールバー282を含んでいる。ライブ画像表示領域281には、顕微鏡装置10が取得した顕微鏡画像が一定の時間間隔で更新を繰り返しながら継続的に表示される。ツールバー282には、ライブ画像表示領域281に表示された顕微鏡画像上で関心領域(ROI)を指定するツール、顕微鏡画像の表示倍率を変更するズームボタン等が、配置されている。
コントラスト表示領域290は、画像評価値の一例である画像のコントラストを表示する領域であり、タブで切り替えて表示される第1表示領域291と第2表示領域292を含んでいる。第1表示領域291は、顕微鏡装置10で取得した顕微鏡画像のコントラストと画像取得時の補正環23の位置とを表示する領域である。第2表示領域292は、時間の経過に伴うコントラストの変化を表示する領域である。
画像評価値とは、顕微鏡画像の画像データから算出される球面収差と相関のある値である。画像評価値の一例であるコントラストは、画像に含まれる画素値の差分に基づいて算出される。具体的には、例えば、x方向にn画素分ずれた位置にある2つの画素の画素値の差分の2乗を、画像データ全体で積算することでコントラストを算出する方法などが知られている。なお、画像評価値は、顕微鏡画像のコントラストに限られず、顕微鏡画像の明るさ(例えば、平均輝度など)であってもよい。コントラストと明るさはいずれも、球面収差と強い相関を有していて、球面収差が補正されるほど高くなる。
図5は、自動調整処理のフローチャートである。図6は、推奨位置の推定方法について説明するための図である。顕微鏡利用者が自動設定領域220にあるボタン222を押下すると、顕微鏡システム100は、図5に示す自動調整処理を開始する。
まず、制御装置40は、補正環23の位置を変更する(ステップS1)。ここでは、制御装置40が、例えば、補正環23の可動範囲を均等に分割した予め決められた数(ここでは8)の位置(以降、候補位置と記す)から1つの候補位置を選択し、選択した候補位置に補正環23の位置が変更されるように補正環駆動装置31を制御する。
なお、候補位置の数は、例えば、自動設定領域220のスライダ221の位置に応じて決定されてもよい。例えば、スライダ221の位置が高速に近いほど候補位置の数を少なくしても良い。
次に、顕微鏡装置10は、顕微鏡画像を取得し(ステップS2)、制御装置40は、その顕微鏡画像の画像評価値を算出する(ステップS3)。ここでは、制御装置40は、画像評価値であるコントラストを算出する。
その後、制御装置40は、画像取得を終了するか否か判定する(ステップS4)。ここでは、制御装置40は、全ての候補位置で顕微鏡画像を取得済みか否かを判定し、全ての候補位置で顕微鏡画像を取得済みでなければ、ステップS1からステップS3の処理を繰り返す。
全ての候補位置で顕微鏡画像を取得すると、制御装置40は、最大評価値と補正環23の推奨位置を推定する(ステップS5)。ここでは、制御装置40は、例えば、ステップS3で算出した複数の画像評価値の最大値を、現在の観察対象面の位置における最大評価値と推定し、最大評価値が算出された顕微鏡画像を取得したときの補正環23の位置を推奨位置と推定してもよい。又は、制御装置40は、例えば、図6に示すように、ステップS3で算出した複数の画像評価値と複数の画像評価値に対応する補正環23の位置とで特定される複数点(図6における測定データ)から3点以上を選択し、それら選択した点を補間又は関数近似することにより補正環23の位置と画像評価値の関数を算出してもよい。そして、算出した関数のピーク位置(図6におけるピーク)を、現在の観察対象面の位置における最大評価値と推奨位置として推定しても良い。
なお、補間には、ラグランジュ補間、スプライン補間などの任意の補間法が採用され得る。また、関数近似にも、最小二乗法などの任意の近似法が採用され得る。
推奨位置が推定されると、制御装置40は、補正環駆動装置31を制御して、補正環23の位置を推奨位置に変更する(ステップS6)。最後に、制御装置40は、ステップS5で推定された補正環23の推奨位置と現在の観察対象面の位置を記録し(ステップS7)、自動調整処理を終了する。ここでは、制御装置40は、推奨位置と観察対象面の位置をストレージ43に記録し、さらに、記録した情報に基づいて、推奨位置と観察対象面の位置の関係を示すグラフ241及び表242を更新する。
顕微鏡システム100が図5に示す自動調整処理を行うことで、補正環23の設定を自動化することができる。このため、顕微鏡利用者は観察対象面の位置に応じた補正環23の設定を容易に実現することができる。
図7は、手動調整処理のフローチャートである。図8は、第1表示領域の表示の変化の一例を示した図である。図9は、第1表示領域の表示の変化の別の例を示した図である。図10は、第1表示領域の表示の変化の更に別の例を示した図である。顕微鏡利用者が手動設定領域230にあるボタン232を押下すると、顕微鏡システム100は、図7に示す手動調整処理を開始する。
まず、制御装置40は、顕微鏡システム100の一部の機能を制限する(ステップS11)。ここでは、制御装置40は、例えば、明るさ以外設定領域270を無効化して、スライダ271、スライダ272、リストボックス273を操作不能にする。これにより、フレームレート、ズーム倍率、画素サイズ等の変更を防止する。また、レボルバ駆動装置32による観察対象面の位置の変更も禁止する。さらに、コントラスト表示領域290に過去の情報が表示されている場合には、それらの情報を消去して、コントラスト表示領域290の表示を初期化する。
次に、制御装置40は、ライブ画像の表示を開始する(ステップS12)。ここでは、制御装置40は、顕微鏡装置10が取得した顕微鏡画像がライブ画像表示領域281に表示されるように、表示装置50を制御する。
さらに、顕微鏡装置10は、顕微鏡画像を取得し(ステップS13)、制御装置40は、顕微鏡装置10が取得した顕微鏡画像の画像評価値を算出する(ステップS14)。ここでは、制御装置40は、画像評価値であるコントラストを算出する。
なお、顕微鏡利用者がキーボード60を操作してライブ画像表示領域281上で関心領域を指定した場合には、ステップS14では、制御装置40は、顕微鏡画像のうちの指定された関心領域に対応する部分に基づいて画像評価値(コントラスト)を算出する。
画像評価値が算出されると、制御装置40は、第1表示領域291の表示を更新する(ステップS15)。ここでは、制御装置40は、表示装置50に、ステップS14で算出した顕微鏡画像のコントラストとその顕微鏡画像を取得したときの補正環23の設定情報(位置情報)を、第1表示領域291へ表示させる。
なお、第1表示領域291に既に情報が表示されている状態で顕微鏡装置10が新たな顕微鏡画像を取得したときには、既に表示されている画像評価値と設定情報に加えて、新たな顕微鏡画像の画像評価値と新たな顕微鏡画像を取得したときの補正環23の設定情報とを表示装置50に表示させる。即ち、顕微鏡画像を取得する毎に情報を追加で表示させる。
ステップS15では、顕微鏡画像のコントラストと補正環23の設定情報は、第1表示領域291にグラフ形式で表示されることが望ましい。例えば、制御装置40は、図4に示すように、縦軸がコントラストCを示し横軸が補正環の位置θを示す第1表示領域291中の二次元領域上に、顕微鏡画像のコントラストと補正環23の設定情報を示すポイントPcをプロットしてもよい。制御装置40は、このような方法により、顕微鏡画像のコントラストと補正環23の設定情報を、表示装置50にグラフ形式で表示させてもよい。さらに、補正環23の現在の設定を示す情報をグラフ形式の表示内に表示させてもよい。例えば、図4に示すように、補正環23の現在の設定に対応する位置に補助線291bを表示してもよい。
制御装置40は、補正環23の回転の有無を判定する(ステップS16)。ここでは、制御装置40は、例えば、手動設定領域230のスライダ231が操作されたか否かに基づいて、補正環23の回転の有無を判定する。
補正環23が回転したときには、制御装置40は、補正環23の回転量に応じて焦準装置を制御する(ステップS17、ステップS18)。ここでは、制御装置40は、まず、補正環23の回転により生じる対物レンズ22の焦点面の移動量を算出する(ステップS17)。具体的には、予め対物レンズ毎に記録されている単位補正量(μm/deg)をストレージ43から読み出して、対物レンズ22に対応する単位補正量に補正環23の回転量を掛けることで焦点面の移動量を算出する。単位補正量は、補正環の回転量当たり焦点面の移動量を示している。その後、制御装置40は、焦点面の位置の変化を相殺するように、ステップS17で算出した移動量に基づいてレボルバ24を制御する(ステップS18)。
制御装置40は、補正環23の現在の設定を示す情報を更新する(ステップS19)。ここでは、制御装置40は、第1表示領域291に表示されている補助線291bが回転後の補正環23の位置を示すように、第1表示領域291内で補助線291bの表示位置を変更する。
制御装置40は、明るさが変更されたか否かを判定する(ステップS20)。ここでは、制御装置40は、例えば、明るさ設定領域260のスライダ261又はスライダ262の少なくとも一方が操作されたか否かに基づいて、明るさが変更されたか否かを判定する。そして、明るさが変更されたときには、制御装置40は、第1表示領域291に表示されている情報を消去して、第1表示領域291の表示を初期化する(ステップS21)。
その後、制御装置40は、手動調整処理を終了するか否か判定する(ステップS22)。ここでは、制御装置40は、例えば、顕微鏡利用者から終了指示が入力されたときに、手動調整処理を終了すると判定する。
制御装置40は、終了指示が顕微鏡利用者により入力されるまで、ステップS13からステップS22を繰り返す。そして、終了指示が入力されると、制御装置40は、ステップS11で行った機能制限を解除し(ステップS23)、ライブ画像の表示を終了して(ステップS24)、手動調整処理を終了する。なお、手動調整処理中にボタン233が押下された場合には、制御装置40は、ボタン233が押下された時点の補正環23の位置と観察対象面の位置を記録してもよい。その場合、制御装置40は、記録した情報に基づいて、推奨位置と観察対象面の位置の関係を示すグラフ241及び表242を更新してもよい。なお、ボタン233の押下に応じて行われる記録処理は、手動調整処理中に限らず、手動調整処理終了後であっても実行される。
顕微鏡システム100が図7に示す手動調整処理を行うことで、新たな顕微鏡画像を取得したときに、新たな顕微鏡画像に基づいて算出された画像評価値と設定情報が第1表示領域291に追加表示される。
このため、手動調整処理中に補正環23の位置を変更することなく補正環23の位置を所定の位置に維持することで、顕微鏡利用者は、第1表示領域291に表示された情報に基づいて、サンプルS自身の明滅等に依存して変化するコントラストのばらつきを把握することができる。具体的には、顕微鏡装置10が顕微鏡画像を取得する度に、コントラストが算出されて、算出されたコントラストを示す補助線291b上の位置に点が追加される。これにより、例えば、図8(a)から図8(c)に示すように表示が変化し、ある程度時間が経過した後には、補助線291b上に多数の点がプロットされることになる。このため、顕微鏡利用者は、補助線291b上の点の分布状態からコントラストのばらつきを容易に把握することができる。
なお、第1表示領域291では、最新のポイントPcは白丸で示し、既存のポイントPpは黒丸で示されている。より詳細には、新たな点がプロットされる度に既存の1点を白丸から黒丸に変更する処理が行われる。
さらに、手動調整処理中に補正環23の位置を変更することで、顕微鏡利用者は、コントラストのばらつきに加えて、球面収差が良好に補正される補正環23の位置も把握することができる。具体的には、例えば、補正環23の位置を可動範囲内で何度か往復して移動させることで、図9(a)から図9(c)に示すように表示が変化する。これにより、補正環23の設定情報(位置情報)とコントラストの関係がコントラストのばらつきを含む形で第1表示領域291に表示される。このため、顕微鏡利用者は、コントラストのばらつきを考慮しながら、補正環23の設定情報とコントラストの関係を正しく把握することが可能となる。従って、顕微鏡利用者は、現在の観察対象面の位置における補正環23の推奨位置を正しく把握することができる。
以上のように、顕微鏡システム100では、球面収差と相関のある定量的なデータ(画像評価値)が表示装置50に表示される。また、そのデータ(画像評価値)のばらつきについても表示装置50に表示された情報から視覚的に把握することができる。このため、球面収差を補正する補正環23の設定を容易に且つ正しく評価することができる。
なお、図8及び図9では、画像評価値であるコントラストと補正環23の設定情報との関係を示す散布図を第1表示領域291に表示する例が示されている。散布図のようにグラフ形式で情報を表示することで、顕微鏡利用者は、より容易にコントラストのばらつきを把握することができる。このため、顕微鏡利用者は、補正環23の設定をより容易に正しく評価することができる。
また、図8及び図9では、補正環23の現在の設定を示す補助線291bをグラフ形式の表示内に表示する例が示されている。補助線291bのように補正環23の現在の位置を示す情報を表示することで、顕微鏡利用者は、目標とする補正環23の位置が現在の位置からどちらの方向にあるのか容易に把握することができる。このため、手動調整処理中に顕微鏡利用者が行う補正環23の調整作業が容易になる。
また、顕微鏡システム100では、関心領域が設定されることで、制御装置40は、顕微鏡画像のうちの関心領域に対応する部分に基づいて画像評価値(コントラスト)を算出する。これにより、顕微鏡利用者は、関心領域のコントラストに基づいて補正環23の設定を評価することができる。このため、顕微鏡画像が取得される視野範囲内に屈折率の異なる領域が含まれている場合であっても、関心領域を良好に観察できる補正環23の推奨位置を正しく把握することができる。
また、制御装置40は、図10に示すように、散布図に加えて、コントラストと補正環23の設定情報の関係を示す近似曲線291cを表示装置50に表示させてもよい。近似曲線291cは、例えば最小二乗法など、任意の近似法により算出される。また、ラグランジュ補間、スプライン補間などの任意の補間法を用いて算出されてもよい。近似曲線291cは、新たな顕微鏡画像が取得される度に、又は、コントラストが算出される度に算出されてもよく、制御装置40は、図10(a)から図10(c)に示すように、散布図の表示の更新とともに近似曲線291cの表示を更新してもよい。近似曲線291cを表示することで、顕微鏡利用者は、現在の観察対象面の位置における補正環23の推奨位置をさらに容易に把握することが可能となる。
また、顕微鏡システム100では、補正環23の設定が変更されたときに、制御装置40が焦準装置であるレボルバ24を自動的に制御して焦点面の変動を抑制する。これにより、顕微鏡利用者が特別な作業を行うことなしに、観察対象面の位置ずれに起因する画像評価値の変動を抑えることができる。このため、球面収差を補正する補正環23の設定をより容易に且つより正しく評価することが可能となる。
また、顕微鏡システム100では、制御装置40は、明るさの設定が変更されたときに、第1表示領域291に表示されている情報を消去して、第1表示領域291の表示を初期化する。これにより、異なる明るさ設定で取得された顕微鏡画像から算出されたコントラストに基づいて、顕微鏡利用者が補正環23の推奨位置を誤って把握してしまうことを防止することができる。
以上では、第1表示領域291に表示されるコントラストについての情報を参照しながら、補正環23の設定を手動調整する例を示したが、顕微鏡利用者は、補正環23の設定を調整する前に、明るさの調整を行ってもよい。明るさを適切に調整することで、顕微鏡画像のS/N比が改善されて、コントラストのばらつきを抑えることができるからである。
明るさ調整を行う場合には、まず、第2表示領域292がコントラスト表示領域290に表示されるようにタブを操作する。これにより、制御装置40は、時間の経過に伴うコントラストの変化を表示装置50の第2表示領域292にグラフ形式で表示させる。その後、顕微鏡利用者は、補正環23の位置を維持したまま、スライダ261又はスライダ262を操作して画像の明るさを徐々に上げる。これにより、第2表示領域292では、例えば、図11(a)から図11(c)に示すように表示が変化する。
コントラストは、一般的には顕微鏡画像が明るくなるほど高くなるが、サチレーションが発生すると画素間の輝度差が小さく見積もられ、コントラストが小さくなる。従って、第2表示領域292の表示を確認することで、顕微鏡利用者は、図11(c)が表示されているときの明るさ設定ではサチレーションが発生し、図11(b)が表示されているときの明るさ設定が最もコントラストが高くS/N比が高い明るさ設定であると把握することができる。
このように、制御装置40が時間の経過に伴うコントラストの変化を表示装置50に表示させることで、顕微鏡利用者は、補正環23の設定に適した明るさ設定を容易に見つけることができる。このため、補正環23の設定を更に容易に且つ正しく評価することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、補正装置として補正環23を例示したが、補正装置は補正環23に限らない。補正装置は、光路上で生じる球面収差の量を変化させることができるものであればよい。補正装置は、例えば、顕微鏡装置10の光学系を構成するレンズを移動させる装置であってもよく、また、LCOS(Liquid crystal on silicon、商標)、DFM(Deformable Mirror)、液体レンズなどを用いた装置であってもよい。また、補正装置は、制御装置40によって制御されるものに限られない。例えば、電動補正環である補正環23の代わりに、手動で操作する補正環と補正環の位置を検出するセンサが補正装置として機能しても良い。この場合、センサから出力された補正環の位置情報に基づいて制御装置40がコントラスト表示領域290の表示を制御する。
上述した実施形態では、関心領域を指定することで、制御装置40が顕微鏡画像のうちの指定された関心領域に対応する部分に基づいて画像評価値(コントラスト)を算出する例を示したが、顕微鏡装置10がサンプルSを撮像する領域を、関心領域に限定してもよい。即ち、顕微鏡利用者が撮像領域自体を指定してもよい。
上述した実施形態では、制御装置40が、図7に示す手動調整処理中に、補正環23の回転によって生じる焦点面の変動を抑制するために焦準装置を制御する例を示したが、制御装置40は、図7に示す手動調整処理中に加えて、図5に示す自動調整処理中に、同様の制御を実行しても良い。
上述した実施形態では、図7に示す手動調整処理中にコントラスト表示領域290の表示を更新する例を示したが、手動調整処理中に加えて、自動調整処理中にもコントラスト表示領域290の表示が更新されてもよい。自動調整処理中にコントラスト表示領域290の表示が更新されることで、自動調整処理中のコントラストのばらつきを視認することが可能となる。このため、自動調整処理による調整結果の確実性や信頼性を推測することができる。
上述した実施形態では、顕微鏡装置10が顕微鏡画像を取得する度に画像評価値を算出する例を示したが、画像評価値を算出するタイミングは、特に限定しない。例えば、所定枚数の顕微鏡画像を取得する度に画像評価値を算出してもよい。
10・・・顕微鏡装置、20・・・顕微鏡、21・・・ステージ、21a・・・試料台、22・・・対物レンズ、23・・・補正環、24・・・レボルバ、25・・・レーザー、26・・・スキャナ、27・・・ミラー、28・・・PMT、29・・・A/Dコンバータ、30・・・駆動装置、31・・・補正環駆動装置、32・・・レボルバ駆動装置、40・・・制御装置、41・・・プロセッサ、42・・・メモリ、43・・・ストレージ、44・・・インタフェース装置、45・・・可搬記録媒体駆動装置、46・・・可搬記憶媒体、47・・・バス、50・・・表示装置、60・・・キーボード、70・・・レボルバ操作装置、100・・・顕微鏡システム、200・・・画面、210・・・補正環設定領域、220・・・自動設定領域、221、231、261、262、271、272・・・スライダ、222、232、233・・・ボタン、230・・・手動設定領域、240・・・記録表示領域、241・・・グラフ、242・・・表、250・・・画像取得条件設定領域、260・・・明るさ設定領域、270・・・明るさ以外設定領域、273・・・リストボックス、280・・・画像表示領域、281・・・ライブ画像表示領域、282・・・ツールバー、290・・・コントラスト表示領域、291・・・第1表示領域、291b・・・補助線、291c・・・近似曲線、292・・・第2表示領域、CG・・・カバーガラス、Pc、Pp・・・ポイント、RL1、RL2・・・リレーレンズ、S・・・サンプル

Claims (11)

  1. 球面収差を補正する補正装置を含み、顕微鏡画像を取得する顕微鏡装置と、
    前記顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報を表示装置に表示させる制御装置と、を備え、
    前記制御装置は、前記顕微鏡装置が新たな顕微鏡画像を取得したときに、
    前記表示装置に既に表示されている画像評価値と設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを前記表示装置に表示させる
    ことを特徴とする顕微鏡システム。
  2. 請求項1に記載の顕微鏡システムにおいて、
    前記補正装置は、対物レンズの補正環を含み、
    前記顕微鏡装置は、
    観察対象物を載置するステージと、
    前記ステージと前記対物レンズとの距離を変更する焦準装置と、を含み、
    前記制御装置は、前記補正環が回転したときに、前記補正環の回転量に応じて前記焦準装置を制御する
    ことを特徴とする顕微鏡システム。
  3. 請求項2に記載の顕微鏡システムにおいて、
    前記制御装置は、前記補正環が回転したときに、
    前記補正環の回転により生じる前記対物レンズの焦点面の移動量を算出し、
    前記算出した移動量に基づいて、前記補正環の回転により生じる前記対物レンズの焦点面の位置の変化を相殺するように、前記焦準装置を制御する
    ことを特徴とする顕微鏡システム。
  4. 請求項1乃至請求項3のいずれか1項に記載の顕微鏡システムにおいて、
    前記制御装置は、前記画像評価値と前記設定情報を前記表示装置にグラフ形式で表示させる
    ことを特徴とする顕微鏡システム。
  5. 請求項4に記載の顕微鏡システムにおいて、
    前記制御装置は、前記表示装置に、前記補正装置の現在の設定を示す情報を前記グラフ形式の表示内に表示させる
    ことを特徴とする顕微鏡システム。
  6. 請求項4又は請求項5に記載の顕微鏡システムにおいて、
    前記制御装置は、前記画像評価値と前記設定情報との関係を示す散布図と、前記画像評価値と前記設定情報から算出した近似曲線と、を前記表示装置に表示させる
    ことを特徴とする顕微鏡システム。
  7. 請求項1乃至請求項6のいずれか1項に記載の顕微鏡システムにおいて、
    前記制御装置は、時間の経過に伴う前記画像評価値の変化を前記表示装置にグラフ形式で表示させる
    ことを特徴とする顕微鏡システム。
  8. 請求項1乃至請求項7のいずれか1項に記載の顕微鏡システムにおいて、
    前記制御装置は、前記画像評価値である前記顕微鏡画像の明るさ又はコントラストを算出する
    ことを特徴とする顕微鏡システム。
  9. 請求項8に記載の顕微鏡システムにおいて、さらに、
    関心領域を指定するための入力装置を備え、
    前記制御装置は、前記顕微鏡画像のうちの前記関心領域に対応する部分に基づいて、前記画像評価値を算出する
    ことを特徴とする顕微鏡システム。
  10. 顕微鏡画像を取得する顕微鏡装置と表示装置を制御する制御装置とを備える顕微鏡システムの制御方法であって、
    球面収差を補正する補正装置を含む前記顕微鏡装置が、新たな顕微鏡画像を取得し、
    前記制御装置が、前記表示装置に既に表示されている顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを前記表示装置に表示させる
    ことを特徴とする制御方法。
  11. 顕微鏡画像を取得する顕微鏡装置を備える顕微鏡システムの制御装置に、
    表示装置に既に表示されている、球面収差を補正する補正装置を含む前記顕微鏡装置が取得した顕微鏡画像の画像評価値と当該顕微鏡画像を取得したときの前記補正装置の設定情報に加えて、前記新たな顕微鏡画像の画像評価値と当該新たな顕微鏡画像を取得したときの前記補正装置の設定情報とを前記表示装置に表示させる
    処理を実行させることを特徴とするプログラム。
JP2017100821A 2017-05-22 2017-05-22 顕微鏡システム、制御方法、及び、プログラム Active JP6887875B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017100821A JP6887875B2 (ja) 2017-05-22 2017-05-22 顕微鏡システム、制御方法、及び、プログラム
US15/967,951 US20180338079A1 (en) 2017-05-22 2018-05-01 Microscope system, control method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017100821A JP6887875B2 (ja) 2017-05-22 2017-05-22 顕微鏡システム、制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2018194780A true JP2018194780A (ja) 2018-12-06
JP6887875B2 JP6887875B2 (ja) 2021-06-16

Family

ID=64269621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017100821A Active JP6887875B2 (ja) 2017-05-22 2017-05-22 顕微鏡システム、制御方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20180338079A1 (ja)
JP (1) JP6887875B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215437A (ja) * 2018-06-12 2019-12-19 株式会社ニコン 顕微鏡、方法、及びプログラム
JP2021518580A (ja) * 2018-03-23 2021-08-02 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 顕微鏡システムおよびかかる顕微鏡システムの制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427142A (zh) * 2019-01-09 2020-07-17 卡尔蔡司显微镜有限责任公司 用于显微镜设备的照明模块及相关控制方法和显微镜设备
CN110971761B (zh) * 2019-12-09 2021-04-06 Oppo广东移动通信有限公司 生成显示参数曲线的方法、装置、移动终端以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169101A (ja) * 2000-09-22 2002-06-14 Olympus Optical Co Ltd 顕微鏡
US20110082590A1 (en) * 2008-06-04 2011-04-07 Carl Zeiss Microimaging Gmbh Controller for actuators in microscope lenses
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
JP2017026664A (ja) * 2015-07-16 2017-02-02 オリンパス株式会社 顕微鏡システム、算出方法、及び、プログラム
CN206657135U (zh) * 2017-03-27 2017-11-21 南京星烁光学仪器有限公司 一种减少杂散光的金相物镜

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5758728B2 (ja) * 2011-07-26 2015-08-05 株式会社日立ハイテクノロジーズ 荷電粒子線装置
US10386623B2 (en) * 2016-09-13 2019-08-20 Inscopix, Inc. Adapter for microscopic imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169101A (ja) * 2000-09-22 2002-06-14 Olympus Optical Co Ltd 顕微鏡
US20110082590A1 (en) * 2008-06-04 2011-04-07 Carl Zeiss Microimaging Gmbh Controller for actuators in microscope lenses
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
JP2017026664A (ja) * 2015-07-16 2017-02-02 オリンパス株式会社 顕微鏡システム、算出方法、及び、プログラム
CN206657135U (zh) * 2017-03-27 2017-11-21 南京星烁光学仪器有限公司 一种减少杂散光的金相物镜

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021518580A (ja) * 2018-03-23 2021-08-02 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH 顕微鏡システムおよびかかる顕微鏡システムの制御方法
JP7247210B2 (ja) 2018-03-23 2023-03-28 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 顕微鏡システムおよびかかる顕微鏡システムの制御方法
JP2019215437A (ja) * 2018-06-12 2019-12-19 株式会社ニコン 顕微鏡、方法、及びプログラム
JP7081318B2 (ja) 2018-06-12 2022-06-07 株式会社ニコン 顕微鏡、方法、及びプログラム

Also Published As

Publication number Publication date
US20180338079A1 (en) 2018-11-22
JP6887875B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
JP5732353B2 (ja) 拡大観察装置、拡大観察方法および拡大観察プログラム
US8363099B2 (en) Microscope system and method of operation thereof
JP6887875B2 (ja) 顕微鏡システム、制御方法、及び、プログラム
JP5814709B2 (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
EP3035104B1 (en) Microscope system and setting value calculation method
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2008261769A (ja) 走査型光学装置および観察方法
JP2005275199A (ja) 3次元共焦点顕微鏡システム
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP6549061B2 (ja) 撮影装置および方法並びに撮影装置制御プログラム
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
WO2019202979A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2014085599A (ja) 顕微鏡
JP2010002534A (ja) 顕微鏡装置
WO2021161432A1 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2008292722A (ja) 走査型光学装置
JP2016090789A (ja) 顕微鏡システム
JP2020197582A (ja) 光学機器の調整方法、調整支援方法、光学システム、光学機器
JP2015108670A (ja) 画像処理装置、電子カメラ及び画像処理プログラム
JP7081318B2 (ja) 顕微鏡、方法、及びプログラム
JP2009092795A (ja) 撮像型顕微鏡装置における画像の明度の調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210519

R151 Written notification of patent or utility model registration

Ref document number: 6887875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250