JP2018066845A - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP2018066845A
JP2018066845A JP2016205118A JP2016205118A JP2018066845A JP 2018066845 A JP2018066845 A JP 2018066845A JP 2016205118 A JP2016205118 A JP 2016205118A JP 2016205118 A JP2016205118 A JP 2016205118A JP 2018066845 A JP2018066845 A JP 2018066845A
Authority
JP
Japan
Prior art keywords
unit
image
switching
stage
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016205118A
Other languages
English (en)
Inventor
雅之 中司
Masayuki Nakatsukasa
雅之 中司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016205118A priority Critical patent/JP2018066845A/ja
Priority to EP17195110.6A priority patent/EP3316018A1/en
Priority to US15/784,237 priority patent/US10018826B2/en
Publication of JP2018066845A publication Critical patent/JP2018066845A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/248Base structure objective (or ocular) turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

【課題】貼り合わせ画像作成中に光学部材を切り替えても、適正な貼り合わせ画像の作成を継続する。【解決手段】標本Xを搭載し観察光軸に直交する方向に移動可能なステージ5と、ステージ位置を検出する位置検出部10と、ステージ5上の標本Xを撮影する撮像部7と、取得された画像を検出された位置に基づいて貼り合わせる画像生成部11と、生成された貼り合わせ画像上における画像の位置をステージ位置として探索する位置探索部13と、観察光軸上に切替可能に配置された光学部材9の切替を検出する切替検出部14と、切替を検出した場合に、位置検出部10で検出されたステージ位置と位置探索部13で探索されたステージ位置との差分に基づいて位置検出部10が検出するステージ位置が位置探索部13で探索されたステージ位置に一致するようにステージ位置を補正する制御部15とを備える顕微鏡システム1を提供する。【選択図】図1

Description

本発明は、顕微鏡システムに関するものである。
顕微鏡を用いて標本を観察する場合に、一度に観察できる視野は、主として対物レンズの倍率によって決定される。対物レンズが高倍率になるに従って、標本のより微細な構造を観察できるようになる反面、観察範囲が狭くなってしまう。
一方、標本の全体構造を把握したいという要請もある。そこで、電動ステージやエンコーダ付きステージを装備し、ステージの移動と撮影とを繰り返し、取得した複数の画像を貼り合わせて広画角の貼り合わせ画像を生成する顕微鏡システム、いわゆるバーチャルスライドシステムが知られている(例えば、特許文献1参照。)。
特開2010−134374号公報
しかしながら、特許文献1の顕微鏡システムにおいて、貼り合わせ画像生成中に対物レンズ等の光学部材を切り替えると、光学部材の芯ズレによって、それまでの貼り合わせ画像に対して位置ズレが発生し、光学部材の切替後に正確な貼り合わせができなくなってしまうという不都合がある。
さらに、ステージの位置と光学部材の切替検出をカメラ等の撮像装置から得られる画像情報から検出する場合には、光学部材を切り替える際に観察像が動いて、正しいステージ位置が分からなくなり、光学部材の切替後に貼り合わせができなくなってしまうという問題もある。
本発明は、上述した事情に鑑みてなされたものであって、貼り合わせ画像作成中に光学部材を切り替えても、適正な貼り合わせ画像の作成を継続することができる顕微鏡システムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本を搭載し観察光軸に直交する方向に移動可能なステージと、該ステージの位置を検出する位置検出部と、前記ステージ上の前記標本を撮影する撮像部と、該撮像部により取得された画像を前記位置検出部で検出された位置に基づいて貼り合わせて貼り合わせ画像を生成する画像生成部と、該画像生成部により生成された前記貼り合わせ画像上における前記撮像部により取得された前記画像の位置をステージ位置として探索する位置探索部と、前記観察光軸上に切替可能に配置された光学部材の切替を検出する切替検出部と、前記切替検出部が前記光学部材の切替を検出した場合に、前記位置検出部で検出されたステージ位置と前記位置探索部で探索されたステージ位置との差分を算出し、算出された該差分に基づいて前記位置検出部が検出するステージ位置が前記位置探索部で探索されたステージ位置に一致するように前記位置検出部が検出するステージ位置を補正する制御部とを備える顕微鏡システムを提供する。
本態様によれば、ステージ上に標本を搭載し、ステージによって標本を観察光軸に直交する方向に移動させながら、撮像部により標本を撮影することによって、標本の画像が取得される。そして、標本の画像が取得される毎に、画像生成部によって、位置検出部により検出されたステージの位置に基づいて、取得された画像が貼り合わせられて貼り合わせ画像が生成される。
この場合において、観察光軸上に配置された光学部材を切り替えると、切替検出部によって光学部材の切替が検出される。切替検出部により光学部材の切替が検出されたときには、位置探索部により、貼り合わせ画像上における撮像部により取得された画像の位置がステージ位置として探索され、制御部において、位置検出部で検出されたステージ位置と位置探索部で探索されたステージ位置との差分が算出される。そして、制御部により、位置検出部が検出するステージ位置が位置探索部で探索されたステージ位置に一致するように補正される。
これにより、貼り合わせ画像作成中に光学部材を切り替えることにより、切替前後の光学部材間の芯ズレが存在していても、適正な貼り合わせ画像の作成を継続することができる。
上記態様においては、前記位置探索部が、前記光学部材の切替直前の位置を中心とした所定の範囲に探索範囲を限定してもよい。
このようにすることで、限定された探索範囲で探索を行うことにより、短時間でステージ位置を探索することができる。
また、上記態様においては、前記制御部は、前記切替検出部が前記光学部材の切替開始を検出すると、前記画像生成部による貼り合わせ処理を停止し、前記切替検出部が前記光学部材の切替完了を検出すると、前記画像生成部による前記貼り合わせ処理を再開してもよい。
このようにすることで、光学部材の切替中には、撮像部により取得される画像が変動するので、貼り合わせ処理を停止することで、変動した画像が貼り合わせられた貼り合わせ画像が生成されることを防止することができる。そして、光学部材の切替完了が検出された後には、貼り合わせ処理を再開させることにより、適正な貼り合わせ画像を生成することができる。
また、上記態様においては、前記観察光軸上の光学倍率を検出する倍率検出部と、前記撮像部により取得された前記画像を所定の拡縮倍率で拡縮する画像スケール部とをさらに備え、前記画像生成部が、前記画像スケール部により拡縮された画像を貼り合わせ、前記位置探索部が、前記画像スケール部により拡縮された前記画像を前記貼り合わせ画像上から探索し、前記制御部が、前記倍率検出部から得られる前記光学部材の切替前後の倍率比から前記画像スケール部の拡縮倍率を算出してもよい。
このようにすることで、観察光軸上に配置されている光学部材が切り替えられると、倍率検出部により観察光軸上の光学倍率が検出され、切替前後の倍率比から算出された拡縮倍率によって、スケール部において撮像部により取得された画像が拡縮される。画像生成部は、拡縮された画像を貼り合わせて貼り合わせ画像を生成するとともに、位置探索部は拡縮された画像を貼り合わせ画像上から探索する。これにより、観察光軸上の光学部材が切り替えられることによって倍率が変動しても、適正な貼り合わせ画像を生成することができる。
また、上記態様においては、前記撮像部が所定のフレームレートで複数の画像を取得し、前記位置検出部が、前記撮像部により連続して取得された前記画像間の移動量を算出し、該移動量を累積加算することでステージ位置を検出してもよい。
このようにすることで、電動ステージやエンコーダ付きステージを用いることなく、撮像部により取得された画像に基づいて、ステージの現在位置を算出することができる。
また、上記態様においては、前記撮像部が所定のフレームレートで複数の画像を取得し、前記切替検出部が、前記撮像部により連続して取得された前記画像間の明るさの変化から前記光学部材の切替を検出してもよい。
このようにすることで、撮像部により連続して取得された画像間の明るさ変化に基づいて光学部材の切替を簡易に検出することができる。すなわち、光学部材を切り替える場合には、光学部材を支持する部材が光軸を横切る結果、画像の明るさが一旦暗くなった後に再度明るくなる。この明るさ変化のパターンにより、特別なセンサを用いることなく簡易に光学部材の切替を検出することができる。
また、上記態様においては、各フレームにおける前記位置検出部のステージ位置と前記切替検出部の検出結果とを記録する軌跡記録部を備え、前記制御部が、前記軌跡記録部に記録された情報から前記光学部材の切替直前のステージ位置を探索し、探索されたステージ位置を中心とした所定のサイズの範囲に前記位置探索部で探索を行う際の探索範囲を限定してもよい。
このようにすることで、光学部材の切替後においても切替直前のステージ位置を軌跡記録部に記録されている情報から迅速に探索することができ、限定された探索範囲で探索を行うことにより、切替後のステージ位置を迅速に探索することができる。
本発明によれば、貼り合わせ画像作成中に光学部材を切り替えても、適正な貼り合わせ画像の作成を継続することができるという効果を奏する。
本発明の第1の実施形態に係る顕微鏡システムを示すブロック図である。 図1の顕微鏡システムによる処理を説明するフローチャートである。 図1の顕微鏡システムの変形例により生成された貼り合わせ画像とステージ位置との関係を示す図であり(a)検出されたステージ位置、(b)検出されたステージ位置と探索されたステージ位置との関係をそれぞれ示す図である。 図1の顕微鏡システムの他の変形例により生成された貼り合わせ画像とステージ位置との関係を示す図である。 本発明の第2の実施形態に係る顕微鏡システムを示すブロック図である。 図3の顕微鏡システムにより生成された貼り合わせ画像とステージ位置との関係を示した図であり(a)検出されたステージ位置、(b)倍率切替後に検出されたステージ位置と探索されたステージ位置との関係をそれぞれ示す図である。 本発明の第3の実施形態の係る顕微鏡システムを示すブロック図である。 図7の顕微鏡システムにおいて、軌跡情報を参照し対物レンズ切替直前のステージ位置を探索する処理を説明する図である。
本発明の第1の実施形態に係る顕微鏡システム1について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム1は、図1に示されるように、顕微鏡2と、該顕微鏡2により取得された画像を処理する画像処理部3と、該画像処理部3により生成された貼り合わせ画像および顕微鏡2により取得されたライブ画像を表示する表示部(例えば、液晶ディスプレイ)4とを備えている。
顕微鏡2は、搭載した標本Xを3次元方向に移動可能なステージ5と、鉛直方向の観察光軸上に配置した対物レンズ6および三眼鏡筒(光学部材)9と、標本Xの観察像を撮像するカメラ(撮像部)7とを備えている。また、顕微鏡2にはユーザがステージ5を手動で観察光軸に対して直交する2方向(水平方向)に移動させるために操作する操作部8と、ステージ5の位置をエンコーダで検出する位置検出部10と、三眼鏡筒9の光路切替をエンコーダで検出する切替検出部14とを備えている。
カメラ7は、所定のフレームレートで標本Xを撮影することによりライブ画像を取得し、ライブ画像を構成する各フレームの画像を画像処理部3に送るようになっている。ここで、ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
画像処理部3は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやFPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、GPGPU(General Purpose Computing on Graphics Processing Unit)等を用いた計算機である。
画像処理部3は、カメラ7から送られてきた画像を順次貼り合わせて貼り合わせ画像を生成する画像生成部11と、画像生成部11により生成された貼り合わせ画像を記憶する記憶部12と、カメラ7から送られてくる画像の位置を、記憶部12に記憶されている貼り合わせ画像上から探索する位置探索部13と、表示部4、位置検出部10、画像生成部11および位置探索部13を制御する制御部15とを備えている。
また、画像処理部3は、カメラ7から送られてきたライブ画像と、記憶部12に記録されている貼り合わせ画像と、ステージ位置情報とを表示部4へ送るようになっている。表示部4ではライブ画像と貼り合わせ画像を表示するとともに、貼り合わせ画像上にステージ位置を表す矩形枠を表示するようになっている。
画像生成部11は、制御部15からの指令により、カメラ7より取得された画像と、記憶部12に記憶されている貼り合わせ画像とを、位置検出部10で検出されたステージ位置に基づいて貼り合わせ、新たな貼り合わせ画像を生成するようになっている。
記憶部12は、メモリ、HDD、SDD等の任意の記憶装置であって、画像生成部11から新たな貼り合わせ画像が送られてくると、記憶している貼り合わせ画像を更新するようになっている。
位置検出部10は、顕微鏡2のステージ5に搭載されたエンコーダから得られるステージ位置(x,y)を制御部15に出力するようになっている。位置検出部10は、任意の補正値(δx,δy)を制御部15から与えることができ、位置検出部10が出力するステージ位置は補正値を加えた(x+δx,y+δy)となる。
位置探索部13は、制御部15からの指令により位置探索を実行するようになっている。画像の位置探索には、カメラ7から得られる画像をテンプレートとして、記憶部12に記憶されている貼り合わせ画像上から探索する、SAD(Sum of Abusolute Difference)やNCC(Normalized Cross−Correlation)を評価関数としたテンプレートマッチング/ブロックマッチング、POC(Phase Only Correlation)などの公知の技術を用いることができる。
切替検出部14は、三眼鏡筒9の切替開始と切替完了を検出することができ、検出結果を制御部15に送るようになっている。本実施形態では、顕微鏡2に搭載された物理的なセンサによって三眼鏡筒9の光路切替を検出する場合を例示するが、例えば、ユーザが切替前および切替後にボタン操作等によって切替検出するような構成をとってもよい。
このように構成された本実施形態に係る顕微鏡システム1の作用について以下に説明する。
本実施形態に係る顕微鏡システム1を用いて貼り合わせ画像を生成するには、図2に示されるように、貼り合わせ処理を開始させた後に、カメラ7から最初に送られてきた標本Xの観察像が画像生成部11に送られ、最初の貼り合わせ画像Mが生成される(ステップS1)。生成された貼り合わせ画像Mは、記憶部12に記録されるとともに、表示部4に表示される(ステップS2)。
次に、切替検出部14により、三眼鏡筒9の切替開始の有無が確認され(ステップS3)、切替開始を検出されない場合には、処理を終了するか否かの判定を行い(ステップS6)、処理を継続する場合には、ステップS1からの処理が繰り返される。
ステップS3において、三眼鏡筒9の切替開始が検出された場合には、切替完了まで待機する(ステップS4)。
ステップS4において、三眼鏡筒9の切替完了が検出された場合には、位置探索部13によりステージ位置の探索を実施する(ステップS5)。
ステップS5の位置探索について、図3(a)および図3(b)を参照して説明する。
図3(a)および図3(b)は、貼り合わせ画像Mとステージ位置との関係を示す図である。符号F1,F2はカメラ7が観察している観察範囲を示し、F1の座標(x1,y1)は、位置検出部10が出力するステージ位置である。
図3(a)は、三眼鏡筒9を切り替える前の状態を示している。
この状態から、ユーザが三眼鏡筒9の光路を切り替え、カメラ7と接眼に入射する光量比を変更した場合の貼り合わせ画像Mとステージ位置との関係を図3(b)に示す。
三眼鏡筒9の光路を切替えることで、カメラ7から得られる像の位置がF2(x2,y2)へずれる。光路切替後、位置検出部10の位置情報F1(x1,y1)を使って貼り合わせを行うと、貼り合わせ画像Mがずれてしまい正確な貼り合わせ画像が生成できなくなる。
そこで、位置探索部13で探索したステージ位置F2(x2,y2)と位置検出部10で検出したステージ位置F1(x1,y1)とから、差分(δx,δy)=(x2−x1,y2−y1)を補正値として位置検出部10に指定することで、位置検出部10が三眼鏡筒9を切り替えた後も、三眼鏡筒9に起因する像ずれの影響を受けずに、正確な貼り合わせを継続することができるという利点がある。
貼り合わせ処理の終了判定(ステップS6)は、ステップS3またはステップS5の後に行うこととしているが、ユーザが貼り合わせ処理を終了したい任意のタイミングで終了できるようにしてもよい。
なお、本実施形態においては、切替検出部14により検出する光学部材として三眼鏡筒9のみを想定しているが、三眼鏡筒9以外の光学部材(例えば、中間変倍装置など)の切替を検出するようにしてもよい。
また、本実施形態では、カメラ7がライブ画像を画像処理部3に送る構成を例示しているが、静止画を連続して撮影し、取得された複数の静止画像を画像処理部3に送ることにしてもよい。
また、位置探索部13で位置を探索する際に、図4に示すように位置検出部10のステージ位置(x1,y1)を中心に、所定のサイズの範囲SA1に探索範囲を限定して探索を行うようにしてもよい。
これにより、位置探索部13の位置探索にかかる処理時間が、貼り合わせ画像Mのサイズに依存することなく、貼り合わせ画像Mのサイズが大きくなっても短時間で位置探索することができて、貼り合わせ画像作成の効率を向上させることができるという利点がある。
次に、本発明の第2の実施形態に係る顕微鏡システム21について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る顕微鏡システム1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る顕微鏡システム21においては、三眼鏡筒9に代えて、例えば、対物レンズ(光学部材)6を切り替える場合を例に挙げて説明する。対物レンズ6を切り替えると、観察像の倍率が変わるので、倍率が変わっても貼り合わせが継続できるようなシステムを構成する必要がある。
そこで、図5に示すように、本実施形態に係る顕微鏡システム21は、光学倍率を検出する倍率検出部17と、カメラ7により取得された画像を所定の倍率で拡縮する画像スケール部16とをさらに備えている。
倍率検出部17は、観察光路に挿入される対物レンズ6のレボルバの穴位置をエンコーダで検出し、あらかじめ設定された穴位置と対物レンズ6の倍率との対応関係から、観察光路に挿入されている対物レンズ6の倍率を検出するようになっている。
画像スケール部16は、制御部15から指定された倍率mを受け取り、画像をm倍に拡縮するようになっている。画像の拡縮処理にはバイリニアやバイキュービックなどの公知の補間方法を用いることができる。
制御部15は、貼り合わせ画像作成開始時に倍率検出部17から得られた対物レンズ6の倍率M1を記憶しており、倍率検出部17から得られる現在の対物レンズ6の倍率M2を用いて、m=M1/M2により倍率(拡縮倍率)mを算出し、画像スケール部16に倍率を設定するようになっている。
図6(a)および図6(b)に本実施形態に係る顕微鏡システム21による貼り合わせ画像Mとステージ位置との関係を示す。
貼り合わせ画像Mの作成開始時に、対物レンズ6の倍率M1=10(10倍)が設定されていた場合に、ステージ5を動かして貼り合わせ画像Mを生成し、貼り合わせ画像Mとステージ位置F1とが図6(a)に示す関係にある状態から、ユーザが対物レンズ6の倍率M2=20(20倍)に変更した場合(図6(b))について説明する。
ユーザが対物レンズ6を切り替え終えたことが切替検出部14により検出されると、制御部15は、m=M1/M2=0.5を画像スケール部16に設定する。画像スケール部16はカメラ7から得られる画像を0.5倍、すなわち半分のサイズに縮小した画像を画像生成部11および位置検出部10に送る。
位置探索部13は、貼り合わせ画像M上において、画像スケール部16で縮小された画像を用いて位置探索を行い、ステージ位置F2(x2,y2)を算出する。
その後は上述の第1の実施形態と同様に補正値(δx,δy)を算出し、補正値を位置検出部10に設定することで、対物レンズ6の切替後も正しい位置に画像を貼り合わせることができる。
貼り合わせる画像においても、画像スケール部16において光学倍率を考慮して拡縮されるので、貼り合わせ処理中に光学倍率が変更されても、継続して正確な貼り合わせ画像を作成することができるという利点がある。
次に、本発明の第3の実施形態に係る顕微鏡システム31について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る顕微鏡システム1と構成を共通とする箇所には同一符号を付して説明を省略する。
上述の実施形態では、顕微鏡2に備えられたエンコーダによってステージ位置の検出と三眼鏡筒9の切替の検出とを行う例を例示した。本実施形態においては、これらに代えて、図7に示されるように、カメラ7から得られる画像情報からステージ位置および対物レンズ(光学部材)6の切替を検出することとしている。
本実施形態の説明において、上述した第1の実施形態に係る顕微鏡システム1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態において、位置検出部10は、カメラ7から連続して取得された画像間の移動量を算出し、該移動量を累積加算することでステージ位置を検出するようになっている。画像間の移動量の算出には、上述したSADやNCCを評価関数としたテンプレートマッチング/ブロックマッチング、POCなどの公知の技術を用いることができる。
本実施形態の説明において、上述した第1の実施形態に係る顕微鏡システム1と構成を共通とする箇所には同一符号を付して説明を省略する。
切替検出部14は、例えば、特開2009−86314号公報に記載の公知の方法を用いて、カメラ7から連続して取得された画像間の明るさの変化から対物レンズ6の切替を検出するようになっている。対物レンズ6が観察光軸に挿脱される際には、対物レンズ6を支持する部材が観察光軸を横切ることになるため明るさが変動する。
これを利用して、画像間の明るさの変化が所定の第1の閾値を越えた場合に、対物レンズ6の切替開始を検出し、その後、画像間の明るさの変化が所定の第2の閾値以内に収まった場合に、対物レンズ6の切替完了を検出することができる。
本実施形態において、画像処理部3は、各フレームにおける位置検出部10が検出したステージ位置と切替検出部14の検出結果とを記憶する軌跡記録部18をさらに備えていてもよい。
制御部15は、切替検出部14によって対物レンズ6の切替完了が検出されると、軌跡記録部18に記録されている情報を参照して、対物レンズ6が切り替わる直前のステージ位置を探索するようになっている。切替直前のステージ位置が発見された場合には、発見されたステージ位置を中心として、所定のサイズの範囲に探索範囲を限定して探索を行うように位置探索部13を制御するようになっている。
図8を参照して、軌跡記録部18に記録された情報を参照し、対物レンズ6が切り替わる直前のステージ位置を探索する処理について説明する。
対物レンズ6を切り替える直前にはステージ5が静止しているとすると、カメラ7で取得される画像は静止している(A)。対物レンズ6を切り替える際には、レボルバを回すことで観察像が動き(B)、その後、観察光路が遮られ画像が暗転し(C)、次の対物レンズ6が観察光軸に挿入されると、カメラ7の自動露出制御により画像の明るさが調整され、明るさが変動しながら安定し(D)、その後、静止した画像が取得される(E)。
切替検出部14は、暗転したタイミングで対物レンズ6の切替(以下、対物切替という。)開始を検出し(Det1)、画像の明るさが安定したタイミングで対物切替完了を検出する(Det2)。
制御部15は、対物切替が完了したタイミング(Det2)から、軌跡記録部18に記録された情報を参照し、図8に示すように過去に遡って、対物切替開始のタイミング(Det1)を探索する。そして、さらに過去に遡り、対物切替直前のタイミング(Pre)を探索する。
切替直前のタイミングは、軌跡記録部18に記録されたフレーム間のステージ5の移動量が所定の閾値以下になったタイミングで検出することができる。また、そのタイミングでのステージ位置を、対物レンズ6の切替直前のステージ位置として探索することができる。
本実施形態に係る顕微鏡システム31によれば、画像情報を用いてステージ位置および対物レンズ6の切替を検出する場合において、貼り合わせ画像Mのサイズが大きくなっても短時間で位置探索することができ、貼り合わせ画像作成の効率を向上させることができるという利点がある。
1,21,31 顕微鏡システム
5 ステージ
6 対物レンズ(光学部材)
7 カメラ(撮像部)
9 三眼鏡筒(光学部材)
10 位置検出部
11 画像生成部
13 位置探索部
14 切替検出部
15 制御部
16 画像スケール部
17 倍率検出部
18 軌跡記録部
M 貼り合わせ画像
X 標本

Claims (7)

  1. 標本を搭載し観察光軸に直交する方向に移動可能なステージと、
    該ステージの位置を検出する位置検出部と、
    前記ステージ上の前記標本を撮影する撮像部と、
    該撮像部により取得された画像を前記位置検出部で検出された位置に基づいて貼り合わせて貼り合わせ画像を生成する画像生成部と、
    該画像生成部により生成された前記貼り合わせ画像上における前記撮像部により取得された前記画像の位置をステージ位置として探索する位置探索部と、
    前記観察光軸上に切替可能に配置された光学部材の切替を検出する切替検出部と、
    前記切替検出部が前記光学部材の切替を検出した場合に、前記位置検出部で検出されたステージ位置と前記位置探索部で探索されたステージ位置との差分を算出し、算出された該差分に基づいて前記位置検出部が検出するステージ位置が前記位置探索部で探索されたステージ位置に一致するように前記位置検出部が検出するステージ位置を補正する制御部とを備える顕微鏡システム。
  2. 前記位置探索部が、前記光学部材の切替直前の位置を中心とした所定の範囲に探索範囲を限定する請求項1に記載の顕微鏡システム。
  3. 前記制御部は、前記切替検出部が前記光学部材の切替開始を検出すると、前記画像生成部による貼り合わせ処理を停止し、前記切替検出部が前記光学部材の切替完了を検出すると、前記画像生成部による前記貼り合わせ処理を再開する請求項1または請求項2に記載の顕微鏡システム。
  4. 前記観察光軸上の光学倍率を検出する倍率検出部と、
    前記撮像部により取得された前記画像を所定の拡縮倍率で拡縮する画像スケール部とをさらに備え、
    前記画像生成部が、前記画像スケール部により拡縮された画像を貼り合わせ、
    前記位置探索部が、前記画像スケール部により拡縮された前記画像を前記貼り合わせ画像上から探索し、
    前記制御部が、前記倍率検出部から得られる前記光学部材の切替前後の倍率比から前記画像スケール部の拡縮倍率を算出する請求項1から請求項3のいずれかに記載の顕微鏡システム。
  5. 前記撮像部が所定のフレームレートで複数の画像を取得し、
    前記位置検出部が、前記撮像部により連続して取得された前記画像間の移動量を算出し、該移動量を累積加算することでステージ位置を検出する請求項1から請求項4のいずれかに記載の顕微鏡システム。
  6. 前記撮像部が所定のフレームレートで複数の画像を取得し、
    前記切替検出部が、前記撮像部により連続して取得された前記画像間の明るさの変化から前記光学部材の切替を検出する請求項1から請求項5のいずれかに記載の顕微鏡システム。
  7. 各フレームにおける前記位置検出部のステージ位置と前記切替検出部の検出結果とを記録する軌跡記録部を備え、
    前記制御部が、前記軌跡記録部に記録された情報から前記光学部材の切替直前のステージ位置を探索し、探索されたステージ位置を中心とした所定のサイズの範囲に前記位置探索部で探索を行う際の探索範囲を限定する請求項1から請求項6のいずれかに記載の顕微鏡システム。
JP2016205118A 2016-10-19 2016-10-19 顕微鏡システム Pending JP2018066845A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016205118A JP2018066845A (ja) 2016-10-19 2016-10-19 顕微鏡システム
EP17195110.6A EP3316018A1 (en) 2016-10-19 2017-10-06 Microscope system
US15/784,237 US10018826B2 (en) 2016-10-19 2017-10-16 Microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016205118A JP2018066845A (ja) 2016-10-19 2016-10-19 顕微鏡システム

Publications (1)

Publication Number Publication Date
JP2018066845A true JP2018066845A (ja) 2018-04-26

Family

ID=60037440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016205118A Pending JP2018066845A (ja) 2016-10-19 2016-10-19 顕微鏡システム

Country Status (3)

Country Link
US (1) US10018826B2 (ja)
EP (1) EP3316018A1 (ja)
JP (1) JP2018066845A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034972A (ja) * 2018-08-27 2020-03-05 オリンパス株式会社 実験情報管理システム、実験ノートシステム、実験ノート生成装置、画面生成装置、実験情報管理方法、及び、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230047673A1 (en) * 2021-08-13 2023-02-16 Samsung Electronics Co., Ltd. Detecting stationary regions for organic light emitting diode (oled) television (tv) luminance reduction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264690A (ja) * 2003-03-03 2004-09-24 Olympus Corp 芯ずれ補正装置及びその方法
JP2009086314A (ja) * 2007-09-28 2009-04-23 Olympus Corp 顕微鏡用カメラ
JP2011186305A (ja) * 2010-03-10 2011-09-22 Olympus Corp バーチャルスライド作成装置
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP2014081591A (ja) * 2012-10-18 2014-05-08 Nikon Corp 倍率を切り替え可能な装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
JP5153599B2 (ja) 2008-12-08 2013-02-27 オリンパス株式会社 顕微鏡システム及び該動作方法
JP6270388B2 (ja) * 2013-09-13 2018-01-31 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP6289044B2 (ja) * 2013-11-15 2018-03-07 オリンパス株式会社 観察装置
JP6438216B2 (ja) 2014-05-22 2018-12-12 キヤノン株式会社 画像生成装置および画像生成方法
JP6563486B2 (ja) * 2015-04-16 2019-08-21 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP6572117B2 (ja) * 2015-12-04 2019-09-04 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
JP6633917B2 (ja) * 2016-01-15 2020-01-22 オリンパス株式会社 顕微鏡システムおよび顕微鏡の倍率推定方法
JP6742863B2 (ja) * 2016-09-02 2020-08-19 オリンパス株式会社 顕微鏡画像処理装置、方法およびプログラム
JP2018054690A (ja) * 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264690A (ja) * 2003-03-03 2004-09-24 Olympus Corp 芯ずれ補正装置及びその方法
JP2009086314A (ja) * 2007-09-28 2009-04-23 Olympus Corp 顕微鏡用カメラ
JP2011186305A (ja) * 2010-03-10 2011-09-22 Olympus Corp バーチャルスライド作成装置
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP2014081591A (ja) * 2012-10-18 2014-05-08 Nikon Corp 倍率を切り替え可能な装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034972A (ja) * 2018-08-27 2020-03-05 オリンパス株式会社 実験情報管理システム、実験ノートシステム、実験ノート生成装置、画面生成装置、実験情報管理方法、及び、プログラム

Also Published As

Publication number Publication date
EP3316018A1 (en) 2018-05-02
US20180106992A1 (en) 2018-04-19
US10018826B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
JP5620142B2 (ja) 撮像装置および撮像方法
JP5895270B2 (ja) 撮像装置
CN107404619B (zh) 图像变焦处理方法、装置及终端设备
JP2013246313A (ja) カメラおよび携帯端末装置
US20180088307A1 (en) Microscope imaging system
US9973690B2 (en) Imaging device, imaging method, and computer-readable recording medium
JP2018066845A (ja) 顕微鏡システム
JP6667268B2 (ja) 動きベクトル検出装置およびその制御方法、撮像装置
JP6326631B2 (ja) 撮像装置
JP2011249887A (ja) 撮像装置
JP2020112700A (ja) フォーカス制御装置、撮像装置およびフォーカス制御方法
JP6621027B2 (ja) 撮像装置
JP2016100883A (ja) フォーカスアシスト装置およびそのプログラム
JP2015145894A (ja) 投射型表示装置
JP2011259504A (ja) 撮像装置
JP2005150902A (ja) 撮影システム及び撮影制御情報決定方法
JP5744527B2 (ja) 撮像装置及びその制御方法
JP6619217B2 (ja) 顕微鏡システムとその制御方法
JP6089232B2 (ja) 撮像装置
KR20090028043A (ko) 촬영 화면 기반의 화면 지정이 가능한 촬영 장치 및 화면지정 방법
JP2016134686A (ja) 撮像装置及び撮像方法
KR102669853B1 (ko) 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들
JP6234103B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6126037B2 (ja) 画像再生装置,画像再生方法および画像再生装置のコンピュータを制御するプログラム
US11743576B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210706