JP2018054690A - 顕微鏡撮像システム - Google Patents

顕微鏡撮像システム Download PDF

Info

Publication number
JP2018054690A
JP2018054690A JP2016187018A JP2016187018A JP2018054690A JP 2018054690 A JP2018054690 A JP 2018054690A JP 2016187018 A JP2016187018 A JP 2016187018A JP 2016187018 A JP2016187018 A JP 2016187018A JP 2018054690 A JP2018054690 A JP 2018054690A
Authority
JP
Japan
Prior art keywords
image
unit
motion vector
composite image
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016187018A
Other languages
English (en)
Inventor
雅之 中司
Masayuki Nakatsukasa
雅之 中司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016187018A priority Critical patent/JP2018054690A/ja
Priority to EP17168330.3A priority patent/EP3299862A1/en
Priority to US15/635,370 priority patent/US20180088307A1/en
Publication of JP2018054690A publication Critical patent/JP2018054690A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • G02B21/025Objectives with variable magnification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】電動ステージやエンコーダ付きステージを用いることなく、広画角の貼り合わせ画像と現在観察している視野範囲とを同時に把握する。【解決手段】標本Xを搭載し観察光軸に直交する方向に移動可能なステージ5と、ステージ5に搭載された標本Xを時間間隔をあけて撮影する撮像部6と、撮像部6により取得された2枚の画像間において動きベクトルを算出する動きベクトル算出部9と、撮像部6により取得された画像を動きベクトルを累積した現在位置に貼り合わせて貼り合わせ画像を生成するとともに、現在位置の表示を合成した合成画像を生成する画像生成部10とを備える顕微鏡撮像システム1を提供する。【選択図】図1

Description

本発明は、顕微鏡撮像システムに関するものである。
顕微鏡を用いて標本を観察する場合に、一度に観察できる視野は、主として対物レンズの倍率によって決定される。対物レンズが高倍率になるに従って、標本のより微細な構造を観察できるようになる反面、観察範囲が狭くなってしまう。
一方、標本の観察場所の見落としを防ぐ等の目的から、標本の全体像と現在観察している視野範囲とを同時に把握したいという要請がある。そこで、電動ステージやエンコーダ付きステージを装備し、標本上の視野を移動しながら撮影した複数の静止画像を貼り合わせ、広画角の貼り合わせ画像を生成する顕微鏡撮像システム、いわゆるバーチャルスライドシステムが知られている(例えば、特許文献1,2参照。)。
この顕微鏡撮像システムによれば、電動ステージに指令される位置情報あるいはエンコーダ付きステージのエンコーダにより検出される位置情報により、広画角の貼り合わせ画像による標本の全体像に、現在観察している視野範囲を重ね合わせて表示することも可能である。
特開2009−14939号公報 特開2010−134374号公報
しかしながら、特許文献1および特許文献2の顕微鏡撮像システムは、電動ステージに指令される位置情報やステージに備えられたエンコーダにより検出される位置情報を用いるため構成が大がかりとなり、コストがかかるという不都合がある。また、手動ステージを有する顕微鏡ではステージの現在位置検出を行うエンコーダ等の位置検出装置を追加する必要があるという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、電動ステージやエンコーダ付きステージを用いることなく、広画角の貼り合わせ画像と現在観察している視野範囲とを同時に把握することができる顕微鏡撮像システムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本を搭載し観察光軸に直交する方向に移動可能なステージと、該ステージに搭載された前記標本を時間間隔をあけて撮影する撮像部と、該撮像部により取得された2枚の画像間において動きベクトルを算出する動きベクトル算出部と、前記撮像部により取得された画像を前記動きベクトルを累積した現在位置に貼り合わせて貼り合わせ画像を生成するとともに、前記現在位置の表示を合成した合成画像を生成する画像生成部とを備える顕微鏡撮像システムを提供する。
本態様によれば、ステージ上に標本を搭載し、ステージによって標本を観察光軸に直交する方向に移動させながら撮像部により時間間隔をあけて標本を撮影することにより、2枚の画像が取得される毎に、取得された2枚の画像間の動きベクトルが動きベクトル算出部によって算出され、算出された動きベクトルを累積することにより、現在位置が求められる。そして、画像生成部において、取得された画像を、求められた現在位置に貼り合わせた貼り合わせ画像が生成されるとともに、貼り合わせ画像に現在位置の表示が合成された合成画像が生成される。
これにより、電動ステージやエンコーダ付きステージを用いることなく、撮像部により取得された画像に基づいて、ステージの現在位置を算出することができる。したがって、手動ステージであっても、位置検出のための大がかりな装置が不要であり、現在位置の表示が合成された貼り合わせ画像によって、より広い範囲の標本の像と現在観察している視野範囲とを同時に把握することができる。
上記態様においては、前記動きベクトル算出部が、算出された前記動きベクトルの信頼性を算出し、算出された信頼性が所定の閾値を超える場合に、前記貼り合わせ画像および前記合成画像を生成するように前記画像生成部を制御する制御部を備えていてもよい。
このようにすることで、2枚の画像が取得される間に、ステージが大きく移動して動きベクトルが精度よく算出されない場合など、動きベクトルの信頼性が低い場合には、貼り合わせ画像の生成および現在位置の算出を精度よく行うことができないので、動きベクトルの信頼性が高い場合にのみ、制御部が画像生成部による貼り合わせ画像および合成画像の生成を行わせることにより、より正確な観察を行うことができる。
また、上記態様においては、前記画像生成部により生成された前記貼り合わせ画像上において、前記撮像部により取得された画像の位置を探索する位置探索部を備え、前記制御部は、算出された前記動きベクトルの信頼性が前記閾値以下である場合に、前記貼り合わせ画像および前記合成画像の生成を停止するとともに、前記位置探索部による探索を開始させ、該位置探索部により画像の位置が検出された場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御してもよい。
このようにすることで、動きベクトルの信頼性が低く、現在位置が失われた場合に、不正確な現在位置に基づく貼り合わせ画像および合成画像の生成が停止される。そして、位置探索部により、それまでに生成されている貼り合わせ画像上において取得された画像の位置の探索が行われ、検出された画像の位置を正しい現在位置として、貼り合わせ画像の生成、現在位置の算出および合成画像の生成が行われる。これにより、より正確な観察を行うことができる。
また、上記態様においては、前記位置探索部が、検出された画像の位置の信頼性を算出し、前記制御部が、算出された信頼性が所定の閾値を超える場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御してもよい。
このようにすることで、位置探索部による現在位置の探索において、正確な現在位置が検出された場合にのみ、貼り合わせ画像および合成画像の生成が再開されるので、より正確な観察を行うことができる。
また、上記態様においては、前記観察光軸上の光学倍率を取得する倍率取得部と、前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、前記画像生成部が、前記画像スケール部により調節された画像を用いて前記貼り合わせ画像および前記合成画像を生成してもよい。
このようにすることで、対物レンズの交換等で観察光軸上の光学倍率が変更されることにより視野が変化しても、倍率取得部により取得された光学倍率に応じて画像スケール部が画像のサイズを調節するので、調節された正しいサイズの画像を用いて、貼り合わせ画像の生成、動きベクトルの算出および合成画像の生成を行うことができる。
また、上記態様においては、前記観察光軸上の光学倍率を取得する倍率取得部と、前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、前記位置探索部が、前記画像スケール部により調節された画像を用いて位置を探索してもよい。
このようにすることで、対物レンズの交換等で観察光軸上の光学倍率が変更されることにより視野が変化しても、倍率取得部により取得された光学倍率に応じて画像スケール部が画像のサイズを調節するので、調節された正しいサイズの画像を用いて、現在位置を精度よく探索することができる。
本発明によれば、電動ステージやエンコーダ付きステージを用いることなく、広画角の貼り合わせ画像と現在観察している視野範囲とを同時に把握することができるという効果を奏する。
本発明の一実施形態に係る顕微鏡撮像システムを示すブロック図である。 図1の顕微鏡撮像システムによる処理を説明するフローチャートである。 (a)から(g)は図2の処理により更新される画像例を示す図である。 図1の顕微鏡撮像システムの変形例を示すブロック図である。 (a)から(e)は図4の顕微鏡撮像システムによる処理により更新される画像例を示す図である。
本発明の一実施形態に係る顕微鏡撮像システム1について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡撮像システム1は、図1に示されるように、顕微鏡2と、該顕微鏡2により取得された画像を処理する画像処理部3と、該画像処理部3により生成された合成画像および顕微鏡2により取得されたライブ画像を表示する表示部(例えば、液晶ディスプレイ)4とを備えている。
顕微鏡2は、搭載した標本Xを3次元方向に移動可能なステージ5と、ステージ5上に搭載された標本Xを撮影する撮像部6と、鉛直方向に観察光軸を配置した対物レンズ7とを備えている。
撮像部6は、対物レンズ7により集光された標本Xからの光を撮影するカメラ8を備えている。
カメラ8は、所定のフレームレートで標本Xを撮影することによりライブ画像を取得し、ライブ画像を構成する各フレームの画像を画像処理部3に送るようになっている。ここで、ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
画像処理部3は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやFPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、GPGPU(General Purpose Computing on Graphics Processing Unit)等を用いた計算機である。
画像処理部3は、カメラ8から送られてきた画像の内、最後に取得された時間軸方向に隣接するフレームの2枚の画像間の相対位置から動きベクトルを算出する動きベクトル算出部9と、カメラ8から送られてきた画像を順次貼り合わせて貼り合わせ画像を生成するとともに、貼り合わせ画像に現在位置の表示を合成した合成画像を生成する画像生成部10と、貼り合わせ画像を記憶する記憶部11と、貼り合わせ画像上においてカメラ8から最後に送られてきた画像の位置を探索する位置探索部12と、位置探索部12および画像生成部10を制御するナビゲーション部(制御部)13とを備えている。
動きベクトル算出部9は、SAD(Sum of Absolute Difference)やNCC(Normalized Cross−Correlation)に代表されるテンプレートマッチングや、空間周波数に基づく位相限定相関法等の公知技術を利用して、最後より1つ前のフレームの画像から最後のフレームの画像に向かう動きベクトルを算出するようになっている。
ここで、本実施形態では、動きベクトル算出部9は、最後より1つ前のフレームの画像から最後のフレームの画像に向かう動きベクトルを算出しているが、これに限らず、例えば複数フレームの画像を画像処理部3内のメモリに一旦保存し、4フレーム前の画像から3フレーム前の画像に向かう動きベクトルを算出してもよい。すなわち、動きベクトル算出部9による動きベクトルの算出対象は、最初から最後までのフレームの全範囲における隣接するフレームどうしであればよい。
また、動きベクトル算出部9は、動きベクトルの算出の他、算出された動きベクトルの信頼性を算出するようになっている。信頼性としてはNCCの相関係数、位相限定相関法のピーク値等を利用することができる。算出された動きベクトルおよび信頼性の値はナビゲーション部13に出力されるようになっている。
画像生成部10は、カメラ8から最後に送られてきたフレームの画像を、動きベクトル算出部9により算出された動きベクトルに従って、記憶部11に記憶されている貼り合わせ画像に貼り合わせて新たな貼り合わせ画像を生成するようになっている。生成された新たな貼り合わせ画像は記憶部11に送られて記憶されている貼り合わせ画像を更新するようになっている。記憶部11は、メモリ、HDD、SSD等の任意の記憶装置である。
また、画像生成部10は、後述するナビゲーション部13により算出されたステージ5の現在位置を表示する表示、例えば、図3(a)等に太線で示す矩形(本実施形態では長方形)の枠を生成し、生成された枠を貼り合わせ画像に合成した合成画像を生成し、表示部4に出力するようになっている。
また、画像生成部10は、ナビゲーション部13からの指令により、貼り合わせ画像の生成、合成画像の合成処理の実行・停止を制御するようになっている。
位置探索部12は、記憶部11に記憶されている貼り合わせ画像上において、カメラ8から最後に送られてきたフレームの画像と一致する位置をテンプレートマッチングによって探索するようになっている。位置探索部12におけるテンプレートマッチングも動きベクトル算出部9と同様にSADやNCC等の公知の技術を利用する。
位置探索部12は、位置を探索するとともに検出された位置の信頼性を算出するようになっている。信頼性としてはNCCの相関値等を利用することができる。
ナビゲーション部13は、累積ナビゲーション処理と、探索ナビゲーション処理とを実行するようになっている。
累積ナビゲーション処理は、位置探索部12による処理を停止し、画像生成部10を動作させるようになっている。一方、探索ナビゲーション処理は、画像生成部10による処理を一旦停止し、位置探索部12を動作させるようになっている。
累積ナビゲーション処理は、動きベクトル算出部9から入力されてきた動きベクトルを累積加算することによりステージ5の現在位置、すなわち、現在撮影している視野の位置を算出するようになっている。
動きベクトル算出部9により算出された動きベクトルは、所定のフレームレートで取得され時間軸方向に隣接する、最後より1つ前のフレームの画像から最後のフレームの画像に向かう動きベクトル、すなわち、移動方向および移動距離を示しているので、順次取得された全てのフレームの画像に対して求められた動きベクトルを累積加算することにより、ステージ5の移動経路を順次求めていくことができるようになっている。
ナビゲーション部13は、算出されたステージ5の現在位置を画像生成部10に出力するとともに、画像生成部10に指令して、カメラ8において最後に取得されたフレームの画像を、記憶部11に記憶されている貼り合わせ画像に対して、算出されたステージ5の現在位置に貼り合わせ、かつ、ステージ5の現在位置を表す枠を貼り合わせ画像に合成した合成画像を生成させて、表示部4に出力させるように指令するようになっている。
探索ナビゲーション処理は、位置探索部12が、記憶部11に記憶されている貼り合わせ画像を読み出すとともに、カメラ8から送られてきた最後のフレームの画像が、貼り合わせ画像上のどの位置の画像に一致するのかを探索し、検出された貼り合わせ画像上の位置をステージ5の現在位置として、ナビゲーション部13に出力するようになっている。
ナビゲーション部13は、動きベクトル算出部9および位置探索部12から出力される信頼性の値に基づいて累積ナビゲーション処理と探索ナビゲーション処理とを切り替えるようになっている。すなわち、ナビゲーション部13は、動きベクトル算出部9から出力された第1信頼性の値が第1閾値を超えている場合には、累積ナビゲーション処理を実行し、第1信頼性の値が第1閾値以下である場合には、探索ナビゲーション処理を実行するようになっている。
また、ナビゲーション部13は、位置探索部12から出力された第2信頼性の値が第2閾値を超えている場合には、探索ナビゲーション処理を停止して累積ナビゲーション処理に切り替え、第2信頼性の値が第2閾値以下である場合には、探索ナビゲーション処理を継続するようになっている。
このように構成された本実施形態に係る顕微鏡撮像システム1の作用について以下に説明する。
本実施形態を用いて標本Xの観察を行う場合には、ステージ5上に標本Xを搭載し、ステージ5を手動で操作して観察光軸が標本Xの一部に一致する位置まで標本Xを移動させ、カメラ8による撮影を開始する。
カメラ8による撮影が開始されると、カメラ8によって所定のフレームレートでライブ画像の撮影が継続して行われ、表示部4にライブ画像が継続して表示される。
そして、図2に示されるように、貼り合わせ画像の取得の開始指令がなされると、ステージ5の現在位置の座標が初期化され、画像生成部10において、初期化された現在位置の座標にカメラ8から送られてくる最初のフレームの画像が貼られることにより、最初の貼り合わせ画像が生成される(ステップS1)。このとき、生成された貼り合わせ画像は記憶部11に送られて記憶される。また、画像生成部10において生成された貼り合わせ画像に、ステージ5の現在位置を表す枠が合成された合成画像が生成され、表示部4に出力されて、図3(a)に示されるように表示される。
ユーザによって顕微鏡2が操作されてステージ5が水平方向に移動させられると、カメラ8から送られてくる画像上の標本像も移動する。カメラ8から送られてきた画像は、動きベクトル算出部9に入力され、1つ前のフレームの画像からの移動方向と移動距離とを表す動きベクトルが算出されるとともに(ステップS2)、動きベクトルの信頼性である第1信頼性の値が算出され(ステップS3)、ナビゲーション部13に出力される。
ナビゲーション部13は、動きベクトル算出部9から送られてきた第1信頼性の値が第1閾値を超えているか否かを判定し(ステップS4)、超えている場合に、動きベクトルの算出結果が信頼できると判定して累積ナビゲーション処理を実行する。累積ナビゲーション処理においては、最新の現在位置の座標に動きベクトル算出部9により算出された動きベクトルを累積加算し、ステージ5の現在位置の座標を更新する(ステップS5)。ナビゲーション部13は、更新されたステージ5の現在位置を画像生成部10に送るとともに画像の貼り合わせを実行するように指令する。
画像生成部10は、記憶部11に記憶されている貼り合わせ画像を読み出して、カメラ8から最後に送られてきたフレームの画像を、ナビゲーション部13から入力されてきた現在位置の座標に貼り合わせて新たな貼り合わせ画像を生成し(ステップS6)、生成された貼り合わせ画像を記憶部11に送って更新する(ステップS7)。また、画像生成部10は、生成された貼り合わせ画像にナビゲーション部13から送られてきた現在位置を表示する枠を合成した合成画像を生成する(ステップS8)。生成された合成画像は表示部4に出力されて、図3(b)に示されるように表示される。そして、処理が終了したか否かが判定され(ステップS9)、終了していない場合には、ステップS2からの工程が繰り返される。
ステップS2からステップS8までの処理が累積ナビゲーション処理であり、カメラ8から送られてくる毎フレームの画像に対して実行され、図3(c)および図3(d)に示されるように、ユーザによるステージ5の操作に応じて表示部4に表示される合成画像が逐次更新される。
例えば、表示部4に表示されている合成画像が図3(d)の状態で、ユーザがステージ5を急激に動かして動きベクトル算出部9により算出された動きベクトルの第1信頼性の値が第1の閾値以下となった場合に、ナビゲーション部13は、ステップS4において、動きベクトルの算出結果が信頼できないと判定して、探索ナビゲーション処理を実行する。
探索ナビゲーション処理においては、ナビゲーション部13は、画像生成部10による処理を一旦停止し、位置探索部12による処理を開始するように指令する。これにより、新たな貼り合わせ画像の生成は行われない。
位置探索部12は、記憶部11に記憶されている貼り合わせ画像を読み出し、カメラ8から最後に送られてきたフレームの画像に一致する貼り合わせ画像上の位置を探索するとともに(ステップS10)、探索結果の信頼性である第2信頼性の値を算出する(ステップS11)。ナビゲーション部13は、位置探索部12により算出された第2信頼性の値が第2閾値を超えているか否かを判定し(ステップS12)、第2閾値以下である場合には、探索結果が信頼できないと判定し、図3(e)に示されるように、現在位置を表す枠を合成していない貼り合わせ画像を画像生成部10から出力させることにより、枠を非表示として位置探索が失敗したことをユーザに知らせ、ステップS10からの工程が繰り返される(ステップS13)。
ナビゲーション部13は、ステップS12において、位置探索部12により算出された第2信頼性の値が第2閾値を超えている場合には、探索結果が信頼できると判定し、位置探索部12により検出された画像の位置をステージ5の現在位置として画像生成部10に送り、画像生成部10による処理を再開させる(ステップS14)。
ステップS10からステップS14までが探索ナビゲーション処理であり、位置探索に成功した場合には表示部4に貼り合わせ画像および枠が表示されるとともに、枠の位置が位置探索結果に応じて更新され、位置探索に失敗した場合には枠が非表示となる。
ナビゲーション部13は、ステップS15において所定回数連続して位置探索部12による位置探索が成功したか否かを判定し(ステップS15)、位置探索が成功した場合に、復帰できたと判定する。復帰できなかったと判定された場合は、ステップS10からの工程が繰り返される。
そして、復帰できたと判定された場合は、処理が終了したか否かを判定する(ステップS16)。処理が終了していないと判定された場合には、位置探索部12により検出された画像の位置をステージ5の初期座標として初期化するステップS1からの工程を繰り返す。これにより、図3(f)および図3(g)に示されるように、貼り合わせ画像と枠との合成画像が、ユーザによるステージ5の操作に応じて更新されるようになる。
このように、本実施形態に係る顕微鏡撮像システム1によれば、取得された画像によってステージ5の現在位置を算出するので、電動ステージやエンコーダ付きステージのようにステージ5の現在位置を検出する特別な装置が不要であり、コンパクトかつ低コストに構成することができるという利点がある。そして、複数の画像を貼り合わせた貼り合わせ画像により、標本Xの比較的広い範囲を観察することができるとともに、カメラ8によって現在撮影している位置を枠により表示しているので、標本X全体を見落としなく観察することができるという利点がある。
なお、本実施形態においては、顕微鏡2の観察光軸上に配置されている対物レンズ7を切り替える場合に、図4に示されるように、対物レンズ7の倍率を検出する倍率検出部(倍率取得部)14と、カメラ8から送られてくる画像のサイズを対物レンズ7の倍率に基づいて調節する画像スケール部15とを備えていてもよい。
倍率検出部14は、例えば、対物レンズ7を交換するレボルバ16に設けられたエンコーダである。倍率検出部14は、貼り合わせ画像の撮影開始時の対物レンズ7の倍率Msと、現在の対物レンズ7の倍率Mcとの比(スケール)kを下式により算出するようになっている。
k=Ms/Mc
画像スケール部15は、倍率検出部14から送られてくるスケールkを用いてカメラ8から送られてくる画像のサイズをスケールk倍に調節するようになっている。画像のサイズ調節処理は、バイリニア、バイキュービックなどの一般的な補間方法を用いることができる。
ナビゲーション部13は、倍率検出部14から出力されてくるスケールkを用いて、動きベクトル算出部9により算出された動きベクトルにスケールkを乗じたものを累積加算してステージ5の現在位置を算出する。また、貼り合わせ画像に合成する枠のサイズもスケールkを乗算して変更される。
このように構成された場合の顕微鏡撮像システム1において、貼り合わせ画像の生成中に対物レンズ7が変更された場合の作用について説明する。
初期状態において、Ms=10倍の光学倍率を有する対物レンズ7が観察光軸上に配置されている。
ナビゲーション部13がナビゲーション処理を開始すると、倍率検出部14は検出された倍率Msを記憶し、スケールkはk=1となる。
この場合、画像スケール部15はカメラ8から送られてくる画像のサイズを変更することなくそのまま画像生成部10および位置探索部12に送り、図5(a)から図5(c)に示されるように、上記と同様の処理が行われる。
図5(c)においてユーザが対物レンズ7を、光学倍率Mc=20倍のものに変更した場合、スケールkはk=0.5となる。これにより、図5(d)に示されるように、画像スケール部15はカメラ8から送られてくる画像のサイズを1/2に縮小して画像生成部10に送るとともに、ナビゲーション部13は動きベクトル算出部9から送られてくる動きベクトルの大きさを1/2に縮小して、ステージ5の現在位置を更新する。これにより、対物レンズ7の光学倍率を10倍から20倍に切り替えた後においても、縮小されたサイズの画像による貼り合わせ画像の更新が行われるとともに、図5(e)に示されるように、縮小されたサイズの枠によってステージ5の現在位置を示す枠が表示される。
また、探索ナビゲーション処理においても、対物レンズ7の倍率に応じて画像スケール部15でサイズを調節された画像が位置探索部12に入力されるので、記憶部11に記憶されている貼り合わせ画像上において、カメラ8で取得された画像に一致する位置を探索することができる。
また、対物レンズ7を切り替えた場合に、対物レンズ7間の芯ズレによってステージ5の位置が貼り合わせ画像上でずれる可能性がある。この場合には、ナビゲーション部13が、対物レンズ7が切り替えられたタイミングで位置探索部12による探索を実施し、一時的に探索ナビゲーション処理を実施することにより、対物レンズ7の切り替え後のステージ5の現在位置を決定することにしてもよい。
また、撮像部6の光学倍率の変更の一例として、対物レンズ7の倍率の切替を例示したが、これに代えて、中間変倍装置等の他の光学ユニット等による光学倍率の変更においても、倍率検出部14により倍率を検出することで同様に処理することができる。
また、倍率取得部として、倍率を検出する倍率検出部14を例示したが、これに代えて、ユーザが倍率を入力する入力部を採用してもよい。
また、ステージ5の現在位置を視野を表す長方形の枠によって表示したが、これに代えて他の任意の方法、例えば、矢印等により表示することにしてもよい。
1 顕微鏡撮像システム
5 ステージ
6 撮像部
9 動きベクトル算出部
10 画像生成部
12 位置探索部
13 ナビゲーション部(制御部)
14 倍率検出部(倍率取得部)
15 画像スケール部
X 標本

Claims (6)

  1. 標本を搭載し観察光軸に直交する方向に移動可能なステージと、
    該ステージに搭載された前記標本を時間間隔をあけて撮影する撮像部と、
    該撮像部により取得された2枚の画像間において動きベクトルを算出する動きベクトル算出部と、
    前記撮像部により取得された画像を前記動きベクトルを累積した現在位置に貼り合わせて貼り合わせ画像を生成するとともに、前記現在位置の表示を合成した合成画像を生成する画像生成部とを備える顕微鏡撮像システム。
  2. 前記動きベクトル算出部が、算出された前記動きベクトルの信頼性を算出し、
    算出された信頼性が所定の閾値を超える場合に、前記貼り合わせ画像および前記合成画像を生成するように前記画像生成部を制御する制御部を備える請求項1に記載の顕微鏡撮像システム。
  3. 前記画像生成部により生成された前記貼り合わせ画像上において、前記撮像部により取得された画像の位置を探索する位置探索部を備え、
    前記制御部は、算出された前記動きベクトルの信頼性が前記閾値以下である場合に、前記貼り合わせ画像および前記合成画像の生成を停止するとともに、前記位置探索部による探索を開始させ、該位置探索部により画像の位置が検出された場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御する請求項2に記載の顕微鏡撮像システム。
  4. 前記位置探索部が、検出された画像の位置の信頼性を算出し、
    前記制御部が、算出された信頼性が所定の閾値を超える場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御する請求項3に記載の顕微鏡撮像システム。
  5. 前記観察光軸上の光学倍率を取得する倍率取得部と、
    前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、
    前記画像生成部が、前記画像スケール部により調節された画像を用いて前記貼り合わせ画像および前記合成画像を生成する請求項1から請求項4のいずれかに記載の顕微鏡撮像システム。
  6. 前記観察光軸上の光学倍率を取得する倍率取得部と、
    前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、
    前記位置探索部が、前記画像スケール部により調節された画像を用いて位置を探索する請求項3または請求項4に記載の顕微鏡撮像システム。
JP2016187018A 2016-09-26 2016-09-26 顕微鏡撮像システム Pending JP2018054690A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016187018A JP2018054690A (ja) 2016-09-26 2016-09-26 顕微鏡撮像システム
EP17168330.3A EP3299862A1 (en) 2016-09-26 2017-04-27 Microscope imaging system
US15/635,370 US20180088307A1 (en) 2016-09-26 2017-06-28 Microscope imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016187018A JP2018054690A (ja) 2016-09-26 2016-09-26 顕微鏡撮像システム

Publications (1)

Publication Number Publication Date
JP2018054690A true JP2018054690A (ja) 2018-04-05

Family

ID=58638738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016187018A Pending JP2018054690A (ja) 2016-09-26 2016-09-26 顕微鏡撮像システム

Country Status (3)

Country Link
US (1) US20180088307A1 (ja)
EP (1) EP3299862A1 (ja)
JP (1) JP2018054690A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066042A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018066845A (ja) * 2016-10-19 2018-04-26 オリンパス株式会社 顕微鏡システム
JP7023667B2 (ja) * 2017-10-17 2022-02-22 株式会社キーエンス 拡大観察装置
JP7118718B2 (ja) * 2018-04-18 2022-08-16 キヤノン株式会社 被検体情報取得装置、被検体情報処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937850B2 (ja) 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
JP5153599B2 (ja) 2008-12-08 2013-02-27 オリンパス株式会社 顕微鏡システム及び該動作方法
JP5096303B2 (ja) * 2008-12-12 2012-12-12 株式会社キーエンス 撮像装置
JP2013058124A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
WO2016026038A1 (en) * 2014-08-18 2016-02-25 Viewsiq Inc. System and method for embedded images in large field-of-view microscopic scans

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066042A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Also Published As

Publication number Publication date
US20180088307A1 (en) 2018-03-29
EP3299862A1 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
JP2018054690A (ja) 顕微鏡撮像システム
US8310538B2 (en) Imaging apparatus, method, program, and recording medium used in the program
US10602067B2 (en) Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit
JP2014027528A (ja) 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置
US10018826B2 (en) Microscope system
CN108053468A (zh) 一种单目视觉聚焦堆栈采集与场景重建方法
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
JPWO2017094122A1 (ja) 撮像装置、内視鏡装置及び撮像方法
US10359616B2 (en) Microscope system. method and computer-readable storage device storing instructions for generating joined images
JP4469757B2 (ja) 画像処理装置
JP5610579B2 (ja) 3次元寸法測定装置
US10151911B2 (en) Microscope system and method for estimating microscope magnification
JP2019041223A (ja) 撮像装置およびその制御方法
JP2008157780A (ja) 3次元データ生成装置、画像取得装置、3次元データ生成方法、画像取得方法およびプログラム
US10261307B2 (en) Microscope system
JP2014099820A (ja) 画像撮影装置、画像撮影方法
JP5988213B2 (ja) 演算処理装置
JP6606397B2 (ja) 多視点ロボットカメラ制御装置及びそのプログラム
US20120075466A1 (en) Remote viewing
JP2022514980A (ja) デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム
JP6268550B2 (ja) 測距装置、撮像装置および測距方法
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP2012105047A (ja) 立体視画像表示装置および方法並びにプログラム
JP2010219599A (ja) 被写体撮影装置
JP2016134685A (ja) 撮像装置及び撮像装置の表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201124