JP2018054690A - 顕微鏡撮像システム - Google Patents
顕微鏡撮像システム Download PDFInfo
- Publication number
- JP2018054690A JP2018054690A JP2016187018A JP2016187018A JP2018054690A JP 2018054690 A JP2018054690 A JP 2018054690A JP 2016187018 A JP2016187018 A JP 2016187018A JP 2016187018 A JP2016187018 A JP 2016187018A JP 2018054690 A JP2018054690 A JP 2018054690A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- motion vector
- composite image
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
- G02B21/025—Objectives with variable magnification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明の一態様は、標本を搭載し観察光軸に直交する方向に移動可能なステージと、該ステージに搭載された前記標本を時間間隔をあけて撮影する撮像部と、該撮像部により取得された2枚の画像間において動きベクトルを算出する動きベクトル算出部と、前記撮像部により取得された画像を前記動きベクトルを累積した現在位置に貼り合わせて貼り合わせ画像を生成するとともに、前記現在位置の表示を合成した合成画像を生成する画像生成部とを備える顕微鏡撮像システムを提供する。
このようにすることで、2枚の画像が取得される間に、ステージが大きく移動して動きベクトルが精度よく算出されない場合など、動きベクトルの信頼性が低い場合には、貼り合わせ画像の生成および現在位置の算出を精度よく行うことができないので、動きベクトルの信頼性が高い場合にのみ、制御部が画像生成部による貼り合わせ画像および合成画像の生成を行わせることにより、より正確な観察を行うことができる。
このようにすることで、位置探索部による現在位置の探索において、正確な現在位置が検出された場合にのみ、貼り合わせ画像および合成画像の生成が再開されるので、より正確な観察を行うことができる。
このようにすることで、対物レンズの交換等で観察光軸上の光学倍率が変更されることにより視野が変化しても、倍率取得部により取得された光学倍率に応じて画像スケール部が画像のサイズを調節するので、調節された正しいサイズの画像を用いて、貼り合わせ画像の生成、動きベクトルの算出および合成画像の生成を行うことができる。
このようにすることで、対物レンズの交換等で観察光軸上の光学倍率が変更されることにより視野が変化しても、倍率取得部により取得された光学倍率に応じて画像スケール部が画像のサイズを調節するので、調節された正しいサイズの画像を用いて、現在位置を精度よく探索することができる。
本実施形態に係る顕微鏡撮像システム1は、図1に示されるように、顕微鏡2と、該顕微鏡2により取得された画像を処理する画像処理部3と、該画像処理部3により生成された合成画像および顕微鏡2により取得されたライブ画像を表示する表示部(例えば、液晶ディスプレイ)4とを備えている。
撮像部6は、対物レンズ7により集光された標本Xからの光を撮影するカメラ8を備えている。
画像処理部3は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやFPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、GPGPU(General Purpose Computing on Graphics Processing Unit)等を用いた計算機である。
ここで、本実施形態では、動きベクトル算出部9は、最後より1つ前のフレームの画像から最後のフレームの画像に向かう動きベクトルを算出しているが、これに限らず、例えば複数フレームの画像を画像処理部3内のメモリに一旦保存し、4フレーム前の画像から3フレーム前の画像に向かう動きベクトルを算出してもよい。すなわち、動きベクトル算出部9による動きベクトルの算出対象は、最初から最後までのフレームの全範囲における隣接するフレームどうしであればよい。
また、画像生成部10は、ナビゲーション部13からの指令により、貼り合わせ画像の生成、合成画像の合成処理の実行・停止を制御するようになっている。
位置探索部12は、位置を探索するとともに検出された位置の信頼性を算出するようになっている。信頼性としてはNCCの相関値等を利用することができる。
累積ナビゲーション処理は、位置探索部12による処理を停止し、画像生成部10を動作させるようになっている。一方、探索ナビゲーション処理は、画像生成部10による処理を一旦停止し、位置探索部12を動作させるようになっている。
動きベクトル算出部9により算出された動きベクトルは、所定のフレームレートで取得され時間軸方向に隣接する、最後より1つ前のフレームの画像から最後のフレームの画像に向かう動きベクトル、すなわち、移動方向および移動距離を示しているので、順次取得された全てのフレームの画像に対して求められた動きベクトルを累積加算することにより、ステージ5の移動経路を順次求めていくことができるようになっている。
本実施形態を用いて標本Xの観察を行う場合には、ステージ5上に標本Xを搭載し、ステージ5を手動で操作して観察光軸が標本Xの一部に一致する位置まで標本Xを移動させ、カメラ8による撮影を開始する。
カメラ8による撮影が開始されると、カメラ8によって所定のフレームレートでライブ画像の撮影が継続して行われ、表示部4にライブ画像が継続して表示される。
探索ナビゲーション処理においては、ナビゲーション部13は、画像生成部10による処理を一旦停止し、位置探索部12による処理を開始するように指令する。これにより、新たな貼り合わせ画像の生成は行われない。
ステップS10からステップS14までが探索ナビゲーション処理であり、位置探索に成功した場合には表示部4に貼り合わせ画像および枠が表示されるとともに、枠の位置が位置探索結果に応じて更新され、位置探索に失敗した場合には枠が非表示となる。
k=Ms/Mc
初期状態において、Ms=10倍の光学倍率を有する対物レンズ7が観察光軸上に配置されている。
この場合、画像スケール部15はカメラ8から送られてくる画像のサイズを変更することなくそのまま画像生成部10および位置探索部12に送り、図5(a)から図5(c)に示されるように、上記と同様の処理が行われる。
また、倍率取得部として、倍率を検出する倍率検出部14を例示したが、これに代えて、ユーザが倍率を入力する入力部を採用してもよい。
5 ステージ
6 撮像部
9 動きベクトル算出部
10 画像生成部
12 位置探索部
13 ナビゲーション部(制御部)
14 倍率検出部(倍率取得部)
15 画像スケール部
X 標本
Claims (6)
- 標本を搭載し観察光軸に直交する方向に移動可能なステージと、
該ステージに搭載された前記標本を時間間隔をあけて撮影する撮像部と、
該撮像部により取得された2枚の画像間において動きベクトルを算出する動きベクトル算出部と、
前記撮像部により取得された画像を前記動きベクトルを累積した現在位置に貼り合わせて貼り合わせ画像を生成するとともに、前記現在位置の表示を合成した合成画像を生成する画像生成部とを備える顕微鏡撮像システム。 - 前記動きベクトル算出部が、算出された前記動きベクトルの信頼性を算出し、
算出された信頼性が所定の閾値を超える場合に、前記貼り合わせ画像および前記合成画像を生成するように前記画像生成部を制御する制御部を備える請求項1に記載の顕微鏡撮像システム。 - 前記画像生成部により生成された前記貼り合わせ画像上において、前記撮像部により取得された画像の位置を探索する位置探索部を備え、
前記制御部は、算出された前記動きベクトルの信頼性が前記閾値以下である場合に、前記貼り合わせ画像および前記合成画像の生成を停止するとともに、前記位置探索部による探索を開始させ、該位置探索部により画像の位置が検出された場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御する請求項2に記載の顕微鏡撮像システム。 - 前記位置探索部が、検出された画像の位置の信頼性を算出し、
前記制御部が、算出された信頼性が所定の閾値を超える場合に、検出された画像の位置を前記現在位置として、前記貼り合わせ画像および前記合成画像の生成を再開するよう前記画像生成部を制御する請求項3に記載の顕微鏡撮像システム。 - 前記観察光軸上の光学倍率を取得する倍率取得部と、
前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、
前記画像生成部が、前記画像スケール部により調節された画像を用いて前記貼り合わせ画像および前記合成画像を生成する請求項1から請求項4のいずれかに記載の顕微鏡撮像システム。 - 前記観察光軸上の光学倍率を取得する倍率取得部と、
前記撮像部により取得された画像のサイズを前記倍率取得部により取得された光学倍率に応じて調節する画像スケール部とを備え、
前記位置探索部が、前記画像スケール部により調節された画像を用いて位置を探索する請求項3または請求項4に記載の顕微鏡撮像システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187018A JP2018054690A (ja) | 2016-09-26 | 2016-09-26 | 顕微鏡撮像システム |
EP17168330.3A EP3299862A1 (en) | 2016-09-26 | 2017-04-27 | Microscope imaging system |
US15/635,370 US20180088307A1 (en) | 2016-09-26 | 2017-06-28 | Microscope imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187018A JP2018054690A (ja) | 2016-09-26 | 2016-09-26 | 顕微鏡撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018054690A true JP2018054690A (ja) | 2018-04-05 |
Family
ID=58638738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016187018A Pending JP2018054690A (ja) | 2016-09-26 | 2016-09-26 | 顕微鏡撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180088307A1 (ja) |
EP (1) | EP3299862A1 (ja) |
JP (1) | JP2018054690A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066042A1 (ja) | 2018-09-28 | 2020-04-02 | オリンパス株式会社 | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2018066845A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
JP7023667B2 (ja) * | 2017-10-17 | 2022-02-22 | 株式会社キーエンス | 拡大観察装置 |
JP7118718B2 (ja) * | 2018-04-18 | 2022-08-16 | キヤノン株式会社 | 被検体情報取得装置、被検体情報処理方法、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4937850B2 (ja) | 2007-07-03 | 2012-05-23 | オリンパス株式会社 | 顕微鏡システム、そのvs画像生成方法、プログラム |
JP5153599B2 (ja) | 2008-12-08 | 2013-02-27 | オリンパス株式会社 | 顕微鏡システム及び該動作方法 |
JP5096303B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
JP2013058124A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
WO2016026038A1 (en) * | 2014-08-18 | 2016-02-25 | Viewsiq Inc. | System and method for embedded images in large field-of-view microscopic scans |
-
2016
- 2016-09-26 JP JP2016187018A patent/JP2018054690A/ja active Pending
-
2017
- 2017-04-27 EP EP17168330.3A patent/EP3299862A1/en not_active Withdrawn
- 2017-06-28 US US15/635,370 patent/US20180088307A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066042A1 (ja) | 2018-09-28 | 2020-04-02 | オリンパス株式会社 | 顕微鏡システム、投影ユニット、及び、画像投影方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180088307A1 (en) | 2018-03-29 |
EP3299862A1 (en) | 2018-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018054690A (ja) | 顕微鏡撮像システム | |
US8310538B2 (en) | Imaging apparatus, method, program, and recording medium used in the program | |
US10602067B2 (en) | Image processing apparatus, image processing method, image pickup apparatus and storage medium that calculates a correction quality to correct a shake of viewpoint images and a mixture ratio for generation of a virtual viewpoint when generating the virtual viewpoint image using an amount of change in position of an imaging unit | |
JP2014027528A (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
US10018826B2 (en) | Microscope system | |
CN108053468A (zh) | 一种单目视觉聚焦堆栈采集与场景重建方法 | |
JP6136019B2 (ja) | 動画像撮影装置、および、動画像撮影装置の合焦方法 | |
JPWO2017094122A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
US10359616B2 (en) | Microscope system. method and computer-readable storage device storing instructions for generating joined images | |
JP4469757B2 (ja) | 画像処理装置 | |
JP5610579B2 (ja) | 3次元寸法測定装置 | |
US10151911B2 (en) | Microscope system and method for estimating microscope magnification | |
JP2019041223A (ja) | 撮像装置およびその制御方法 | |
JP2008157780A (ja) | 3次元データ生成装置、画像取得装置、3次元データ生成方法、画像取得方法およびプログラム | |
US10261307B2 (en) | Microscope system | |
JP2014099820A (ja) | 画像撮影装置、画像撮影方法 | |
JP5988213B2 (ja) | 演算処理装置 | |
JP6606397B2 (ja) | 多視点ロボットカメラ制御装置及びそのプログラム | |
US20120075466A1 (en) | Remote viewing | |
JP2022514980A (ja) | デジタル顕微鏡システム、デジタル顕微鏡システムを操作するための方法およびコンピュータプログラム | |
JP6268550B2 (ja) | 測距装置、撮像装置および測距方法 | |
JP6089549B2 (ja) | 情報処理装置、情報処理システム、およびプログラム | |
JP2012105047A (ja) | 立体視画像表示装置および方法並びにプログラム | |
JP2010219599A (ja) | 被写体撮影装置 | |
JP2016134685A (ja) | 撮像装置及び撮像装置の表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201124 |