CN110727095A - 一种多目立体成像显微镜及成像方法 - Google Patents

一种多目立体成像显微镜及成像方法 Download PDF

Info

Publication number
CN110727095A
CN110727095A CN201910852737.9A CN201910852737A CN110727095A CN 110727095 A CN110727095 A CN 110727095A CN 201910852737 A CN201910852737 A CN 201910852737A CN 110727095 A CN110727095 A CN 110727095A
Authority
CN
China
Prior art keywords
microscope
sample
lens
imaging
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910852737.9A
Other languages
English (en)
Inventor
顾忠泽
徐梓康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910852737.9A priority Critical patent/CN110727095A/zh
Publication of CN110727095A publication Critical patent/CN110727095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多目立体成像显微镜及成像方法，显微镜包括：镜筒结构、显微镜主体支架结构和电动载物平台；方法包括如下步骤：(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；(3)使用改良后专用于显微镜匹配算法SLM‑SGBM对样品进行特征点立体匹配；(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。本发明能够在仅使用该多目立体成像显微镜时实现对微小样品表面的实时三维重建。

Description

一种多目立体成像显微镜及成像方法
技术领域
本发明涉及生物医学显微成像技术领域，尤其是一种多目立体成像显微镜及成像方法。
背景技术
在生物医学即时检测过程中，常常需要分析细胞、组织薄膜等微小样品的表面形态学信息，而这些信息的获取通常需要用到显微成像设备。传统的光学显微镜主要由光源、光学透镜、光检测器三部分组成。传统的光学显微镜只能通过目镜观察到样本的二维平面图像，而无法获取样本的三维形貌信息。为了更精确具体的对生物医学样本进行检测和分析，获取样本表面的三维形貌成为显微镜用于即时检测领域必须克服的一大阻力。
截至目前，基于显微镜的三维形貌重建已经取得了一些研究成果，概括起来可以分为四大类：1)基于单目/双目的三维重建：根据多视点几何，理想情况下3D结构可以通过充足的2D图像通过匹配实现重建，如SfM和SLAM。2)基于结构光的三维重建。3)基于OCT(Optical coherence tomography，光学相干成像)的三维重建。4)基于多目的三维重建。方法一在对较大尺寸的样本表面重建中取得了一定效果，但是在针对小尺寸样本重建时精度不够；方法二虽然提供了更高的精确度，但是在远距离拍摄时精确度随距离的增加衰减很快，且需要提供额外的编码器件；方法三同样提供了很高的精度，但是由于成像方法的局限性，无法对活体样本进行实时三维成像。相比之下，方法四无需搭配额外的编码器件，如果结合当前数据驱动的学习方法，将会在实时性、低成本性、便捷性等众多方面胜出。然而这一方法在诸多方面同样存在亟待解决的难点：1)现有的体视显微镜只具有两个目镜镜筒，无法同时捕获多个角度的图像；2)显微镜尺寸下，多CCD电子目镜的相机标定算法有异与宏观场景下的多目摄像机标定，需要针对其提出专用的算法；3)针对显微样本的特定立体匹配算法还未完善，立体成像效果不够精确。
发明内容
本发明所要解决的技术问题在于，提供一种多目立体成像显微镜及成像方法，能够在仅使用该多目立体成像显微镜时实现对微小样品表面的实时三维重建。
为解决上述技术问题，本发明提供一种多目立体成像显微镜，包括：镜筒结构、显微镜主体支架结构和电动载物平台；显微镜主体支架结构用于夹持固定各个镜筒结构，并调节各个镜筒之间的工作距离；显微镜主体支架结构中的环状支架的右侧设置有握臂，握臂通过铰支座与电动载物平台连接。
优选的，镜筒结构包括CCD电子目镜、可组装镜筒和可拆卸物镜；CCD电子目镜用于采集由可组装镜筒传输来的光信号，将其转换为电信号，并通过USB数据线上传至PC上位机；可组装镜筒用于连接CCD电子目镜和可拆卸物镜，可组装镜筒两端具有螺纹接口，耦合两侧的镜头；可拆卸物镜用于采集载物台上样本的物象，并投射入可组装镜筒中。
优选的，镜筒结构数目大于2个。
优选的，显微镜主体支架结构包括环形支架、粗调螺旋和微调螺旋；粗调螺旋位于环形支架侧后方，用于整体调节支架高度，从而对镜筒结构组实现整体上下位移，调节其工作距离；细调螺旋位于环形支架内测卡槽旁，用于调节单个镜筒结构的工作距离。
优选的，环形支架为一中空环形金属支架，沿环形的内边缘按照一定角度排列若干镜筒卡槽，固定镜筒结构，调节各镜筒的夹角。
优选的，电动载物平台包括反光镜、电动平台和样品固定夹；反光镜位于多目立体显微镜底座前侧，用于引导光源发射的白光进入载物台的通光孔；电动平台用于沿X、Y方向定量精确移动样品，实现一系列样品图像的观测；样品固定夹用于夹持样品，防止其在电动平台移动时滑动平移，提高系统的精确性。
相应的，一种多目立体成像显微镜的成像方法，包括如下步骤：
(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；
(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；
(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；
(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。
优选的，步骤(1)中，由于体视显微镜的景深较小，使用张正友标定法时只能获得放大倍率，而无法获得深度信息，本发明使用两步标定法进行相机标定。首先根据公式(1)通过一步标定获得准确的放大倍率β，同时根据显微镜固有的工作距离u进行计算，由公式(2)得到真实的CCD电子目镜的焦距，从而得到其内参矩阵I；
Figure BDA0002197344770000031
Figure BDA0002197344770000032
其中，β表示显微镜的放大倍率，f表示显微镜通过单步标定得到的伪焦距，Δz表示显微镜通过单步标定得到的在z方向上的偏移量，u表示显微镜固有的工作距离，与物镜的放大倍率相关，fx,fy分别表示显微镜在x,y方向上的焦距，u,v表示CCD电子目镜在x,y方向上的分辨率。
优选的，步骤(3)中，使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配具体为：使用水平Sobel算子对图像A进行预处理，并用一个函数将其映射成一个新的图像B，将原图经采样的方法得到的SAD代价与新图所提供的梯度代价进行聚合，使用动态规划算法得到初步的立体匹配结果。
优选的，步骤(4)中，使用唯一性检测、亚像素插值以及左右一致性检测算法对匹配结果进行后处理，得到最终的高精度立体匹配结果。
本发明的有益效果为：本发明在硬件上设计了一种新型的多目镜立体成像显微镜结构，通过多个目镜同时对样品进行图像观测与采集，同时利用改良后的SLM-SGBM算法根据获得的图像对样品进行表面三维重建，在低成本、短耗时的基础上实现了显微样品表面的三维高精度成像。
附图说明
图1为本发明的结构示意图。
图2为本发明三维重建算法的流程示意图。
具体实施方式
如图1所示，一种多目立体成像显微镜，包括：镜筒结构、显微镜主体支架结构和电动载物平台；显微镜主体支架结构用于夹持固定各个镜筒结构，并调节各个镜筒之间的工作距离；显微镜主体支架结构中的环状支架的右侧设置有握臂，握臂通过铰支座与电动载物平台连接。
镜筒结构包括CCD电子目镜、可组装镜筒和可拆卸物镜；CCD电子目镜用于采集由可组装镜筒传输来的光信号，将其转换为电信号，并通过USB数据线上传至PC上位机；可组装镜筒用于连接CCD电子目镜和可拆卸物镜，可组装镜筒两端具有螺纹接口，耦合两侧的镜头；可拆卸物镜用于采集载物台上样本的物象，并投射入可组装镜筒中。镜筒结构数目大于2个。
显微镜主体支架结构包括环形支架、粗调螺旋和微调螺旋；粗调螺旋位于环形支架侧后方，用于整体调节支架高度，从而对镜筒结构组实现整体上下位移，调节其工作距离；细调螺旋位于环形支架内测卡槽旁，用于调节单个镜筒结构的工作距离。环形支架为一中空环形金属支架，沿环形的内边缘按照一定角度排列若干镜筒卡槽，固定镜筒结构，调节各镜筒的夹角。
电动载物平台包括反光镜、电动平台和样品固定夹；反光镜位于多目立体显微镜底座前侧，用于引导光源发射的白光进入载物台的通光孔；电动平台用于沿X、Y方向定量精确移动样品，实现一系列样品图像的观测；样品固定夹用于夹持样品，防止其在电动平台移动时滑动平移，提高系统的精确性。
CCD电子目镜和可拆卸物镜均组装在可组装镜筒上，可组装镜筒按照一定的数量和夹角安装在显微镜的环形支架上，并能够通过粗调螺旋和微调螺旋调节其位置。待测样品被样品固定夹固定在电动载物平台上，通过可拆卸物镜经由镜筒被CCD电子目镜采集，并传输到上位机上。
如图2所示，一种多目立体成像显微镜的成像方法，包括如下步骤：
(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；
(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；
(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；
(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。
本发明在硬件上设计了一种新型的多目镜立体成像显微镜结构，通过多个目镜同时对样品进行图像观测与采集，同时利用改良后的SLM-SGBM算法根据获得的图像对样品进行表面三维重建，在低成本、短耗时的基础上实现了显微样品表面的三维高精度成像。

Claims (10)

1.一种多目立体成像显微镜，其特征在于，包括：镜筒结构、显微镜主体支架结构和电动载物平台；显微镜主体支架结构用于夹持固定各个镜筒结构，并调节各个镜筒之间的工作距离；显微镜主体支架结构中的环状支架的右侧设置有握臂，握臂通过铰支座与电动载物平台连接。
2.如权利要求1所述的多目立体成像显微镜，其特征在于，镜筒结构包括CCD电子目镜、可组装镜筒和可拆卸物镜；CCD电子目镜用于采集由可组装镜筒传输来的光信号，将其转换为电信号，并通过USB数据线上传至PC上位机；可组装镜筒用于连接CCD电子目镜和可拆卸物镜，可组装镜筒两端具有螺纹接口，耦合两侧的镜头；可拆卸物镜用于采集载物台上样本的物象，并投射入可组装镜筒中。
3.如权利要求1所述的多目立体成像显微镜，其特征在于，镜筒结构数目大于2个。
4.如权利要求1所述的多目立体成像显微镜，其特征在于，显微镜主体支架结构包括环形支架、粗调螺旋和微调螺旋；粗调螺旋位于环形支架侧后方，用于整体调节支架高度，从而对镜筒结构组实现整体上下位移，调节其工作距离；细调螺旋位于环形支架内测卡槽旁，用于调节单个镜筒结构的工作距离。
5.如权利要求4所述的多目立体成像显微镜，其特征在于，环形支架为一中空环形金属支架，沿环形的内边缘按照一定角度排列若干镜筒卡槽，固定镜筒结构，调节各镜筒的夹角。
6.如权利要求1所述的多目立体成像显微镜，其特征在于，电动载物平台包括反光镜、电动平台和样品固定夹；反光镜位于多目立体显微镜底座前侧，用于引导光源发射的白光进入载物台的通光孔；电动平台用于沿X、Y方向定量精确移动样品，实现一系列样品图像的观测；样品固定夹用于夹持样品，防止其在电动平台移动时滑动平移，提高系统的精确性。
7.一种如权利要求1所述的多目立体成像显微镜的成像方法，其特征在于，包括如下步骤：
(1)拍摄棋盘格标定板，使用两步标定法，进行多目CCD电子目镜的相机标定，确定各个目镜的相对位置；
(2)根据步骤(1)得到的相机参数，对拍摄的样品进行图像配准，为立体重建做准备；
(3)使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配；
(4)对步骤(3)得到的视差图使用优化算法进行视差优化，得到最终的立体匹配结果。
8.如权利要求7所述的多目立体成像显微镜的成像方法，其特征在于，步骤(1)中，使用两步标定法进行相机标定，首先根据公式(1)通过一步标定获得准确的放大倍率β，同时根据显微镜固有的工作距离u进行计算，由公式(2)得到真实的CCD电子目镜的焦距，从而得到其内参矩阵I；
Figure FDA0002197344760000021
Figure FDA0002197344760000022
Figure FDA0002197344760000023
其中，β表示显微镜的放大倍率，f表示显微镜通过单步标定得到的伪焦距，Δz表示显微镜通过单步标定得到的在z方向上的偏移量，u表示显微镜固有的工作距离，与物镜的放大倍率相关，fx,fy分别表示显微镜在x,y方向上的焦距，u,v表示CCD电子目镜在x,y方向上的分辨率。
9.如权利要求7所述的多目立体成像显微镜的成像方法，其特征在于，步骤(3)中，使用改良后专用于显微镜匹配算法SLM-SGBM对样品进行特征点立体匹配具体为：使用水平Sobel算子对图像A进行预处理，并用一个函数将其映射成一个新的图像B，将原图经采样的方法得到的SAD代价与新图所提供的梯度代价进行聚合，使用动态规划算法得到初步的立体匹配结果。
10.如权利要求7所述的多目立体成像显微镜的成像方法，其特征在于，步骤(4)中，使用唯一性检测、亚像素插值以及左右一致性检测算法对匹配结果进行后处理，得到最终的高精度立体匹配结果。
CN201910852737.9A 2019-09-10 2019-09-10 一种多目立体成像显微镜及成像方法 Pending CN110727095A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910852737.9A CN110727095A (zh) 2019-09-10 2019-09-10 一种多目立体成像显微镜及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910852737.9A CN110727095A (zh) 2019-09-10 2019-09-10 一种多目立体成像显微镜及成像方法

Publications (1)

Publication Number Publication Date
CN110727095A true CN110727095A (zh) 2020-01-24

Family

ID=69218084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910852737.9A Pending CN110727095A (zh) 2019-09-10 2019-09-10 一种多目立体成像显微镜及成像方法

Country Status (1)

Country Link
CN (1) CN110727095A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881410A (zh) * 2021-01-18 2021-06-01 合肥钛柯精密机械有限公司 多方向目检台
CN113204107A (zh) * 2021-04-28 2021-08-03 武汉理工大学 一种具有双物镜的三维扫描显微镜及三维扫描方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221118A (zh) * 2007-12-07 2008-07-16 东华大学 一种智能识别与计数痰涂片显微图像结核菌的系统和方法
CN105136063A (zh) * 2015-08-27 2015-12-09 华中科技大学 一种基于远心物镜的显微双目立体视觉测量装置
DE102014113935A1 (de) * 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
CN106199943A (zh) * 2016-08-30 2016-12-07 姜元超 一种医疗用成像打印一体化显微镜
CN207352271U (zh) * 2017-11-10 2018-05-11 厦门益力康贸易有限公司 一种利用成像摄像组合设备的显微镜
CN108333737A (zh) * 2018-03-30 2018-07-27 宁波华光精密仪器有限公司 三目体视显微镜转像系统
CN208459680U (zh) * 2018-05-28 2019-02-01 宁波大学 一种3d显微镜

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221118A (zh) * 2007-12-07 2008-07-16 东华大学 一种智能识别与计数痰涂片显微图像结核菌的系统和方法
DE102014113935A1 (de) * 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
CN105136063A (zh) * 2015-08-27 2015-12-09 华中科技大学 一种基于远心物镜的显微双目立体视觉测量装置
CN106199943A (zh) * 2016-08-30 2016-12-07 姜元超 一种医疗用成像打印一体化显微镜
CN207352271U (zh) * 2017-11-10 2018-05-11 厦门益力康贸易有限公司 一种利用成像摄像组合设备的显微镜
CN108333737A (zh) * 2018-03-30 2018-07-27 宁波华光精密仪器有限公司 三目体视显微镜转像系统
CN208459680U (zh) * 2018-05-28 2019-02-01 宁波大学 一种3d显微镜

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李彪: "基于双目立体视觉三维重建技术研究", 《中国优秀硕士学位论文全文数据库信息技术辑》 *
李景辉 等: "双目显微立体视觉系统标定方法研究", 《传感器与微系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881410A (zh) * 2021-01-18 2021-06-01 合肥钛柯精密机械有限公司 多方向目检台
CN113204107A (zh) * 2021-04-28 2021-08-03 武汉理工大学 一种具有双物镜的三维扫描显微镜及三维扫描方法
CN113204107B (zh) * 2021-04-28 2023-02-28 武汉理工大学 一种具有双物镜的三维扫描显微镜及三维扫描方法

Similar Documents

Publication Publication Date Title
US11422503B2 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
Genovese et al. Stereo-digital image correlation (DIC) measurements with a single camera using a biprism
US10146039B2 (en) Image capture method for a microscope system, and corresponding microscope system
US20090103792A1 (en) Depth of Field Extension for Optical Tomography
WO2017019795A1 (en) Imaging assemblies with rapid sample auto-focusing
CN107121065A (zh) 一种便携式相位定量检测装置
CN113568153B (zh) 一种显微成像设备以及纳米尺度三维形貌测量系统
EP3803495A1 (de) Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
CN105136063A (zh) 一种基于远心物镜的显微双目立体视觉测量装置
DE102017100262A1 (de) Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop und digitales Mikroskop
CN110727095A (zh) 一种多目立体成像显微镜及成像方法
CN109031642A (zh) 一种通用的体视显微裸眼可视化的显示方法和系统装置
CN106097343B (zh) 光场成像设备轴向分辨率测定装置与方法
CN116594168A (zh) 一种基于可变焦透镜的快速大景深显微成像系统及方法
CN107219620A (zh) 一种单筒光场显微镜
CN107728304B (zh) 一种多焦点频域oct自适应调焦装置及其方法
WO2021132824A1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
CN115781583A (zh) 一种共聚焦内窥探头的装配方法及装置
CN106502074B (zh) 一种用于像面数字全息显微测量的自动聚焦方法
Garud et al. Volume visualization approach for depth-of-field extension in digital pathology
WO2021049558A1 (en) Method and apparatus for stereoscopic color eye imaging
CN203672317U (zh) 微观立体痕迹三维扫描显微镜
CN213302657U (zh) 一种数字化体视显微系统
CN109470148A (zh) 旋转柱面镜高分辨力立体视觉系统与测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124