CN110780438A - 一种激光共聚焦显微镜的自动聚焦的方法 - Google Patents
一种激光共聚焦显微镜的自动聚焦的方法 Download PDFInfo
- Publication number
- CN110780438A CN110780438A CN201911009133.4A CN201911009133A CN110780438A CN 110780438 A CN110780438 A CN 110780438A CN 201911009133 A CN201911009133 A CN 201911009133A CN 110780438 A CN110780438 A CN 110780438A
- Authority
- CN
- China
- Prior art keywords
- gray value
- value
- dimensional matrix
- compressed
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 230000006835 compression Effects 0.000 claims abstract description 23
- 238000007906 compression Methods 0.000 claims abstract description 22
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 12
- 238000002474 experimental method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005494 condensation Effects 0.000 description 2
- 238000009833 condensation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明属于激光共聚焦显微镜成像技术领域，一种激光共聚焦显微镜的自动聚焦的方法，利用数字CCD进行实时采集样品玻片表面（反射激光的面）的反射光，将采集到的图像转换成原始图片灰度值二维矩阵，利用压缩模块将原始图片灰度值二维矩阵压缩成压缩图片灰度值二维矩阵，压缩图片灰度值二维矩阵中图片灰度值最大的值即压缩聚光特征值a即为实际聚焦点位置；改变放有样品纳米台z轴的位置，得到不同位置所对应的a值，通过比较这些a值，其中最大的a值所对应的显微镜的位置就是激光的聚焦位置。
Description
技术领域
本发明属于激光共聚焦显微镜成像技术领域，可用于荧光成像发生离焦后的自动聚焦。
背景技术
激光共聚焦荧光显微镜是一种通过激光激发样品、显微镜收集荧光和计算机图像处理技术获得实验样品三维成像信息。主要用于观察细胞结构及特定分子、离子的生物学变化，进行实时测量以及定量分析等。
目前激光共聚焦显微镜在单分子光谱、微纳光学探测、生物医学成像等方面具有重要的应用，但是由于激光共聚焦显微镜受外界的扰动、环境温度变化以及自身的不稳定性的影响，
常常会出现聚焦焦点的离焦现象，从而会导致不能长时间稳定成像、成像模糊等问题。为了解决这些问题我们给出一种激光共聚焦显微镜自聚焦的方法和装置。
发明内容
本发明主要用于激光共聚焦显微镜，给出了一种激光共聚焦显微镜的自动聚焦的方法，最终实现了激光共聚焦显微镜在毫秒时间尺度内的自动聚焦并且可达到较高的空间聚焦精度。
本发明采用的技术方案是：一种激光共聚焦显微镜的自动聚焦的方法，按照如下的步骤进行：
步骤一、利用数字CCD进行实时采集样品玻片表面（反射激光的面）的反射光，将采集到的图像转换成原始图片灰度值二维矩阵，利用压缩模块将原始图片灰度值二维矩阵压缩成压缩图片灰度值二维矩阵，压缩图片灰度值二维矩阵中图片灰度值最大的值即压缩聚光特征值a即为实际聚焦点位置；
步骤二、改变放有样品纳米台z轴的位置，得到不同位置所对应的a值，通过比较这些a值，其中最大的a值所对应的显微镜的位置就是激光的聚焦位置。
作为一种优选方式：采用MATLAB程序压缩模块将采集到的图像转换成原始图片灰度值二维矩阵。
作为一种优选方式：将原始图片灰度值二维矩阵中横向和纵向每k*k个像素点对应的灰度值求和得到一个新的矩阵即压缩图片灰度值二维矩阵，实现图像的压缩，然后找出压缩后的压缩图片灰度值二维矩阵中图片灰度值最大的值即压缩聚光特征值a，其中k为压缩聚光长度，为自然数。比如把100×100像素的图像，把其中5×5个像素相加合并为一个像素，最后变为20×20像素的图像。
作为一种优选方式：由于激光的光斑和显微镜的不同，对于不同的显微镜镜我们需要首先选择不同的k值来达到更高的精度，通过已编写好的Matlab程序找出合适的k值。
作为一种优选方式：采用队列二值交替寻峰自动聚焦技术来更快的找到聚焦的位置，将压缩图片灰度值二维矩阵中的最大值及相应的纳米台z轴位置导入到LabVIEW程序中，分别记为a1和Num1；控制纳米台z轴向上移动0.1 μm，将采集到的图像中所对应的矩阵中的最大值和纳米台位置记为a2和Num2；比较这两个最大值的大小，向最大值较大的方向移动纳米台，并循环进行，直到得到所有压缩图像中最大值最大的图片所对应的纳米台位置，通过LabVIEW程序驱动纳米台至聚焦位置。
本专利采用的激光共聚焦显微镜的装置，由三个单元化模块整合而成，1、共焦显微镜主体，2、以数字CCD为核心的实时图像捕捉系统，3、以计算机为核心的仪器控制和分析系统。采用像素压缩聚光技术，能够准确地判断显微镜的离焦与聚焦状态。采用队列二值交替寻峰自聚焦算法，可在较短时间内实现自动聚焦，并且占用系统内存空间较小。将程序模块化，便于进行调试和优化。可移植性强，适用于多种实验系统实现自动聚焦。
本发明的有益效果是：激光聚焦焦点出现漂移后，可在短时间内实现自动重新聚焦。兼容性强，使用前先调试选取合适的k值（即压缩聚光长度），便可用于各类激光共聚焦显微镜。
附图说明
图1为本发明所述的装置结构示意图；
图2像素压缩聚光技术的压缩过程，其中，k代表压缩聚光长度，n代表压缩前纵轴的成像像素个数，m代表压缩前横轴的成像像素个数，q为压缩后纵轴的成像像素个数，p为压缩后横轴的成像像素个数；
图3实验前寻找k值的比较图，其中：
（a）不同k值对应图像；（b）最佳k值对应图像；
图4为队列二值交替寻峰自聚焦算法程序框图。
具体实施方式
本专利的基本思想是利用像素压缩聚光技术和队列二值交替寻峰自动聚焦的方法，实现激光共聚焦显微镜的自动聚焦。具体内容如下：
1光学显微镜自动聚焦系统硬件设计
图1所示为本系统的硬件结构框图。
整个系统分为三部分，第一部分是激光共聚焦系统主体，主要由激光器、分析光路、显微镜以及样品组成，此部分为实验中测量光路及要测量的样品；第二部分是CCD实时图像捕捉系统，主要由CCD、计算机组成，此部分主要通过CCD采集图像并将图像传输到计算机上已进行接下来的分析处理；第三部分是以计算机为核心的仪器控制和分析计算系统，主要由计算机、NI采集卡、纳米台构成，计算机接收到CCD传输来的图像进行软件分析计算并输出相应的信号给NI采集卡，采集卡再对纳米台进行调控。在共聚焦系统激发和样品表面反射的重合光路中，插入一个分束镜，将来自样品表面的发射光分出20%的光进入CCD相机，进行光斑成像，之后进入到计算机中进行聚焦分析，将反馈命令输入到NI采集卡，由NI采集卡发出相应的电压信号控制纳米台的上下移动。
发明可通过多种公知的仪器实现，具体采用的仪器有：数字摄像头（大恒MER-125-30UC）三维纳米位移台(Tritor 200/20 SG)，计算机数据采集成像与控制系统（NI 6251数据采集板卡、LabVIEW程序和MATLAB程序）等。
2光学显微自动聚焦系统软件设计
计算机的图像处理程序主要包括两个核心：一个是像素压缩聚光技术，另一个是队列二值交替寻峰自聚焦算法技术。前者对CCD获取的图像进行分析并且进行压缩聚光，后者根据聚焦情况，输出相应的电压控制指令，接着通过USB接口将指令发送给NI采集卡，由采集卡输出电信号，通过电压控制纳米台，使纳米台在Z轴方向运动，以找到正确的聚焦平面，从而达到自动聚焦的目的。
图像的聚焦程度，可通过图像分析来判断，在本发明中我们使用了像素压缩聚光程序来进行判断。首先，我们把CCD采集到的图像通过LabVIEW程序转为灰度图，导出图片的二维数组记做A。采用像素压缩聚光技术将矩阵中每k*k个像素点对应的灰度值求和（k为压缩聚光长度），得到新的灰度值二维矩阵记做B（其过程如图2所示），从而实现对图片的压缩，取压缩后的矩阵中最大值记做b（压缩聚光特征值），通过比较纳米台Z轴不同位置所对应的图像的b值，其中最大的b值所对应的Z轴的位置就是聚焦的位置。这里需要说明一下，k的值可以根据不同的实验环境进行选择，从而可以达到更好的聚焦精度。这需要我们事先对k值进行分析。我们实验中所采用的是波长为532 nm的激光，实验前进行调试，图3（a）为k=1，k=11，k=13，k=15，k=63所对应图像。图中不同的k值可以得到不同的聚焦点，根据实验中的情况，可以判断出纳米台位置为9.7 μm时是更好的聚焦位置，因此本次实验中我们选取选取k = 13，如图3（b）。
在寻峰过程中我们采用了队列二值交替寻峰自聚焦技术，这是对图像进行聚焦的主程序，图4为其程序框图，取图片压缩后二维矩阵中的最大值和图片对应纳米台位置导入LabVIEW，分别记为a1和Num1。控制纳米台z轴向上移动0.1 μm（可以依据实验精度调整程序中输出的单位电压值），将移动后采集图像对应的矩阵中最大值和纳米台位置记为a2和Num2。然后比较两个最大值，通过LabVIEW驱动纳米台向最大值较大的方向移动纳米台。选取初始纳米台位置为9.3 μm，程序执行后得到纳米台的位置为9.7 μm，聚焦成功。同样选取初始纳米台位置为10.6 μm，程序执行后后得到纳米台位置为9.7μm，聚焦成功。
Claims (5)
1.一种激光共聚焦显微镜的自动聚焦的方法，其特征在于：按照如下的步骤进行：
步骤一、利用数字CCD进行实时采集样品玻片表面的反射光，将采集到的图像转换成原始图片灰度值二维矩阵，利用压缩模块将原始图片灰度值二维矩阵压缩成压缩图片灰度值二维矩阵，压缩图片灰度值二维矩阵中图片灰度值最大的值即压缩聚光特征值a即为实际聚焦点位置；
步骤二、改变放有样品纳米台z轴的位置，得到不同位置所对应的a值，通过比较这些a值，其中最大的a值所对应的显微镜的位置就是激光的聚焦位置。
2.根据权利要求1所述的一种激光共聚焦显微镜的自动聚焦的方法，其特征在于：采用MATLAB程序压缩模块将采集到的图像转换成原始图片灰度值二维矩阵。
3.根据权利要求1所述的一种激光共聚焦显微镜的自动聚焦的方法，其特征在于：将原始图片灰度值二维矩阵中横向和纵向每k*k个像素点对应的灰度值求和得到一个新的矩阵即压缩图片灰度值二维矩阵，实现图像的压缩，然后找出压缩后的压缩图片灰度值二维矩阵中图片灰度值最大的值即压缩聚光特征值a，其中k为压缩聚光长度。
4.根据权利要求3所述的一种激光共聚焦显微镜的自动聚焦的方法，其特征在于：由于激光的光斑和显微镜的不同，对于不同的显微镜镜我们需要首先选择不同的k值来达到更高的精度，通过已编写好的Matlab程序找出合适的k值。
5.根据权利要求4所述的一种激光共聚焦显微镜的自动聚焦的方法，其特征在于：采用队列二值交替寻峰自动聚焦技术来更快的找到聚焦的位置，将压缩图片灰度值二维矩阵中的最大值及相应的纳米台z轴位置导入到LabVIEW程序中，分别记为a1和Num1；控制纳米台z轴向上移动0.1 μm，将采集到的图像中所对应的矩阵中的最大值和纳米台位置记为a2和Num2；比较a1和a2这两个最大值的大小，向最大值较大的方向移动纳米台，并循环进行，直到得到所有压缩图像中最大值最大的图片所对应的纳米台位置，通过LabVIEW程序驱动纳米台至聚焦位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911009133.4A CN110780438A (zh) | 2019-10-23 | 2019-10-23 | 一种激光共聚焦显微镜的自动聚焦的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911009133.4A CN110780438A (zh) | 2019-10-23 | 2019-10-23 | 一种激光共聚焦显微镜的自动聚焦的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110780438A true CN110780438A (zh) | 2020-02-11 |
Family
ID=69386341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911009133.4A Pending CN110780438A (zh) | 2019-10-23 | 2019-10-23 | 一种激光共聚焦显微镜的自动聚焦的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110780438A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111390377A (zh) * | 2020-03-27 | 2020-07-10 | 伊诺福科光学技术有限公司 | 一种用于激光加工的表面自动聚焦方法及系统、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101729780A (zh) * | 2009-10-13 | 2010-06-09 | 河南平原光电有限公司 | 光学成像系统的自动调焦方法 |
| CN102708564A (zh) * | 2012-05-04 | 2012-10-03 | 哈尔滨工业大学 | 基于小波包变换的红外显微图像聚焦评价方法 |
| CN105354817A (zh) * | 2015-09-25 | 2016-02-24 | 济南中维世纪科技有限公司 | 一种噪声图像自动聚焦方法 |
| CN107407551A (zh) * | 2015-02-18 | 2017-11-28 | 雅培实验室 | 用于使显微镜自动聚焦到基片上的方法、系统及装置 |
| CN107490850A (zh) * | 2017-08-26 | 2017-12-19 | 湖南友哲科技有限公司 | 一种稀疏标本快速聚焦方法 |
| CN109859196A (zh) * | 2019-01-25 | 2019-06-07 | 淮阴师范学院 | 一种基于分块pca的图像聚焦测度实现方法 |
-
2019
- 2019-10-23 CN CN201911009133.4A patent/CN110780438A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101729780A (zh) * | 2009-10-13 | 2010-06-09 | 河南平原光电有限公司 | 光学成像系统的自动调焦方法 |
| CN102708564A (zh) * | 2012-05-04 | 2012-10-03 | 哈尔滨工业大学 | 基于小波包变换的红外显微图像聚焦评价方法 |
| CN107407551A (zh) * | 2015-02-18 | 2017-11-28 | 雅培实验室 | 用于使显微镜自动聚焦到基片上的方法、系统及装置 |
| CN105354817A (zh) * | 2015-09-25 | 2016-02-24 | 济南中维世纪科技有限公司 | 一种噪声图像自动聚焦方法 |
| CN107490850A (zh) * | 2017-08-26 | 2017-12-19 | 湖南友哲科技有限公司 | 一种稀疏标本快速聚焦方法 |
| CN109859196A (zh) * | 2019-01-25 | 2019-06-07 | 淮阴师范学院 | 一种基于分块pca的图像聚焦测度实现方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111390377A (zh) * | 2020-03-27 | 2020-07-10 | 伊诺福科光学技术有限公司 | 一种用于激光加工的表面自动聚焦方法及系统、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11454781B2 (en) | Real-time autofocus focusing algorithm | |
| EP2796917A1 (en) | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope | |
| US20150301327A1 (en) | Image capturing apparatus and image capturing method | |
| WO2014069053A1 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
| EP3040756B1 (en) | Drive control method for objective lens and fluorescence microscope system | |
| JP2013120239A (ja) | 撮影画像のリニアリティ評価方法、画像取得方法及び画像取得装置 | |
| Bravo-Zanoguera et al. | Dynamic autofocus for continuous-scanning<? xpp qa?> time-delay-and-integration image acquisition<? xpp qa?> in automated microscopy | |
| CN116754565B (zh) | 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法 | |
| CN110780438A (zh) | 一种激光共聚焦显微镜的自动聚焦的方法 | |
| US10298833B2 (en) | Image capturing apparatus and focusing method thereof | |
| US10475198B2 (en) | Microscope system and specimen observation method | |
| US11422349B2 (en) | Dual processor image processing | |
| Wu et al. | Auto-focus pathology microscope using sub-array sampling | |
| Nguyen et al. | Magnification-corrected optical image splitting for simultaneous multiplanar acquisition | |
| JP2005284118A (ja) | 自動焦点制御装置及び自動焦点制御方法 | |
| Luo | Adaptive measurement method for area chromatic confocal microscopy | |
| Zhang et al. | A Whole Slides Imaging System for Intelligent Microscope Based on Kalman Filter | |
| CN118608598A (zh) | 基于机器学习的上转换纳米粒子定位系统及定位方法 | |
| CN1474210A (zh) | 激光微作用数字显微装置 | |
| Yuniarti et al. | Design and Implementation of Passive Autofocus Control System for Contrast Detection in Tuberculosis Microscopy Images | |
| CN118258757A (zh) | 一种用于激光诱导击穿光谱的智能对焦装置及方法 | |
| CN118778236A (zh) | 基于固定光斑图像的自动对焦方法、系统、设备及介质 | |
| KR20230103393A (ko) | 선택적 z축 스캐닝을 포함하는 슬라이드 이미징 장치 및 방법 | |
| WO2023049164A1 (en) | Multiscale multiview light-sheet imaging | |
| CN118464799A (zh) | 基于共聚焦的快速精准自动对焦芯片外观检测装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |