CN116149041A - 一种基于深度学习的裂像自动对焦方法 - Google Patents

一种基于深度学习的裂像自动对焦方法 Download PDF

Info

Publication number
CN116149041A
CN116149041A CN202310137042.9A CN202310137042A CN116149041A CN 116149041 A CN116149041 A CN 116149041A CN 202310137042 A CN202310137042 A CN 202310137042A CN 116149041 A CN116149041 A CN 116149041A
Authority
CN
China
Prior art keywords
image
block
image sub
deep learning
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310137042.9A
Other languages
English (en)
Inventor
华智捷
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUST Wuxi Research Institute
Original Assignee
HUST Wuxi Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUST Wuxi Research Institute filed Critical HUST Wuxi Research Institute
Priority to CN202310137042.9A priority Critical patent/CN116149041A/zh
Publication of CN116149041A publication Critical patent/CN116149041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体公开了一种基于深度学习的裂像自动对焦方法，包括：在显微镜当前位置采集原始图像；提取原始图像中裂像图案所在的图像子块；利用训练好的深度学习模型对图像子块进行修复，以得到修复后的图像子块；利用相似度算法计算修复后的图像子块中左右裂像图案的相对像素距离；根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。本发明实现了从单张图像完成对焦，极大地提高了显微镜自动对焦的速度，并且在预测中利用深度学习模型对图像进行修复，能够更好的对抗图像中复杂前景带来的干扰，有效提高自动对焦的精度和鲁棒性。

Description

一种基于深度学习的裂像自动对焦方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于深度学习的裂像自动对焦方法。
背景技术
自动对焦技术在显微镜成像过程中至关重要，不仅减少了手动对焦造成的主观误差，而且极大的提高了对焦速度。自动对焦技术可分为主动式对焦技术和被动式对焦技术。主动式对焦技术需要对显微镜安装额外的距离传感器来直接测量物镜与样本之间的距离。被动式对焦技术则根据数字图像来预测离焦量。
目前显微镜中常用的是基于数字图像处理的被动式自动对焦方法。该方法包括图像清晰度评价算法和迭代搜索算法，根据图像清晰度算法对当前位置拍摄的图像进行清晰度评价来推测其离焦程度，并结合迭代搜索算法通过最少的移动次数使图像对比度最大化，获得理想的焦平面。
在工业生产中，常常需要对加工后的产品表面进行检测，因为产品表面时常存在的缺陷、噪声、灰尘等杂质。基于数字图像处理的自动对焦方法在采用清晰度评价函数对不同焦平面上的图像进行评价时，由于杂质作为图像中的前景，会干扰评价函数的曲线走势，使得其不再满足单峰性和无偏性，经常出现多个峰并发生偏移的情况。故在很多场景下，会误将噪声、灰尘等对象认为是对焦主体，严重影响自动对焦的准确性。并且在不同的场景、不同的光照条件和不同的物镜倍率下，各种复杂前景在相机中成的像具有不确定性，为后续的图像处理带来了困难。
针对上述基于数字图像处理的自动对焦方法需要采集多张图像而导致对焦过程耗时较长，并且对缺陷、噪声、灰尘等杂质形成的复杂前景敏感，造成准确性和鲁棒性差等问题，需要研发高性能的基于数字图像处理的自动对焦算法，使得其具有更快的速度、更高的精度和更强的鲁棒性。
发明内容
针对上述显微镜自动对焦存在的技术问题，本发明提供了一种基于深度学习的裂像自动对焦方法，以解决现有显微镜自动对焦速度慢，精度低和鲁棒性差等技术问题。
作为本发明的第一个方面，提供一种基于深度学习的裂像自动对焦方法，包括如下步骤：
步骤S1：在显微镜当前位置采集原始图像；
步骤S2：提取所述原始图像中裂像图案所在的图像子块；
步骤S3：利用训练好的深度学习模型对所述图像子块进行修复，以得到修复后的图像子块；
步骤S4：利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离；
步骤S5：根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；
步骤S6：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
进一步地，所述提取所述原始图像中裂像图案所在的图像子块，包括：
将所述原始图像的对比度拉伸到0～255之间；
选取特定阈值T分割原始图像的前景与背景；
定位原始图像中前景所在的中心位置，以所述前景所在的中心位置为基准，提取大小为1536×1536的图像子块。
进一步地，所述利用训练好的深度学习模型对所述图像子块进行修复之前，包括：
构建基于对抗生成网络的深度学习模型；
制作用于训练深度学习模型的成对数据样本；
根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型。
进一步地，所述基于对抗生成网络的深度学习模型包括生成器和鉴别器，所述生成器为基于深度可分离卷积网络，所述鉴别器为PatchGAN；
所述生成器将接收到的图像先通过3次下采样提取图像特征，然后通过3次上采样生成修复图像；
所述鉴别器输入图像，经过3次下采样后接全连接层处理，并由Sigmoid函数输出评价值。
进一步地，所述制作用于训练深度学习模型的成对数据样本，包括：
定步长和定行程以采集不同前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；
根据一个判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照所述基准图像子块为每组焦点堆栈中的其他图像子块标注真实的散焦距离；
将所有焦点堆栈中标注为相同散焦距离的图像子块归为一类；
在每一类图像子块中将所有干净前景的图像以取平均的方式拟合成一张新的图像，作为每一类图像子块的标签图像；
将每张复杂前景的图像与其所在类对应的标签图像组成一对数据样本，制作出全部的成对数据样本。
进一步地，所述根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型，包括生成器的训练和鉴别器的训练：
所述生成器的训练包括：
将所述成对数据样本中复杂背景的图像输入到生成器，输出修复后的图像，并将修复后的图像输入到鉴别器，输出评价值；
根据所述修复后的图像与标签图像的均方根损失和输出评价值的二分类交叉熵损失，两者按照不同的权重比得到总损失函数；
根据总损失函数更新生成器的网络参数，重复上述过程，直至训练好生成器；
所述鉴别器的训练包括：
将所述成对数据样本中的标签图像和复杂背景的图像作为真假图像分别输入到鉴别器中，根据输出评价值的二分类交叉熵损失来更新鉴别器的网络参数，重复上述过程，直至训练好鉴别器。
进一步地，所述根据一个判断准则来确定每组焦点堆栈的基准图像子块，包括：
利用相似度算法估计每组焦点堆栈中所有图像子块左右裂像图案的相对像素距离，选取相对像素距离最小的图像子块作为初始基准图像子块，并按照所述初始基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
根据提前标定好的关系模型，由每张图像子块的相对像素距离预测其散焦距离，计算初始基准图像子块左右各10张图像子块对应的真实散焦距离与预测散焦距离的均方差；
选取初始基准图像子块的左右各两张图像子块分别作为新的基准图像子块，并按照上述步骤分别计算各自的均方差；
比较5个不同基准图像子块下的均方差，选取均方差最小的图像子块作为最终的基准图像子块。
进一步地，所述利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离，包括：
分割出所述修复后的图像子块中右裂像图案占据的所有像素，并计算右裂像图案的质心位置，同时将右裂像图案垂直翻转；
根据翻转之后的右裂像图案利用相似度算法定位左裂像图案的质心位置；
根据左右裂像图案的质心位置得到两者的相对像素距离。
进一步地，所述根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离，需要提前标定好相对像素距离与真实散焦距离之间的关系模型，包括：
构建基于梯度提升决策树的关系模型；
制作用于标定关系模型的数据集；
根据数据集对所述基于梯度提升决策树的关系模型进行标定，生成标定好的关系模型。
进一步地，所述制作用于学习关系模型的数据集包括：
定步长和定行程以采集干净前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；
利用相似度算法估计所有图像子块中左右裂像图案的相对像素距离；
根据判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照此基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
将每张图像子块所对应的相对像素距离和真实散焦距离作为一对数据样本，制作所有图像子块的数据集。
本发明提供的一种基于深度学习的裂像自动对焦方法具有以下有益效果：
(1)本发明仅从单张图像中估计散焦距离即可快速完成对焦，极大地提高了显微镜自动对焦的速度，摆脱了传统需要采集多张图像而导致对焦速度慢的弊端；
(2)本发明利用深度学习模型对图像进行修复，再对修复之后的图像进行处理，能够更好的对抗复杂前景带来的干扰，有效提高自动对焦的精度和鲁棒性；
(3)本发明是以激光主动照明的方式产生裂像图像，而非普通的自然图像，因此对图像中的固定特征进行分析具有更高的精度和鲁棒性，并且适用于更多的场景。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的基于深度学习的裂像自动对焦方法的流程图。
图2为本发明提供的深度学习模型中生成器的网络结构图。
图3为本发明提供的深度学习模型中鉴别器的网络结构图。
图4为本发明提供的深度学习模型的训练流程图。
图5为本发明提供的利用深度学习模型对部分图像进行修复的效果图。
图6为本发明提供的具体实现效果流程图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于深度学习的裂像自动对焦方法其具体实施方式、结构、特征及其功效，详细说明如后。显然，所描述的实施例为本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于深度学习的裂像自动对焦方法，如图1所示，请同时参照图6，一种基于深度学习的裂像自动对焦方法，包括如下步骤：
步骤S1：在显微镜当前位置采集原始图像；
步骤S2：提取所述原始图像中裂像图案所在的图像子块；
优选地，所述提取所述原始图像中裂像图案所在的图像子块，包括：
将所述原始图像的对比度拉伸到0～255之间；
选取特定阈值T分割原始图像的前景与背景；
定位原始图像中前景所在的中心位置，以所述前景所在的中心位置为基准，提取大小为1536×1536的图像子块。
步骤S3：利用训练好的深度学习模型对所述图像子块进行修复，以得到修复后的图像子块；图像子块的修复前后对比参照图5。
优选地，所述利用训练好的深度学习模型对所述图像子块进行修复之前，包括：
构建基于对抗生成网络的深度学习模型；
制作用于训练深度学习模型的成对数据样本；
根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型。
具体地，所述基于对抗生成网络的深度学习模型包括生成器和鉴别器，所述生成器为基于深度可分离卷积网络，所述鉴别器为PatchGAN；
如图2所示，所述生成器的整体结构包括：先对输入图像进行3次下采样提取图像特征，再由8个双层逆残差结构进行高维度的特征提取，最后通过3次上采样同时结合下采样时提取的低维特征共同生成修复图像。
所述生成器的网络结构主要包括两个基础块，第一个基础块为倒残差结构，先用1×1的卷积进行升维，然后通过3×3的深度可分离卷积进行特征提取，最后通过1×1的卷积进行降维。第二个基础块直接通过3×3的深度可分离卷积进行特征提取，再由1×1的卷积调整输出通道数。
如图3所示，所述鉴别器采用普通的卷积神经网络，包括五个卷积层，前四个卷积层每个后面连接对应的Instance Normalization归一化层和LeakyReLU激活函数，最后一个卷积层接池化层后通过Sigmoid激活函数来预测概率值。通过前三个卷积层的下采样操作来提取图像更高维度的特征，后两个卷积层对提取到的所有特征进行整合。
所述生成器将接收到的图像先通过3次下采样提取图像特征，然后通过3次上采样生成修复图像；
所述鉴别器输入图像，经过3次下采样后接全连接层处理，并由Sigmoid函数输出评价值。
具体地，所述制作用于训练深度学习模型的成对数据样本，包括：
定步长和定行程以采集不同前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，每张图像子块的大小为1536×1536，得到60组焦点堆栈，包括50组复杂前景的焦点堆栈和10组干净前景的焦点堆栈。
根据一个判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照所述基准图像子块为每组焦点堆栈中的其他图像子块标注真实的散焦距离；
将所有焦点堆栈中标注为相同散焦距离的图像子块归为一类；
在每一类图像子块中将所有干净前景的图像以取平均的方式拟合成一张新的图像，作为每一类图像子块的标签图像；
将每张复杂前景的图像与其所在类对应的标签图像组成一对数据样本，制作出全部的成对数据样本。将全部的成对数据集按照8:1:1的比例随机划分为训练集、验证集和测试集。
进一步地，所述根据一个判断准则来确定每组焦点堆栈的基准图像子块，包括：
利用相似度算法估计每组焦点堆栈中所有图像子块左右裂像图案的相对像素距离，选取相对像素距离最小的图像子块作为初始基准图像子块，并按照所述初始基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
根据提前标定好的关系模型，由每张图像子块的相对像素距离预测其散焦距离，计算初始基准图像子块左右各10张图像子块对应的真实散焦距离与预测散焦距离的均方差；
选取初始基准图像子块的左右各两张图像子块分别作为新的基准图像子块，并按照上述步骤分别计算各自的均方差；
比较5个不同基准图像子块下的均方差，选取均方差最小的图像子块作为最终的基准图像子块，其表达式为：
Figure BDA0004086260520000061
其中，Vk为在不同基准图像子块下计算的真实散焦距离与预测散焦距离的均方误差，Ik为不同的基准图像子块。
具体地，所述根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，采用有监督的方式，以生成所述训练好的深度学习模型，如图4所示，包括生成器的训练和鉴别器的训练：
所述生成器的训练包括：
将所述成对数据样本中复杂背景的图像输入到生成器，输出修复后的图像，并将修复后的图像输入到鉴别器，输出评价值；
根据所述修复后的图像与标签图像的均方根损失和输出评价值的二分类交叉熵损失，两者按照不同的权重比得到生成器的总损失函数；
根据总损失函数更新生成器的网络参数，重复上述过程，直至训练好生成器；
所述鉴别器的训练包括：
将所述成对数据样本中的标签图像和由生成器生成的图像分别作为真假图像分别输入到鉴别器中，根据鉴别器输出评价值的二分类交叉熵损失来更新鉴别器的网络参数，重复上述过程，直至训练好鉴别器。
生成器的损失函数LG和鉴别器的损失函数LD分别表示为：
Figure BDA0004086260520000062
Figure BDA0004086260520000071
其中，x为散焦输入图像，y为对焦的标签图像，N为每次批量的大小，λ和μ的权重系数分别为1和10-3，G(x)为生成器的输出图像，D(*)为鉴别器输出的评价值。
步骤S4：利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离；
优选地，所述利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离，包括：
分割出所述修复后的图像子块中右裂像图案占据的所有像素，并计算右裂像图案的质心位置，记为Pr，同时将右裂像图案垂直翻转；
根据翻转之后的右裂像图案利用归一化互相关相似度算法定位左裂像图案的质心位置，记为Pl。归一化互相关相似度算法(NCC)可以表示为：
Figure BDA0004086260520000072
/>
Figure BDA0004086260520000073
Figure BDA0004086260520000074
其中，M和N为从右裂像图像中选取的像素坐标值集合，T为该集合的总像素数。L(x,y)和
Figure BDA0004086260520000075
分别为左裂像图像的像数值和像素平均值。R(w,h)和/>
Figure BDA0004086260520000076
分别为右裂像图像的像素值和像素平均值。
根据左右裂像图案的质心位置得到两者的相对像素距离为：
Δpixel＝(Pl-Pr)v.
其中，Pl和Pr分别为左右裂像图案的质心坐标，*v为沿v轴的坐标。
步骤S5：根据提前标定好的关系模型，由相对像素距离Δpixel预测所述原始图像的散焦距离Δz；
优选地，所述根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离，需要提前标定好相对像素距离与真实散焦距离之间的关系模型，包括：
构建基于梯度提升决策树的关系模型；
制作用于标定关系模型的数据集；
根据数据集对所述基于梯度提升决策树的关系模型进行标定，生成标定好的关系模型。
具体地，所述制作用于学习关系模型的数据集包括：
定步长和定行程以采集干净前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，每张图像子块的大小为1536×1536，得到8组焦点堆栈；
利用归一化互相关相似度算法估计所有图像子块中左右裂像图案的相对像素距离；
根据判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照此基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
将每张图像子块所对应的相对像素距离和真实散焦距离作为一对数据样本，制作所有图像子块的数据集。
所述根据数据集对基于梯度提升决策树的关系模型进行标定，对于关系模型在每个回合的迭代训练过程中的权重更新策略可以表示为：
Fm(x)＝Fm-1(x)+v·γm·hm(x)
其中，Fm-1(x)为前一次的模型，v为学习率，hm(x)为弱学习器，γm表示为：
Figure BDA0004086260520000081
其中，(xi,yi)为训练数据集，γ为权重，L为平方损失函数表示为：
Figure BDA0004086260520000082
最小的损失由损失函数L的负梯度决定，并且残差rmi表示为：
Figure BDA0004086260520000083
新的模型沿着梯度方向更新权重，来减小上一次模型的残差。经过1000次的迭代训练之后，获得的新模型即为标定好的关系模型。
步骤S6：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
具体地，所述相似度算法为归一化互相关。
实验分析：
本发明的实验环境配置：Windows10系统，CPU为Intel(R)Core(TM)i7-10750HCPU@2.60GHz，16.0GB内存。一块NVIDIA 1650显卡，Python3.7，使用Tensorflow框架。实验中，batch size设置为4，运行30个epoch，并且学习率每5个epoch下降一半，整个深度学习模型使用Adam优化器进行优化。
为了证明本发明的自动对焦性能，选取目前四种最先进的方法进行对比：传统主流方法Baseline、有序回归模型I1 model和D1 model、回归模型Regression model。对比结果如表1所示。从表1可以看出，本发明的自动对焦方法与其他四种最先进的方法相比在对焦精度和鲁棒性上都有较大的提升，尤其在离焦量较小的时候。在±200μm的范围内，本发明的自动对焦方法的均方误差(MAE)为0.945，相比较于其他四种最优方法的1.978足足提升了1倍。并且在离焦量较大的±480μm范围内，本发明的自动对焦方法将均方误差也由原来的2.114提升到了1.505.从均方根误差(RMSE)反应出，本发明的自动对焦方法与其他四种方法相比对于不同的复杂前景预测的散焦距离具有更高的稳定性，在±200μm的范围内，均方根误差由原来的2.3提升到了1.185。因此，本发明基于深度学习的裂像自动对焦方法是一种高性能的自动对焦方法，不仅具有更高的对焦精度，而且对于不同的复杂前景具有更强的鲁棒性。
表1本发明与四种先进方法的对比结果
Figure BDA0004086260520000091
综上，本发明仅从单张图像中估计散焦距离即可快速完成对焦，极大地提高了显微镜自动对焦的速度，摆脱了传统需要采集多张图像而导致对焦速度慢的弊端。并且利用深度学习模型对图像进行修复，再对修复之后的图像进行处理，能够更好的对抗复杂前景带来的干扰，有效提高自动对焦的精度和鲁棒性。另外本发明是以激光主动照明的方式产生裂像图像，而非普通的自然图像，因此对图像中的固定特征进行分析具有更高的精度和鲁棒性，适用于更多的场景，为后续的自动对焦算法研究以及实际应用提供了新的思路。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于深度学习的裂像自动对焦方法，其特征在于，包括如下步骤：
步骤S1：在显微镜当前位置采集原始图像；
步骤S2：提取所述原始图像中裂像图案所在的图像子块；
步骤S3：利用训练好的深度学习模型对所述图像子块进行修复，以得到修复后的图像子块；
步骤S4：利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离；
步骤S5：根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；
步骤S6：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
2.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述提取所述原始图像中裂像图案所在的图像子块，包括：
将所述原始图像的对比度拉伸到0~255之间；
选取特定阈值T分割原始图像的前景与背景；
定位原始图像中前景所在的中心位置，以所述前景所在的中心位置为基准，提取大小为1536×1536的图像子块。
3.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述利用训练好的深度学习模型对所述图像子块进行修复之前，包括：
构建基于对抗生成网络的深度学习模型；
制作用于训练深度学习模型的成对数据样本；
根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型。
4.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述基于对抗生成网络的深度学习模型包括生成器和鉴别器，所述生成器为基于深度可分离卷积网络，所述鉴别器为PatchGAN；
所述生成器将接收到的图像先通过3次下采样提取图像特征，然后通过3次上采样生成修复图像；
所述鉴别器输入图像，经过3次下采样后接全连接层处理，并由Sigmoid函数输出评价值。
5.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述制作用于训练深度学习模型的成对数据样本，包括：
定步长和定行程以采集不同前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；
根据一个判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照所述基准图像子块为每组焦点堆栈中的其他图像子块标注真实的散焦距离；
将所有焦点堆栈中标注为相同散焦距离的图像子块归为一类；
在每一类图像子块中将所有干净前景的图像以取平均的方式拟合成一张新的图像，作为每一类图像子块的标签图像；
将每张复杂前景的图像与其所在类对应的标签图像组成一对数据样本，制作出全部的成对数据样本。
6.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型，包括生成器的训练和鉴别器的训练：
所述生成器的训练包括：
将所述成对数据样本中复杂背景的图像输入到生成器，输出修复后的图像，并将修复后的图像输入到鉴别器，输出评价值；
根据所述修复后的图像与标签图像的均方根损失和输出评价值的二分类交叉熵损失，两者按照不同的权重比得到总损失函数；
根据总损失函数更新生成器的网络参数，重复上述过程，直至训练好生成器；
所述鉴别器的训练包括：
将所述成对数据样本中的标签图像和复杂背景的图像作为真假图像分别输入到鉴别器中，根据输出评价值的二分类交叉熵损失来更新鉴别器的网络参数，重复上述过程，直至训练好鉴别器。
7.根据权利要求5所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述根据一个判断准则来确定每组焦点堆栈的基准图像子块，包括：
利用相似度算法估计每组焦点堆栈中所有图像子块左右裂像图案的相对像素距离，选取相对像素距离最小的图像子块作为初始基准图像子块，并按照所述初始基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
根据提前标定好的关系模型，由每张图像子块的相对像素距离预测其散焦距离，计算初始基准图像子块左右各10张图像子块对应的真实散焦距离与预测散焦距离的均方差；
选取初始基准图像子块的左右各两张图像子块分别作为新的基准图像子块，并按照上述步骤分别计算各自的均方差；
比较5个不同基准图像子块下的均方差，选取均方差最小的图像子块作为最终的基准图像子块。
8.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离，包括：
分割出所述修复后的图像子块中右裂像图案占据的所有像素，并计算右裂像图案的质心位置，同时将右裂像图案垂直翻转；
根据翻转之后的右裂像图案利用相似度算法定位左裂像图案的质心位置；
根据左右裂像图案的质心位置得到两者的相对像素距离。
9.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离，需要提前标定好相对像素距离与真实散焦距离之间的关系模型，包括：
构建基于梯度提升决策树的关系模型；
制作用于标定关系模型的数据集；
根据数据集对所述基于梯度提升决策树的关系模型进行标定，生成标定好的关系模型。
10.根据权利要求9所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述制作用于学习关系模型的数据集包括：
定步长和定行程以采集干净前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；
利用相似度算法估计所有图像子块中左右裂像图案的相对像素距离；
根据判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照此基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
将每张图像子块所对应的相对像素距离和真实散焦距离作为一对数据样本，制作所有图像子块的数据集。
CN202310137042.9A 2023-02-20 2023-02-20 一种基于深度学习的裂像自动对焦方法 Pending CN116149041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310137042.9A CN116149041A (zh) 2023-02-20 2023-02-20 一种基于深度学习的裂像自动对焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310137042.9A CN116149041A (zh) 2023-02-20 2023-02-20 一种基于深度学习的裂像自动对焦方法

Publications (1)

Publication Number Publication Date
CN116149041A true CN116149041A (zh) 2023-05-23

Family

ID=86373216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310137042.9A Pending CN116149041A (zh) 2023-02-20 2023-02-20 一种基于深度学习的裂像自动对焦方法

Country Status (1)

Country Link
CN (1) CN116149041A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116736511A (zh) * 2023-06-28 2023-09-12 江苏集萃华科智能装备科技有限公司 一种基于深度学习的自然图像自动对焦方法
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117692795A (zh) * 2024-02-04 2024-03-12 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116736511A (zh) * 2023-06-28 2023-09-12 江苏集萃华科智能装备科技有限公司 一种基于深度学习的自然图像自动对焦方法
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117132646B (zh) * 2023-10-26 2024-01-05 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117692795A (zh) * 2024-02-04 2024-03-12 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法
CN117692795B (zh) * 2024-02-04 2024-05-03 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法

Similar Documents

Publication Publication Date Title
CN116149041A (zh) 一种基于深度学习的裂像自动对焦方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111007661B (zh) 一种基于深度学习的显微图像自动聚焦方法及装置
CN108428231B (zh) 一种基于随机森林的多参数零件表面粗糙度学习方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111462075B (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN110428463B (zh) 非球面光学元件离焦模糊定中图像自动提取中心的方法
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
JP6328222B2 (ja) Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN113850339A (zh) 一种基于多光源表面图像的粗糙度等级预测方法及装置
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN109284667B (zh) 一种面向视频的三流式人体运动行为空间域检测方法
CN110544249A (zh) 一种面向任意角度机箱装配视觉检测的卷积神经网络质量鉴别方法
Ni et al. Dual relation knowledge distillation for object detection
KR101936628B1 (ko) Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
WO2019032413A1 (en) CRITICAL SITE SELECTION GUIDED BY INSPECTION FOR A CRITICAL DIMENSION MEASUREMENT
Geng et al. Machine vision detection method for surface defects of automobile stamping parts
CN117252817A (zh) 一种透明导电薄膜玻璃表面缺陷检测方法及系统
CN116958074A (zh) 基于yolov7的物体表面缺陷检测方法
CN111986315A (zh) 一种基于深度学习的超分辨白光干涉图三维重建方法
CN116503398A (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
US11961221B2 (en) Defect examination on a semiconductor specimen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination