CN117314915A - 微结构加工的原位检测方法、设备及存储介质 - Google Patents
微结构加工的原位检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117314915A CN117314915A CN202311608191.5A CN202311608191A CN117314915A CN 117314915 A CN117314915 A CN 117314915A CN 202311608191 A CN202311608191 A CN 202311608191A CN 117314915 A CN117314915 A CN 117314915A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- stack
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000011065 in-situ storage Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 108
- 230000006870 function Effects 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000003325 tomography Methods 0.000 claims abstract description 50
- 238000004088 simulation Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000004587 chromatography analysis Methods 0.000 abstract 1
- 230000001427 coherent effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 239000004005 microsphere Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000276498 Pollachius virens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011066 ex-situ storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种微结构加工的原位检测方法、设备及存储介质，包括与加工激光同轴的非相干层析成像采集过程、实际成像系统三维点扩散函数仿真方法、恢复图像堆栈分辨率方法及微结构的三维重建方法等。根据搭建的成像系统组成部件，仿真匹配实际成像系统在样品内不同深度层析成像过程中的三维点扩散函数。通过控制显微物镜沿Z向按奈奎斯特采样要求的固定步长逐次移动并层析采集包含样品内微结构的图像堆栈，利用仿真得到的三维点扩散函数进行动态规划三维反卷积恢复采集的图像堆栈原始信息估计。基于加工微结构的先验知识处理恢复的图像堆栈，重建样品内微结构的三维体积。本发明成本较低、对样品无损伤、操作更加灵活，适用性更强。
Description
技术领域
本发明涉及超短脉冲激光精密加工的原位无损检测和数字图像处理领域，特别是一种微结构加工的原位检测方法、设备及存储介质。
背景技术
目前，介质内部微结构的主要检测手段包括XCT、共聚焦显微镜、全息显微镜等。其中XCT对待检测样品要求较多，包括透射波段和表面面型精度等，检测耗时极长。共聚焦显微镜单次成像的视野范围仅有数微米，效率低且维护复杂。这些方法检测耗时长、制样要求高，所需装置价格昂贵、维护复杂，只能用于最终加工结果的非原位检测。针对现有检测手段难以兼顾大视野、高效率、低成本和易维护等多种需求的现状，设计并实现能够满足这些要求的加工原位检测系统，具有非常重要的意义。宽场成像系统因其结构简单成为原位检测装置的首选，但受其固有的“失焦模糊”缺陷和折射率失配影响，直接原位检测并重建无法得到可靠的微结构特征。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种微结构加工的原位检测方法、设备及存储介质，减小重建结果的尺寸偏差。
为解决上述技术问题，本发明所采用的技术方案是：一种微结构加工的原位检测方法，包括以下步骤：
S1、对样品进行层析成像，得到样品内部包含微结构特征的图像堆栈；
S2、对所述图像堆栈进行划分，得到多个图像子堆栈，对每个图像子堆栈编号，每个图像子堆栈包括多张图片；
S3、根据图像子堆栈确定对应成像平面三维点扩散函数的轴向二维截面堆栈，二维截面堆栈中二维截面的数量与图像子堆栈所包含图片数量一致，截面间距与层析成像过程中成像平面在样品内的步进距离一致；
S4、按层析成像采集的图像堆栈中图像序号顺序依次选取对应的图像子堆栈和三维点扩散函数的轴向二维截面堆栈，以公式为迭代目标进行三维反卷积运算，其中，/>表示选择合适的on使后续/>取最小的值，on表示第n个成像平面的真实图像，in表示第n个成像平面的采集图像，/>表示三维反卷积迭代过程中第mn个成像平面的原始图像信息估计，/>属于第n个成像平面上三维点扩散函数堆栈，/>表示对第n个成像平面的采集图像进行恢复得到的原始图像信息估计；kn和jn分别代表对第n个成像平面上采集图像有影响的、离焦图像所在平面序号的上界与下界；
S5、根据图像序号和步骤S4的三维反卷积运算结果，在每一次恢复后的图像子堆栈中选取对应序号的在焦平面图像，将该在焦平面图像作为采集图像的原始图像信息估计，形成恢复图像堆栈；
S6、根据所述恢复图像堆栈，按照层析成像采样间距重建微结构的三维体积。
本发明中，三维反卷积迭代一次的完整过程描述如下：随机给出一张散点图，与点扩散函数进行卷积，卷积结果与采集得到的图像对比，取二者相减或相除得到差异A（相减或相除由随机生成的散点图与点扩散函数卷积结果与采集图像之间的对比关系决定。受灰度不能取负值的限制，现有一些数字图像处理的通用方法，最终相减或相除目的是为了得到差异）。然后对差异A做傅里叶变换，将差异A的傅里叶变换与点扩散函数的傅里叶变换相除，得到最初随机生成的散点图与图像原始信息估计之间的差异B。最后差异B与最初随机生成的散点图相加/相减，得到新的散点图。
本发明原位检测方法结合了动态规划三维反卷积操作，真正实现了宽场层析成像系统检测透明介质内部微结构特征的目的，其最终重建结果的尺寸偏差不到10%。而相同算法及参数（包括迭代次数、正则化项数值等）下一般的三维反卷积操作，重建结果尺寸偏差在80%以上，不能用来判断微结构特征和加工结果。
第n个成像平面的采集图像in的表达式为：；表示在焦平面图像信息对层析成像采集到第n张图像的影响，/>表示离焦平面图像信息对层析成像采集到第n张图像的总影响。
所述三维点扩散函数的确定过程包括：
A）确定层析成像过程中样品内成像平面步进深度：
；其中，/>为小于成像系统奈奎斯特临界采样距离的采样距离，/>为镜头介质折射率，/>为镜头介质内的折射角，/>为样品介质折射率，/>为样品内的折射角；
B）将与照明光源光谱信息匹配的复色点光源放置于深度为的成像平面上；
C）基于镜头设计参数和深度、色散计算复色点光源穿过镜头和筒镜在工业相机的成像，即得到三维点扩散函数；
以为间隔逐次改变镜头到样品上表面的距离，模拟宽场层析成像过程中失焦平面对成像结果的影响，分别计算复色点光源穿过镜头和筒镜在工业相机的成像，即得到三维点扩散函数的二维截面；
D）根据实际样品厚度，改变，重复步骤B)-C)，直至仿真得到整个样品厚度内、与实际层析成像平面匹配的多组三维点扩散函数，构建加工原位检测装置成像模型。
宽场成像系统采用非相干（宽光谱）照明光源和显微物镜搭建，存在照明光源光谱较宽和物镜设计参数无法确定两个问题。因此，目前获得点扩散函数的两种通用方法并不适于求解本发明所叙宽场成像系统在透明介质内的三维点扩散函数。第一是荧光微球实验法，受限于荧光微球的光谱与照明光源不一致、荧光微球盖玻片厚度不容易准确控制和实验测量中的额外噪声，无法得到准确的结果；第二是理论计算法，目前缺乏宽光谱光源及其对应物镜色散模型，仅使用通用的多层界面德拜衍射模型，得到的结果偏差极大。本发明提出了单色光焦点偏移校正公式，该公式在后续仿真结果中证明了可以替代宽光谱光源的焦点偏移校正公式，本发明方案的仿真结果因此更准确。
所述三维反卷积运算的关键参数确定过程包括：
层析成像需采集的图像总数量：/>；/>表示样品厚度，/>表示层析成像过程中成像平面在样品内的步进距离；/>；/>表示可以进行三维反卷积操作的样品厚度范围，/>表示层析成像过程中第个成像平面对应的三维点扩散函数轴向半峰全宽，/>。
本发明中，确定原始采集图像堆栈中可以进行动态规划三维反卷积操作恢复原始图像信息的图像序号范围，对于厚度的样品，以/>为采样距离进行层析成像，采集得到的图像堆栈包含图像数量为/>。/>必然是一个大于0的正整数。本发明原位检测方法流程中的动态规划三维反卷积操作因此限制了图像堆栈范围。动态规划三维反卷积操作对应的图像堆栈范围由仿真得到的三维点扩散函数决定，而三维点扩散函数对应的轴向范围包括成像平面的上方和下方。例如，第0平面（也就是样品上表面的图像）是第一张图像，恢复该图像的原始图像信息所需的图像堆栈由该平面上三维点扩散函数决定，因此必然包括该平面上方的平面（也就是在上表面上方的平面），这些不存在的平面无法采集图像，因此，这些公式确定了可以执行动态规划三维反卷积操作的图像堆栈范围。
对层析成像采集到的第n张图像进行三维反卷积运算时使用的图像子堆栈的图像序号下界jn和图像序号上界kn分别如下：
；
；
其中，表示取点扩散函数峰值强度，/>，表示PSFp和PSFq都属于第n个成像平面上模拟的三维点扩散函数的轴向二维截面堆栈中，所有点扩散函数均按整个三维点扩散函数堆栈峰值强度进行归一化；PSFp表示在第n个成像平面上模拟三维点扩散函数时，第p个成像平面上的点扩散函数；PSFq表示在第n个成像平面上模拟三维点扩散函数时，第q个成像平面上的点扩散函数，PSFn表示在第n个成像平面上模拟三维点扩散函数时，当前平面，即第n个成像平面的点扩散函数。
宽场成像系统的轴向通带宽度约等于其三维点扩散函数轴向相对强度的两倍半峰全宽。因此不同成像平面上仿真得到的三维点扩散函数，揭示了不同成像平面上采集得到的图像受成像平面上方和下方“离焦平面”的影响范围。使用“半峰全宽”在本发明方案的表述，即“离焦平面上点扩散函数相对强度峰值等于三维点扩散函数轴向相对强度峰值的一半”作为判断依据，确定动态规划三维反卷积操作对应的图像堆栈范围。
作为一个发明构思，本发明还提供了一种终端设备，其包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明上述方法的步骤。
作为一个发明构思，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现本发明上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：本发明原位检测方法真正实现了宽场层析成像系统检测透明介质内部微结构特征的目的，其最终重建结果的尺寸偏差不到10%。
附图说明
图1为匹配实际成像系统的三维点扩散函数仿真过程概述图；
图2为匹配实际成像系统的三维点扩散函数仿真过程与仿真结果对应示意图；
图3（a）为本发明实施例加工原位检测装置各成像平面的3D PSF仿真结果；
图3（b）为本发明实施例加工原位检测装置在样品最深处成像平面的3D PSF仿真结果；
图4为本发明实施例动态规划三维反卷积操作的图像堆栈；
图5为层析成像采集得到的图像堆栈示意图；
图6为本发明实施例动态规划三维反卷积操作步骤；
图7为本发明实施例动态规划三维反卷积恢复的图像堆栈示意图；
图8为层析成像采集的图像堆栈信息；
图9为动态规划三维反卷积恢复的图像堆栈估计；
图10为根据恢复的图像堆栈估计重建微结构三维体积。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性，而是仅仅用于对不同的元件进行区分。在本文中，术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物，而是表示有关描述仅仅针对所述事物中的一个，所述事物可能具有一个或多个。在本文中，术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系，而不能视作表示空间结构上的关系。例如，“A包括B”意在表示在逻辑上B属于A，而不表示在空间上B位于A的内部。另外，术语“包含”、“包括”和其它类似词语的含义应视为开放性的，而非封闭性的。例如，“A包括B”意在表示B属于A，但是B不一定构成A的全部，A还可能包括C、D、E等其它元素。
实施例1
本发明的实施例基于超短脉冲激光加工工艺，与超短脉冲激光同轴集成了工业相机和宽光谱LED光源，实现了晶圆内部改质微结构的原位三维重建。
本发明基于宽场层析成像图像形成理论（式1）和数种三维反卷积算法思路，提出动态规划三维反卷积算法，其迭代目标如式2所示。（1）
其中，即/>属于第n个成像平面上三维点扩散函数（三维点扩散函数，缩写为“3D PSF”）堆栈，且所有均按整个3D PSF堆栈峰值强度进行归一化。式中/>表示in-focus平面信息对层析成像采集到第n张图像的影响，表示out-of-focus平面对层析成像采集到第n张图像的总影响。
（2）
其中表示选择合适的on使后续/>取最小的值，on表示第n个成像平面的真实图像，因此本式的意思是迭代进行三维反卷积，使恢复图像与三维点扩散函数的卷积尽可能逼近采集图像。另外，in表示第n个成像平面的采集图像，/>表示三维反卷积迭代过程中第mn个成像平面的原始图像信息估计，属于第n个成像平面上三维点扩散函数（三维点扩散函数，缩写为“3D PSF”）堆栈，/>表示对第n个成像平面的采集图像进行恢复得到的原始图像信息估计。
该算法需要成像系统在样品内层析成像过程中不同深度成像平面上准确的三维点扩散函数支撑才可得到较好的图像堆栈恢复结果。
本发明因此基于三维点扩散函数实验测量思路和层析成像过程提出一种与实际宽场层析成像系统相匹配的三维点扩散函数仿真方法（图1、图2），通过该方法结合实际成像系统镜头设计参数与照明光源参数，可以得到无噪声的三维点扩散函数，且与实际成像系统相匹配。
该三维点扩散函数仿真方法步骤如下：
A) 依据搭建非相干层析成像系统的轴向传输带宽和成像系统Z向最小步进距离，确定小于成像系统奈奎斯特临界采样距离的采样距离，由式（3）计算层析成像过程中样品内成像平面步进深度/>；
（3）
B) 如图1所示，将与照明光源光谱信息匹配的复色点光源5放置于深度为的成像平面上；
C) 基于镜头设计参数（包括各镜片材质、厚度、曲率、焦点等信息）和样品厚度、色散等仿真计算（该计算在Zemax软件中执行）复色点光源5穿过镜头和筒镜等元件，沿成像光路2在工业相机的成像，即三维点扩散函数的二维截面；
D) 如图2所示，以为间隔逐次移动Z向位移平台1，改变镜头3到样品4上表面的距离，模拟宽场层析成像过程中失焦平面对成像结果的影响，分别计算复色点光源5穿过镜头和筒镜等元件，沿成像光路2在工业相机的成像，即三维点扩散函数的二维截面；
E) 根据实际样品厚度，改变，重复步骤B)-D)，直至仿真得到整个样品厚度内、与实际层析成像平面6匹配的多组三维点扩散函数，构建加工原位检测装置成像模型。
为此，本发明的实施例搭建了一套加工原位成像装置，选用了普通工业相机和宽光谱白光LED光源，并设计了配套的科勒照明光路。同时利用前述三维点扩散函数仿真方法，得到了该装置在4H-SiC晶圆内部的三维点扩散函数（图3（a）），建立了完善的成像模型。
由图3（b）可见，即使在最深处（对应成像平面序号）三维点扩散函数仿真结果中，轴向峰值强度所在位置与成像平面所在位置的轴向距离仅为0.6μm，远小于本发明实施例中层析成像采样距离。三维点扩散函数揭示了层析成像时图像形成过程中离焦平面与在焦平面对成像结果的影响（如式1所示的成像正演模型），图3（b）的仿真结果意味着在序号为n的成像平面上，采集得到的图像受序号为n的成像平面上的微结构特征影响最大。因此，使用序号为n的成像平面上仿真得到的三维点扩散函数堆栈与对应采集图像堆栈，进行三维反卷积操作，最后需保留结果堆栈中对应序号n的原始图像信息估计。
基于前述成像正演模型（式1）、三维反卷积迭代目标（式2）和三维点扩散函数仿真结果（图3（a）），可通过式（4）-式（8）确定动态规划三维反卷积方法的关键参数。（4）
其中表示层析成像需采集的图像总数量，/>表示样品厚度，/>表示层析成像过程中成像平面在样品内的步进距离。/>（5）
其中表示可以进行动态规划三维反卷积操作的样品厚度范围，/>表示层析成像过程中第n个成像平面对应的三维点扩散函数轴向半峰全宽，/>。
对层析成像采集到第n张图像进行动态规划反卷积使用图像堆栈的起始图像序号jn和结尾序号kn分别如下：
（6）
（7）
其中表示取峰值强度，/>，所有均按整个3D PSF堆栈峰值强度进行归一化。
对层析成像采集到第n张图像进行动态规划反卷积使用图像堆栈的图像数量：
（8）
基于前述构建的加工原位检测装置成像模型和前述公式（式（3）-式（7）），可确定动态规划三维反卷积操作的图像堆栈批次（图4）。图4中横坐标代表采集图像堆栈中的图像序号，即；纵坐标对应采集图像堆栈中各图像进行动态规划三维反卷积操作恢复原始图像信息所需的图像位置与数量（由式（8）计算得到），其中正方向表示对应图像序号上方平面位置采集得到的图像，负方向表示对应图像序号下方平面位置采集得到的图像，纵坐标数值表示动态规划三维反卷积操作所需对应位置（图像序号上方/下方平面）采集的图像数量。条形图上下方数字代表对采集图像堆栈中各图像进行动态规划三维反卷积操作恢复原始图像信息所需的图像序号上下界（由式（6）、式（7）计算得到）。
动态规划三维反卷积操作的步骤如下：
A) 采用搭建的加工原位层析成像装置对样品进行层析成像，得到样品内部包含微结构特征的图像堆栈（如图5所示，图中已标注不同成像平面的图像序号）；
B)根据加工原位检测装置成像模型划分堆栈，其中采集图像的总数量为，可进行动态规划三维反卷积操作的厚度范围由式（5）计算得到，其对应的图像数量为/>，每一张图像进行动态规划三维反卷积操作所需的图像堆栈序号上下界如图4所示、堆栈中包含图像数量由式（6）～（8）计算得到。例如本实施例可按照图4对图像堆栈进行划分，序号为2的图像堆栈包含序号为0-4的5张图片，序号为7的图像堆栈包含序号为4-9的6张图片，序号为13的图像堆栈包含序号为9-16的8张图片，以此类推；
C)根据划分的图像堆栈确定对应成像平面三维点扩散函数的轴向二维截面堆栈（从三维点扩散函数仿真结果中选取），截面数量与图像堆栈所包含图片数量一致，截面间距与前述层析成像过程中成像平面在样品内的步进距离一致。例如本实施例可按照图4对图像堆栈的划分，恢复序号为2的图像，所需图像堆栈包含序号为0-4的5张图片，对应在序号为2的成像平面上三维点扩散函数仿真结果中选择与序号为0-4的5张图片采样深度相同的5张轴向二维截面组成的堆栈。恢复序号为7的图像，所需图像堆栈包含序号为4-9的6张图片，对应在序号为7的成像平面上三维点扩散函数仿真结果中选择与序号为4-9的6张图片采样深度相同的6张轴向二维截面组成的堆栈。恢复序号为13的图像，所需图像堆栈包含序号为9-16的8张图片，对应在序号为13的成像平面上三维点扩散函数仿真结果中选择与序号为9-16的8张图片采样深度相同的8张轴向二维截面组成的堆栈。以此类推；
D) 按层析成像采集的图像堆栈中图像序号顺序，由小到大依次选取对应的图像堆栈和三维点扩散函数的轴向二维截面堆栈，以式（2）为迭代目标进行三维反卷积。例如本实施例可按照图4对图像堆栈的划分，恢复序号为2的图像，需要对序号为0-4的5张图片与5张轴向二维截面组成的堆栈进行三维反卷积操作，得到序号为0-4的5张图片组成的恢复图像堆栈。恢复序号为7的图像，需要对序号为4-9的6张图片与6张轴向二维截面组成的堆栈进行三维反卷积操作，得到序号为4-9的6张图片组成的恢复图像堆栈。恢复序号为13的图像，需要对序号为9-16的8张图片与8张轴向二维截面组成的堆栈进行三维反卷积操作，得到序号为9-16的8张图片组成的恢复图像堆栈。以此类推；
E) 依照图像序号、按步骤D)进行三维反卷积过程中，每一次恢复后的图像堆栈选取对应序号的在焦平面图像，作为采集图像的图像原始信息估计保留，形成恢复图像堆栈。例如本实施例可按照图4对图像堆栈的划分，恢复序号为2的图像，需要在序号0-4的5张图片组成的恢复图像堆栈中选择对应序号2的图像，作为采集图像堆栈中序号2的图像原始信息估计保留。恢复序号为7的图像，需要在序号4-9的6张图片组成的恢复图像堆栈中选择对应序号7的图像，作为采集图像堆栈中序号7的图像原始信息估计保留。恢复序号为13的图像，需要在序号9-16的8张图片组成的恢复图像堆栈中选择对应序号13的图像，作为采集图像堆栈中序号13的图像原始信息估计保留。以此类推。最后将所有保留的图像原始信息估计组成新的图像堆栈，即最终恢复图像堆栈。动态规划三维反卷积的整体操作步骤如图6所示，最终恢复图像堆栈如图7所示；
F) 以样品内微结构特征的先验信息，使用阈值分割、伽马值处理、小波变换、高斯滤波等多种数字图像处理方法操作恢复图像堆栈（图7），并按照层析成像间距重建微结构的三维体积（图10）。
本发明实施例采样数字图像处理方法，对恢复图像堆栈进行适当操作剔除噪声点。
本实施例中采集图像堆栈（图5）按最大密度投影可得到图8，恢复图像堆栈（图7）按最大密度投影可得到图9，比较图8和图9可以发现动态规划三维反卷积操作显著地降低了“失焦模糊”缺陷，较好地将包含微结构特征的原始图像信息恢复到对应图像堆栈的成像平面上。最终由恢复图像堆栈（图7）重建样品内微结构特征的三维体积结果如图10所示。
实施例2
本发明实施例2提供一种对应上述实施例1的终端设备，终端设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述实施例的方法。
本实施例的终端设备包括存储器、处理器及存储在存储器上的计算机程序；处理器执行存储器上的计算机程序，以实现上述实施例1方法的步骤。
在一些实现中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例3
本发明实施例3提供了一种对应上述实施例1的计算机可读存储介质，其上存储有计算机程序/指令。计算机程序/指令被处理器执行时，实现上述实施例1方法的步骤。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (7)
1.一种微结构加工的原位检测方法，其特征在于，包括以下步骤：
S1、对样品进行层析成像，得到样品内部包含微结构特征的图像堆栈；
S2、对所述图像堆栈进行划分，得到多个图像子堆栈，对每个图像子堆栈编号，每个图像子堆栈包括多张图片；
S3、根据图像子堆栈确定对应成像平面三维点扩散函数的轴向二维截面堆栈，二维截面堆栈中二维截面的数量与图像子堆栈所包含图片数量一致，截面间距与层析成像过程中成像平面在样品内的步进距离一致；
S4、按层析成像采集的图像堆栈中图像序号顺序依次选取对应的图像子堆栈和三维点扩散函数的轴向二维截面堆栈，以公式 为迭代目标进行三维反卷积运算，其中，/>表示选择合适的on使后续/>取最小的值，on表示第n个成像平面的真实图像，in表示第n个成像平面的采集图像，/>表示三维反卷积迭代过程中第mn个成像平面的原始图像信息估计，/>属于第n个成像平面上三维点扩散函数堆栈，/>表示对第n个成像平面的采集图像进行恢复得到的原始图像信息估计；kn和jn分别代表对第n个成像平面上采集图像有影响的、离焦图像所在平面序号的上界与下界；
S5、根据图像序号和步骤S4的三维反卷积运算结果，在每一次恢复后的图像子堆栈中选取对应序号的在焦平面图像，将该在焦平面图像作为采集图像的原始图像信息估计，形成恢复图像堆栈；
S6、根据所述恢复图像堆栈，按照层析成像采样间距重建微结构的三维体积。
2.根据权利要求1所述的微结构加工的原位检测方法，其特征在于，第n个成像平面的采集图像in的表达式为：；/>表示在焦平面图像信息对层析成像采集到第n张图像的影响，/>表示离焦平面图像信息对层析成像采集到第n张图像的总影响。
3.根据权利要求1所述的微结构加工的原位检测方法，其特征在于，所述三维点扩散函数的确定过程包括：
A）确定层析成像过程中样品内成像平面步进深度：/>；其中，/>为小于成像系统奈奎斯特临界采样距离的采样距离，/>为镜头介质折射率，为镜头介质内的折射角，/>为样品介质折射率，/>为样品内的折射角；
B）将与照明光源光谱信息匹配的复色点光源放置于深度为的成像平面上；
C）基于镜头设计参数和深度、色散计算复色点光源穿过镜头和筒镜在工业相机的成像，即得到三维点扩散函数；
以为间隔逐次改变镜头到样品上表面的距离，模拟宽场层析成像过程中失焦平面对成像结果的影响，分别计算复色点光源穿过镜头和筒镜在工业相机的成像，即得到三维点扩散函数的二维截面；
D）根据实际样品厚度，改变，重复步骤B)-C)，直至仿真得到整个样品厚度内、与实际层析成像平面匹配的多组三维点扩散函数，构建加工原位检测装置成像模型。
4.根据权利要求1所述的微结构加工的原位检测方法，其特征在于，所述三维反卷积运算的关键参数确定过程包括：
层析成像需采集的图像总数量：/>；/>表示样品厚度，/>表示层析成像过程中成像平面在样品内的步进距离；
；/>表示可以进行三维反卷积操作的样品厚度范围，表示层析成像过程中第个成像平面对应的三维点扩散函数轴向半峰全宽，。
5.根据权利要求1所述的微结构加工的原位检测方法，其特征在于，对层析成像采集到的第n张图像进行三维反卷积运算时使用的图像子堆栈的图像序号下界jn和图像序号上界kn分别如下：
；
；
其中，表示取点扩散函数峰值强度，/>，表示PSFp和PSFq都属于第n个成像平面上模拟的三维点扩散函数的轴向二维截面堆栈中，所有点扩散函数均按整个三维点扩散函数堆栈峰值强度进行归一化；PSFp表示在第n个成像平面上模拟三维点扩散函数时，第p个成像平面上的点扩散函数；PSFq表示在第n个成像平面上模拟三维点扩散函数时，第q个成像平面上的点扩散函数，PSFn表示在第n个成像平面上模拟三维点扩散函数时，当前平面，即第n个成像平面的点扩散函数。
6.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～5任一项所述方法的步骤。
7.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608191.5A CN117314915B (zh) | 2023-11-29 | 2023-11-29 | 微结构加工的原位检测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608191.5A CN117314915B (zh) | 2023-11-29 | 2023-11-29 | 微结构加工的原位检测方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117314915A true CN117314915A (zh) | 2023-12-29 |
| CN117314915B CN117314915B (zh) | 2024-02-23 |
Family
ID=89274050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311608191.5A Active CN117314915B (zh) | 2023-11-29 | 2023-11-29 | 微结构加工的原位检测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117314915B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447684A (zh) * | 2016-08-10 | 2017-02-22 | 中国兵器科学研究院宁波分院 | 工业ct图像中弱边缘尺寸测量方法 |
| US20180330477A1 (en) * | 2017-01-18 | 2018-11-15 | David S. Paik | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| CN109580457A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 基于led阵列编码照明的三维衍射层析显微成像方法 |
| US20190380574A1 (en) * | 2016-11-30 | 2019-12-19 | University Of Southern California | An optical coherence tomography (oct) system with improved image quality |
| CN111369627A (zh) * | 2020-03-05 | 2020-07-03 | 电子科技大学 | 一种非侵入式散斑定向成像方法 |
| CN112268547A (zh) * | 2020-09-09 | 2021-01-26 | 山东省地质矿产勘查开发局第一地质大队 | 基于视频图像变化分析监测矿用缆绳运行系统及监控方法 |
| CN113336117A (zh) * | 2021-06-18 | 2021-09-03 | 湖南国天电子科技有限公司 | 一种温盐深绞车自动纠偏方法和装置 |
| CN214407465U (zh) * | 2020-09-09 | 2021-10-15 | 山东省地质矿产勘查开发局第一地质大队（山东省第一地质矿产勘查院） | 基于缆绳绳位变化图像识别的轨道状态监测和预警装置 |
| CN114022671A (zh) * | 2021-11-11 | 2022-02-08 | 中国矿业大学 | 一种基于残差神经网络的索道缆绳绳位智能识别方法 |
| US20220058438A1 (en) * | 2018-09-14 | 2022-02-24 | The Johns Hopkins University | Machine learning processing of contiguous slice image data |
| CN217299074U (zh) * | 2022-04-20 | 2022-08-26 | 徐州徐工基础工程机械有限公司 | 基于图像识别的悬吊式双轮铣削搅拌机刀架偏移检测系统 |
| CN114965470A (zh) * | 2022-05-19 | 2022-08-30 | 南京理工大学 | 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法 |
| CN116109768A (zh) * | 2023-01-31 | 2023-05-12 | 华中科技大学 | 一种傅里叶光场显微镜超分辨成像方法及系统 |
-
2023
- 2023-11-29 CN CN202311608191.5A patent/CN117314915B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447684A (zh) * | 2016-08-10 | 2017-02-22 | 中国兵器科学研究院宁波分院 | 工业ct图像中弱边缘尺寸测量方法 |
| US20190380574A1 (en) * | 2016-11-30 | 2019-12-19 | University Of Southern California | An optical coherence tomography (oct) system with improved image quality |
| US20180330477A1 (en) * | 2017-01-18 | 2018-11-15 | David S. Paik | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| US20220058438A1 (en) * | 2018-09-14 | 2022-02-24 | The Johns Hopkins University | Machine learning processing of contiguous slice image data |
| CN109580457A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 基于led阵列编码照明的三维衍射层析显微成像方法 |
| CN111369627A (zh) * | 2020-03-05 | 2020-07-03 | 电子科技大学 | 一种非侵入式散斑定向成像方法 |
| CN112268547A (zh) * | 2020-09-09 | 2021-01-26 | 山东省地质矿产勘查开发局第一地质大队 | 基于视频图像变化分析监测矿用缆绳运行系统及监控方法 |
| CN214407465U (zh) * | 2020-09-09 | 2021-10-15 | 山东省地质矿产勘查开发局第一地质大队（山东省第一地质矿产勘查院） | 基于缆绳绳位变化图像识别的轨道状态监测和预警装置 |
| CN113336117A (zh) * | 2021-06-18 | 2021-09-03 | 湖南国天电子科技有限公司 | 一种温盐深绞车自动纠偏方法和装置 |
| CN114022671A (zh) * | 2021-11-11 | 2022-02-08 | 中国矿业大学 | 一种基于残差神经网络的索道缆绳绳位智能识别方法 |
| CN217299074U (zh) * | 2022-04-20 | 2022-08-26 | 徐州徐工基础工程机械有限公司 | 基于图像识别的悬吊式双轮铣削搅拌机刀架偏移检测系统 |
| CN114965470A (zh) * | 2022-05-19 | 2022-08-30 | 南京理工大学 | 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法 |
| CN116109768A (zh) * | 2023-01-31 | 2023-05-12 | 华中科技大学 | 一种傅里叶光场显微镜超分辨成像方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MIKHAIL E. KANDEL ET AL.: "Epi-illumination gradient light interference microscopy for imaging opaque structures", 《NATURE COMMUNICATIONS》, pages 1 - 9 * |
| 曹轼毓: "异形薄壁陶瓷件激光打孔工艺研究", 《中国优秀博硕士学位论文全文数据库(硕士)》, no. 7, pages 1 - 76 * |
| 池汉彬: "超构表面在三维成像与显示技术中的应用", 《光学精密工程》, vol. 30, no. 15, pages 1775 - 1801 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117314915B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Diffraction tomography with a deep image prior | |
| Gallo et al. | 3D reconstruction of small sized objects from a sequence of multi-focused images | |
| Svoboda et al. | Generation of digital phantoms of cell nuclei and simulation of image formation in 3D image cytometry | |
| CA2348912C (en) | Phase determination of a radiation wave field | |
| CN112381770B (zh) | 一种基于融合卷积神经网络的磨损表面三维形貌测量方法 | |
| EP2702556A1 (en) | A method and apparatus for providing image data for constructing an image of a region of a target object | |
| CN109416464B (zh) | 在选择角度地照明时的伪迹减少 | |
| Ben Hadj et al. | Space variant blind image restoration | |
| Malm et al. | Simulation of bright‐field microscopy images depicting pap‐smear specimen | |
| Pitkäaho et al. | Focus classification in digital holographic microscopy using deep convolutional neural networks | |
| CN114241072B (zh) | 一种叠层成像重建方法及系统 | |
| Zhao et al. | Faster super-resolution imaging with auto-correlation two-step deconvolution | |
| Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
| CN112697751B (zh) | 多角度照明无透镜成像方法、系统及装置 | |
| Ficker et al. | Three‐dimensional reconstructions of solid surfaces using conventional microscopes | |
| CN117314915B (zh) | 微结构加工的原位检测方法、设备及存储介质 | |
| Fernandes et al. | Improving focus measurements using logarithmic image processing | |
| CN113298700A (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| Lee et al. | Three-dimensional shape recovery from image focus using polynomial regression analysis in optical microscopy | |
| CN114419401B (zh) | 白细胞检测识别方法、装置、计算机存储介质及电子设备 | |
| Lawrence et al. | Electron tomography and multiscale biology | |
| Markham et al. | Parametric blind deconvolution of microscopic images: Further results | |
| Kamau et al. | Least-squares based inverse reconstruction of in-line digital holograms | |
| Patwary et al. | Computationally tractable approach to PCA-based depth-variant PSF representation for 3D microscopy image restoration | |
| Tadrous | A method of PSF generation for 3D brightfield deconvolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |