CN117788547B - 一种基于介质微球的白光干涉图像超分辨三维重构方法 - Google Patents
一种基于介质微球的白光干涉图像超分辨三维重构方法 Download PDFInfo
- Publication number
- CN117788547B CN117788547B CN202410208758.8A CN202410208758A CN117788547B CN 117788547 B CN117788547 B CN 117788547B CN 202410208758 A CN202410208758 A CN 202410208758A CN 117788547 B CN117788547 B CN 117788547B
- Authority
- CN
- China
- Prior art keywords
- white light
- light interference
- pixel
- resolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000004005 microsphere Substances 0.000 title claims abstract description 36
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 239000000377 silicon dioxide Substances 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 235000012239 silicon dioxide Nutrition 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000002161 passivation Methods 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000010363 phase shift Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 239000000919 ceramic Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 239000002086 nanomaterial Substances 0.000 description 4
- 238000005305 interferometry Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于介质微球的白光干涉图像超分辨三维重构方法，包括如下步骤：步骤1、待测物体和二氧化硅介质微球的放置；步骤2、开启白光干涉显微镜，获得一个视场下的待测物体的一组白光干涉图像；步骤3、重复步骤2，获得下一个视场下的待测物体的一组白光干涉图像；步骤4，重复步骤3；步骤5、通过ESPCN模型，获得M组高分辨干涉图；步骤6、提取像素值；步骤7、获得一个像素位置扫描高度值Hmax；步骤8、重复步骤7，得到所有像素点的扫描高度值Hmax；步骤9、重构物体三维形貌。优点，本发明方法，通过亚像素超分辨神经网络模型与介质微球白光干涉图像想结合，提高介质微球超分辨成像质量，从而改善“钝化现象”。
Description
技术领域
本发明涉及光学检测领域，具体涉及一种基于介质微球的白光干涉图像超分辨三维重构方法。
背景技术
白光干涉显微镜在三维检测领域是精度最高的测量仪器之一。而白光干涉技术由于其面测量方式，测量范围广、非接触、 高精度等优势而被广泛使用。此外，为适应微纳结构不断发展的需要，高分辨的三维重构算法已成为微纳测量的主要发展方向。
然而，白光干涉技术的横向分辨率受到显微物镜倍率和衍射极限的限制，难以突破现有的分辨率。当样品微结构之间的空间超过高倍物镜的分辨率限制，传统的白光干涉测量技术难以达到预期的测量精度。此外，对于密度较高、横向间距较小的样品，为了获得较优的三维重构效果，往往需要采用高倍物镜。但是，高倍率物镜相比于低倍物镜价格昂贵很多，从而导致测量成本大大增大。实际测量过程中也因高倍率物镜视场小、焦距短，需要测量臂移动更多的位置从而使得测量效率大幅降低。
专利CN107388984《基于结构光与介质微球联合调制的微纳结构超分辨三维形貌检测方法》提出了一种结构光与介质微球联合调制的微纳结构超分辨三维形貌检测方法，该方法可以通过介质微球提高三维形貌的横向检测分辨率。但是由于介质微球中的光场分布较为复杂，在三维形貌检测中会引入成像像差，产生“钝化效应”。即，检测结果轮廓在台阶突变处变化缓慢，使得台阶处出现曲线轮廓而不是垂直变化轮廓，所以让白光干涉的纵向检测分辨率有所损失。此外，该专利中采用的五步相移法要求相移量为π/2，即相移步长依赖于光源中心波长；而在实际测量中，光源中心波长的标定会存在一定误差，从而也导致一定的纵向检测分辨率。
发明内容
本发明的目的，为了降低测量的硬件成本，在不增加高倍率的物镜的硬件条件下，提升白光干涉图像超分辨三维重构的横向及纵向精度，本专利提出了一种改进的基于介质微球的白光干涉图像超分辨三维重构方法。
采取的技术方案：一种基于介质微球的白光干涉图像超分辨三维重构方法，包括如下步骤：
步骤1、待测物体置于白光干涉显微镜的置物台上，并将二氧化硅介质微球置于待测物体上，使得介质微球位于显微成像物镜的下方；
步骤2、开启白光干涉显微镜，获得一个视场下的待测物体的一组白光干涉图像；
步骤3、在X向和Y向移动载物台，重复步骤2，获得下一个视场下的待测物体的一组白光干涉图像；
步骤4，重复步骤3，获得M个视场下的待测物体的M组白光干涉图像；
步骤5、将步骤4中的M组白光干涉图像引入训练好模型参数的亚像素超分辨卷积神经网络模型ESPCN，获得M组高分辨干涉图；
步骤6、提取步骤5中M组高分辨干涉图内的像素点的像素值；
步骤7、根据步骤6中的得到的一个像素点的所有像素值，拟合出该像素点的白光干涉信号强度曲线；根据白光干涉信号强度曲线，采用希尔伯特变换的包络曲线拟合法，构建该像素点的白光干涉信号的包络曲线，再用质心法求解包络曲线的峰值，得到该像素点的像素值最大时对应的扫描高度值Hmax；
步骤8、重复步骤7，获得M组高分辨干涉图内所有像素点的白光干涉信号强度曲线及包络曲线，并得到M组所有像素点的像素值最大时对应的扫描高度值Hmaxi[Hmax1、Hmax2、Hmax3、……Hmaxi]；
步骤9、重构物体三维形貌：首先，进行图像坐标系与世界坐标系的标定，将步骤8中所有像素点（X,Y）转化成空间点（X_reai，Y_reai，Z_reai），得到M个视场的物体三维坐标集合，即可物体三维形貌。
本发明方法，一方面通过一种高效的亚像素超分辨神经网络模型ESPCN与介质微球白光干涉图像相结合，提高介质微球超分辨成像质量，从而改善“钝化现象”。另一方面，希尔伯特变换包络法有着计算简便，易于操作，精度高等优点，将其引入改进的白光干涉三维重建技术。通过充分结合两种方法的优势，不仅可以进一步提升白光干涉检测的纵向高精度，还可以通过介质微球提高三维形貌的横向检测分辨率。
对本发明技术方案的进一步改进，步骤2中获得一组白光干涉图像的方法为：白光干涉显微镜内PZT带动干涉物镜进行垂直方向移动n个高度H（H1、H2、 H3……Hn），在每一个高度H处，CCD相机均采集一张白光干涉图像，获得1组白光干涉图像，1组白光干涉图像包含n张。
对本发明技术方案的进一步改进，步骤6中的像素值提取方法为：设一个视场内的一张高分辨干涉图上的某一个像素位置的坐标为（x,y），对应的像素值为I（x,y），且每个I（x,y）对应一个高度H。
对本发明技术方案的进一步改进，步骤5中的亚像素超分辨卷积神经网络模型ESPCN包括三个卷积层。第一层，为普通卷积层，具有64 个过滤器和 5×5 内核大小的卷积层，然后紧接一个 tanh函数激活层；第二层，也为普通卷积层，具有 32 个过滤器和 3×3内核大小的卷积层，也是紧跟一个 tanh函数激活层；第三层，称为亚像素卷积层，输出通道数固定为C×r×r，核大小为3×3，然后紧接一个反卷积层；其中，C为输入图像的通道数，r为特征图的通道数。
普通卷积层的作用是从输入的低分辨率图像中提取特征信息，ESPCN的前两层分别具有64和32个过滤器，可以提取更丰富的图像的特征信息。亚像素卷积层：是ESPCN的核心部分，它的作用是首先将第一、二两层的普通卷积层提取出来的图像特征通道数重新排列成C×r×r，再经过反卷积层进行上采样，从而将低分辨图像高效地恢复成高分辨率的图像。
采用这种网络结构的好处：
（1）由于图像分辨率的提升往往需要学习更多的图像特征信息，因此图像超分辨率方法需要大量的训练数据和复杂的模型，这无疑增加了计算量和时间成本。而该种网络结构不需要大量的训练数据和复杂的模型，只需要对输入的低分辨率图像进行两层普通卷积运算和一层亚像素卷积运算，因此计算效率非常高，大大节约了计算成本。
（2）该网络结构具备更广泛的适用性。可以适用于各种类型的低分辨率图像，如灰度图像、彩色图像等。同时，它也可以适用于不同的超分辨率应用场景，如单帧超分辨率、视频超分辨率等。
（3）结构简单，易于实现和使用。它的参数数量也相对较少，比起一些大模型可以更快地进行训练和推理。
本发明与现有技术相比具有的有益效果是：
1、本发明方法，在不增加高倍率的物镜的硬件条件下，提升白光干涉图像超分辨三维重构的横向及纵向精度。
2、本发明方法，操作简单，实施成本低。
3、本发明方法，通过亚像素超分辨神经网络模型(ESPCN)与介质微球白光干涉图像想结合，提高介质微球超分辨成像质量，从而改善“钝化现象”。
附图说明
图1为本实施例的白光干涉显微镜的成像系统原理图；
图2为本实施例的基于介质微球的白光干涉图像超分辨三维重构方法的流程框图；
图3为本实施例的白光干涉显微镜的PZT的工作原理图；
图4为本实施例的待测物体的M组视场分布的示意图；
图5为本实施例的ESPCN模型的结构示意图；
图6为本实施例的拟合出一个像素位置的包络曲线的示意图
图7为本实施例的获得1个视场内所有像素位置零光程差位置的示意图；
图8为实施例1的系统架构图；
图9为实施例1的一个视场范围示意图；
图10为实施例1的M组干涉图像获取过程中的视场范围运动状态示意图；
图11为实施例1中像素值与扫描高度H的对应关系；
图12为实施例1中拟合成的白光干涉信号曲线的示意图；
图13为实施例1中白光干涉信号及其包络曲线的示意图；
图14为实施例1中1号视场内1920*2560个像素点零光程差示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
为使本发明的内容更加明显易懂，以下结合附图1-附图14和具体实施方式做进一步的描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例一种基于介质微球的白光干涉图像超分辨三维重构方法，具体如下：
首先，通过甩胶机将二氧化硅介质微球放置于待测物体表面上。纵向上，压电陶瓷PZT进行纵向高精度扫描，得到介质微球在不同纵向扫描位置Z的干涉图像。横向上，利用介质微球产生超分辨三维光场的特性，通过显微系统获取得到突破衍射极限的干涉成像。
其次，对干涉图像使用亚像素超分辨卷积神经网络模型ESPCN。使用预先训练好的亚像素超分辨卷积神经网络模型ESPCN对干涉图像组进行超分辨重构，即向该亚像素超分辨卷积神经网络模型ESPCN中输入一组上述对待测物体测量过程中光学CCD相机采集到的白光干涉图组，输出超分辨处理后的高分辨干涉图。
然后，再利用上一步得到的高质量的高分辨干涉图进行物体表面的三维形貌重建。这里，主要通过基于希尔伯特变换的包络曲线拟合法，提取干涉信号的包络曲线。得到包络曲线后，再利用质心法求解包络曲线的极大值点，并将其作为零光程差位置。再根据每个像素点零光程差位置，作为物体表面纵向高度值。
最后，根据所得的纵向，横向结构信息，最后整合成空间三维数据信息，实现微纳结构的超分辨三维形貌检测。
如图1和2所示，本实施例系一种基于介质微球的白光干涉图像超分辨三维重构方法，包括如下步骤：
步骤1、待测物体1置于白光干涉显微镜的置物台上，并将二氧化硅介质微球2置于待测物体上，使得介质微球位于干涉物镜3的下方。如图1所示。
本实施例步骤1中，二氧化硅介质微球通过甩胶机置于待测物体的表面上，开启白光光源4，光源透过透镜5，再通过分光镜6进入干涉物镜3；在二氧化硅介质微球的成像辅助下，待测物体的结构成像信息被光学CCD相机7捕捉。如图1所示。
步骤2、开启白光干涉显微镜，获得一个视场下的待测物体的一组白光干涉图像。
本实施例步骤2中：获得一组白光干涉图像的方法为，白光干涉显微镜内PZT带动干涉物镜进行垂直方向移动n个高度H（H1、H2、 H3……Hn），在每一个高度H处，CCD相机均采集一张白光干涉图像，获得1组白光干涉图像，1组白光干涉图像包含n张。
本实施例中，压电陶瓷PZT8在白光干涉显微镜中的应用为本领域技术内的已知技术，进一步说明为：压电陶瓷PZT在白光干涉显微镜中提供的作用是通过给予电压信号来产生垂直方向微量位移，以进行相同间距的位移进行逐层扫描。垂直方向能够获得的每一步的微量位移量决定了垂直方向的取样间隔，虽然可以通过机械机构来获得微量位移但是其每一步的位移很难控制在非常均匀的步阶长度上，而用电压驱动的PZT则可以将电讯号精确转换为位移，获得均匀的步阶运动，且每一步的位移可以控制的非常精确。
本实施例步骤2中：开启白光干涉显微镜，PZT带动干涉物镜进行垂直方向的移动n个H高度(H1、H2...Hn)。在每一个高度H处，用光学CCD相机采集一张白光干涉图像，从而获得多1组（有n张）白光干涉图像，1组白光干涉图像拍摄的视野范围是一个视场的待测物体。如图3所示。
步骤3、在X向和Y向移动载物台，重复步骤2，获得下一个视场下的待测物体的一组白光干涉图像。
本实施例步骤3：分别根据X和Y方向移动白光干涉显微镜的载物台，载物台带着待测物体进行移动，直到移动到下一个视场范围，重复多次，直至视场覆盖到待测物体的边界位置处，采集M个视场范围的待测物体。注意：X和Y方向是载物台移动，PTZ不动，从而让视场遍历整个待测物体。如图4所示。
步骤4，重复步骤3，获得M个视场下的待测物体的M组白光干涉图像。
步骤5、将步骤4中的M组白光干涉图像引入训练好模型参数的亚像素超分辨卷积神经网络模型ESPCN，获得M组高分辨干涉图。
本实施例步骤5中，亚像素超分辨卷积神经网络模型ESPCN为已知模型。本实施例中亚像素超分辨卷积神经网络模型ESPCN的网络结构如图5所示。
本实施例中，亚像素超分辨卷积神经网络模型ESPCN包括三个卷积层。第一层，为普通卷积层，具有64 个过滤器和 5×5 内核大小的卷积层，然后紧接一个 tanh函数激活层；第二层，也为普通卷积层，具有 32 个过滤器和 3×3 内核大小的卷积层，也是紧跟一个 tanh函数激活层；第三层，称为亚像素卷积层，输出通道数固定为C×r×r，核大小为3×3，然后紧接一个反卷积层；其中，C为输入图像的通道数，r为特征图的通道数。如图5所示。
ESPCN模型输入是原始低分辨率的白光干涉图像，通过三个卷积层以后，得到通道数为r² 的与输入图像大小H*W一样的特征图像。再将特征图像每个像素的 r²个通道重新排列成一个r*r的区域，对应高分辨率图像中一个r*r大小的子块，从而大小为H*W*r²的特征图像被重新排列成 rH*rW*1的高分辨率图像，W为低分辨率图像的宽度，H为低分辨率图像的高度。
步骤6、提取步骤5中M组高分辨干涉图内的像素点的像素值。
本实施例步骤6中的像素值提取方法为：设一个视场内的一张高分辨干涉图上的某一个像素位置的坐标为（x,y），对应的像素值为I（x,y），且每个I（x,y）对应一个高度H。
具体举例如下：
以1号视场为例，进一步说明：设1号视场内有n幅高分辨干涉图像。
设高分辨干涉图像上的某一个像素位置的坐标为（x,y），对应的像素值为I（x,y），那么对于1号视场，有n幅高分辨干涉图像将有N个（x,y）和N个I（x,y）,并且和H是一一对应的。也就是，H1对应IH1（x,y），H2对应IH2（x,y），.....Hn对应IHn（x,y）。这里，像素值的IH1（x,y），IH2（x,y）...... IHn（x,y）的变化，反应在坐标（x,y）白光干涉信号的从H1到Hn光强值变化。
步骤7、根据步骤6中的得到的一个像素点的所有像素值，拟合出该像素点的白光干涉信号强度曲线；根据白光干涉信号强度曲线，采用希尔伯特变换的包络曲线拟合法，构建该像素点的白光干涉信号的包络曲线，再用质心法求解包络曲线的峰值，得到该像素点的像素值最大时对应的扫描高度值Hmax。
本实施例步骤7具体为：为了求得像素位置(x,y)处H1到Hn变化中光强值最大时候对应的Hmax及IHmax（x,y）,需要绘制出白光干涉信号光强度曲线，以及白光干涉信号的包络曲线。首先，根据H1对应IH1（x,y），H2对应IH2（x,y），..... Hn对应IHn（x,y）绘制出H关于I（x,y）的曲线图。对于（x,y）位置上白光干涉信号光强度采用希尔伯特变换的包络曲线拟合法，提取一个（x,y）位置上的干涉信号的包络曲线f(x,y)。如图6所示，黑色曲线是H关于I（x,y）的曲线，红色的曲线为干涉信号的包络曲线f(x,y)，横坐标表示H，纵坐标表示I（x,y）。
希尔伯特变换包络拟合法步骤：
设原始实值信号为f(t)，对其进行希尔伯特变换的结果为h(t)，则有公式1：
公式1
其中，t表示扫描位置高度，表示扫描高度位置间隔。设希尔伯特变换的频率响应为/>则有公式2：/>公式2
其中，ω表示相位角，j为虚数单位，sgn(ω)表示ω小于0时函数值为-1,等于0时为0,ω大于0时函数值为1。希尔伯特变换的意义在于，对干涉信号的正频率部分进行-π/2相移，负频率部分进行π/2相移，而干涉信号的幅频特性保持不变。
f(t)为干涉信号中实值信号，用希尔伯特变换构造解析信号z(t)如下公式3：
公式3
该解析信号z(t)的求模即为包络信号。得到包络后再利用重心法求解包络的极大值点，干涉信号包络曲线f(x,y)的最大值IHmax（x,y），以及光强最大时候对应的高度位置Hmax，即该像素点的像素值最大时对应的扫描高度值Hmax，并将Hmax作为零光程差位置。
重复多次，获得1号视场中每个像素位置的零光程差位置，即，也就是：像素位置（x1,y1）计算出Hmax1, 像素位置（x2,y2）处计算出Hmax2,像素位置（x3,y3）处计算出Hmax3； 依次计算1号视场内所有的像素位置，到最后一个位置（xi，yi），得到Hmaxi。如图7所示。
步骤8、重复步骤7，获得M组高分辨干涉图内所有像素点的白光干涉信号强度曲线及包络曲线，并得到M组所有像素点的像素值最大时对应的扫描高度值Hmax。
本实施例步骤8，按照步骤7中描述的详细步骤，获得M组高分辨干涉图内所有像素点的白光干涉信号强度曲线及包络曲线，并得到M组所有像素点的像素值最大时对应的扫描高度值Hmax。
步骤9、重构物体三维形貌：首先，进行图像坐标系与世界坐标系的标定，将步骤8中所有像素点（X,Y）转化成空间点（X_reai，Y_reai，Z_reai），得到M个视场的物体三维坐标集合，即可物体三维形貌。
本实施例步骤9，物体三维形貌，需要物体现实的三维坐标点集合（X_real, Y_real, Z_real）。
具体举例如下：
以1号视场为例，进一步说明：获得物体现实的三维坐标点集合（X_real, Y_real,Z_real）的方法：首先，重构（X,Y），需要进行图像坐标系与实际坐标系的标定，将所有像素位置（X,Y）转化成物体现实坐标（X_real，Y_real）。其次，Z_real，需要将每个像素点零光程差位置Hmax作为待测物体上所有（X,Y）像素位置上的高度Z_real，即Z_real = Hmax。 最终，得到1号视场范围中物体实际的三维点坐标集：（x_real1, y_real1, z_real1）、（x_real2, y_real2, z_real2）.....（x_reali ,y_reali, z_reali）。
遍历2号~M号所有视场，得到，M个视场的物体三维坐标集合（X_real, Y_real, Z_real）即可以重构物体三维形貌。
进一步，本实施例方法中，希尔伯特变换的包络曲线线拟合法也可以选择小波变换法。
应用实施例
1）硬件架设：
如图8所示，本系统主要包含光学CCD相机7、白光光源4、透镜5、分光镜6、压电陶瓷PZT8、干涉物镜3、介质微球2、载物台9、网线10及工控机11。待测的物体放置在载物台上，介质微球置于物体上方，工控机通过网线与摄像机CCD进行连接。
其中，光学CCD相机7的CCD摄像头的分辨率为640*480像素，像素尺寸为1微米；干涉物镜3为10倍；视场范围为：1mm*1mm；压电陶瓷PZT8的扫描步长设置为50nm；待测物体1为5mm*5mm的方形硅片。
2）运行环境搭建：
（1）工控机环境：酷睿i7处理器，Win10专业版，NVIDIA图像驱动程序，VisualStdio 2022版本，Pycharm2022版, Python3.7, Matlab2022版，Gwyddion。
（2）摄像机CCD的控制：安装CCD自带的驱动程序和SDK开发包，在Visual Stdio中用相应的C++连接模块，实现工控机对相机CCD拍摄图像的存取。
（3）干涉图像处理及物体三维重建模块：基于Python脚本开发，使用到了下面的库：Numpy ；Scipy；OpenCV ；cuPy ；Gpufit ；Gwyfile 。
3）具体实现过程
3．1）准备工作：
将待测物体1置于白光干涉显微镜的载物台9上，并将二氧化硅介质微球2置于待测物体1上，使得介质微球位于干涉物镜3的下方；开启白光干涉显微镜，开启摄像机CCD电源模块，开启白光光源，开启工控机，启动摄像机驱动程序。
3．2）获取一个视场的干涉图像。
开启PZT模组，使得PZT带动干涉物镜进行垂直方向的移动扫描。PZT以步长为50纳米的间隔进行扫描，总共扫描200个位置的高度值，扫描的总范围是0-10微米（200个位置*50纳米）。 在每一个扫描高度处，启动摄像机CCD采集图像模块，用CCD采集一张白光干涉图像。从0微米到10微米共扫描200个高度，于是获得一组200张白光干涉图像。这一组白光干涉图像拍摄的视野范围是一个视场（1mm*1mm）的待测物体，如图9所示。
3．3）获取物体上表面所有视场的干涉图像。
如图10所示，分别根据X和Y方向移动载物台，载物台带着物体进行移动，直到当前视场范围至待测物体的边界位置处，从而让视场遍历整个待测物体。这里，载物台在移动的过程中，PTZ保持静止；当载物台静止时PZT开始垂直方向扫描。由于待测物体为5mm*5mm的方形硅片，一个视场的大小为1mm*1mm ，所以至少需要采集25个视场，重复步骤2，获取得到25组白光干涉图像。
3．4）获取超分辨白光干涉图像。
将3．3）中获得的25组（共5000张）白光干涉图像引入提前训练好模型参数的亚像素超分辨卷积神经网络模型ESPCN，获得5000张经过ESPCN模型处理的高分辨干涉图。这里我们设置放大尺度r为4倍，图像的通道数为3。ESPCN模型输入是原始低分辨率（640*480）图像，中间通过三个卷积层以后，得到通道数为4² 的与输入图像大小一样的特征图像。
这三个卷积层结构为：第一层：具有 64 个过滤器和 5×5 内核大小的卷积层，然后是一个 tanh 激活层。第二层：具有 32 个过滤器和 3×3 内核大小的卷积层，后面是一个 tanh 激活层。第三层：卷积层，输出通道数固定为3×4×4，核大小为3×3。再将特征图像每个像素的 4² 个通道重新排列成一个4*4的区域，对应高分辨率图像中一个4*4的子块，从而大小为480*640*4²的特征图像被重新排列成 1920*2560*1 的高分辨率图像。
3．5）拟合白光干涉信号曲线。
将3．5）中得到的高分辨干涉图，将其所有的像素值提取出来，得到5000幅高分辨干涉图像的像素，每一幅图像有1024*1024个像素值。
从1号视场开始进行计算。对于1号视场，有200幅超分辨干涉图像，每一幅干涉图像对应一个扫描位置高度h，如图11所示。取干涉图像上的某一个像素位置的坐标为（x,y），对应的像素值为I（x,y）。1号视场内有200个不同取值的I（x,y）。即h1对应Ih1，h2对应Ih2......h200对应Ih200。根据像素值与扫描高度H的对应关系，拟合像素值关于扫描高度H的曲线关系，如图12所示。
3．6）获得希尔伯特变换的拟合包络曲线，计算零光程差位置Z。
为了求得3．5）中提到的像素位置(x,y)处，从h1到h200扫描位置像素值最大时候对应的高度值，需要绘制出白光干涉信号的包络曲线。这里采用精度较高的、快捷简便的希尔伯特变换法，得到白光干涉信号的包络曲线。得到包络后，再利用质心法求解包络的峰值点，并将其作为在（x,y）位置上，像素值最大的扫描高度位置，如图13所示：黑色曲线是白光干涉信号曲线，虚线的曲线为干涉信号的包络曲线，横坐标表示扫描高度H，纵坐标表示像素值I。
设原始实值信号为f(t)，对其进行希尔伯特变换的结果为h(t)，则有公式1：
公式1
其中，t表示扫描位置高度，表示扫描高度位置间隔。设希尔伯特变换的频率响应为/>则有公式2：/>公式2
其中，ω表示相位角，j为虚数单位，sgn(ω)表示ω小于0时函数值为-1,等于0时为0,ω大于0时函数值为1。希尔伯特变换的意义在于，对干涉信号的正频率部分进行-π/2相移，负频率部分进行π/2相移，而干涉信号的幅频特性保持不变。
f(t)为干涉信号中实值信号，用希尔伯特变换构造解析信号z(t)如下公式3：
公式3
该解析信号z(t)的求模即为包络信号。得到包络曲线后，找到所有包络线的峰值点，再利用重心法求解包络的最大值点，并将其作为像素值最大时的扫描位置即零光程差位置Z（x1,y1）。
对1号视场中每一个像素点，重复步骤3.5和步骤3.6，获得1号视场中每个像素点零光程差位置。如图14所示，即：像素点（x1,y1）的零光程差为计算出Z（x1,y1）;像素点（x2,y2）的零光程差为计算出Z（x2,y2）;像素点（x3,y3）的零光程差为计算出Z（x3,y3）; 依次计算1号视场内所有的像素位置，计算到最后一个位置像素点（x1920,y2560）的零光程差。
3.7）重构物体三维形貌。
首先，对1号视场范围内的像素点进行三维重构，也就是需要获得1号视场范围内物体现实三维坐标点集合。需要进行图像坐标系与现实坐标系的标定，将所有像素点集合（X,Y）转化成物体现实坐标集合（X_real，Y_real，Z_real）。其中Z_real就是上一步中计算得到的零光程差位置集合Z。其次，标定过程就是根据摄像机CCD的像素尺寸的参数，计算出图像坐标与现实坐标的转化系数weight。于是可以得到：X_real =weight X。
对2号至25号所有视场，重复步骤5-步骤6，全部25个视场的物体三维坐标集合即可以重构物体三维形貌。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (4)
1.一种基于介质微球的白光干涉图像超分辨三维重构方法，其特征在于，包括如下步骤：
步骤1、待测物体置于白光干涉显微镜的置物台上，并将二氧化硅介质微球置于待测物体上，使得介质微球位于显微成像物镜的下方；
步骤2、开启白光干涉显微镜，获得一个视场下的待测物体的一组白光干涉图像；
步骤3、在X向和Y向移动载物台，重复步骤2，获得下一个视场下的待测物体的一组白光干涉图像；
步骤4，重复步骤3，获得M个视场下的待测物体的M组白光干涉图像；
步骤5、将步骤4中的M组白光干涉图像引入训练好模型参数的亚像素超分辨卷积神经网络模型ESPCN，获得M组高分辨干涉图；
步骤6、提取步骤5中M组高分辨干涉图内的像素点的像素值；
步骤7、根据步骤6中的得到的一个像素点的所有像素值，拟合出该像素点的白光干涉信号强度曲线；根据白光干涉信号强度曲线，采用希尔伯特变换的包络曲线拟合法，构建该像素点的白光干涉信号的包络曲线，再用质心法求解包络曲线的峰值，得到该像素点的像素值最大时对应的扫描高度值Hmax；
步骤8、重复步骤7，获得M组高分辨干涉图内所有像素点的白光干涉信号强度曲线及包络曲线，并得到M组所有像素点的像素值最大时对应的扫描高度值Hmax；
步骤9、重构物体三维形貌：首先，进行图像坐标系与世界坐标系的标定，将步骤8中所有像素点（X,Y）转化成空间点（X_reai，Y_reai，Z_reai），得到M个视场的物体三维坐标集合，即可物体三维形貌。
2.根据权利要求1所述的方法，其特征在于：步骤2中获得一组白光干涉图像的方法为：白光干涉显微镜内PZT带动干涉物镜进行垂直方向移动n个高度H（H1、H2、 H3……Hn），在每一个高度H处，CCD相机均采集一张白光干涉图像，获得1组白光干涉图像，1组白光干涉图像包含n张。
3.根据权利要求2所述的方法，其特征在于：步骤6中的像素值提取方法为：设一个视场内的一张高分辨干涉图上的某一个像素位置的坐标为（x,y），对应的像素值为I（x,y），且每个I（x,y）对应一个高度H。
4.根据权利要求1所述的方法，其特征在于：步骤5中的亚像素超分辨卷积神经网络模型ESPCN包括三个卷积层，第一层，为普通卷积层，具有64 个过滤器和 5×5 内核大小的卷积层，然后紧接一个 tanh函数激活层；第二层，也为普通卷积层，具有 32 个过滤器和 3×3 内核大小的卷积层，也是紧跟一个 tanh函数激活层；第三层，为亚像素卷积层，输出通道数固定为C×r×r，核大小为3×3，然后紧接一个反卷积层；其中，C为输入图像的通道数，r为特征图的通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410208758.8A CN117788547B (zh) | 2024-02-26 | 2024-02-26 | 一种基于介质微球的白光干涉图像超分辨三维重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410208758.8A CN117788547B (zh) | 2024-02-26 | 2024-02-26 | 一种基于介质微球的白光干涉图像超分辨三维重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117788547A CN117788547A (zh) | 2024-03-29 |
| CN117788547B true CN117788547B (zh) | 2024-04-26 |
Family
ID=90391317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410208758.8A Active CN117788547B (zh) | 2024-02-26 | 2024-02-26 | 一种基于介质微球的白光干涉图像超分辨三维重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788547B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118089564B (zh) * | 2024-04-18 | 2024-07-16 | 南京埃米仪器科技有限公司 | 一种基于白光干涉仪的薄膜厚度测试方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106643559A (zh) * | 2017-03-06 | 2017-05-10 | 中国科学院光电技术研究所 | 一种基于混合干涉条纹的白光显微干涉形貌重建方法 |
| CN107388984A (zh) * | 2017-07-11 | 2017-11-24 | 中国科学院光电技术研究所 | 基于结构光与介质微球联合调制的微纳结构超分辨三维形貌检测方法 |
| CN111986315A (zh) * | 2020-08-26 | 2020-11-24 | 山东大学 | 一种基于深度学习的超分辨白光干涉图三维重建方法 |
| CN116817792A (zh) * | 2023-07-03 | 2023-09-29 | 中国科学院光电技术研究所 | 一种基于三维卷积神经网络的白光干涉信号解调方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2914892C (en) * | 2015-04-30 | 2023-09-19 | Farnoud Kazemzadeh | A system, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy |
| CN115147723B (zh) * | 2022-07-11 | 2023-05-09 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
-
2024
- 2024-02-26 CN CN202410208758.8A patent/CN117788547B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106643559A (zh) * | 2017-03-06 | 2017-05-10 | 中国科学院光电技术研究所 | 一种基于混合干涉条纹的白光显微干涉形貌重建方法 |
| CN107388984A (zh) * | 2017-07-11 | 2017-11-24 | 中国科学院光电技术研究所 | 基于结构光与介质微球联合调制的微纳结构超分辨三维形貌检测方法 |
| CN111986315A (zh) * | 2020-08-26 | 2020-11-24 | 山东大学 | 一种基于深度学习的超分辨白光干涉图三维重建方法 |
| CN116817792A (zh) * | 2023-07-03 | 2023-09-29 | 中国科学院光电技术研究所 | 一种基于三维卷积神经网络的白光干涉信号解调方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117788547A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117788547B (zh) | 一种基于介质微球的白光干涉图像超分辨三维重构方法 | |
| US5995143A (en) | Analog circuit for an autofocus microscope system | |
| JP5268257B2 (ja) | イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器 | |
| CN103808567B (zh) | 一种钎焊接头力学性能实验方法 | |
| US20090295963A1 (en) | Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens | |
| CN101487809B (zh) | 零点定标方法及在光学微扫描显微热成像系统中的应用 | |
| CN114596525A (zh) | 一种基于计算机视觉的动态桥梁形态识别方法 | |
| JP2008109477A (ja) | 画像生成装置および画像生成方法 | |
| CN111811406A (zh) | 一种超景深显微快速测量装置及测量方法 | |
| CN102680741B (zh) | 一种计量型扫描电子显微镜成像控制系统及扫描成像方法 | |
| CN104168430A (zh) | 一种tdi ccd焦平面编码超分辨率成像装置及方法 | |
| CN116952357A (zh) | 基于线-面相机结合的分光成像视觉振动测量系统及方法 | |
| Goodwin et al. | Starbugs: focal plane fiber positioning technology | |
| CN110162351A (zh) | 一种三维扫描光学显微成像的软件系统 | |
| CN111986315A (zh) | 一种基于深度学习的超分辨白光干涉图三维重建方法 | |
| CN108955562B (zh) | 显微视觉系统显微景深数字化扩展方法及系统 | |
| CN114397090B (zh) | 一种连续变焦相机光轴平行性快速测量方法 | |
| CN114659465A (zh) | 一种微纳跨尺度表面结构快速测量方法和装置 | |
| JP3406746B2 (ja) | 三次元計測方法および表示方法、ならびに三次元計測装置 | |
| CN108181005A (zh) | 一种用于tdi ccd探测器焦面调试的方法及系统 | |
| Wang et al. | Depth measurement for the objects with a small height using depth-focus-based microscopic vision system | |
| JP2001241919A (ja) | 変位測定装置 | |
| JP2004117010A (ja) | 変位測定装置 | |
| CN114322839B (zh) | 光斑轮廓的检测方法 | |
| CN113933984B (zh) | 用于生成由多个显微子图像合成的图像的方法和显微镜 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |