CN111986315B - 一种基于深度学习的超分辨白光干涉图三维重建方法 - Google Patents

一种基于深度学习的超分辨白光干涉图三维重建方法 Download PDF

Info

Publication number
CN111986315B
CN111986315B CN202010868358.1A CN202010868358A CN111986315B CN 111986315 B CN111986315 B CN 111986315B CN 202010868358 A CN202010868358 A CN 202010868358A CN 111986315 B CN111986315 B CN 111986315B
Authority
CN
China
Prior art keywords
resolution
white light
super
network
fsrcnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010868358.1A
Other languages
English (en)
Other versions
CN111986315A (zh
Inventor
杨忠明
辛磊
刘兆军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010868358.1A priority Critical patent/CN111986315B/zh
Publication of CN111986315A publication Critical patent/CN111986315A/zh
Application granted granted Critical
Publication of CN111986315B publication Critical patent/CN111986315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Instruments For Measurement Of Length By Optical Means (AREA)

Abstract

本发明涉及一种基于深度学习的超分辨白光干涉图三维重建方法,该方法通过FSRCNN网络对CCD采集的干涉图进行超分辨处理,进一步丰富白光干涉图的细节信息,再用改良后的重心法算法提取出待测样品各点干涉信号的零光程差位置,提取样品高度信息。该方法能有效地提高白光干涉法的横向分辨率,能够实现通过低倍率物镜实现高倍率物镜的测量效果,甚至在极限条件下能突破该方法的横向分辨能力的极限。同时本发明是在算法上对测量结果的优化,故不需要添加额外的硬件,在传统的白光干涉系统的基础上就能实现,具有较强的兼容性与适用性。

Description

一种基于深度学习的超分辨白光干涉图三维重建方法
技术领域
本发明涉及一种基于深度学习的超分辨白光干涉图三维重建方法,属于精密测量信号处理技术领域。
背景技术
白光干涉测量技术是一种重要的测量方法,具有非接触、测量速度快、范围大、精度高等优点,在超精密加工器件、MEMS元器件、生物细胞组织等微结构形貌测量领域得到广泛应用。白光干涉测量技术是基于参考光与物光的干涉光强随着测量臂位置变化的信号提取样品各个位置的高度信息,进一步恢复样品的表面形貌。然而,白光干涉技术的横向分辨率受到显微物镜倍率和衍射极限的限制,难以突破现有的横向分辨率。此外,虽然显微物镜放大倍率越高,实际测量结果的横向分辨率也越高,但高倍物镜的设计和制作过程复杂而繁琐,价格昂贵,并且实际测量过程中也因高倍率物镜视场小、焦距短而增加操作难度。因此,通过低倍率物镜实现高倍率物镜的测量结果,甚至是通过对高倍率物镜测量结果处理,突破现有测量能力的横向分辨率极限是一件十分有意义的工作。
近年来,深度学习(DL)得到了快速发展。由于其工作效率高,与其他领域相结合得到了广泛的应用。卷积神经网络(CNNs)是一种具有代表性的DL技术,在图像信号识别和处理领域表现出了优越的性能。特别是一种新型的CNN模型,快速超分辨率卷积神经网络(FSRCNN),在图像超分辨率处理领域被证明是非常有效的。
因此,我们提出一种基于FSRCNN对白光干涉图超分辨处理后,再提取处理后的干涉图的高度信息进行三维重构的算法,该方法能有效的提高测量结果的横向分辨率,实现通过低倍物镜获得高倍物镜的结果,在适当条件下甚至可以突破现有的白光干涉测量的横向分辨率极限。
发明内容
针对现有技术的不足,本发明提供一种基于深度学习的超分辨白光干涉图三维重建方法,实现现有白光干涉系统测量结果横向分辨率的进一步提高,实现白光干涉系统不受物镜倍率的影响,甚至突破测量能力的横向分辨率极限。
本发明的技术方案如下:
一种基于深度学习的超分辨白光干涉图三维重建方法,包括以下步骤:
(1)搭建FSRCNN网络,输入对应的低分辨率与高分辨率干涉图进行训练,获得权重系数及偏差数用于深度学习处理参数;
(2)使用训练后的FSRCNN网络处理干涉图,即向FSRCNN网络输入一组实际测量过程中CCD采集到的白光干涉图,由FSRCNN网络输出超分辨处理后的高分辨的干涉图;
(3)将所有超分辨处理后的干涉图收集起来作为处理样本,以点为单位提取样本所有位置光强随测量臂位置移动的光强变化曲线即为干涉信号;
(4)使用改良后的重心法算法提取干涉信号最大值的位置坐标即为该点的高度信息;
(5)提取出样品表面所有位置处的高度信息,恢复样品完整的三维表面形貌。
优选的,步骤(1)中,搭建的FSRCNN网络包括以下内容:
(a)FSRCNN网络分为六步,分别是特征提取,收缩,非线性映射,扩张,反卷积以及补充,依次对应着Conv1,Conv2,Conv3,Conv4,DeConv层以及从输入图到输出图的直连通道;
(b)其中Conv1的卷积核尺寸为5×5,数量为64;Conv2的卷积核尺寸为1×1,数量为12;Conv3的层数M=3,每层的卷积核尺寸为3×3,数量为12;Conv4的卷积核尺寸为1×1,数量为56;DeConv的卷积核尺寸为9×9,数量为1;
(c)其中补充作用的从输入图到输出图的直连通道是为了补偿在网络信息传递过程中导致的信息丢失与损耗。
优选的,步骤(1)中,对应的低分辨率与高分辨率干涉图,是指通过仿真得到的342×342像素的低分辨率干涉图和1024×1024像素的高分辨率干涉图。
优选的,步骤(2)中,一组白光干涉图的数量为120幅。
优选的,步骤(4)中,改良后的重心法算法包括以下内容:
式Ⅰ中,i是纵向扫描步进数,I(i)是位于第i步纵向位移位置处的光强分布,m(i)是相邻两个位置的光强差的平方;
对步骤(3)获得的干涉信号使用改良后的重心法算法,提取其零光程差位置P,即为干涉信号最大值的位置坐标,获取样品高度信息。
一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的超分辨白光干涉图三维重建方法。
一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现上述的超分辨白光干涉图三维重建方法。
本发明的技术特点和有益效果:
1、本发明通过对超分辨处理后的干涉图三维重建,极大地提高测量结果的横向分辨率,实现白光干涉法结果的进一步优化,在一定条件下(外部硬件所能实现的最佳条件下),可以突破现有的白光干涉测量的横向极限。
2、本发明是在算法上对测量结果的优化,故不需要添加额外的硬件,在传统的白光干涉系统的基础上就能实现,具有较强的兼容性与适用性。
附图说明
图1为本发明方法的总体流程框图;
图2为FSRCNN网络的框架示意图;
图3为FSRCNN网络训练示意图;
图4为使用不同深度学习网络处理得到干涉图的对比图;
图5为采用本发明方法与其他方法的不同测量结果的对比图;
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明,但不限于此。
实施例1:
如图1-3所示,本实施例提供一种基于深度学习的超分辨白光干涉图三维重建方法,包括以下步骤:
(1)搭建FSRCNN网络,通过仿真获得5000组对应的342×342像素低分辨率干涉图与1024×1024像素高分辨率干涉图,输入FSRCNN网络进行训练,获得权重系数及偏差数用于深度学习处理参数;
(2)使用训练后的FSRCNN网络处理干涉图,即向FSRCNN网络输入一组120幅实际测量过程中CCD采集到的白光干涉图,由FSRCNN网络输出超分辨处理后的高分辨的干涉图;
(3)将所有超分辨处理后的干涉图收集起来作为处理样本,以点为单位提取样本所有位置光强随测量臂位置移动的光强变化曲线即为干涉信号;
(4)使用改良后的重心法算法提取干涉信号最大值的位置坐标即为该点的高度信息;
(5)提取出待测样品表面所有位置处(样品平面上的各个测量位置)的高度信息,恢复样品完整的三维表面形貌。
其中,搭建的FSRCNN网络包括以下内容:
(a)FSRCNN网络分为六步,分别是特征提取,收缩,非线性映射,扩张,反卷积以及补充,依次对应着Conv1,Conv2,Conv3,Conv4,DeConv层以及从输入图到输出图的直连通道;如图2所示。
(b)其中Conv1的卷积核尺寸为5×5,数量为64;Conv2的卷积核尺寸为1×1,数量为12;Conv3的层数M=3,每层的卷积核尺寸为3×3,数量为12;Conv4的卷积核尺寸为1×1,数量为56;DeConv的卷积核尺寸为9×9,数量为1;
(c)其中补充作用的从输入图到输出图的直连通道是为了补偿在网络信息传递过程中导致的信息丢失与损耗。
改良后的重心法算法包括以下内容:
式Ⅰ中,i是纵向扫描步进数,I(i)是位于第i步纵向位移位置处的光强分布,m(i)是相邻两个位置的光强差的平方;
对步骤(3)获得的干涉信号使用改良后的重心法算法,提取其零光程差位置P,即为干涉信号最大值的位置坐标,获取样品高度信息。
本实施例技术方案的工作原理:该方法通过FSRCNN网络对CCD采集的干涉图进行超分辨处理,进一步丰富白光干涉图的细节信息,再用改良后的重心法算法提取出待测样品各点干涉信号的零光程差位置,提取样品高度信息。该方法能有效地提高白光干涉法的横向分辨率,能够实现通过低倍率物镜实现高倍率物镜的测量效果,甚至在极限条件(在外部硬件所能实现的最佳条件下)下能突破该方法的横向分辨能力的极限。
图1为本发明基于深度学习的超分辨白光干涉图三维重建方法的流程框图。
1、重心法
理想的白光干涉信号总是以零光程差点左右对称的,这个对称点也是整个信号的重心。重心法就是寻找信号的重心,以这个重心作为零光程点。传统的重心法公式:
式Ⅱ中,i是纵向扫描步进数,I(i)是位于第i步纵向位移位置处的光强分布。
然而,宽光谱光源的色散特性通常会引入条纹偏移,导致干涉条纹缺乏严格的对称性,这相当于在每个垂直扫描位置向干涉中添加一个直流信号。因此,数据处理通常需要去除背景光强,只计算交流部分信号的中心位置。将式Ⅱ替换为:
式Ⅰ中,i是纵向扫描步进数,I(i)是位于第i步纵向位移位置处的光强分布,m(i)是相邻两个位置的光强差的平方。
2、用本发明算法计算出的结果误差评估算法效果
使用不同超分辨方法处理得到的干涉图的量化比较结果如表1所示,其中,加黑倾斜的数据是最好的结果,而FSRCNN的结果相较于其他方法结果最优。量化参数的计算公式如式Ⅲ所示:
式Ⅲ中,M和N分别为行和列的图像大小,μxμy是图像X和Y的光强分布的平均值,σx,σy分别是图像X和Y的光强分布的标准方差。c1和c2是表示像素值动态的两个稳定常数。k1和k2分别是设置为0.01和0.03的常数。
表1.不同方法超分辨处理结果
图5是对一个600lp/mm的光栅的测量结果。其中,(a)图是20X物镜测量干涉图未经过超分辨处理直接计算后得到的三维结果,(b)图是20X物镜测量干涉图经过超分辨处理后得到的结果,(c)图是100X物镜直接计算得到结果,其中小框内的部分是对其局部区域放大后的展示,能清楚地比较得到有无超分辨处理后的结果的差距,20X物镜干涉图经过超分辨处理后的结果与100X物镜的测量结果十分相似。因此,本发明所提出的方法能够有效地实现白光干涉法横向分辨率的提高。
实施例2:
一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现实施例1所述的超分辨白光干涉图三维重建方法。
实施例3:
一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现实施例1所述的超分辨白光干涉图三维重建方法。
以上所述,仅为本发明的具体实施方式,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的超分辨白光干涉图三维重建方法,其特征在于,包括以下步骤:
(1)搭建FSRCNN网络,输入对应的低分辨率与高分辨率干涉图进行训练,获得权重系数及偏差数用于深度学习处理参数;
搭建的FSRCNN网络包括以下内容:
(a)FSRCNN网络分为六步,分别是特征提取,收缩,非线性映射,扩张,反卷积以及补充,依次对应着Conv1,Conv2,Conv3,Conv4,DeConv层以及从输入图到输出图的直连通道;
(b)其中Conv1的卷积核尺寸为5×5,数量为64;Conv2的卷积核尺寸为1×1,数量为12;Conv3的层数M=3,每层的卷积核尺寸为3×3,数量为12;Conv4的卷积核尺寸为1×1,数量为56;DeConv的卷积核尺寸为9×9,数量为1;
(c)其中补充作用的从输入图到输出图的直连通道是为了补偿在网络信息传递过程中导致的信息丢失与损耗;
(2)使用训练后的FSRCNN网络处理干涉图,即向训练后的FSRCNN网络输入一组实际测量过程中CCD采集到的白光干涉图,由训练后的FSRCNN网络输出超分辨处理后的高分辨的干涉图;
(3)将所有超分辨处理后的干涉图收集起来作为处理样本,以点为单位提取样本所有位置光强随测量臂位置移动的光强变化曲线即为干涉信号;
(4)使用改良后的重心法算法提取干涉信号最大值的位置坐标即为该点的高度信息;
改良后的重心法算法包括以下内容:
式Ⅰ中,i是纵向扫描步进数,I(i)是位于第i步纵向位移位置处的光强分布,m(i)是相邻两个位置的光强差的平方;
对步骤(3)获得的干涉信号使用改良后的重心法算法,提取其零光程差位置P,即为干涉信号最大值的位置坐标,获取样品高度信息;
(5)提取出样品表面所有位置处的高度信息,恢复样品完整的三维表面形貌。
2.如权利要求1所述的超分辨白光干涉图三维重建方法,其特征在于,步骤(1)中,对应的低分辨率与高分辨率干涉图,是指通过仿真得到的342×342像素的低分辨率干涉图和1024×1024像素的高分辨率干涉图。
3.如权利要求1所述的超分辨白光干涉图三维重建方法,其特征在于,步骤(2)中,一组白光干涉图的数量为120幅。
4.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现权利要求1-3任一项所述的超分辨白光干涉图三维重建方法。
5.一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现权利要求1-3任一项所述的超分辨白光干涉图三维重建方法。
CN202010868358.1A 2020-08-26 2020-08-26 一种基于深度学习的超分辨白光干涉图三维重建方法 Active CN111986315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010868358.1A CN111986315B (zh) 2020-08-26 2020-08-26 一种基于深度学习的超分辨白光干涉图三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010868358.1A CN111986315B (zh) 2020-08-26 2020-08-26 一种基于深度学习的超分辨白光干涉图三维重建方法

Publications (2)

Publication Number Publication Date
CN111986315A CN111986315A (zh) 2020-11-24
CN111986315B true CN111986315B (zh) 2023-07-21

Family

ID=73442594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010868358.1A Active CN111986315B (zh) 2020-08-26 2020-08-26 一种基于深度学习的超分辨白光干涉图三维重建方法

Country Status (1)

Country Link
CN (1) CN111986315B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116858108B (zh) * 2023-09-05 2023-11-03 深圳市平方科技股份有限公司 一种基于红外光栅的物体长度检测系统及方法
CN117788547B (zh) * 2024-02-26 2024-04-26 南京埃米仪器科技有限公司 一种基于介质微球的白光干涉图像超分辨三维重构方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法

Also Published As

Publication number Publication date
CN111986315A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111986315B (zh) 一种基于深度学习的超分辨白光干涉图三维重建方法
CN110095066B (zh) 基于Mean-shift的光谱共焦信号峰值波长快速高精度提取方法
CN106643559A (zh) 一种基于混合干涉条纹的白光显微干涉形貌重建方法
CN111402330B (zh) 一种基于平面靶标的激光线关键点提取方法
JP2016205876A (ja) 画像認識装置
Hou et al. A pointer meter reading recognition method based on YOLOX and semantic segmentation technology
Cheng et al. Fast and lightweight network for single frame structured illumination microscopy super-resolution
CN113705564A (zh) 一种指针式仪表识别读数方法
CN111103120A (zh) 一种基于深度学习的光纤模式分解方法及可读介质
Wang et al. Deblurring microscopic image by integrated convolutional neural network
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN112414316B (zh) 一种应变片敏感栅尺寸参数测量方法
Farnes et al. Autofocus measurement for electronic components using deep regression
Wu et al. Adaptive under-sampling deep neural network for rapid and reliable image recovery in confocal laser scanning microscope measurements
CN110285772A (zh) 一种计算全息元件检测精度的评价方法、系统及介质
CN107292924B (zh) 一种对激光加工形成的激光槽的特征自动识别方法
CN116385347A (zh) 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法
CN110580685B (zh) 光的等厚干涉图像数据处理系统
Li et al. Analyzing image focus using deep neural network for 3d shape recovery
Cai et al. Research on extraction of light strip centers based on Legendre moments
CN102930595A (zh) 基于单幅扫描电子显微镜图像的样品表面三维重建方法
CN113806678B (zh) 一种基于相关系数匹配的曲率半径测量方法
CN110160450A (zh) 基于白光干涉光谱的大台阶高度的快速测量方法
Sun et al. A multiscale attention mechanism super-resolution confocal microscopy for wafer defect detection
Li et al. U-net based isotropic phase retrieval with quantitative differential phase contrast microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant