CN114693871A - 计算基于扫描电镜的双探测器三维成像深度的方法及系统 - Google Patents
计算基于扫描电镜的双探测器三维成像深度的方法及系统 Download PDFInfo
- Publication number
- CN114693871A CN114693871A CN202210277934.4A CN202210277934A CN114693871A CN 114693871 A CN114693871 A CN 114693871A CN 202210277934 A CN202210277934 A CN 202210277934A CN 114693871 A CN114693871 A CN 114693871A
- Authority
- CN
- China
- Prior art keywords
- image
- electron microscope
- scanning electron
- detector
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000001878 scanning electron micrograph Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种计算基于扫描电镜的双探测器三维成像深度的方法，包括标定具有第一探测器和第二探测器的扫描电镜的参数；使用扫描电镜拍摄样品图像，对得到的第一原始图像和第二原始图像进行去噪，对第一原始图像和第二原始图像进行训练学习，输出第一图像和第二图像；分别提取第一图像和第二图像的特征点并对其进行匹配；将第一图像和第二图像上的对应点约束到同一水平线上，得到第一校准图像和第二校准图像；计算第一校准图像和第二校准图像的视差；根据视差结果和两个探测器的夹角建立视差‑深度的映射关系并计算得到深度信息。本发明结合SEM内部的双探测器拍摄图像，计算出图像的深度，降低操作的难度，节省时间，且能够提高装配精度和效率。
Description
技术领域
本发明涉及微纳尺度三维重建技术领域，尤其是指一种计算基于扫描电镜的双探测器三维成像深度的方法及系统。
背景技术
三维重建技术主要是通过视觉方式获得重建目标场景的真实信息，即利用二维图像恢复三维信息的一种技术。目前宏观尺度三维重建的成像系统受限于光学分辨率和显微成像景深小等限制，常规尺度的光学三维重构技术无法应用于微纳尺度场景重建，同时还受限于扫描电镜SEM复杂的成像系统。
针对三维纳米器件操作与组装复杂的问题，目前主要的研究方向是通过在扫描电镜(Scanning Electron Microscope,SEM)内搭建一套纳米机器人操作系统，利用SEM下的单操作手或双操作手来完成。由于扫描电镜拍摄出来的图像是二维平面的，在进行三维纳米器件的操作和组装时，丢失了三维空间中的深度信息，这样给操作人员带来了诸多的不便；同时，在操作的过程中，也增加了损坏器件的风险。因此计算三维空间中的深度信息具有重要的意义。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种计算基于扫描电镜的双探测器三维成像深度的方法及系统，其结合SEM内部的双探测器拍摄图像，基于图像计算出图像的深度，不仅可以大大降低操作的难度，节省大量的时间，而且能够显著提高装配精度和效率。
为解决上述技术问题，本发明提供一种计算基于扫描电镜的双探测器三维成像深度的方法，包括以下步骤：
S10：标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
S20：使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
S30：分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
S40：采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
S50：计算所述第一校准图像和第二校准图像的视差，得到视差结果；
S60：根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
在本发明的一个实施例中，在S10中，标定扫描电镜参数的方法包括：
对扫描电镜进行标定时选用模型为
其中Xp(u,v)表示成像平面上的投影点坐标，Px、Py分别表示模型的内在参数；
对所述模型进行修正，得到修正后的模型为
其中δu和δv分别表示径向畸变和切向畸变，其表达式为
其中，k1,k2,…kn分别表示不同的失真系数，r,
的表达式为
在本发明的一个实施例中，在S20中，采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习的方法包括：
将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
在本发明的一个实施例中，在S30中，使用SIFT匹配算法对所述第一特征点和第二特征点进行匹配，特征点的数量为500-1000。
在本发明的一个实施例中，在S40中，采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上的方法包括：
求解第一图像的第一投影变换矩阵和对应的第二图像的第二投影变换矩阵，根据第一投影变换矩阵和第二投影变换矩阵分别对第一图像和第二图像进行极线校准，使得极线之间相互平行且对应的极点相互匹配。
在本发明的一个实施例中，在S50中，计算所述第一校准图像和第二校准图像的视差的方法包括：
确定第一图像中一点pl＝(xl，yl)，选取其邻域像素集合，得到图像子区ΩL，在第二图像上相对应的图像子区为ΩR；
初始化形函数P，利用二阶形函数和双线性形函数对图像子区存在的变形建立模型FL＝(x，y)，FR＝(x*，y*)；
对图像子区采用双三次插值算法来进行亚像素插值计算，使用零均值归一化最小平方距离作为优化目标函数C(P)；
求解目标函数C(P)的最小值，基于最小值判断两个图像子区的灰度值是否相似；
若判断结果为是，则输出视差图，若判断结果为否，则改变形函数参数P，重新进入初始化形函数的步骤。
在本发明的一个实施例中，所述视差-深度的映射关系式为h＝f(θ,d)，其中h表示图像的深度信息，d表示视差，θ表示第一探测器与第二探测器的夹角。
此外，本发明还提供一种计算基于扫描电镜的双探测器三维成像深度的系统，包括：
SEM标定模块，所述SEM标定模块用于标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
图像增强模块，所述图像增强模块用于使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
特征提取匹配模块，所述特征提取匹配模块用于分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
极线水平校准模块，所述极线水平校准模块用于采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
图像视差计算模块，所述图像视差计算模块用于计算所述第一校准图像和第二校准图像的视差，得到视差结果；
深度计算模块，所述深度计算模块用于根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
在本发明的一个实施例中，所述图像增强模块包括：
神经网络学习子模块，所述神经网络学习子模块用于将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
在本发明的一个实施例中，所述极线水平校准模块包括：
投影变换矩阵求解子模块，所述投影变换矩阵求解子模块用于求解第一图像的第一投影变换矩阵和对应的第二图像的第二投影变换矩阵；
极线校准子模块，所述极线校准子模块用于根据第一投影变换矩阵和第二投影变换矩阵分别对第一图像和第二图像进行极线校准，使得极线之间相互平行且对应的极点相互匹配。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提出一种计算基于扫描电镜的双探测器三维成像深度的方法及系统，其结合SEM内部的双探测器拍摄图像，经过图像增强、特征提取匹配、极线水平校正、视差计算以及建立视差-深度的映射关系等处理，从而计算出图像的深度，不仅可以大大降低操作的难度，节省大量的时间，而且能够显著提高装配精度和效率。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明计算基于扫描电镜的双探测器三维成像深度的方法的流程示意图。
图2是本发明SEM图像极线校准示意图。
图3是本发明SEM图像视差的计算流程图。
图4是本发明SEM图像中的视差-深度映射原理图。
图5是本发明一个实施方式中标定所使用的棋盘格图像。
图6是本发明一个实施方式中角点检测图。
图7是本发明一个实施方式中裁剪示意图。
图8是本发明一个实施方式中超分辨训练前后对比图。
图9是本发明一个实施方式中不同阈值下特征点提取图。
图10是本发明一个实施方式中SEM图像校准结果图，(a)SE2图像；(b)Inlens图像；(c)通过极线校准后的SE2图像和Inlens图像匹配结果图。
图11是本发明一个实施方式中计算得到的视差图。
图12是本发明一个实施方式中选取五组金属小球端点示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
请参阅图1所示，本实施例提供一种计算基于扫描电镜的双探测器三维成像深度的方法，包括以下步骤：
S10：标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
S20：使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
S30：分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
S40：采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
S50：计算所述第一校准图像和第二校准图像的视差，得到视差结果；
S60：根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，在S10中，为了去除SEM图像中含有的空间畸变，首先需要标定扫描电镜SEM的参数，在对SEM进行标定时选用平行投影模型，平行投影模型的表达式为
其中Xp(u,v)表示成像平面上的投影点坐标，Px、Py分别表示模型的内在参数；考虑到图像存在的畸变，对上式(1)进行修正，得到修正后的模型为
其中δu和δv分别表示径向畸变和切向畸变，其表达式为
其中，k1,k2,…kn分别表示不同的失真系数，r,
的表达式为
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，在S20中，采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习的方法包括将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
具体地，上述神经网络的卷积核为9x9、3x3、5x5。选用ReLU函数作为激励函数。损失函数选用MSE，学习率设置为0.003。
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，在S30中，使用SIFT匹配算法对所述第一特征点和第二特征点进行匹配。为了提高图像特征点匹配的精度，因此特征点选取的多少变得至关重要。在对图像提取特征点的过程中，假设特征点的个数过多，会造成匹配时间过长甚至会出现匹配杂乱的结果；假设特征点的个数过少，则会给匹配精度带来影响，造成后续的计算精度低等结果。为了方便后面的说明，在这里将特征点的个数看成阈值，用T表示。因此T的大小反映了图像特征点的个数。作为优选地，本实施例特征点的数量选取为500-1000。
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，本实施例第一探测器和第二探测器在空间位置上并不是平行的，因此为了简化后续的三维计算，在S40中，采用矩阵变换对第一图像和第二图像进行旋转、平移操作，将第一图像和第二图像上的对应点约束到同一条水平线上，以便后续的视差计算。
具体地，请参阅图2所示，通常情况下，极线校准是建立在两幅不同的SEM图像上。如图4所示，其中Pw是三维空间中的任意一点，Pl和Pr分别代表第一图像和第二图像上Pw的像点，Ol和Or分别代表第一图像和第二图像上的光心，第一极线和第二极线分别用ll和lr表示，第一像点和第二像点在极线上对应的极点为el和er。由于拍摄第一图像和第二图像的两个探测器在空间位置上并不是平行的，因此需要对第一图像和第二图像进行投影变换(记为Hl和Hr)，使得第一图像和第二图像上对应的特征点在纵坐标方向尽可能相等，同时保持对应特征点之间的视差与图像横坐标平行。
对于第一图像而言，为了求得恰当的投影变换Hl，即对第一图像中的像点Pl在变换过程中，应该尽可能的只存在刚性变换(只有旋转和位移的存在)。假设Pl为第一图像的中心点，且第一极点el在第一图像X轴上的坐标为el＝(k，0，1)T，则存在如下变化K：
其中，K为常用的将第一极点el投影到无穷远点(k，0，0)T的变换。则对于第一图像上的任意一点坐标(x，y，1)T，通过变换K可以映射为点
当k的取值足够大时，即存在
对其进行1阶近似，求得其Jacobi矩阵解如下：
由上式可以发现：当x＝y＝0时，则Jacobi矩阵为恒等变换，此时说明K在坐标原点处为恒等变换。利用K变换的这一性质，构造能够满足要求的投影变换Hl，即存在Hl＝KRT。其中，T表示将第一像点Pl平移至图像坐标原点，R表示将第一图像中的极点el旋转变为坐标(k，0，1)T，在通过K变换将极点变换到无穷远处。
对于第二图像而言，为了获取对应的投影变换Hr，需要满足
其目的在于使得每条极线之间都相互平行并且对应的极点都匹配。根据第一图像的计算推导可以得出如下推论：当对应极点之间存在相互匹配的关系时，满足Hr＝HaHa。其中，Hm＝HIh，第一图像和第二图像之间的基本约束关系为F＝[el]×M，Hα为仿射变换，如式(7)所示：
其中，a，b，c为待求量。因此，为了求解满足需求的投影变换Hr，使得图像的变形最小，实质上是求解如式(8)所示的最小二乘距离来实现的：
通过上述过程可以求解出恰当的投影变换Hl和Hr，对第一图像和第二图像进行极线校准并使得极线之间相互平行且对应的极点相互匹配。
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，请参阅图3所示，在S50中，计算所述第一校准图像和第二校准图像的视差的方法包括：
确定第一图像中一点pl＝(xl，yl)，选取其邻域像素集合，得到图像子区ΩL，在第二图像上相对应的图像子区为ΩR；
初始化形函数P，利用二阶形函数和双线性形函数对图像子区存在的变形建立模型FL＝(x，y)，FR＝(x*，y*)；
对图像子区采用双三次插值算法来进行亚像素插值计算，使用零均值归一化最小平方距离作为优化目标函数C(P)；
求解目标函数C(P)的最小值，基于最小值判断两个图像子区的灰度值是否相似；
若判断结果为是，则输出视差图，若判断结果为否，则改变形函数参数P，重新进入初始化形函数的步骤。
在本发明实施例公开的一种计算基于扫描电镜的双探测器三维成像深度的方法中，请参阅图4所示，在S60中，对于样品表面上的任一点P，视差-深度映射原理的实质是通过视差d和两个探测器之间的夹角θ来建立SEM图像的深度信息h，具体的函数关系可由式(9)表示：
h＝f(θ,d) (9)
这里为了简化计算，将θ平均分为两份，而视差d在各自对应的平面均可以看成d/2，因此整体的计算深度h可以近似的看成：
最终将表达式整理成如式(10)所示：
综上所述，在计算SEM图像的深度信息时，只要获得两个探测器的视差以及二者之间存在的夹角，便可以计算出深度h。
下面以具体的实施操作方式对本发明提出的一种计算基于扫描电镜的双探测器三维成像深度的方法进行详细的阐述。
使用本发明进行三维重建时，外部电脑充当控制系统的主机并用于显示人机交互界面和数据可视化，微纳机器人用来控制微纳几何结构(目标)的移动；两个探测器负责成像，最后通过一系列的计算获得微纳目标的深度信息以恢复三维结构。
1)：使用张正友标定法对SEM中的SE2探测器和Inlens探测器进行标定。选取Raith公司生产的棋盘格标定板，如图5所示，设置扫描电镜SEM参数为：加速电压为5kV，放大倍数为5000×，工作距离在5mm至7mm之间，使用微纳机器人来旋转、平移棋盘格标定板，使用SE2探测器和Inlens探测器分别拍摄30张照片。使用高斯滤波对照片进行去噪，根据图像灰度值变化情况，选用Harris角点对棋盘格进行角点检测，如图6所示。最后基于Matlab中标定工具箱Camera Calibtator进行标定。
2)：对标定好的探测器所拍摄的图像进行超分分辨率重建，针对SE2探测器和Inlens探测器分别建立数据集。选用了金属纳米银颗粒作为样品，样品的尺寸大小约为2um。由于扫描电镜SEM拍摄的图像像素尺寸为1023×766，因此需要进一步进行裁剪，如图7所示。设置超分辨网络的卷积层个数为3，大小为9×9，3×3，5×5，卷积核个数为128，64，1激励函数为ReLU,损失函数为MSE函数，学习率设置为0.003。设置超分辨网络的卷积层个数为3，大小为9×9，3×3，5×5，卷积核个数为128，64，1激励函数为ReLU,损失函数为MSE函数，学习率设置为0.003，结果如图8所示。
3)：在对图像进行特征点提取之后，通过两个探测器获取两张SEM图像，由于SE2图像和Inlens图像在亮度方面存在差异，而SIFT匹配算法能够很好的适应，因此选用SIFT算法对两个图像进行匹配。根据上述提到的不同阈值T，分别选用了500、1000、1500、2000四个数值来进行匹配。如图9所示，分别显示了四种不同的匹配结果。经过多次实验验证，为了保证深度计算的准确性，应当将T的取值控制在500到1000之间。
4)：图10(a)和图10(b)表示为未校准的SE2图像和Inlens图像。由于SEM内部的机械振动等误差因素存在，拍摄出来的两个图像在纵轴方向上可能没有完全对齐，这会给下一步求解视差引入额外的误差，从而导致计算精度下降。因此，本实施方式使用极线校准来对两个图像进行投影变换，结果如图10(c)所示，横线代表了沿着图像X轴方向的水平极线，最终能够实现SE2图像和Inlens图像上相对应的点在纵轴方向上精确对齐，从而简化了后续在水平方向上求解视差过程，保证了求解的精度。
5)：本实施方式计算得到的视差的结果图11如图所示。
6)：通过视差与深度之间的映射关系计算SEM图像所对应的深度信息。这里以拍摄的SEM图像为例，图像的尺寸为1023×766，而样品所对应的比例尺为2um。因此以横轴方向为例，可以计算出每个pixel对应的尺寸约为19.55nm，如图12所示为50nm的金属小球(实际值与50nm存在偏差)，由于金属球的直径已知，且形状近似球体，现取平面内的中心点看作是金属球的端点，则计算SEM图像中的金属球深度即可看作金属球的端点到成像平面的距离。为了获得更加准确的小球直径值，采用ImageJ软件来测量小球在水平方向的直径。由于在上述计算图像的视差时，采用了亚像素差值的方法，因此求得的视差精度较高。为了避免在计算时出现偶然误差等影响，因此选取了五组数据点来计算深度信息，如下表1所示为计算SEM图像深度信息的参数显示。
表1实际计算值与真实值之间的数据对比
| 数据点 | 真实值/nm | 视差值/pixel | 测试值/nm | 误差/％ | 平均误差/％ |
| A | 50.20 | 2.6 | 39.54 | 21.24 | |
| B | 49.86 | 2.8 | 42.57 | 14.62 | |
| C | 48.68 | 2.7 | 41.05 | 15.67 | 20.50 |
| D | 46.54 | 2.2 | 33.46 | 28.10 | |
| E | 47.32 | 2.4 | 36.49 | 22.89 |
本发明提出一种计算基于扫描电镜的双探测器三维成像深度的方法及系统，其结合SEM内部的双探测器拍摄图像，经过图像增强、特征提取匹配、极线水平校正、视差计算以及建立视差-深度的映射关系等处理，从而计算出图像的深度，不仅可以大大降低操作的难度，节省大量的时间，而且能够显著提高装配精度和效率。
实施例二
下面对本发明实施例二公开的一种计算基于扫描电镜的双探测器三维成像深度的系统进行介绍，下文描述的一种计算基于扫描电镜的双探测器三维成像深度的系统与上文描述的一种计算基于扫描电镜的双探测器三维成像深度的方法可相互对应参照。
本发明实施例二公开了一种计算基于扫描电镜的双探测器三维成像深度的系统，包括：
SEM标定模块，所述SEM标定模块用于标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
图像增强模块，所述图像增强模块用于使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
特征提取匹配模块，所述特征提取匹配模块用于分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
极线水平校准模块，所述极线水平校准模块用于采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
图像视差计算模块，所述图像视差计算模块用于计算所述第一校准图像和第二校准图像的视差，得到视差结果；
深度计算模块，所述深度计算模块用于根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
在本发明实施例公开的一种基于扫描电镜的双探测器三维成像深度的系统中，所述图像增强模块包括：
神经网络学习子模块，所述神经网络学习子模块用于将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
在本发明实施例公开的一种基于扫描电镜的双探测器三维成像深度的系统中，所述极线水平校准模块包括：
投影变换矩阵求解子模块，所述投影变换矩阵求解子模块用于求解第一图像的第一投影变换矩阵和对应的第二图像的第二投影变换矩阵；
极线校准子模块，所述极线校准子模块用于根据第一投影变换矩阵和第二投影变换矩阵分别对第一图像和第二图像进行极线校准，使得极线之间相互平行且对应的极点相互匹配。
本实施例的计算基于扫描电镜的双探测器三维成像深度的系统用于实现前述的计算基于扫描电镜的双探测器三维成像深度的方法，因此该系统的具体实施方式可见前文中的计算基于扫描电镜的双探测器三维成像深度的方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的计算基于扫描电镜的双探测器三维成像深度的系统用于实现前述的计算基于扫描电镜的双探测器三维成像深度的方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于，包括以下步骤：
S10：标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
S20：使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
S30：分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
S40：采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
S50：计算所述第一校准图像和第二校准图像的视差，得到视差结果；
S60：根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
2.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于，在S10中，标定扫描电镜参数的方法包括：
对扫描电镜进行标定时选用模型为
其中Pc(Xc,Yc,Zc)表示成像平面上的任意一点坐标p(x,y)在世界坐标系下的坐标。Xp(u,v)表示成像平面上的投影点坐标，Px、Py分别表示模型的内在参数；
对所述模型进行修正，得到修正后的模型为
其中δu和δv分别表示径向畸变和切向畸变，其表达式为
其中，k1,k2,…kn分别表示不同的失真系数，r,
的表达式为
3.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于，在S20中，采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习的方法包括：
将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
4.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于，在S30中，使用SIFT匹配算法对所述第一特征点和第二特征点进行匹配，特征点的数量为500-1000。
5.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于：在S40中，采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上的方法包括：
求解第一图像的第一投影变换矩阵和对应的第二图像的第二投影变换矩阵，根据第一投影变换矩阵和第二投影变换矩阵分别对第一图像和第二图像进行极线校准，使得极线之间相互平行且对应的极点相互匹配。
6.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于，在S50中，计算所述第一校准图像和第二校准图像的视差的方法包括：
确定第一图像中一点pl＝(xl，yl)，选取其邻域像素集合，得到图像子区ΩL，在第二图像上相对应的图像子区为ΩR；
初始化形函数P，利用二阶形函数和双线性形函数对图像子区存在的变形建立模型FL＝(x，y)，FR＝(x*，y*)；
对图像子区采用双三次插值算法来进行亚像素插值计算，使用零均值归一化最小平方距离作为优化目标函数C(P)；
求解目标函数C(P)的最小值，基于最小值判断两个图像子区的灰度值是否相似；
若判断结果为是，则输出视差图，若判断结果为否，则改变形函数参数P，重新进入初始化形函数的步骤。
7.根据权利要求1所述的计算基于扫描电镜的双探测器三维成像深度的方法，其特征在于：所述视差-深度的映射关系式为h＝f(θ,d)，其中h表示图像的深度信息，d表示视差，θ表示第一探测器与第二探测器的夹角。
8.一种计算基于扫描电镜的双探测器三维成像深度的系统，其特征在于，包括：
SEM标定模块，所述SEM标定模块用于标定扫描电镜SEM的参数，其中所述扫描电镜SEM具有第一探测器和第二探测器；
图像增强模块，所述图像增强模块用于使用标定后的扫描电镜SEM拍摄样品图像，得到由第一探测器拍摄的第一原始图像和由第二探测器拍摄的第二原始图像，采用高斯滤波器对第一原始图像和第二原始图像进行去噪处理，并采用卷积神经网络对去噪处理后的第一原始图像和第二原始图像进行训练学习，增强图像质量和分辨率，输出增强后的第一图像和第二图像；
特征提取匹配模块，所述特征提取匹配模块用于分别提取第一图像和第二图像的特征点，得到第一特征点和第二特征点，并对所述第一特征点和第二特征点进行匹配；
极线水平校准模块，所述极线水平校准模块用于采用投影变换将第一图像和第二图像上的对应点约束到同一水平线上，得到极线水平校准后的第一校准图像和第二校准图像；
图像视差计算模块，所述图像视差计算模块用于计算所述第一校准图像和第二校准图像的视差，得到视差结果；
深度计算模块，所述深度计算模块用于根据视差结果和两个探测器的夹角建立视差-深度的映射关系，根据视差-深度的映射关系计算得到深度信息。
9.根据权利要求8所述的计算基于扫描电镜的双探测器三维成像深度的系统，其特征在于：所述图像增强模块包括：
神经网络学习子模块，所述神经网络学习子模块用于将原始图像输入至卷积神经网络SRCNN，一边将去噪后的原始图像进行双线性插值放大，另一边将去噪后的原始图像通过卷积操作提取高维特征，恢复原始图像中缺失的高频信息，最后将插值放大的图像与高频信息拼接，输出增强后的图像。
10.根据权利要求8所述的计算基于扫描电镜的双探测器三维成像深度的系统，其特征在于：所述极线水平校准模块包括：
投影变换矩阵求解子模块，所述投影变换矩阵求解子模块用于求解第一图像的第一投影变换矩阵和对应的第二图像的第二投影变换矩阵；
极线校准子模块，所述极线校准子模块用于根据第一投影变换矩阵和第二投影变换矩阵分别对第一图像和第二图像进行极线校准，使得极线之间相互平行且对应的极点相互匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277934.4A CN114693871A (zh) | 2022-03-21 | 2022-03-21 | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210277934.4A CN114693871A (zh) | 2022-03-21 | 2022-03-21 | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693871A true CN114693871A (zh) | 2022-07-01 |
Family
ID=82138411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210277934.4A Pending CN114693871A (zh) | 2022-03-21 | 2022-03-21 | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693871A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
| CN103292710A (zh) * | 2013-05-27 | 2013-09-11 | 华南理工大学 | 一种应用双目视觉视差测距原理的距离测量方法 |
| US20140218488A1 (en) * | 2011-05-17 | 2014-08-07 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V | Methods and device for processing digital stereo image content |
| CN104794717A (zh) * | 2015-04-27 | 2015-07-22 | 中国科学院光电技术研究所 | 一种基于双目视觉系统的深度信息对比方法 |
-
2022
- 2022-03-21 CN CN202210277934.4A patent/CN114693871A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
| US20140218488A1 (en) * | 2011-05-17 | 2014-08-07 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V | Methods and device for processing digital stereo image content |
| CN103292710A (zh) * | 2013-05-27 | 2013-09-11 | 华南理工大学 | 一种应用双目视觉视差测距原理的距离测量方法 |
| CN104794717A (zh) * | 2015-04-27 | 2015-07-22 | 中国科学院光电技术研究所 | 一种基于双目视觉系统的深度信息对比方法 |
Non-Patent Citations (2)
| Title |
|---|
| 卞卫国: "SEM中双二次电子探测器三维成像研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
| 席云飞等: "基于双目立体视觉的IC板深度测量", 《制造业自动化》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US8355565B1 (en) | Producing high quality depth maps | |
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| JP5294343B2 (ja) | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| CN109479082B (zh) | 图象处理方法及装置 | |
| KR102206108B1 (ko) | 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| CN112258587B (zh) | 一种基于灰狼粒子群混合算法的相机标定方法 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| CN109035170A (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
| CN110136048B (zh) | 一种图像配准方法及系统、存储介质及终端 | |
| CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
| Tseng et al. | Depth image super-resolution via multi-frame registration and deep learning | |
| CN117372244A (zh) | 基于二维阵列表示的大场景特征立体匹配方法 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| CN114693871A (zh) | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 | |
| CN113971634A (zh) | 一种基于图像评价和超分辨率插值的3d扫描方法 | |
| KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN114742705A (zh) | 一种基于halcon的图像拼接方法 | |
| CN117649454B (zh) | 双目相机外参自动校正方法、装置、电子设备及存储介质 | |
| WO2022186141A1 (ja) | ニューラルネットワークのネットワークパラメータの学習方法、カメラパラメータの算出方法、及びプログラム | |
| JP2013254300A (ja) | 画像処理方法 | |
| CN116612262B (zh) | 与参考照片对齐的网格自动调整方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220701 |
|
| RJ01 | Rejection of invention patent application after publication |