CN106815871B - 一种扫描电子显微镜成像系统的建模方法 - Google Patents

Abstract

本发明公开一种扫描电子显微镜成像系统的建模方法，属于计算机视觉领域，其包括S1:建立扫描电子显微镜成像系统的放大倍率m与在该放大倍率下扫描电子显微镜成像系统成像模型矩阵K间的关系，进而推算获得成像模型，S2：解算模型矩阵K，获得扫描电子显微镜成像系统的模型。本发明方法基于扫描电子显微镜成像系统的模型参数随着放大倍率的连续性变化原理，建立了基于扫描电子显微镜成像系统的模型参数与放大倍率之间的函数映射，在此基础上建立了成像模型，该模型可在实际工程中应用。

Description

一种扫描电子显微镜成像系统的建模方法

技术领域

本发明属于计算机视觉领域，具体涉及一种扫描电子显微镜成像系统的建模方法。

背景技术

随着纳米科技的发展，在生命科学、材料科学、质量检测与控制等领域，对微纳尺度下样品进行视觉测量、反馈和操纵的需求越来越大。扫描电子显微镜(SEM)在图像获取和采集有着其公认的优势，例如：具有较大的景深、纳米尺度级别的分辨率、易用性高并且放大倍率可由低倍(10×)到高倍(高达50000倍)调节，扫描电子显微镜(SEM)广泛应用在图像获取和采集的应用场景中。然而，由于扫描电子显微镜(SEM)是被以可视化为目的进行设计和制造的，在度量尺度方面并无优势。因此，对其进行成像建模便成为不可或缺的技术环节。

L.Reimer曾指出SEM的成像过程可以近似为透视投影过程[L.Reimer.ScanningElectron Microscopy:Physics of Image Formation and Microanalysis.MeasurementScience and Technology.2000,11(12):1826]。在此模型中，图像的像素点对应的空间直线都会会聚在空间中的一点，基于此几何约束，Tasi[Tsai R.A versatile cameracalibration technique for high-accuracy 3D machine vision metrology usingoff-the-shelf TV cameras and lenses.IEEE Journal on Robotics and Automation,1987,3(4):323-344.]，张正友[Zhang Z.A flexible new technique for cameracalibration.IEEE Transactions on pattern analysis and machine intelligence,2000,22(11):1330-1334.]等人的经典的透视模型建模方法均可用于对扫描电子显微镜(SEM)进行建模标定。最近的研究表明：当扫描电子显微镜(SEM)成像系统的放大倍数较低时，视场和视角较大，可使用透视投影模型对成像系统进行建模；而当放大倍数较大时，视场和视角均非常小，扫描电子显微镜(SEM)成像系统的成像过程近似为平行投影过程，此时采用透视投影模型会存在严重的模型误差。部分研究单位此时使用平行投影进行建模。如，MA Sutton[M.Sutton,N.Li,D.Garcia,N.Cornille,J.Orteu,S.McNeill,H.Schreier,X.Li,A.Reynolds.Scanning Electron Microscopy for Quantitative Small and LargeDeformation Measurements Part Ii:Experimental Validation for Magnificationsfrom 200 to 10,000.Experimental mechanics.2007,47(6):789-804]认为在200×到1000×之间时候，选择透视模型较好。同时，TU Berlin[O.Sinram,M.Ritter,S.Kleindick,A.Schertel,H.Hohenberg,J.Albertz.Calibration of an Sem,Using a NanoPositioning Tilting Table and a Microscopic Calibration Pyramid.INTERNATIONALARCHIVES OF PHOTOGRAMMETRY REMOTE SENSING AND SPATIAL INFORMATIONSCIENCES.2002,34(5):210-215]的研究表明，这个临界的数值应该在500×，即在500×以下的时候用透视模型建模，500×以上时候采用平行投影模型。但是，上述的建模方法均为离散建模方法，即针对不同的放大倍率分别利用透视或者平行投影模型对扫描电子显微镜(SEM)进行建模，但是，利用扫描电子显微镜(SEM)对某一样品进行基于视觉的三维重建时，既需要有整体形貌又需要有局部的细节，这便要求在同一测量场景下对不同的放大倍率进行建模标定。这为实际的使用带来极大困难。

综上所述，现有扫描电子显微镜(SEM)成像模型在实际应用中仍存在着许多壁垒。因此，需要开发一种确实可行的针对扫描电子显微镜(SEM)的成像模型和其对应的模型解算方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种扫描电子显微镜(SEM)成像系统的建模方法，该方法基于扫描电子显微镜(SEM)成像系统的模型参数随着放大倍率连续性变化原理，建立了基于扫描电子显微镜(SEM)成像系统的模型参数与放大倍率之间的函数映射，在此基础上建立了成像模型以及对成像模型的关键参数进行解算。

为实现上述目的，按照本发明的一个方面，提供了一种扫描电子显微镜(SEM)成像系统的建模方法，其包括如下步骤：

S1：建立扫描电子显微镜的放大倍率m与在该放大倍率下扫描电子显微镜成像系统成像模型矩阵K间的关系，进而推算获得成像模型，所述成像模型如下：

其中，分别为图像平面上像素点的齐次坐标和像素点在三维空间中对应的空间点的齐次坐标，A表示扫描电子显微镜的内部参数矩阵，[R T]表示扫描电子显微镜的外部参数矩阵，K为所述扫描电子显微镜(SEM)成像系统放大倍率下成像模型矩阵，即像素点的齐次坐标和在三维空间中对应的空间点的齐次坐标的映射关系，s表示尺度缩放因子，m为扫描电子显微镜(SEM)的任一放大倍率，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的模型矩阵K的11个参数。

S2：解算模型矩阵K，获得成像系统的模型。

进一步的，步骤S1中，建立扫描电子显微镜(SEM)的放大倍率m与在该放大倍率下扫描电子显微镜(SEM)成像系统成像模型矩阵K间的关系，进而推算获得成像模型的具体过程如下：

对于扫描电子显微镜图像平面上任意一个像素点齐次坐标(为齐次坐标形式)在三维空间中对应点映射关系可表达为：

其中，分别为图像平面上像素点的齐次坐标和在三维空间中对应的空间点的齐次坐标。K表示成像模型矩阵，即两者的映射关系，A表示扫描电子显微镜的内部参数矩阵，[R T]表示扫描电子显微镜的外部参数矩阵，s表示尺度缩放因子。

采用了径向基算子来表达扫描电子显微镜放大倍率m和系统成像模型矩阵K的关系，具体的，将系统成像模型矩阵K的11个参数分别用扫描电子显微镜放大倍率m作为变元的径向基算子表示如下：

其中，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的模型矩阵的11个参数，其中，对于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一个算子表达k(m)，如下：

其中，c_i(i＝1...P)为随机选取的样本放大倍率，P表示样品放大倍率的个数。|.|表示绝对值，φ为径向基算子的核函数，a₀,a₁与w₁,w₂,…,w_P均为径向基算子待求系数。

所述的径向基算子的核函数φ为高斯函数φ(r)＝exp(-β²r²)或者multi-quadricsφ(r)＝(β²+r²)^1/2，其中，β为形状参数，r为|m-c_i|的简写。

对于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一个算子表达k(m)的矩阵形式为:

其中，径向基算子待求系数a＝(a₀,a₁)与w＝(w₁,w₂,…,w_P)合并表示为h_wa，称之为系数矩阵，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函数矩阵，p(m)＝(1,m)。

则对于扫描电子显微镜放大倍率m所对应的系统成像模型矩阵K的11个参数可表示为：

其中，是指k_n(m)对应的系数矩阵，n＝1,...,11。

继续进行推算，可表示为：

其中，为本发明扫描电子显微镜成像模型的中待解算矩阵，称之为参数矩阵。

则，对于一个给定的样品放大倍率集合c_i(i＝1...P)、模型矩阵H_wa以及径向基因子核函数矩阵Φ(m)、扫描电子显微镜(SEM)成像系统成像模型矩阵K的11个参数可表示如下：

K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa

其中，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函数矩阵，p(m)＝(1,m)。

进一步的，解算参数矩阵H_wa的具体过程如下：

首先，根据成像系统的视场范围选择设定尺寸的标定物和放大倍率集合{m＝m₁,...m_N}，N表示放大倍率的个数，在放大倍率集合范围内选择P组样本放大倍率{c＝c₁,...c_P}，在每个所选的样本放大倍率下拍摄一幅标定物的图像，称为标定图像，提取标定图像圆心之后可得到多组圆心的像素坐标以及该多组圆心的像素坐标分别对应的三维空间坐标以及对应的放大倍率m，用于解算参数矩阵H_wa。

根据径向基因子核函数和样本放大倍率集合{c＝c₁,...c_P}，计算对应的核函数矩阵Φ(m)及a＝(a₀,a₁)。对于扫描电子显微镜图像平面上任意一个像素点(为齐次坐标形式)在三维空间中对应点映射关系可表达为：

其中，K表示成像模型矩阵，s表示尺度缩放因子，进一步的上式可表示为：

其中，～表示算式两边进行设定缩放后尺度一致性。上式两侧同时对做外积运算：

其中，为的反对称矩阵。对上式应用克罗内克(Kronecker)积对进行展开：

其中，vec(K)表示矩阵K的向量化，它是把K的所有列堆叠起来所形成的列向量(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))^T，表示克罗内克(Kronecker)积。将矩阵前11列组合简写为Q,最后一个列简写为b可以有：

将矩阵利用进行展开，可得：

Q[(Φ(m) p(m))H_wa]^T＝b

应用克罗内克(Kronecker)积对Q[(Φ(m) p(m))H_wa]^T＝b进一步进行展开得：

其中，vec(H_wa)表示矩阵H_wa的向量化，它是把H_wa的所有列堆起来所形成的列向量，表示克罗内克(Kronecker)积，R(m)表示(Φ(m) p(m))。

对于一个扫描电子显微镜成像系统，假设存在N组放大倍率，放大倍率集合{m＝m₁,...m_N}，则由可得：

上式的解空间即可解算参数矩阵H_wa，并由式K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa来解算模型矩阵K。

本发明提供一种扫描电子显微镜成像模型及模型解算方法，该方法基于扫描电子显微镜(SEM)成像系统的模型参数随着放大倍率的连续性变化原理，建立了基于扫描电子显微镜(SEM)成像系统的模型参数与放大倍率之间的函数映射，最终建立了成像模型以及成像模型的解算算法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

此方法与透视模型(小孔成像模型)、平行投影模型等传统相机参数化模型相比，建立了模型参数随着放大倍率变化而变化的映射联系，解决了临界放大倍率模糊不清、离散倍率模式不利于应用的问题，使得实际应用变为现实。

附图说明

图1为本发明实施例提供的扫描电子显微镜系统模型示意图；

图2为本发明实施例提供的扫描电子显微镜系统建模流程图；

图3为本发明实施例提供的典型不同倍率下标定图像，图3(a)、图3(b)、图3(c)以及图3(d)分别是标定物放大倍数为75倍、100倍、150倍以及300倍的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例提供的扫描电子显微镜系统模型示意图，如图1所示，定义扫面电子显微镜1的放大倍率集合为{m＝m₁,...m_N}，不同放大倍率对应的模型参数矩阵2为{K₁,...K_N},3为本发明提供的随倍率变化的模型参数矩阵K。定义扫描电子显微镜图像上一点像素坐标为该像素点对应的三维空间坐标为该像素点对应的放大倍率为m。

本发明所提供的扫描电子显微镜的建模方法如下：

建立扫描电子显微镜(SEM)的放大倍率m与在该放大倍率下扫描电子显微镜(SEM)成像系统成像模型矩阵K间的关系，进而推算获得成像模型，所述成像模型如下：

其中，分别为图像平面上像素点的齐次坐标和在三维空间中该像素点对应的空间点的齐次坐标，A表示扫描电子显微镜的内部参数矩阵，[R T]表示扫描电子显微镜的外部参数矩阵，s表示尺度缩放因子。m为扫描电子显微镜(SEM)的任一放大倍率，K为所述扫描电子显微镜(SEM)成像系统放大倍率m下成像模型矩阵，即像素点的齐次坐标和在三维空间中对应的空间点的齐次坐标的映射关系。

其中，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的模型矩阵K的11个参数。

本发明所提供的扫描电子显微镜建模的核心思路便是基于扫描电子显微镜(SEM)成像系统的模型参数随着放大倍率连续性变化原理，建立了基于扫描电子显微镜(SEM)成像系统的成像模型矩阵K与放大倍率m之间的函数映射，在此基础上建立了成像模型以及对成像模型进行了解算。

本发明采用了径向基算子来表达放大倍率m和扫描电子显微镜(SEM)成像系统的成像模型矩阵K的关系，径向基算子是一种数学领域的插值算法，详见如下文献：Buhmann MD.Radial basis functions:theory and implementations[M].Cambridge universitypress,2003.。具体的，将扫描电子显微镜(SEM)成像系统模型参数K的11个参数分别用放大倍率m作为变元的径向基算子来表示如下：

其中，表示扫描电子显微镜(SEM)成像系统成像模型矩阵K。(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的所述的11个参数。

其中，对于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一个算子表达k(m)，如下：

其中，c_i(i＝1...P)为随机选取的样本放大倍率，P表示样品放大倍率的个数。|.|表示绝对值，φ为径向基算子的核函数，a₀,a₁与w₁,w₂,…,w_P均为径向基算子待求系数。

所述的径向基算子的核函数φ为高斯函数φ(r)＝exp(-β²r²)或者multi-quadricsφ(r)＝(β²+r²)^1/2，其中，β为形状参数，r为|m-c_i|的简写。

本发明中应用高斯核函数和multi-quadrics(中文：多重二次曲面函数)函数均可获得良好的效果。

对于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一个算子表达k(m)的矩阵形式为:

其中，径向基算子待求系数a＝(a₀,a₁)与w＝(w₁,w₂,…,w_P)合并表示为h_wa，称之为系数矩阵，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函数矩阵，p(m)＝(1,m)。

综上，对于扫描电子显微镜放大倍率m所对应的成像模型矩阵K的11个参数可表示为：

其中，是指k_n(m)对应的系数矩阵，n＝1,...,11。

进一步进行数学换算，可表示为：

其中，为本发明通用成像模型的中待标定矩阵，称之为参数矩阵。

因此，对于一个给定的样品放大倍率集合c_i(i＝1...P)、参数矩阵H_wa以及径向基因子核函数矩阵Φ(m)，扫描电子显微镜(SEM)成像系统成像模型矩阵K的11个参数可表示如下：

K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa

其中，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函数矩阵，p(m)＝(1,m)。

图2为本发明实施例提供的复杂成像系统标定流程图，如图2所示，本发明所提供的一种成像系统的通用成像模型的标定方法为求解模型矩阵K的方法(标定即为求解模型矩阵K)，其具体步骤如下：

第一步，根据成像系统的视场范围选择设定尺寸的标定物和放大倍率集合{m＝m₁,...m_N}，本发明采用的一种标定物如图3，其为一种典型标定物，其中，图3(a)、图3(b)、图3(c)以及图3(d)分别是标定物放大倍数为75倍、100倍、150倍以及300倍的图像。在放大集合范围内选择P组样本放大倍率{c＝c₁,...c_P}，在每个所选的样本放大倍率下拍摄一幅标定物的图像，称为标定图像，提取标定图像圆心之后可得到多组圆心的像素坐标以及该多组圆心的像素坐标分别对应的三维空间坐标以及对应的放大倍率m，用于解算H_wa矩阵。

第二步，选择径向基因子核函数(本发明实施中，以高斯核函数和multi-quadrics作为径向基因子核函数为宜)，根据径向基因子核函数和样本放大倍率集合{c＝c₁,...c_P}，计算对应的核函数矩阵Φ(m)及p(m)＝(1,m)。

第三步，求解参数矩阵H_wa，本发明采用如下流程求解H_wa：对于扫描电子显微镜图像平面上任意一个像素点(为齐次坐标形式)在三维空间中对应点映射关系可表达为：

其中，K表示成像模型矩阵，s表示尺度缩放因子，进一步的上式可表示为：

其中，～表示算式两边进行一定缩放后尺度一致性。

上式两侧同时对做外积运算：

其中，为的反对称矩阵。对上式应用克罗内克(Kronecker)积对进行展开：

其中，vec(K)表示矩阵K的向量化，它是把K的所有列堆叠起来所形成的列向量(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))^T，表示克罗内克(Kronecker)积。将矩阵前11列组合简写为Q,最后一个列简写为b可以有：

将矩阵利用式进行展开，可得：

Q[(Φ(m) p(m))H_wa]^T＝b

应用克罗内克(Kronecker)积对Q[(Φ(m) p(m))H_wa]^T＝b进行展开得：

其中，vec(H_wa)表示矩阵H_wa的向量化，它是把H_wa的所有列堆起来所形成的列向量，表示克罗内克(Kronecker)积，R(m)表示(Φ(m)p(m))。

对于一个扫描电子显微镜成像系统，放大倍率集合{m＝m₁,...m_N}假设存在N组放大倍率，则由可得：

上式的解空间即可解算参数矩阵H_wa。

第四步，解算模型矩阵K。求解参数矩阵H_wa后，由式K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa来解算模型矩阵K。

本发明提供一种扫描电子显微镜成像模型及模型解算方法，该方法基于扫描电子显微镜(SEM)成像系统的模型参数随着放大倍率连续性变化的原理，建立了基于扫描电子显微镜(SEM)成像系统的模型参数与放大倍率之间的函数映射，最终建立了成像模型以及成像模型的解算算法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种扫描电子显微镜成像系统的建模方法，其特征在于，其包括如下步骤：

S1：建立扫描电子显微镜成像系统的放大倍率m与在该放大倍率下扫描电子显微镜成像系统成像模型矩阵K间的关系，进而推算获得成像模型，所述成像模型如下：

sp＝Kp_w，K＝A[R T]，

其中，p，p_w分别为图像平面上像素点的齐次坐标和该像素点在三维空间中对应的空间点的齐次坐标，

A表示扫描电子显微镜成像系统的内部参数矩阵，

[R T]表示扫描电子显微镜成像系统的外部参数矩阵，

K为扫描电子显微镜成像系统的成像模型矩阵，即像素点的齐次坐标和在三维空间中该像素点对应的空间点的齐次坐标的映射关系，

s表示尺度缩放因子，m为扫描电子显微镜成像系统放大倍率，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的模型矩阵K的十一个参数，

S2：解算模型矩阵K，获得扫描电子显微镜成像系统的模型。

2.如权利要求1所述的一种扫描电子显微镜成像系统的建模方法，其特征在于，

步骤S1中，建立扫描电子显微镜成像系统放大倍率m与在该放大倍率下扫描电子显微镜成像系统成像模型矩阵K间的关系，进而推算获得成像模型的过程包括首先推算获得参数矩阵H_wa，接着解算参数矩阵H_wa。

3.如权利要求2所述的一种扫描电子显微镜成像系统的建模方法，其特征在于，推算获得参数矩阵H_wa的过程如下：

对于扫描电子显微镜图像平面上任意一个像素点齐次坐标p在三维空间中对应点的像素坐标p_w间映射关系可表达为：

sp＝Kp_w，K＝A[R T]

其中，p、p_w分别为扫描电子显微镜图像平面上像素点的齐次坐标和在三维空间中该齐次坐标对应的空间点的齐次坐标，K表示模型矩阵，A表示扫描电子显微镜成像系统的内部参数矩阵，[R T]表示扫描电子显微镜成像系统的外部参数矩阵，s表示尺度缩放因子，

采用径向基算子来表达扫描电子显微镜成像系统放大倍率m和模型矩阵K的关系，

具体的，将模型矩阵K的十一个参数分别用扫描电子显微镜放大倍率m作为变元的径向基算子表示如下：

其中，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用径向基算子表达的模型矩阵的十一个参数，

其中，对于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一个算子k(m)表达如下：

其中，c_i(i＝1...P)为随机选取的样本放大倍率，P表示样品放大倍率的个数，|.|表示绝对值，φ为径向基算子的核函数，a₀,a₁与w₁,w₂,…,w_P均为径向基算子待求系数，所述的径向基算子的核函数φ为高斯函数或者multi-quadrics，将径向基算子待求系数a＝(a₀,a₁)与w＝(w₁,w₂,…,w_P)合并表示为h_wa，称之为系数矩阵，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函数矩阵，p(m)＝(1,m)，

则，对于扫描电子显微镜成像系统放大倍率m所对应的系统成像模型矩阵K的十一个参数可表示为：

其中，是指k_n(m)对应的系数矩阵，n＝1,...,11，

继续进行推算，可表示为：

其中，为扫描电子显微镜成像系统模型的中的参数矩阵。