CN102999904B - 基于平面的微纳物体图像倾斜校正方法 - Google Patents

Abstract

本发明涉及一种基于平面的微纳物体图像倾斜校正方法，包括以下步骤：对获取的图像数据进行数据提取，以获得被测物体上表面每个点的高度数据；用户判断高度图像是否倾斜，是否需要进行倾斜校正；若需要进行倾斜校正，则将测量的上表面拟合成一个倾斜平面，并确定一个标准平面，将拟合面上每一点的高度数据都经过一个过程而变换至标准面上，同时将测量得到的每个点的高度数据经过同一个过程进行变换后得到校正数据，从而实现对微纳物体三维图像的倾斜校正。本发明提供的方法可以有效实现微纳物体三维图像z方向实质性的倾斜校正，使得到的图像更加准确的反应出被测样品的实际情况。

Description

基于平面的微纳物体图像倾斜校正方法

技术领域

本发明涉及一种微纳物体图像倾斜校正方法，特别涉及一种基于平面的微纳物体图像倾斜校正方法，属于图像处理技术领域。

背景技术

激光扫描显微镜是建立在光学显微镜及各种扫描显微镜基础上的一种新型的扫描成像系统。利用聚焦的激光束在样品表面扫描，同时利用光电检测器件接收样品反射光(或透射光)，样品结构的变化使反射光(或透射光)强度改变，因而使光电检测器的输出电流改变，经信号处理，同步显示在计算机屏幕上。

由于被测样品属于微纳物体，在采样时往往由于放置不平等原因使得被测样品出现倾斜的情况。为了准确的获得被测样品的信息，需要对采样得到的图像进行倾斜校正处理，使得到的图像更加准确的反应出被测样品的实际情况。

现有技术中的图像倾斜校正处理方法都是针对平面图像进行倾斜校正，比如扫描文档的倾斜校正、车牌的倾斜校正、二维码的倾斜校正。这些倾斜校正方法主要是对这些图像的边缘进行识别，判断是否需要倾斜校正，且对采样得到的图像仅进行x方向和y方向简单的旋转倾斜校正，并没有在z方向进行实质性的倾斜校正。在使用激光扫描显微镜对微纳物体扫描成像的系统中，得到的是物体的三维立体坐标，使用现有的倾斜校正方位，经过倾斜校正后的数据和图像仍不能准确反应被测样品的实际情况。

发明内容

本发明的目的是针对现有技术的问题，提供一种能够有效解决三维图像倾斜校正问题的方法。

本发明提供的倾斜校正方法的思路如图1所示，根据微纳物体表面的实际测量数据得到一个拟合面，再根据微纳物体的实际情况确定一个标准面，拟合面上每一点的高度数据都可以经过一个过程而变换至标准面上，同时将测量得到的高度数据经过同一个过程进行变换后得到校正数据，此时就认为这个校正数据是物体的实际高度值。因为拟合面是根据测量数据经过计算拟合得到，所以认为拟合面的倾斜程度与被测样品的倾斜程度相同。所以拟合面的倾斜校正过程就是被测数据的倾斜校正过程。根据用户所选择的倾斜校正的方法不同，拟合面的计算方法可以是自动的、手动剖面的、手动三点的。本发明提供的倾斜校正方法适用于微纳物体由于放置不平等原因出现了倾斜，但是表面并未发生变形的情况。在这种情况下，拟合面是一个倾斜平面，以此来进行倾斜校正。

本发明的目的是通过以下技术方案实现的：一种基于平面的微纳物体图像倾斜校正方法，包括以下步骤：

对获取的图像数据进行数据提取，以获得被测物体上表面每个点的高度数据；

用户判断高度图像是否倾斜，是否需要进行倾斜校正；

若需要进行倾斜校正，则将测量的上表面拟合成一个倾斜平面，并确定一个标准平面，将拟合面上每一点的高度数据都经过一个过程而变换至标准面上，同时将测量得到的每个点的高度数据经过同一个过程进行变换后得到校正数据，从而实现对微纳物体三维图像的倾斜校正。

有益效果

本发明提供的方法可以有效实现微纳物体三维图像z方向实质性的倾斜校正，使得到的图像更加准确的反应出被测样品的实际情况。

附图说明

图1为本发明图像倾斜校正方法的原理示意图；

图2为本发明图像倾斜校正方法的流程图；

图3为本发明图像倾斜校正方法步骤102的具体流程图；

图4为本发明图像倾斜校正方法步骤103和104的具体流程图。

图5为本发明图像倾斜校正方法步骤1041的具体流程图。

图6为本发明图像倾斜校正方法步骤1042的具体流程图。

图7为本发明图像倾斜校正方法步骤1043的具体流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

图2为本发明图像倾斜校正方法实施例的流程图。如图1所示，本实施例图像倾斜校正方法，包括：

步骤101、对采样得到的图像信息进行提取以获得被测样品的高度数据。

具体而言，本实施例中的步骤101对获取的图像信息进行处理，并从图像信息中提取到被测样品的高度数据。本实施例以差动共焦显微镜为例进行说明，通过差动共焦显微镜上设置的摄像头等图像获取设备，获得置物台上被测样品的图像信息，包括样品上表面每个点的高度数据、亮度数据等。然后，提取图像信息中的高度数据。

步骤102、将高度数据进行色板映射，获得高度图像，其目的是通过观察高度图像，判断被测样品是否倾斜，高度图像及数据是否需要进行倾斜校正。

具体而言，通过步骤101获得被测样品的高度数据后，通过步骤102对获得的高度数据进行色板映射处理，使处理后的图像变为彩色的高度图像。

步骤103、用户在x方向和y方向分别确定一条直线，获取直线切割处的高度数据，画出高度折线图。根据得到的高度图像以及剖面高度折线图，用户可以很容易的确定高度图像是否为倾斜的，若高度图像倾斜，则由用户选择使用哪种方法对高度数据和高度图像进行倾斜校正。

步骤104、选择倾斜校正的方法之后，通过步骤104进行倾斜校正。

具体而言，当通过步骤103得知获得的被测样品的高度图像为倾斜状态后，则可以判断被测样品为倾斜状态，需要对倾斜的高度图像进行倾斜校正处理，则通过步骤104对被测样品的高度图像进行校正处理，以获得无倾斜角度的被测样品的高度图像和高度数据，以便后续程序根据无倾斜角度的高度图像获得被测样品的真实数据进行进一步的处理。

基于上述技术方案，可选的，如图3所示，本实施例中的步骤102具体包括如下步骤：

步骤1021、将被测样品的高度数据映射到某个高度域内。具体的，步骤1021对步骤101获得的被测样品的高度数据进行处理，从而获得被测样品高度最大值和最小值，并将其分段成为一些连续的高度域，被测样品每个点上的高度数据都能对应到某个高度域内。

步骤1022、将每个高度域都对应色板上的某个对应的颜色。具体的，通过步骤1021将被测样品的高度数据映射到某个高度域内，根据高度域的数量将色板的颜色分区，将高度域与色板上的颜色一一对应。

步骤1023、在高度图像的对应点上记录色板上对应的颜色。具体的，通过步骤1021和步骤1022后根据高度数据对应到的颜色记录在高度图像对应点上。

步骤1024、根据高度图像记录的色彩信息渲染出高度图像。

本实施例图像倾斜校正方法，由用户判断高度图像是否倾斜，并选择手动或自动的倾斜校正方法。

基于上述技术方案，可选的，如图4所述，本实施例中的步骤103具体包括如下步骤：

步骤1031、具体的，通过步骤102得到被测样品的高度图像后，会将其渲染并显示出来。

步骤1032、会根据用户选择的位置获取被测样品的剖面高度数据并渲染高度折线图。具体的，用户在x方向和y方向分别确定一条直线，获取直线切割处的高度数据，画出高度折线图。

步骤1033、根据步骤1031得到的高度图像以及步骤1032得到的剖面高度折线图，用户可以很容易的确定高度图像是否为倾斜的，得知高度图像是倾斜的后，需要通过步骤104进行倾斜校正处理。

本实施例倾斜校正方法通过手动或自动拟合的方法得到被测样品的倾斜角度，倾斜角度是倾斜面与标准面的夹角。然后用把倾斜面变换至标准面的过程去变换被测样品的高度数据和高度图像，这样就得到被测样品不倾斜的真实数据。

基于上述技术方案，可选的，如图5、图6、图7所示，本实施例中的步骤1041、步骤1042、步骤1043具体包括如下步骤：

步骤1041通过基于平面的微纳物体自动倾斜校正方法对被测样品的高度数据和高度图像进行倾斜校正。具体的，自动方法通过使用被测样品的高度数据进行最小二乘法拟合从而获得一个拟合平面。定义拟合平面的方程为Ax+By+Cz+D＝0，定义空间中采集到的点的坐标为为了拟合平面更好的代表被测数据，就要使每一个|(Ax_i+By_i+C)-z_i|的值尽可能的小；这个问题就转化为，定义函数 $G(A,B,C)={\mathrm{\Σ}}_{i=1}^m|(A{X}_i+B{y}_i+C)-z_i|,$ 求函数G(A，B，C)中的未知数A，B和C，使得函数G(A，B，C)取得最小值。函数中含有求绝对值，这使得最小值求解比较困难，于是我们定义函数 $E(A,B,C)={\mathrm{\Σ}}_{i=1}^m{[(A{x}_i+B{y}_i+C)-z_i]}^2,$ 这个函数的值是非负的，且函数的最小值在函数E对x，y，z分别求导时的E‘＝0时求得。于是我们可得到三个关于未知数A，B，C的方程：

$\left[\begin{array}{ccc}{\mathrm{\Σ}}_{i=1}^m{x}_i^2& {\mathrm{\Σ}}_{i=1}^m{x}_i{y}_i& {\mathrm{\Σ}}_{i=1}^m{x}_i\\ {\mathrm{\Σ}}_{i=1}^m{x}_i{y}_i& {\mathrm{\Σ}}_{i=1}^m{y}_i^2& {\mathrm{\Σ}}_{i=1}^m{y}_i\\ {\mathrm{\Σ}}_{i=1}^m{x}_i& {\mathrm{\Σ}}_{i=1}^m{y}_i& {\mathrm{\Σ}}_{i=1}^{m}1\end{array}\right]\left[\begin{array}{c}A\\ B\\ C\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Σ}}_{i=1}^m{x}_i{z}_i\\ {\mathrm{\Σ}}_{i=1}^m{y}_i{z}_i\\ {\mathrm{\Σ}}_{i=1}^m{z}_i\end{array}\right]$

解方程得到A，B，C的值，从而得到拟合平面的方程。

在本发明的方法中，如何定义标准平面对于倾斜校正的结果也有较大影响。在简单的情况下，标准平面可以通过将z值设为图像4个角上的高度数据的平均值来取得。但是在测量弯曲的物体的高度数据时，四个角的高度数据可能会很小或很大，这样倾斜校正的在过程中就会造成校正数据过大或过小。作为一种优化方案，可以用测量得到的所有采样点的高度值的平均值即这个平面来表示标准平面。

通过以上两步，我们得到了拟合面和标准面，然后就需要将拟合斜面变换至标准平面的过程。通过上一步已求得拟合斜面z＝Ax+By+C和标准平面定义空间中的任意一个采样点为{x_i，y_i，z_i}，在拟合斜面上的高度值为z_f＝(Ax_i+By_i+C)，那么被采样物体的实际高度值应该是 对每个点进行上述变换，就得到没有倾斜角度的被测样品的高度数据和高度图像。

步骤1042通过基于平面的微纳物体手动三点倾斜校正方法对被测样品的高度数据和高度图像进行倾斜校正。与步骤1041不同的是，手动三点倾斜校正方法由用户自行设置三点，且由这不共线的三点可确定唯一一个三维空间中的平面。

具体的，手动三点方法由用户在高度图像上选择三点，根据这三点的位置信息和高度数据确定一个平面，这个平面即为拟合平面。所以不需要用拟合的方法来得到斜面，仅需将用户设置的这三个点的值代入平面方程中，得到一个方程组

z₁＝(Ax₁+By₁+C)

z₂＝(Ax₂+By₂+C)

z₃＝(Ax₃+By₃+C)

通过这个方程组，计算得到三个未知数A，B，C的值，从而得到拟合斜面的方程。

然后确定标准平面，标准平面的确定可以采用步骤1041中的确定方法。最后用把拟合平面变换到标准平面的过程来变换被测样品的高度数据以及高度图像，这样就得到没有倾斜角度的被测样品的高度数据和高度图像。

步骤1043通过基于平面的微纳物体手动剖面倾斜校正方法对对被测样品的高度数据和高度图像进行倾斜校正。基于平面的手动剖面倾斜校正方法与自动算法相似。与之不同的是，手动算法的意思是在x＝a或y＝b(a，b为由用户自行选取的已知实数)的剖面上，由用户设置两点，这两点所连成的线与标准平面之间的夹角就是被测物体的倾斜程度。将这个剖面上拟合面的高度折线变换到标准平面在这个剖面上折线的过程就是倾斜校正的过程，使用这个过程对被测数据在x方向和y方向分别进行倾斜校正就得到了没有倾斜角度的数据。

具体的，在y＝b剖面上，通过在高度折线图上的两个点可以定位两个点的坐标(x，z)，由于在平面上，任意两个不重叠的点都可以确定一条直线，而直线的一般式方程z＝Ax+B可以表示平面上任意一条直线，所以将得到的将这两个点的坐标带入直线方程z＝Ax+B可以计算得到一个方程组

z₁＝(Ax₁+B)

z₂＝(Ax₂+B)

通过计算可以得到方程中未知数A，B。得到在y=b的剖面上的拟合斜线。这条斜线即是我们认为这个物体在测量时在y=b的剖面上的倾斜程度。同样的，在x=a这个剖面上我们也得到了一条拟合斜线的方程z=Cy+D。

标准平面仍然采用和前述方法一致的标准平面。

通过上一步已求得拟合斜面z＝Ax+By+C和标准平面定义空间中的任意一个采样点为{x_i，y_i，z_i}，那么在拟合斜面上的高度值为z_f＝(Ax_i+By_i+C)，那么被采样物体的实际高度值应该是 $[(A{x}_i+B{y}_i+C)-\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{z}_i].$

本实施例基于平面的微纳物体高度图像倾斜校正方法，通过获取被测样品的高度数据信息，并根据手动或自动的方法计算得到被测样品高度图像的拟合平面，以及一个被认为是无倾斜角度的标准平面，最后通过把拟合平面变换到标准平面的过程来变换被测样品的高度数据以及高度图像，这样就得到没有倾斜角度的被测样品的高度数据和高度图像。

Claims (6)

1.一种基于平面的微纳物体图像倾斜校正方法，其特征在于，包括以下步骤：

对获取的图像数据进行数据提取，以获得被测物体上表面每个点的高度数据；

用户判断高度图像是否倾斜，是否需要进行倾斜校正；

若需要进行倾斜校正，则将测量的上表面拟合成一个倾斜平面，并确定一个标准平面，将拟合面上每一点的高度数据都经过一个过程而变换至标准面上，同时将测量得到的每个点的高度数据经过同一个过程进行变换后得到校正数据，从而实现对微纳物体三维图像的倾斜校正；

其中，获得拟合倾斜平面的方法为：

在x＝a或y＝b的剖面上，由用户设置两点，其中a，b为由用户自行选取的已知实数，这两点所连成的线与标准平面之间的夹角就是被测物体的倾斜程度；

具体的，在y＝b剖面上，通过在高度折线图上的两个点可以定位两个点的坐标(x，z)，由于在平面上，任意两个不重叠的点都可以确定一条直线，而直线的一般式方程z＝Ax+B可以表示平面上任意一条直线，所以将得到的将这两个点的坐标带入直线方程z＝Ax+B可以计算得到一个方程组

z₁＝(Ax₁+B)

z₂＝(Ax₂+B)

通过计算可以得到方程中未知数A，B，得到在y＝b的剖面上的拟合斜线，这条斜线即是我们认为这个物体在测量时在y＝b的剖面上的倾斜程度；同样的，在x＝a这个剖面上我们也得到了一条拟合斜线的方程z＝Cy+D，从而得到拟合的倾斜平面。

2.根据权利要求1所述的一种基于平面的微纳物体图像倾斜校正方法，其特征在于，所述标准平面采用测量得到的所有采样点的高度值的平均值即这个平面来表示标准平面。

3.根据权利要求1或2所述的一种基于平面的微纳物体图像倾斜校正方法，其特征在于，将高度数据进行色板映射，获得高度图像，方便用户直观的判断图像是否倾斜。

4.根据权利要求1或2所述的一种基于平面的微纳物体图像倾斜校正方法，其特征在于，根据用户选择的位置获取被测样品的剖面高度数据并渲染高度折线图，即用户在x方向和y方向分别确定一条直线，获取直线切割处的高度数据，画出高度折线图，方便用户直观的判断图像是否倾斜。

5.根据权利要求1或2所述的一种基于平面的微纳物体图像倾斜校正方法，其特征在于，获得拟合倾斜平面的方法为：通过使用被测样品的高度数据进行最小二乘法拟合从而获得一个拟合倾斜平面。

6.根据权利要求1或2所述的一种基于平面的微纳物体图像倾斜校正方法，其特征在于，获得拟合倾斜平面的方法为：由用户自行设置三点，且由这不共线的三点可确定唯一一个三维空间中的平面。