CN106447729B - 一种基于坐标变换的二维数字图像相关补偿方法及二维光学数字图像相关引伸计 - Google Patents

Abstract

本发明公开了一种基于坐标变换的二维数字图像相关补偿方法及二维光学数字图像相关引伸计，属于或涉及非接触式光学测量领域。本发明为解决二维数字图像相关测量平板试件面内变形时，由于离面位移导致的误差问题，可用于平板试件面内变形的精确测量。本发明该方法主要基于补偿板的坐标变换，采集单帧图像即可实时获得补偿板的离面位移和转动信息，进而消除其对测量结果的影响，克服了传统测量方法误差过大或要求转角较小的问题，可以用于二维平板试件面内变形的实时测量。

Description

一种基于坐标变换的二维数字图像相关补偿方法及二维光学 数字图像相关引伸计

技术领域

本发明属于或涉及非接触式光学测量领域。具体来讲，本发明为解决二维数字图像相关测量平板试件面内变形时，由于离面位移导致的误差问题，提出了一种基于坐标变换的二维数字图像相关补偿方法二维光学数字图像相关引伸计。可用于平板试件面内变形的精确测量。

背景技术

数字图像相关方法是上世纪80年代初发展的非接触式光学测量方法。该方法已广泛应用于工程测量。传统的二维数字图像相关必须保证相机的光轴和测量试件表面垂直，而且试件加载过程中的离面位移和转动会对二维数字图像相关造成很大的测量误差。然而，工程测量中，很难保证相机完全正对试件而且试件变形过程中经常发生离面运动和转动，这使得二维数字图像相关的测量精度不高。三维数字图像相关引入双目视觉原理，预先对左右相机进行标定，使用标定确定的世界坐标系统可以有效的解决试件离面运动带来的误差。但其实验装置更为复杂且昂贵，对没有经过专业培训的技术人员来说使用不方便。因此，提出一种能够不受上述条件影响的改进补偿方法的二维数字图像相关方法具有重大意义。

常规的二维数字图像相关方法往往存在以下几个问题：

(1)相机ccd靶面必须保证和测量试件平面完全平行，否则就会带来实验误差，而在实际操作中，很难保证完全平行(参考文献孟利波,金观昌,姚学锋.DSCM中摄像机光轴与物面不垂直引起的误差分析[J].清华大学学报:自然科学版,2006,46(11):1930-1932.)。

(2)低成本的相机往往带有较大的相机镜头畸变，这在图像边缘处表现的更为明显(参考文献Pan B,Yu L,Wu D,et al.Systematic errors in two-dimensional digitalimage correlation due to lens distortion[J].Optics and lasers in engineering,2013,51(2):140-147.)。

(3)试件加载过程中难以避免的会发生刚体的离面平动和转动，这个是在加载中难以避免的，而这种平动转动带来的等效应变会影响实验精度(参考文献Sutton M A,YanJ H,Tiwari V,et al.The effect of out-of-plane motion on 2D and 3D digitalimage correlation measurements[J].Optics and Lasers in Engineering,2008,46(10):746-757.)。

而三维数字图像相关虽然能够解决上述问题，但其有以下缺点：

(1)高成本性，需要使用两个相机。

(2)易受干扰，两个相机必须保持相对位置不变，这导致在很多实验中需要重复标定，非常的耗费时间。

(3)复杂环境中不允许放置标定板标定，这样就要求提前标定然后让相机保持相对位置不变移至测量环境中来，这样很容易导致相机相对位置变化造成测量误差。

(4)使用操作比二维数字图像相关复杂很多，操作人员需要有高难度知识背景，不方便。

新的方法中引入了在加载过程中和试件保持粘连却不受力的补偿版，补偿版上的标记点首先能够体现出ccd靶面和测量平面的平行状况，其次在试件加载过程中，补偿版跟随其做刚体的平动转动但不发生变形，通过补偿版上标记点的位移信息可以计算出平动和转动量，这样可以将这平动和转动量补偿回试件上得到了更为准确的结果。换句话来说，相当于求得了相对于补偿版试件的位移状况。

另外因为预先估计了畸变，并在计算中给与了消除，可以降低畸变对测量的影响。

发明内容

本发明的目的是：本发明提出了一种基于坐标变换的二维数字图像相关补偿方法，该方法主要基于补偿板的坐标变换，采集单帧图像即可实时获得补偿板的离面位移和转动信息，进而消除其对测量结果的影响，克服了传统测量方法误差过大或要求转角较小的问题，可以用于二维平板试件面内变形的实时测量。

本发明采用的技术方案为：一种基于坐标变换的二维数字图像相关补偿方法，该方法步骤如下：

步骤(1)、进行实验测量前，需要固定好相机以及待测平面试件，相机可以不垂直正对待测平面试件，相机镜头光轴与待测平面试件法线夹角在30度以内，需要保证待测平面试件表面散板成像不虚焦并且待测平面试件处在成像中心处；

步骤(2)、利用标定板对相机进行标定，相机标定后可以获得相机本身的内参以及相机畸变；

步骤(3)、在待测平面试件表面粘连补偿板，补偿板一端应采用固定粘连手段保证不会脱落，补偿板另一端采用软粘连手段，只要保证其与试件贴合即可，在待测平面试件变形过程中，软粘连端会脱落；补偿板粘连完成后，可对待测平面试件进行加载，相机在加载过程中采集图像；补偿板为硬质薄平板，补偿板采用不易变形的材料，补偿板厚度保证在2mm以内，补偿板表面需要粘贴八个已知相对位置的编码点；

步骤(4)、先使用数字图像相关方法获得一系列图中的匹配点，然后需要对匹配点进行映射，利用步骤(2)获得相机本身的内参及相机畸变，结合补偿板上的编码点以及编码点采集图像中像素坐标获得待测平面试件表面相对于补偿板的物理位置信息，再利用补偿算法获得的物理坐标进行应变的计算。

具体的，补偿算法具体如下：

1)编码点识别

通过编码点识别算法可以获取补偿板上编码点中心像素坐标(x_si,y_si)(i＝1-8)；

备注：补偿版上使用常规原点或者散斑图也可以进行计算，使用常规原点需要在对其中心进行识别的同时需要对其进行排序，使用散斑图需要提前在其上选择足够多的参考点并使用三维数字图像相关之类的光学测量方法提前获得其相对位移。

2)畸变修正算法：

图像中任何一点的像素坐标(x_s,y_s)，都可以通过内参和畸变修正获得无畸变像素坐标，

y″＝(y_s-c_y)/f_y

x″＝(x_s-c_x-f_sy″)/f_x

r²＝x″²+y″²

x_nodis＝c_x+f_xx′+f_sy′

y_nodis＝c_y+f_yy′

其中f_x,f_y,f_s,c_x,c_y为相机内参参数，k₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆为相机畸变参数，x″,y″,x′,y′,r为中间参数，(x_nodis,y_nodis)为消除畸变后的像素坐标。

3)补偿板相对于相机的空间平动转动计算：

已知：

(X_i,Y_i)(i＝1-8)，根据补偿板上的打印信息可以知道标记点的物理坐标；

(x_si,y_si)(i＝1-8)，根据编码点识别算法可以知道每幅图上编码点的像素坐标；

相机内参和畸变f_x,f_y,f_s,c_x,c_yk₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆，根据相机标定可以获得相机的内参和畸变；

求解：

外参转动矩阵R，平移矩阵T；

求解过程：

将世界坐标系建立在补偿版上第一个标记点处，由相机标定模型易知世界坐标到图像像素坐标的映射方程：

世界坐标原点建立在补偿版平面上，xy平面和补偿版平面重合，世界坐标系和相机轴心坐标系形成R,T转动平移关系，其中R为三个自由度的外参转动矩阵：

T为三个自由度的外参平移矩阵：

(X,Y,Z)为世界坐标系下的空间点，(x_s,y_s)为其对应的图像上的点，α为辅助参数。

由于补偿版本身是平板因此Z＝0，所以可得：

令：

可得：

变换后得：

通过八组数据，令h₃₃＝1，可以获得H矩阵，然后可以得到外参：

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

λ＝1/|A^-1h₁|＝1/|A^-1h₂|

在使用图像坐标前，需要先使用第二部分中提到的畸变修正算法，对图像坐标先进行畸变修正，再进行外参求解；

4)计算点补偿求解：

通过上面获得的相机内参，畸变以及外参，还有补偿版的厚度信息，可以获得待测试件上的测量点相对于补偿版的空间位置；

对于待测试件上任意一点像素坐标(x,y)，先需要使用内参畸变参数采用步骤2)所述的畸变修正算法对其进行畸变剔除得到(x_nodis,y_nodis)；

根据相机模型可得：

对其做一个简单的变换可得：

其中Z_w是补偿版的厚度，可以求得(X_w,Y_w)。

其中，补偿板为高刚度材料制成，如薄制钢化玻璃或钢，保证其在试件被加载期间不发生大的变形，补偿版上贴有固定位置的编码点，或者补偿版上使用常规原点或者散板也可进行测量。

本发明提供一种基于坐标变换的二维数字图像相关引伸计，该引伸计利用上述的基于坐标变换的二维数字图像相关补偿方法进行测量。

本发明与现有技术相比的优点在于：

本发明新的方法中引入了在加载过程中和试件保持粘连却不受力的补偿版，补偿版上的标记点首先能够体现出ccd靶面和测量平面的平行状况，其次在试件加载过程中，补偿版跟随其做刚体的平动转动但不发生变形，通过补偿版上标记点的位移信息可以计算出平动和转动量，这样可以将这平动和转动量补偿回试件上得到了更为准确的结果。换句话来说，相当于求得了相对于补偿版试件的位移状况。另外因为预先估计了畸变，并在计算中给与了消除，可以降低畸变对测量的影响。

附图说明

图1为标定板示意图；

图2为补偿板示意图，其中，1为标记点，2为补偿版，3为被测试件；

图3为编码点示意图；

图4为相机模型图；

图5为旋转实验结果示意图；

图6为拉伸实验结果示意图。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

相比于常规的二维数字图像相关方法，新的方法在技术上需要引入相机标定(Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysisand Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.)的概念，在硬件上需要使用标定版[图1]和补偿版[图2]。

采用补偿方法进行这种基于坐标变换的二维数字图像相关的是实验流程主要分为四个步骤：

(1)进行实验测量前，需要固定好相机以及待测平面试件。相机可以和待测平面不垂直正对(30度以内皆可)，但要保证试件表面散板成像不虚焦并且试件处在成像中心处。

(2)使用常规相机标定方法对相机进行标定。

相机标定的技术流程文献[1]中有详细讲解，标定一般要使用标定版。

相机标定后可以获得相机本身的内参以及相机畸变。

内参：f_x,f_y,f_s,c_x,c_y

畸变：k₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆

该内参及畸变参数为相机标定基本参数，由相机标定可以直接获取，为相关领域内的基本概念。

(3)在测量试件表面粘连补偿版，补偿版一端应采用强力粘连手段(如502胶水)保证其不会脱落，另一端采用软粘连只要保证其与试件贴合即可。在试件变形过程中，软粘连端会脱落。

补偿板为硬质薄平板，采用不易变形的材料(如钢化玻璃，钢)，厚度保证在2mm以内，补偿板表面需要打印八个已知相对位置的编码点，如图2所示。

补偿板粘连完成后，可对试件进行加载，相机在加载过程中采集图像。

(4)常规二维数字图像相关一般都是直接使用图像中像素点的信息进行应变计算。新的方法中先使用常规数字图像相关方法获得一系列图中的匹配点，然后需要对匹配点进行映射，使用之前标定获得内参，畸变和补偿版上的标记点位置信息以及对应图补偿版标记点像素坐标获得待测试件表面相对于补偿版的物理位置信息，再使用补偿后获得的物理坐标进行应变的计算，这部分算法在下面的补偿算法描述中有详细讲解。

补偿算法描述：

(1)编码点识别算法：

用于识别图像中补偿版上编码点中心位置的像素坐标，参考文献(李晓峰,张瑜,骆念武.摄影测量中环状编码点的检测方法[J].现代制造工程,2012(2):118-121.)中有详细的算法介绍。

获取补偿板上编码点中心像素坐标(x_si,y_si)(i＝1-8)；

(2)畸变修正算法：

图像中任何一点的像素坐标(x_s,y_s)，都可以通过内参和畸变修正获得无畸变像素坐标。

y″＝(y_s-c_y)/f_y

x″＝(x_s-c_x-f_sy″)/f_x

r²＝x″²+y″²

x_nodis＝c_x+f_xx′+f_sy′

y_nodis＝c_y+f_yy′

(3)补偿板相对于相机的空间平动转动计算：

已知：

(X_i,Y_i)(i＝1-8),根据补偿版上的打印信息可以知道标记点的物理坐标。

(x_si,y_si)(i＝1-8)，根据编码点识别算法可以知道每幅图上编码点的像素坐标

相机内参和畸变f_x,f_y,f_s,c_x,c_yk₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆，根据相机标定可以获得相机的内参和畸变。

求解：

外参转动矩阵R，平移矩阵T

求解过程：

将世界坐标系建立在补偿版上第一个标记点处，由相机标定模型易知世界坐标到图像像素坐标的映射方程：

由于补偿版本身是平板因此Z＝0,所以可得：

令：

可得：

变换后得：

通过八组数据，令h₃₃＝1，可以获得H矩阵。然后可以得到外参：

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

λ＝1/|A^-1h₁|＝1/|A^-1h₂|

另外需要注意的是，一般在使用图像坐标前，需要先使用第二部分中提到的畸变修正算法，对图像坐标先进行畸变修正，再进行外参求解。

(4)计算点补偿求解：

通过上面获得的相机内参，畸变以及外参，还有补偿版的厚度信息，可以获得待测试件上的测量点相对于补偿版的空间位置。

对于待测试件上任意一点像素坐标(x,y)，先需要使用内参畸变参数采用上文提出的畸变修正算法对其进行畸变剔除得到(x_nodis,y_oodis)。

根据相机模型易得：

对其做一个简单的变换可得：

其中Z_w是补偿版的厚度，可以求得(X_w,Y_w)。

下面结合附图以及具体实施例进一步说明本发明。

(1)如图1所示，图1为标定板示意图。标定板在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。

通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。

(2)如图2所示，图2为补偿板示意图。补偿板是用硬质材料做成的水平薄板，板上印有八个标记点，标记点之间的相对位置在测量前就已经得知，在实验中，需要将补偿版贴在测量试件上，根据测量试件的不同形状，可以制作不同形状的补偿板。

(3)如图3所示，图3为编码点示意图。编码点是机器视觉领域常用的一种角点形式，通过外圈等分为15份黑白相间的环状结构对其进行区分，保证其唯一性,中间原点用于圆心识别，确定其位置。

(4)如图4所示，图4为相机模型图。

首先给出在旋转实验中，新的方法相对于常规方法的优势。

实验是对平面试件进行大角度旋转的测量。实验中使用两个相机，左相机和测量试件保持近似的垂直正对，右相机和其形成大概20度角，从而形成了一个双目系统，试件固定在一个旋转台上，实验中试件不会被加载，而是进行旋转，共旋转大概11度，两个相机进行同步采集，获得两组测量数据。

实验中选取了试件上两个点作为引伸计进行测量。

如图5所示，由于试件没有承力，因此应变应该一直都是0，然而由于整个过程中存在离面旋转，因此，常规的二维数字图像相关方法会测量得到很大的应变，而且由于两个相机和试件观察角度不一样，所以两个相机在常规二维数字图像相关方法中也得到了不同的结果，新的补偿方法将两个相机的数据统一了起来，并且和三维数字图像相关的结果形成了统一，可以看出，新的方法能够避免由于相机无法完全和测量试件正对以及测量中试件发生离面位移转动而导致的误差。图5为旋转实验结果示意图。

下面给出在一个拉伸实验中，新的方法相对于常规方法的优势。

实验是对铝合金板的拉伸曲线测量。实验中使用了两个相机，左相机和测量试件保证近似的垂直正对，右相机和其形成大概10度角，从而形成了一个双目系统，在拉伸过程中，两个相机都其进行同步采集，获得两组图片，既可以分别进行二维数字图像相关测量，两个相机结合在一起，也可以进行三维数字图像相关测量。

实验中选取了试件上两个点作为引伸计进行测量。

如图6所示，图6为拉伸实验结果示意图。可以看出，图像中，未补偿前的左右相机，由于其ccd与测量试件之间角度不同，导致结果并不能很好的吻合，而在补偿后，两个相机的两组数据获得了一致性的吻合，可以看出很好的消除了未正对时对其的影响。

三维数字图像相关是能够很好的去除畸变和离面位移的影响的，而在我们的实验中，我们利用两个相机形成双目系统进行了三维数字图像相关的测量，结果可以看出新的补偿方法和三维数字图像相关形成了很好的吻合，说明了新的方法可以有效的去除畸变和离面位移的影响。

同时，相对于三维数字图像相关，新的方法只需要使用一个相机就能完成，而且抗干扰性强，在标定后可以任意移动位置，只要不变焦或者调焦即可，一次标定后可以完成大量实验，复杂环境中也有更好的稳定性。

Claims (3)

1.一种基于坐标变换的二维数字图像相关补偿方法，其特征在于：该方法步骤如下：

步骤(1)、进行实验测量前，需要固定好相机以及待测平面试件，相机可以不垂直正对待测平面试件，相机镜头光轴与待测平面试件法线夹角在30度以内，需要保证待测平面试件表面散板成像不虚焦并且待测平面试件处在成像中心处；

步骤(2)、利用标定板对相机进行标定，相机标定后可以获得相机本身的内参以及相机畸变；

步骤(3)、在待测平面试件表面粘连补偿板，补偿板一端应采用固定粘连手段保证不会脱落，补偿板另一端采用软粘连手段，只要保证其与试件贴合即可，在待测平面试件变形过程中，软粘连端会脱落；补偿板粘连完成后，可对待测平面试件进行加载，相机在加载过程中采集图像；补偿板为硬质薄平板，补偿板采用不易变形的材料，补偿板厚度保证在2mm以内，补偿板表面需要粘贴八个已知相对位置的编码点；

步骤(4)、先使用数字图像相关方法获得一系列图中的匹配点，然后需要对匹配点进行映射，利用步骤(2)获得相机本身的内参及相机畸变，结合补偿板上的编码点以及编码点采集图像中像素坐标获得待测平面试件表面相对于补偿板的物理位置信息，再利用补偿算法获得的物理坐标进行应变的计算；

步骤(4)中补偿算法具体如下：

1)编码点识别

通过编码点识别算法可以获取补偿板上编码点中心像素坐标(x_si,y_si)(i＝1-8)；其中，补偿板上使用常规原点或者散斑图进行匹配计算，使用常规原点需要在对其中心进行识别的同时需要对其进行排序，使用散斑图需要提前在其上选择足够多的参考点并使用三维数字图像相关之类的光学测量方法提前获得其相对位移；

2)畸变修正算法：

图像中任何一点的像素坐标(x_s,y_s)，都可以通过内参和畸变修正获得无畸变像素坐标，

y″＝(y_s-c_y)/f_y

x″＝(x_s-c_x-f_sy″)/f_x

r²＝x″²+y″²

x_nodis＝c_x+f_xx′+f_sy′

y_nodis＝c_y+f_yy′

其中f_x,f_y,f_s,c_x,c_y为相机内参参数，k₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆为相机畸变参数，x″,y″,x′,y′,r为中间参数，(x_nodis,y_nodis)为消除畸变后的像素坐标；

3)补偿板相对于相机的空间平动转动计算：

已知：

(X_i,Y_i)(i＝1-8)，根据补偿板上的打印信息可以知道标记点的物理坐标；

(x_si,y_si)(i＝1-8)，根据编码点识别算法可以知道每幅图上编码点的像素坐标；

相机内参和畸变f_x,f_y,f_s,c_x,c_y k₁,k₂,p₁,p₂,k₃,k₄,k₅,k₆，根据相机标定可以获得相机的内参和畸变；

求解：

外参转动矩阵R，平移矩阵T；

求解过程：

将世界坐标系建立在补偿板上第一个标记点处，由相机标定模型易知世界坐标到图像像素坐标的映射方程：

世界坐标原点建立在补偿板平面上，xy平面和补偿板平面重合，世界坐标系和相机轴心坐标系形成R,T转动平移关系，其中R为三个自由度的外参转动矩阵：

T为三个自由度的外参平移矩阵：

(X,Y,Z)为世界坐标系下的空间点，(x_s,y_s)为其对应的图像上的点，α为辅助参数；

由于补偿板本身是平板因此Z＝0，所以可得：

令：

可得：

变换后得：

通过八组数据，令h₃₃＝1，可以获得H矩阵，然后可以得到外参：

r₁＝λA^-1h₁

r₂＝λA^-1h₂

r₃＝r₁×r₂

t＝λA^-1h₃

λ＝1/|A^-1h₁|＝1/|A^-1h₂|

在使用图像坐标前，需要先使用第二部分中提到的畸变修正算法，对图像坐标先进行畸变修正，再进行外参求解；

4)计算点补偿求解：

通过上面获得的相机内参，畸变以及外参，还有补偿板的厚度信息，可以获得待测试件上的测量点相对于补偿板的空间位置；

对于待测试件上任意一点像素坐标(x,y)，先需要使用内参畸变参数采用步骤2)所述的畸变修正算法对其进行畸变剔除得到(x_nodis,y_nodis)；

根据相机模型可得：

对其做一个简单的变换可得：

其中Z_w是补偿板的厚度，可以求得(X_w,Y_w)。

2.根据权利要求1所述的一种基于坐标变换的二维数字图像相关补偿方法，其特征在于：补偿板为高刚度材料制成，为薄制钢化玻璃或钢，保证其在试件被加载期间不发生大的变形，补偿板上贴有固定位置的编码点，或者补偿板上使用原点或者散斑进行测量。

3.一种基于坐标变换的二维数字图像相关引伸计，其特征在于：该引伸计利用权利要求1-2任一项所述的基于坐标变换的二维数字图像相关补偿方法进行测量。