CN107091610A - 一种大型结构的三维动态在线测量装置及其测量方法 - Google Patents

Abstract

本发明公开了一种大型结构的三维动态在线测量装置及其测量方法。本发明采用多组摄像机组，每组摄像机组包括两个拍摄角度不同的摄像机，能够测量大型复杂结构的三维全场变形情况，能实时观察全场的变形情况，并能在试验结束后分析摄像机每一帧的变形场；通过对摄像机组公共成像区域的进行拟合拼接的方法，将每组摄像机的结果统一到一个坐标系中，可以根据需要增加摄像机组的数量，可测量各种大型的结构，能测量出结构全场的三维坐标与变形场；通过边缘检测、特征点提取与极线拟合的方式来测量曲面结构表面的缝隙距离，可实现对视场所有缝隙距离的同时测量；在测量过程中不需对结构进行改动，无需接触结构，变形场与缝隙距离能同时进行。

Description

一种大型结构的三维动态在线测量装置及其测量方法

技术领域

本发明涉及大型结构动态在线测量技术，具体涉及一种大型结构的三维动态在线测量装置及其测量方法。

背景技术

飞机的飞行高度一般较高，民航客机的飞行高度一般在10000米左右的平流层，而对于战斗机其飞行高度能达到两万米甚至更高。当飞机处在一万米高空时，其外部大气压强约为26.4KPa，而对于民航客机，其在巡航阶段时为保证里面乘客的舒适性及出于飞机结构设计的考虑，其机舱内部的气压约为80KPa。由此可见飞机在飞行过程中飞机内外存在着较大的气压差，这对飞机机身结构、飞机开口部件及机舱密封部件如舱门会产生较大的影响。在1953年到1954年间，投入运营的9架彗星号客机，其飞机增压仓内方形舷窗处的蒙皮，在反复的增压和减压冲击下，产生变形、裂纹，最终导致金属疲劳断裂，就有3架坠毁。飞机在高空中，断裂使得飞机座舱内外的压差如同压缩空气一样爆炸，使得飞机顷刻解体。

民航客机通过气密舱来为旅客提供良好舒适而安全的乘机环境，《飞机设计手册》中提到飞机结构必须有足够的强度来承受飞行载荷和压差载荷的作用。并且在飞机设计手册中提到，对于飞机上的开口结构应考虑其在机身机构发生形变时对开口处的结构强度的影响。而在我国的运输类飞机的适航标准中，对飞机的结构强度及变形也有明确的要求，对飞机在复合载荷作用下产生的变形做出了一系列规定。因此测量飞机在载荷作用下的变形是飞机设计中的一项重要测试实验，飞机在地面进行强度试验时一般采用应变片及激光位移传感器的手段来测量飞机机身的变形。传统的试验方法所得到的试验数据是基于所测点的结果或是基于静态下的试验结果，不能很好的放映整体的变形情况。而在民航客机的设计中不可避免在气密舱上存在着各种各样的开口，由于压差载荷的反复作用及气动载荷作用下会产生变形，以及部件间连接处的缝隙也会发生变化。尤其像舱门这种大开口设计在飞机飞行过程中很容易由于气压差及其它载荷而发生变形，并且其与机身结合处的缝隙也会发生变化，有可能对飞机的结构强度及气动布局产生影响。由此可见在飞机设计中对飞机机身的变形及飞机表面缝隙的测量具有重要的意义。因此如何得到飞机表面变形的变形场及飞机结构缝隙的整体变化情况对飞机的设计及飞机的检修具有重要作用。而如果能实时显示结构的变形情况会更加有利于在试验监控随加载条件变化的变化情况，能根据试验结果来改变试验加载条件。

发明内容

针对现有技术中存在的问题，本发明提出了一种大型结构的三维动态在线测量装置及其测量方法；本发明实现对大型结构的三维位移场及应变场的动态测量，并且能够根据实际情况适应各种大型复杂结构的测量。

本发明的一个目的在于提出一种大型结构的三维动态在线测量装置。

本发明的大型结构的三维动态在线测量装置包括：多组摄像机组、触发控制器、同步源和图像采集处理系统；其中，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统；相邻的两个摄像机组存在拍摄的公共成像区域；同步源连接至触发控制器；在大型结构表面具有特征标记；在每一个公共成像区域内存在至少两个特征标记，公共成像区域内的特征标记作为标定点；在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统；图像采集处理系统通过双目立体视觉原理，通过事先形成在大型结构表面的特征标记，形成各自成像区域的三维变形场，再利用坐标变换统一到一个坐标系中，建立统一的大型结构的三维变形场；或者，图像处理系统对每一组的摄像机组采集的图像进行边缘提取，并通过坐标变换统一到一个坐标系中，从而分析缝隙的变形情况。

特征标记采用散斑、圆点或棋盘格点或者大型结构本身的纹理。

进一步，每一组摄像机组还包括多个光源，每一个摄像机配置一个光源，为摄像机提供照明。每一个光源连接至触发控制器。

图像采集处理系统包括数据采集器和计算机；其中，数据采集器采集每个摄像机的图像，传输至计算机，由计算机进行图像分析与保存。

本发明的另一个目的在于提供一种大型结构的三维动态在线测量方法。

本发明的大型结构的三维动态在线测量装置，既能对大型结构的三维变形场进行测量，又能对大型结构中的缝隙进行测量。

本发明的大型结构的三维变形场的在线测量方法，包括以下步骤：

1)在加载和拍摄前，在大型结构的表面设定特征标记；

2)根据大型结构的尺寸布置多组摄像机组，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统，相邻的两个摄像机组存在拍摄的公共成像区域，多组摄像机组的成像区域覆盖大型结构；

3)在每一个公共成像区域内至少存在两个特征标记作为标定点；

4)在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；

5)在加载前，每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；

6)对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统，并保存；

7)图像采集处理系统对每一组摄像机组拍摄的图像，通过双目视觉原理，对特征标记利用图像匹配计算得到每一组摄像机组的成像区域的三维变形场；

8)通过坐标变换，将多组摄像机组的成像区域的三维变形场统一到一个坐标系中，建立统一的大型结构的三维变形场；

9)通过计算在步骤6)采集并存储的图像，实现在线动态测量，实时查看大型结构的变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的变形情况。

其中，在步骤1)中，特征标记采用散斑、圆点或棋盘格点或者大型结构本身的纹理。

在步骤4)中，摄像机组的三维立体标定通过棋盘格或圆形标定靶，采用双目立体视觉标定算法计算每组摄像机组中两个摄像机的内部参数，以及两个摄像机的相对位置的外部参数。

在步骤7)中，图像匹配包括数字图像相关法和特征点匹配法。

本发明的大型结构的缝隙的在线测量方法，包括以下步骤：

1)在加载和拍摄前，在大型结构的表面制备特征标记；

2)根据大型结构的尺寸布置多组摄像机组，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统，相邻的两个摄像机组存在拍摄的公共成像区域，多组摄像机组的成像区域覆盖大型结构；

3)在每一个公共成像区域内至少存在两个特征标记作为标定点；

4)在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；

5)在加载前，每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；

6)对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统，并存储图像；

7)图像采集处理系统对每一组摄像机组拍摄的图像，对图像进行边缘提取，进行立体匹配，重建边缘线的空间坐标；

8)通过坐标变换，将多组摄像机组的成像区域的边缘线统一到一个坐标系中，建立统一的大型结构的边缘线的空间坐标；

9)通过计算统一的大型结构的边缘线的空间坐标的数据，实现在线动态测量，实时查看大型结构的缝隙变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的缝隙与边缘的变形情况。

其中，在步骤4)中，摄像机组的三维立体标定通过棋盘格或圆形标定靶，采用双目立体视觉标定算法计算每组摄像机组中两个摄像机的内部参数，以及两个摄像机的相对位置的外部参数。

在步骤7)中，重建边缘线的空间坐标具体包括以下步骤：

a)对采集的图像进行边缘粗提取；

b)对所提取的边缘通过亚像素算法提取边缘的亚像素值，对边缘进行像素定位；

c)提取边缘上的特征点；

d)通过边缘上的特征点，对每组摄像机中的两个摄像机机通过极线和边缘线约束以及点列顺序的一致性，进行立体匹配，重建边缘线的空间坐标。

本发明的优点：

本发明采用多组摄像机组，每组摄像机组包括两个拍摄角度不同的摄像机，能够测量大型复杂结构的三维全场变形情况，能实时观察全场的变形情况，并能在试验结束后分析摄像机每一帧的变形场；通过对摄像机组公共成像区域的进行拟合拼接的方法，将每组摄像机的结果统一到一个坐标系中，可以根据需要增加摄像机组的数量，可测量各种大型的结构，能测量出结构全场的三维坐标与变形场；通过边缘检测、特征点提取与极线拟合的方式来测量曲面结构表面的缝隙距离，可实现对视场所有缝隙距离的同时测量；在测量过程中不需对结构进行改动，无需接触结构，变形场与缝隙距离能同时进行。

附图说明

图1为本发明的大型结构的三维动态在线测量装置的一个实施例的示意图；

图2为根据本发明的大型结构的三维动态在线测量方法进行摄像机矫正的示意图，其中，(a)为校正前的示意图，(b)为校正后的示意图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本发明。

实施例一

如图1所示，本实施例的大型结构的三维动态在线测量装置包括：两组摄像机组、触发控制器、同步源和图像采集处理系统；其中，图像采集处理系统包括数据采集器10和计算机11；第一组摄像机组包括两个摄像机4a和4b，两个摄像机的成像区域相同但成像角度不同，以及两个光源5a和5b；第二组摄像机组包括两个摄像机6a和6b，以及两个光源7a和7b；每一个摄像机通过数据线分别连接至触发控制器9和数据采集器10；每一个光源均通过数据线连接至触发控制器，控制光源的照明亮度及闪烁频率，并保证摄像组的同步性；相邻的两个摄像机组存在拍摄的公共成像区域3；多组摄像机组的成像区域覆盖大型结构；数据采集器10连接至计算机11；同步源8连接至触发控制器9；同步源8还与计算机11相连。图1中，1为大型结构，2为缝隙。

本实施例中，在线测量大型结构的三维变形场，测量方法包括以下步骤：

1)在加载和拍摄前，在大型结构的表面制备多个随机分布的散斑。

2)布置两组摄像机组，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统，相邻的两个摄像机组存在拍摄的公共成像区域，两组摄像机组的成像区域覆盖大型结构。

3)选取公共成像区域内的散斑作为标定点在。

4)在加载前，对每个摄像机组进行三维立体标定，从而获得摄像机内部参数和外部参数，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换：

a)两个摄像机同时采集一组图像，记录15～20组图像；

b)根据张正友标定算法计算摄像机组的内部参数和外部参数，其中内部参数为摄像机的焦距，像素中心点的位置及摄像机的畸变，外部参数为两个摄像机机的相对空间位置关系包括平移与旋转，通过标定求得了每组摄像机的内外参数；

c)对于两组摄像机组的公共成像区域，设点p为公共成像区域中的一点。设第一组中重建的三维坐标系为o₁x₁y₁z₁，则p点在第一组中的坐标X1为[x₁，y₁，z₁]^T，设第一组中重建的三维坐标系为o₂x₂y₂z₂，则p点在第二组中的坐标X2为[x₂，y₂，z₂]^T：X1＝RX2+T

其中，R为两个坐标系间的旋转矩阵，T为平移矩阵，R和T分别有三个参数。由于可知每个点能形成三个方程，最少由两公共点即可求出R、T的值。通过R、T即可把两组摄像机重建出的三维变形场统一到一个空间三维坐标系中，即可重建大型曲面的整个表面三维，及整体的位移场与应变场。

5)在加载前，每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像。

6)对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统。

7)图像采集处理系统对每一组摄像机组拍摄的图像，通过双目视觉原理重建出结构表面全场的空间坐标，变形前后空间坐标之差即是所求的该点三维位移(u，v，w)，通过对位移场求梯度可求得大型结构的三维变形场：

8)通过步骤4)中得到的坐标变换，将多组摄像机组的成像区域的三维变形场统一到一个坐标系中，建立统一的大型结构的三维变形场；

9)通过计算图像的数据，实现在线动态测量，实时查看大型结构的变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的变形情况。

实施例二

在本实施例中，采用实施例一中的三维动态在线测量装置，在线测量大型结构的缝隙，测量方法包括以下步骤：

1)～6)同实施例一。

7)图像采集处理系统对每一组摄像机组拍摄的图像，对图像进行边缘提取，进行立体匹配，重建边缘线的空间坐标：

a)对采集的图像进行边缘粗提取；

b)对所提取的边缘利用二次曲线拟合与灰度梯度的方法进行亚像素提取，对边缘进行亚像素定位；

c)提取边缘上的特征点，包括缝隙的弯曲处的凹凸点以及直线段上的点；

d)通过边缘线上的特征点，对每组摄像机中的两个摄像机机通过极线和边缘线约束以及点列顺序的一致性，进行立体匹配，重建边缘线的空间坐标：

为了实现基于缝隙边缘线的匹配重建，在获得摄像机内部和外部参数后，需要对图像和参数进行矫正。如图2所示，空间中的边缘线分别投影在2个成像平面I1和I2上，为2条平面曲线。对在成像平面I1和I2上投影形成的图像进行矫正，就是使2个图像上的对应像素在同一行。图像和摄像机内部和外部参数矫正后如图2(b)所示。假设边缘线上一点P在成像平面I1和I2上的投影为P1和P2(C1和C2为不同视点)，由极线约束关系P1和P2必过同一极线。因为将2个成像平面I1和I2分别与平面π的交线e1和e2称为极线，P1和P2必过极线，则该极线与成像平面上的边缘线的交点即为P1和P2。通过边缘线上某一点在矫正后的成像平面上的对应点坐标，再结合两摄像机矫正后的内部和外部参数，就可以重建边缘线上的该点的三维坐标。通过极线和边缘线约束以及点列顺序的一致性，即可求出边缘线的空间坐标。

8)通过坐标变换，将多组摄像机组的成像区域的边缘线的空间坐标统一到一个坐标系中，建立统一的大型结构的边缘线的空间坐标，通过计算缝隙边缘的距离来表征缝隙距离的变化情况。

9)通过计算统一的大型结构的边缘线的空间坐标的数据，实现在线动态测量，实时查看大型结构的缝隙变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的缝隙与边缘的变形情况。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种大型结构的三维动态在线测量装置，其特征在于，所述测量装置包括：多组摄像机组、触发控制器、同步源和图像采集处理系统；其中，每一组摄像机组包括两个摄像机，所述两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统；所述同步源连接至触发控制器；相邻的两个摄像机组存在拍摄的公共成像区域；在大型结构表面具有特征标记；在每一个公共成像区域内存在至少两个特征标记，公共成像区域内的特征标记作为标定点；在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统；图像采集处理系统通过双目立体视觉原理，通过事先形成在大型结构表面的特征标记，形成各自成像区域的三维变形场，再利用坐标变换统一到一个坐标系中，建立统一的大型结构的三维变形场；或者，图像处理系统对每一组的摄像机组采集的图像进行边缘提取，并通过坐标变换统一到一个坐标系中，从而分析缝隙的变形情况。

2.如权利要求1所述的测量装置，其特征在于，所述特征标记采用散斑、圆点或棋盘格点或者大型结构本身的纹理。

3.如权利要求1所述的测量装置，其特征在于，每一组摄像机组还包括多个光源，每一个摄像机配置一个光源，为摄像机提供照明；所述每一个光源连接至触发控制器。

4.如权利要求1所述的测量装置，其特征在于，所述图像采集处理系统包括数据采集器和计算机；其中，数据采集器采集每个摄像机的图像，传输至计算机，由计算机进行图像分析与保存。

5.一种大型结构的三维变形场的在线测量方法，其特征在于，所述测量方法包括以下步骤：

1)在加载和拍摄前，在大型结构的表面设定特征标记；

2)根据大型结构的尺寸布置多组摄像机组，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统，相邻的两个摄像机组存在拍摄的公共成像区域，多组摄像机组的成像区域覆盖大型结构；

3)在每一个公共成像区域内至少存在两个特征标记作为标定点；

4)在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；

5)在加载前，每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；

6)对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统，并保存；

7)图像采集处理系统对每一组摄像机组拍摄的图像，通过双目视觉原理，对特征标记利用图像匹配计算得到每一组摄像机组的成像区域的三维变形场；

8)通过坐标变换，将多组摄像机组的成像区域的三维变形场统一到一个坐标系中，建立统一的大型结构的三维变形场；

9)通过计算在步骤6)采集并存储的图像，实现在线动态测量，实时查看大型结构的变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的变形情况。

6.如权利要求5所述的测量方法，其特征在于，在步骤1)中，特征标记采用散斑、圆点或棋盘格点或者大型结构本身的纹理。

7.如权利要求5所述的测量方法，其特征在于，在步骤4)中，摄像机组的三维立体标定通过棋盘格或圆形标定靶，采用双目立体视觉标定算法计算每组摄像机组中两个摄像机的内部参数，以及两个摄像机的相对位置的外部参数。

8.如权利要求5所述的测量方法，其特征在于，在步骤7)中，图像匹配包括数字图像相关法和特征点匹配法。

9.一种大型结构的缝隙的在线测量方法，其特征在于，所述测量方法包括以下步骤：

1)在加载和拍摄前，在大型结构的表面制备特征标记；

2)根据大型结构的尺寸布置多组摄像机组，每一组摄像机组包括两个摄像机，两个摄像机的成像区域相同但成像角度不同；每一个摄像机通过数据线分别连接至触发控制器和图像采集处理系统，相邻的两个摄像机组存在拍摄的公共成像区域，多组摄像机组的成像区域覆盖大型结构；

3)在每一个公共成像区域内至少存在两个特征标记作为标定点；

4)在加载前，每个摄像机组进行三维立体标定，并通过公共区域内的标定点，完成相邻的摄像机组的坐标变换；

5)在加载前，每个摄像机组拍摄各自成像区域内的图像，并传输至图像采集处理系统中，形成原始分析图像；

6)对大型结构进行加载，同步源为触发控制器提供触发信号，触发控制器控制每一组摄像机组中的摄像机同步拍摄，图像传输至图像采集处理系统，并存储图像；

7)图像采集处理系统对每一组摄像机组拍摄的图像，对图像进行边缘提取，进行立体匹配，重建边缘线的空间坐标；

8)通过坐标变换，将多组摄像机组的成像区域的边缘线统一到一个坐标系中，建立统一的大型结构的边缘线的空间坐标；

9)通过计算统一的大型结构的边缘线的空间坐标的数据，实现在线动态测量，实时查看大型结构的缝隙变形情况，或对保存的图像在加载完成后进行处理，分析大型结构的缝隙与边缘的变形情况。

10.如权利要求9所述的测量方法，其特征在于，在步骤7)中，重建边缘线的空间坐标具体包括以下步骤：

a)对采集的图像进行边缘粗提取；

b)对所提取的边缘通过亚像素算法提取边缘的亚像素值，对边缘进行像素定位；

c)提取边缘上的特征点；

d)通过边缘上的特征点，对每组摄像机中的两个摄像机机通过极线和边缘线约束以及点列顺序的一致性，进行立体匹配，重建边缘线的空间坐标。