CN112254656B - 一种基于结构表面点特征的立体视觉三维位移测量方法 - Google Patents
一种基于结构表面点特征的立体视觉三维位移测量方法 Download PDFInfo
- Publication number
- CN112254656B CN112254656B CN202011015114.5A CN202011015114A CN112254656B CN 112254656 B CN112254656 B CN 112254656B CN 202011015114 A CN202011015114 A CN 202011015114A CN 112254656 B CN112254656 B CN 112254656B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- points
- matching
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 83
- 238000000691 measurement method Methods 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000012360 testing method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种基于结构表面点特征的立体视觉三维位移测量方法。本发明涉及结构测量技术领域，本发明为解决视觉测量过程中在结构表面布置人造靶标存在局限，实用性较差的问题。具体过程为：采用立体视觉系统对变形过程中的结构表面进行图像采集，得到左右图像序列，对图像序列进行预处理；提取参考图像感兴趣区域和图像序列的搜索子区内的特征点；初始时刻左右图像立体匹配和左右图像序列匹配；得到各特征点在各时刻的三维坐标；得到测量结构的位移信息。本发明可用于结构三维位移测量领域。
Description
技术领域
本发明涉及结构测量技术领域，是一种基于结构表面点特征的立体视觉三维位移测量方法。
背景技术
在土木工程领域，视觉测量技术是基于计算机视觉和图像处理的一种测量技术，通过模拟人类视觉对实际结构进行投影重建，从而得到结构的实际变形信息。
2007年，Li等对OCM方法进行改进，提出一种鲁棒性增强的方向码匹配方法进行图案识别，在光照变化较大和图像模糊时也有较好的识别结果；2013年，Fukuda等使用亚像素精度的方向码匹配方法和数字图像相关方法得到大跨度公路桥梁的在通车时的竖向位移和动力特性，并通过伸缩变焦镜头实现远距离测量；2015年，Feng等使用方向码匹配方法和数字图像相关方法对铁路桥进行通车时的平面动态位移测量，并在白天和夜晚都进行测量，白天采用对比度较高的图案作为靶标，夜晚使用高亮小灯作为靶标；2016年，Feng等基于上采样互相关和方向码匹配方法，提出了单相机多点同步测量结构的视觉测量方法，并验证了其在时域和频域测量的性能，在复杂背景、光线变化、目标遮挡等多种情况下的鲁棒性。
现在较为成熟的视觉测量方法大多将人工设计的具有高对比度的人造靶标作为匹配信息的载体，这些基于人造靶标的视觉方法虽然在布置方便、低成本等方面相比于传统的测量方法具有很大优势，但在实际应用中仍然存在很多限制。尺度不变特征变换(SIFT)算法作为一种特征匹配算法，于2004年由Lowe提出，该方法具有旋转不变、尺度不变的优点和高鲁棒性。2017年，Khuc等将SIFT算法应用到平面视觉测量中，并在应用在轻轨高架桥跨中位移测量中使用。
本发明为解决人造靶标在土木工程实际应用中的局限性，提出一种基于结构表面点特征的立体视觉三维位移测量方法。将SIFT算法应用到立体视觉测量中，在无需布置人造靶标的情况下，得到结构的三维位移信息，工程实用性较强。
发明内容
本发明为了解决人造靶标在土木工程试验中存在局限性，实用性较差的问题，本发明提供了一种基于结构表面点特征的立体视觉三维位移测量方法，本发明提供了以下技术方案：
一种基于结构表面点特征的立体视觉三维位移测量方法，包括以下步骤：
步骤1：采用立体视觉系统对变形过程中的结构表面进行图像采集，得到左右图像序列，并对所述图像序列进行预处理，得到参考图像；
步骤2：提取参考图像感兴趣区域和图像序列的搜索子区内的特征点，提取出特征点集并去除干扰点；
步骤3：进行初始时刻左右图像立体匹配和左右图像序列匹配，剔除误匹配点；
步骤4：获取各特征点在各时刻的三维坐标；如进行三维位移场测量时，则需要得到各特征点的三维坐标，当进行三维点位移测量时，则需要得到各时刻匹配特征点集的形心点的三维坐标；
步骤5：根据三维坐标和三维点位移，得到测量结果的位移信息。
优选地，所述步骤1具体为：
步骤1.1：对所述图像序列进行预处理，在初始时刻左图像上选择感兴趣区域，以结构表面重点关注对象作为测量目标，在初始时刻左图像上选择包含测量目标的矩形区域作为感兴趣区域；
步骤1.2：在左右图像序列上选择搜索子区，通过预估得到测量目标的运动范围，在左图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；
步骤1.3：对参考图像的感兴趣区域和左右图像序列搜索子区进行滤噪处理，采用降采样处理对原始图像平滑滤噪，提高计算效率：采取二倍均值降采样法进行降采样处理，将2M pixel×2N pixel的图像分为M×N个2×2的像素矩阵，然后计算每个像素矩阵的灰度平均值作为降采样处理后图像的像素点灰度值；
步骤1.4：对参考图像的感兴趣区域和左右图像序列搜索子区进行对比度增强处理，选择直方图均衡化处理，增强原始图像对比度。
优选地，所述步骤2具体为：
步骤2.1、使用尺度不变特征变换算法提取参考图像的感兴趣区域和左右序列图像上的搜索子区图像中的特征点；
建立尺度空间和高斯金字塔，设尺度空间函数为L(X,Y,σ)，由不同尺度σ的高斯函数对原始图像进行平滑处理得到，尺度空间函数以卷积形式表现，通过下式表示尺度空间函数：
其中，I(X,Y)为原始图像灰度值；G(X,Y,σ)为平滑处理时使用的高斯核函数，σ为尺度因子；
高斯金字塔通过对原始图像逐步高斯降采样得到，高斯差分函数用D(X,Y,σ)表示，通过下式表示高斯差分函数：
其中，k为常数，kσ和σ表示两个相邻尺度；
通过高斯差分函数计算得到尺度空间函数的极值点，作为候选点；由高斯差分函数计算得到的高斯差分金字塔；
为了得到尺度σ对应的D(X,Y,σ)的局部极值，每个像素点都与其相邻的8个点，以及相邻两尺度的2×9个点的灰度值进行比较；当某点的灰度值是这27个点的最值时，则是尺度σ下的特征点；
步骤2.2、去除提取出的特征点集的干扰点，去除低对比度的点、具有边缘效应的点以及非测量目标点。
优选地，所述步骤3具体为：
步骤3.1：使用尺度不变特征变化算法建立特征点描述子；在尺度σ下，像素点(X,Y)的梯度大小m(X,Y)和方向θ(X,Y)通过下式计算：
其中，L(X,Y)为尺度σ下的像素点(X,Y)的空间函数值；m(X,Y)为梯度大小；θ(X,Y)为梯度方向；
将360°等分为若干份，通过对特征点邻域像素点梯度大小进行高斯函数加权的方式统计出周围点的方向直方图；
建立描述子时参数设置，邻域半径为16，子区大小为4×4，统计8方向直方图，此时建立的特征点描述子的向量维数为128；为了降低光照变化对测量结果的影响，需要去除局部梯度最大的点；
步骤3.2：使用最近邻算法进行初始时刻左右图像特征点匹配，通过在匹配特征点集中识别出参考特征点的最近邻点，找到每个参考特征点的最佳匹配候选点；分别建立左图像序列匹配的参考特征点库Sl和右图像序列匹配的参考特征点库Sr，建立左右序列匹配的参考特征点库；
步骤3.3：进行左右图像序列匹配，如进行位移场测量需进行测量时刻左右图像立体匹配；
步骤3.4：去除匹配过程中的误匹配点：所述误匹配点包括无匹配点、立体匹配中的误匹配点和序列匹配中的误匹配点；
通过设置最近邻算法中的最近距离与次近距离的比值阈值去除无匹配点；
采用随机抽样一致性算法剔除立体匹配中的误匹配点：
对于图像特征点匹配，RANSAC算法建立匹配模型时需要用到单应性矩阵Ht，在双目立体视觉测量中，单应性矩阵应为投影变换矩阵，设匹配图像中的点为(Xb,Yb)，参考图像中点的坐标为(Xa,Ya)，匹配图像与参考图像之间的变换公式通过下式表示：
其中，h0-h7为单应性矩阵Ht元素值；
应用RANSAC算法进行误匹配点去除之前，需要设定模型正确率阈值，即一致点集中的特征点数量占匹配点总数的比例、误差阈值和最大迭代次数；
采用修剪均值法去除序列匹配中的误匹配点，去除特征点匹配结果中一定百分比的欧式距离最小或最大的特征点对。
优选地，所述步骤4具体为：
步骤4.1：使用张正友相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵Al和Ar，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵Mlr，通过下式表示内外参数：
其中，内参数矩阵A中(u0,v0)为相机主点坐标，fx和fy分别为x和y方向的等效焦距，
为旋转矩阵，
为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用ow-xwywzw表示；左右相机坐标系分别用ol-xlylzl和or-xryrzr表示；左右图像坐标系分别用Ol-XlYl和Ol-XlYl表示；
步骤4.2：令左相机坐标系ol-xlylzl和世界坐标系ow-xwywzw重合，通过下式得到特征点在世界坐标系中的三维坐标；
步骤4.3：当进行位移场测量，获取各特征点在各时刻的三维坐标；当进行点位移测量，获取特征点集的形心点在各时刻的三维坐标，不同时刻的特征点集的形心点坐标需要修正，通过下式表示第k时刻的左、右序列匹配特征点集的形心点坐标修正公式如式：
其中，
和
为第k时刻左序列匹配特征点集形心点图像坐标X和Y方向的误差；
和
为第k时刻右序列匹配特征点集形心点图像坐标X和Y方向的误差；
通过下式确定修正后的第k时刻左时刻序列匹配特征点集形心点图像坐标为：
优选地，所述步骤5具体为：根据各特征点在各时刻与初始时刻的三维坐标作差，得到特征点各时刻的三维位移，当进行点位移测量，需求得特征点集的形心点在各时刻的三维位移。
本发明具有以下有益效果：
本发明在土木工程领域，视觉测量技术是基于计算机视觉和图像处理的一种测量技术。现有视觉测量方法大多基于在结构表面布置人造靶标进行图像信息提取及匹配，人造靶标在实际应用中具有局限性，实用性较差。本发明为解决此问题，提出一种基于结构表面点特征的立体视觉三维变形测量方法。该方法将SIFT算法应用到立体视觉测量中，在无需布置人造靶标的情况下，得到结构的三维位移信息，节省时间和人力物力财力，具有工程应用性和实用性。
通过三层框架地震振动台三维位移测量试验数据对一种基于结构表面点特征的立体视觉三维位移测量方法进行验算。试验结果表明位移计、基于人造靶标的视觉测量方法和一种基于结构表面点特征的立体视觉测量方法测得的位移曲线具有高度一致性，证明一种基于结构表面点特征的立体视觉三维位移测量方法的有效性和可靠性：使用本发明方法测得的四个测点的误差最大值可保证在2.07mm内，误差平均值可保证在7.80×10-2mm内，均方根误差可保证在23.66×10-2mm内。证明一种基于结构表面点特征的立体视觉三维位移测量方法可以满足工程测量要求，具有实用性。
附图说明
图1为本发明所使用立体视觉系统结构构成示意图；
图2为高斯金字塔和高斯差分金字塔示意图；
图3为左右图像序列匹配参考特征点库建立流程图；
图4为RANSAC算法剔除立体匹配过程中的误匹配点流程图；
图5为一种基于结构表面点特征的立体视觉三维位移测量方法流程图；
图6为三层框架模型；
图7为工况1测点1的x方向位移图；
图8为工况1测点1的y方向位移图；
图9为工况1测点1的z方向位移图。
具体实施方式
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
根据图1至图9所示，本发明提供一种基于结构表面点特征的立体视觉三维位移测量方法，具体为：
一种基于结构表面点特征的立体视觉三维位移测量方法，包括以下步骤：
步骤1：采用立体视觉系统对变形过程中的结构表面进行图像采集，得到左右图像序列，并对所述图像序列进行预处理，得到参考图像；所述立体视觉系统，如图1所示。
所述步骤1具体为：
步骤1.1：对所述图像序列进行预处理，在初始时刻左图像上选择感兴趣区域，以结构表面关注对象作为测量目标，在初始时刻左图像上选择包含测量目标的矩形区域作为感兴趣区域；
步骤1.2：在左右图像序列上选择搜索子区，通过预估得到测量目标的运动范围，在左图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；
步骤1.3：对参考图像的感兴趣区域和左右图像序列搜索子区进行滤噪处理，采用降采样处理对原始图像平滑滤噪，提高计算效率：采取二倍均值降采样法进行降采样处理，将2M pixel×2N pixel的图像分为M×N个2×2的像素矩阵，然后计算每个像素矩阵的灰度平均值作为降采样处理后图像的像素点灰度值；
步骤1.4：对参考图像的感兴趣区域和左右图像序列搜索子区进行对比度增强处理，为了减少光照变化对测量结果的影响，选择直方图均衡化处理，增强原始图像对比度。
步骤2：提取参考图像感兴趣区域和图像序列的搜索子区内的特征点，提取出特征点集并去除干扰点；
所述步骤2具体为：
步骤2.1、使用尺度不变特征变换算法提取参考图像的感兴趣区域和左右序列图像上的搜索子区图像中的特征点；
建立尺度空间和高斯金字塔，设尺度空间函数为L(X,Y,σ)，由不同尺度σ的高斯函数对原始图像进行平滑处理得到，尺度空间函数以卷积形式表现，通过下式表示尺度空间函数：
其中，I(X,Y)为原始图像灰度值；G(X,Y,σ)为平滑处理时使用的高斯核函数，σ为尺度因子；
高斯金字塔通过对原始图像逐步高斯降采样得到，高斯差分函数用D(X,Y,σ)表示，通过下式表示高斯差分函数：
其中，k为常数，kσ和σ表示两个相邻尺度；
通过高斯差分函数计算得到尺度空间函数的极值点，作为候选点；由高斯差分函数计算得到的高斯差分金字塔；由高斯差分函数计算得到的高斯差分金字塔如图2所示。
为了得到尺度σ对应的D(X,Y,σ)的局部极值，每个像素点都与其相邻的8个点，以及相邻两尺度的2×9个点的灰度值进行比较；当某点的灰度值是这27个点的最值时，则是尺度σ下的特征点；
步骤2.2、去除提取出的特征点集的干扰点，去除低对比度的点、具有边缘效应的点以及非测量目标点。
所述特征点为可由尺度不变特征变换算法提取出的特征点，提取出的特征点集并去除干扰点；所述干扰点为稳定性较差点和非测量目标点；所述稳定性较差点包括低对比度的点和具有边缘效应的点；
步骤3：进行初始时刻左右图像立体匹配和左右图像序列匹配，剔除误匹配点；
所述步骤3具体为：
步骤3.1：使用尺度不变特征变化算法建立特征点描述子；在尺度σ下，像素点(X,Y)的梯度大小m(X,Y)和方向θ(X,Y)通过下式计算：
其中，L(X,Y)为尺度σ下的像素点(X,Y)的空间函数值；m(X,Y)为梯度大小；θ(X,Y)为梯度方向；
将360°等分为若干份，通过对特征点邻域像素点梯度大小进行高斯函数加权的方式统计出周围点的方向直方图；
建立描述子时参数设置，邻域半径为16，子区大小为4×4，统计8方向直方图，此时建立的特征点描述子的向量维数为128；为了降低光照变化对测量结果的影响，需要去除局部梯度最大的点；
步骤3.2：使用最近邻算法进行初始时刻左右图像特征点匹配，通过在匹配特征点集中识别出参考特征点的最近邻点，找到每个参考特征点的最佳匹配候选点；分别建立左图像序列匹配的参考特征点库Sl和右图像序列匹配的参考特征点库Sr，建立左右序列匹配的参考特征点库；建立过程如图3所示；
步骤3.3：进行左右图像序列匹配，如进行位移场测量需进行测量时刻左右图像立体匹配；
步骤3.4：去除匹配过程中的误匹配点：所述误匹配点包括无匹配点、立体匹配中的误匹配点和序列匹配中的误匹配点；
通过设置最近邻算法中的最近距离与次近距离的比值阈值去除无匹配点。
采用随机抽样一致性算法剔除立体匹配中的误匹配点：
对于图像特征点匹配，RANSAC算法建立匹配模型时需要用到单应性矩阵Ht，在双目立体视觉测量中，单应性矩阵应为投影变换矩阵，设匹配图像中的点为(Xb,Yb)，参考图像中点的坐标为(Xa,Ya)，匹配图像与参考图像之间的变换公式通过下式表示：
其中，h0-h7为单应性矩阵Ht元素值；
应用RANSAC算法进行误匹配点去除之前，需要设定模型正确率阈值，即一致点集中的特征点数量占匹配点总数的比例、误差阈值和最大迭代次数；采用修剪均值法去除序列匹配中的误匹配点，去除特征点匹配结果中一定百分比的欧式距离最小或最大的特征点对。
采用修剪均值法去除序列匹配中的误匹配点，去除特征点匹配结果中一定百分比的欧式距离最小或最大的特征点对。
步骤4：获取各特征点在各时刻的三维坐标；如进行三维位移场测量时，则需要得到各特征点的三维坐标，当进行三维点位移测量时，则需要得到各时刻匹配特征点集的形心点的三维坐标；
所述步骤4具体为：
步骤4.1：使用张正友相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵Al和Ar，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵Mlr，通过下式表示内外参数：
其中，内参数矩阵A中(u0,v0)为相机主点坐标，fx和fy分别为x和y方向的等效焦距，
为旋转矩阵，
为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用ow-xwywzw表示；左右相机坐标系分别用ol-xlylzl和or-xryrzr表示；左右图像坐标系分别用Ol-XlYl和Ol-XlYl表示；
步骤4.2：令左相机坐标系ol-xlylzl和世界坐标系ow-xwywzw重合，通过下式得到特征点在世界坐标系中的三维坐标；
步骤4.3：当进行位移场测量，获取各特征点在各时刻的三维坐标；当进行点位移测量，获取特征点集的形心点在各时刻的三维坐标，不同时刻的特征点集的形心点坐标需要修正，通过下式表示第k时刻的左、右序列匹配特征点集的形心点坐标修正公式如式：
其中，
和
为第k时刻左序列匹配特征点集形心点图像坐标X和Y方向的误差；
和
为第k时刻右序列匹配特征点集形心点图像坐标X和Y方向的误差；
通过下式确定修正后的第k时刻左时刻序列匹配特征点集形心点图像坐标为：
步骤5：根据三维坐标和三维点位移，得到测量结果的位移信息。
所述步骤5具体为：根据各特征点在各时刻与初始时刻的三维坐标作差，得到特征点各时刻的三维位移，当进行点位移测量，需求得特征点集的形心点在各时刻的三维位移。
一种基于结构表面点特征的立体视觉三维位移测量方法流程如图5所示。
具体实施例二：
本实施例为三层框架模型地震振动台三维位移测量试验，具体按以下步骤制备：
本实施例所用三层框架模型如图6所示，模型结构长宽尺寸为410mm×150mm，高度为900mm。试验所用振动台为北京波普公司生产的WS-Z30-50小型振动台，振动台台面尺寸为480mm×520mm，台面离地高度为300mm，振动台为单向振动台，选择振动方向为x方向。在进行三维位移测量试验时，采用高强双面胶在模型表面测点位置粘贴试验图像和圆形靶标，试验图像尺寸为100mm×100mm，圆形靶标由亚克力板制成，外圆直径70mm，内圆直径35mm，外黑内白。本次实施例进行了多个工况试验，选取两个工况试验参数如表1。
表1
本实施例所用的立体视觉计算机为Windows7系统，硬盘存储容量为3TB，运行内存为8GB，CPU的频率为3.7GHz。相机为德国AVT公司的Pike-F-100c系列CCD工业相机，焦距设置为12mm，图像分辨率设为1000pixel×1000pixel，使用双通道触发器实现两相机同步图像采集，采集频率为30Hz，物距为1800mm，双CCD相机相距200mm，高度为800mm。
图7-图9为工况1测点1的三维位移图，工况1下其它测点及其它工况下各测点的三维位移图与其相似。试验结果表明一种基于结构表面点特征的立体视觉三维位移测量方法和基于人造靶标的视觉方法及位移计的测量结果具有高度一致性，证明本发明方法的有效性和可靠性。
对每个工况的所有测点使用位移计、基于人造靶标的视觉方法和本发明方法进行位移测量，对测量结果进行对比。以位移计的测量结果为真值，将视觉方法在工况1和工况2的位移误差分析结果列于表2和表3中，其中表2是工况1下两种视觉方法的水平位移误差分析表，表3是工况2下两种视觉方法的水平位移误差分析表。
表2
表3
由表2和表3可知，本发明方法与基于圆靶标的视觉方法相比，虽水平位移误差略大一点，但测量精度在一个级别单位上，本发明方法可以满足工程测量精度需求。而且本发明方法尤其适用于复杂结构、大尺寸结构上多点位移现场测量的需求，可以很好地解决实际工程测量过程中人造靶标现场布设不便问题及视觉系统相机在大尺度结构复杂现场标定的问题。本发明方法可以基于结构表面点特征实现快捷高效地测量，不受复杂结构形式及大尺度结构几何尺寸的限制，减少测量工序，节省时间和人力物力财力，具有很好工程实用性和推广价值。
三层框架模型地震振动台三维位移测量试验结果表明：本发明方法可用于结构三维位移测量试验，采用一种基于结构表面点特征的立体视觉三维位移测量方法，在实际工程中具有应用性和推广性。
以上所述仅是一种基于结构表面点特征的立体视觉三维位移测量方法的优选实施方式，一种基于结构表面点特征的立体视觉三维位移测量方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。
Claims (5)
1.一种基于结构表面点特征的立体视觉三维位移测量方法，其特征是：包括以下步骤：
步骤1：采用立体视觉系统对变形过程中的结构表面进行图像采集，得到左右图像序列，并对所述图像序列进行预处理，得到参考图像；
所述步骤1具体为：
步骤1.1：对所述图像序列进行预处理，在初始时刻左图像上选择感兴趣区域，以结构表面关注对象作为测量目标，在初始时刻左图像上选择包含测量目标的矩形区域作为感兴趣区域；
步骤1.2：在左右图像序列上选择搜索子区，通过预估得到测量目标的运动范围，在左图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；
步骤1.3：对参考图像的感兴趣区域和左右图像序列搜索子区进行滤噪处理，采用降采样处理对原始图像平滑滤噪，提高计算效率：采取二倍均值降采样法进行降采样处理，将2Mpixel×2N pixel的图像分为M×N个2×2的像素矩阵，然后计算每个像素矩阵的灰度平均值作为降采样处理后图像的像素点灰度值；
步骤1.4：对参考图像的感兴趣区域和左右图像序列搜索子区进行对比度增强处理，选择直方图均衡化处理，增强原始图像对比度；
步骤2：提取参考图像感兴趣区域和图像序列的搜索子区内的特征点，提取出特征点集并去除干扰点；
步骤3：进行初始时刻左右图像立体匹配和左右图像序列匹配，剔除误匹配点；
步骤4：获取各特征点在各时刻的三维坐标；如进行三维位移场测量时，则需要得到各特征点的三维坐标，当进行三维点位移测量时，则需要得到各时刻匹配特征点集的形心点的三维坐标；
步骤5：根据三维坐标和三维点位移，得到测量结果的位移信息。
2.根据权利要求1所述的一种基于结构表面点特征的立体视觉三维位移测量方法，其特征是：所述步骤2具体为：
步骤2.1、使用尺度不变特征变换算法提取参考图像的感兴趣区域和左右序列图像上的搜索子区图像中的特征点；
建立尺度空间和高斯金字塔，设尺度空间函数为L(X,Y,σ)，由不同尺度σ的高斯函数对原始图像进行平滑处理得到，尺度空间函数以卷积形式表现，通过下式表示尺度空间函数：
其中，I(X,Y)为原始图像灰度值；G(X,Y,σ)为平滑处理时使用的高斯核函数，σ为尺度因子；
高斯金字塔通过对原始图像逐步高斯降采样得到，高斯差分函数用D(X,Y,σ)表示，通过下式表示高斯差分函数：
其中，k为常数，kσ和σ表示两个相邻尺度；
通过高斯差分函数计算得到尺度空间函数的极值点，作为候选点；由高斯差分函数计算得到的高斯差分金字塔；
为了得到尺度σ对应的D(X,Y,σ)的局部极值，每个像素点都与其相邻的8个点，以及相邻两尺度的2×9个点的灰度值进行比较；当某点的灰度值是这27个点的最值时，则是尺度σ下的特征点；
步骤2.2、去除提取出的特征点集的干扰点，去除低对比度的点、具有边缘效应的点以及非测量目标点。
3.根据权利要求1所述的一种基于结构表面点特征的立体视觉三维位移测量方法，其特征是：所述步骤3具体为：
步骤3.1：使用尺度不变特征变化算法建立特征点描述子；在尺度σ下，像素点(X,Y)的梯度大小m(X,Y)和方向θ(X,Y)通过下式计算：
其中，L(X,Y)为尺度σ下的像素点(X,Y)的空间函数值；m(X,Y)为梯度大小；θ(X,Y)为梯度方向；
将360°等分为若干份，通过对特征点邻域像素点梯度大小进行高斯函数加权的方式统计出周围点的方向直方图；
建立描述子时参数设置，邻域半径为16，子区大小为4×4，统计8方向直方图，此时建立的特征点描述子的向量维数为128；为了降低光照变化对测量结果的影响，需要去除局部梯度最大的点；
步骤3.2：使用最近邻算法进行初始时刻左右图像特征点匹配，通过在匹配特征点集中识别出参考特征点的最近邻点，找到每个参考特征点的最佳匹配候选点；分别建立左图像序列匹配的参考特征点库Sl和右图像序列匹配的参考特征点库Sr，建立左右序列匹配的参考特征点库；
步骤3.3：进行左右图像序列匹配，如进行位移场测量需进行测量时刻左右图像立体匹配；
步骤3.4：去除匹配过程中的误匹配点：所述误匹配点包括无匹配点、立体匹配中的误匹配点和序列匹配中的误匹配点；
通过设置最近邻算法中的最近距离与次近距离的比值阈值去除无匹配点；
采用随机抽样一致性算法剔除立体匹配中的误匹配点：
对于图像特征点匹配，RANSAC算法建立匹配模型时需要用到单应性矩阵Ht，在双目立体视觉测量中，单应性矩阵应为投影变换矩阵，设匹配图像中的点为(Xb,Yb)，参考图像中点的坐标为(Xa,Ya)，匹配图像与参考图像之间的变换公式通过下式表示：
其中，h0-h7为单应性矩阵Ht元素值；
应用RANSAC算法进行误匹配点去除之前，需要设定模型正确率阈值，即一致点集中的特征点数量占匹配点总数的比例、误差阈值和最大迭代次数；
采用修剪均值法去除序列匹配中的误匹配点，去除特征点匹配结果中一定百分比的欧式距离最小或最大的特征点对。
4.根据权利要求1所述的一种基于结构表面点特征的立体视觉三维位移测量方法，其特征是：所述步骤4具体为：
步骤4.1：使用张正友相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵Al和Ar，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵Mlr，通过下式表示内外参数：
其中，内参数矩阵A中(u0,v0)为相机主点坐标，fx和fy分别为x和y方向的等效焦距，
为旋转矩阵，
为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用ow-xwywzw表示；左右相机坐标系分别用ol-xlylzl和or-xryrzr表示；左右图像坐标系分别用Ol-XlYl和Ol-XlYl表示；
步骤4.2：令左相机坐标系ol-xlylzl和世界坐标系ow-xwywzw重合，通过下式得到特征点在世界坐标系中的三维坐标；
步骤4.3：当进行位移场测量，获取各特征点在各时刻的三维坐标；当进行点位移测量，获取特征点集的形心点在各时刻的三维坐标，不同时刻的特征点集的形心点坐标需要修正，通过下式表示第k时刻的左、右序列匹配特征点集的形心点坐标修正公式如式：
其中，
和
为第k时刻左序列匹配特征点集形心点图像坐标X和Y方向的误差，
和
为第k时刻右序列匹配特征点集形心点图像坐标X和Y方向的误差；
通过下式确定修正后的第k时刻左时刻序列匹配特征点集形心点图像坐标为：
5.根据权利要求1所述的一种基于结构表面点特征的立体视觉三维位移测量方法，其特征是：所述步骤5具体为：根据各特征点在各时刻与初始时刻的三维坐标作差，得到特征点各时刻的三维位移，当进行点位移测量，需求得特征点集的形心点在各时刻的三维位移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015114.5A CN112254656B (zh) | 2020-09-24 | 2020-09-24 | 一种基于结构表面点特征的立体视觉三维位移测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015114.5A CN112254656B (zh) | 2020-09-24 | 2020-09-24 | 一种基于结构表面点特征的立体视觉三维位移测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112254656A CN112254656A (zh) | 2021-01-22 |
| CN112254656B true CN112254656B (zh) | 2022-02-11 |
Family
ID=74232180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015114.5A Active CN112254656B (zh) | 2020-09-24 | 2020-09-24 | 一种基于结构表面点特征的立体视觉三维位移测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112254656B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113137925A (zh) * | 2021-01-28 | 2021-07-20 | 重庆浙大网新科技有限公司 | 一种基于图像识别的动态位移测量智能系统 |
| CN113177340B (zh) * | 2021-05-19 | 2023-08-25 | 清华大学 | 基于立体视觉的三向接触应力表征方法及装置 |
| CN113533066B (zh) * | 2021-07-20 | 2023-12-15 | 中国空气动力研究与发展中心设备设计与测试技术研究所 | 风洞水压试验洞体结构变形量及应变量测量方法及装置 |
| CN114742876B (zh) * | 2022-06-13 | 2022-09-06 | 菏泽市土地储备中心 | 一种土地视觉立体测量方法 |
| CN116399302B (zh) * | 2023-06-08 | 2024-03-22 | 中交天津港湾工程研究院有限公司 | 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法 |
| CN117132913B (zh) * | 2023-10-26 | 2024-01-26 | 山东科技大学 | 基于无人机遥感与特征识别匹配的地表水平位移计算方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
| CN105844630A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
| CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
| CN107152917A (zh) * | 2017-07-24 | 2017-09-12 | 哈尔滨工业大学 | 一种立体视觉结构三维变形全场测量方法 |
| CN109360246A (zh) * | 2018-11-02 | 2019-02-19 | 哈尔滨工业大学 | 基于同步子区搜索的立体视觉三维位移测量方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9201312B2 (en) * | 2013-04-16 | 2015-12-01 | Kla-Tencor Corporation | Method for correcting position measurements for optical errors and method for determining mask writer errors |
-
2020
- 2020-09-24 CN CN202011015114.5A patent/CN112254656B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261115A (zh) * | 2008-04-24 | 2008-09-10 | 吉林大学 | 空间圆几何参数的双目立体视觉测量方法 |
| CN105844630A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
| CN106952262A (zh) * | 2017-04-25 | 2017-07-14 | 大连理工大学 | 一种基于立体视觉的船板加工精度分析方法 |
| CN107152917A (zh) * | 2017-07-24 | 2017-09-12 | 哈尔滨工业大学 | 一种立体视觉结构三维变形全场测量方法 |
| CN109360246A (zh) * | 2018-11-02 | 2019-02-19 | 哈尔滨工业大学 | 基于同步子区搜索的立体视觉三维位移测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112254656A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
| CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN103325112B (zh) | 动态场景中运动目标快速检测方法 | |
| CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
| CN103839265A (zh) | 基于sift和归一化互信息的sar图像配准方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN103593832A (zh) | 一种基于高斯二阶差分特征检测算子的图像拼接方法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN110969669B (zh) | 基于互信息配准的可见光与红外相机联合标定方法 | |
| CN101504761A (zh) | 一种图像拼接的方法和装置 | |
| CN105427333A (zh) | 视频序列图像的实时配准方法、系统及拍摄终端 | |
| JP6174104B2 (ja) | 室内２ｄ平面図の生成方法、装置及びシステム | |
| CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
| CN106023187A (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
| Huang et al. | Correlation and local feature based cloud motion estimation | |
| CN102446356A (zh) | 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法 | |
| CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
| CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
| CN113012234A (zh) | 基于平面变换的高精度相机标定方法 | |
| CN115578315A (zh) | 一种基于无人机图像的桥梁应变近景摄影测量方法 | |
| CN116883464A (zh) | 一种针对大视角差异光学与sar遥感图像的配准方法 | |
| CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 | |
| CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |