CN116320481A - 具有相机运动校正和参考系构建的立体dic方法及系统 - Google Patents

具有相机运动校正和参考系构建的立体dic方法及系统 Download PDF

Info

Publication number
CN116320481A
CN116320481A CN202310283384.1A CN202310283384A CN116320481A CN 116320481 A CN116320481 A CN 116320481A CN 202310283384 A CN202310283384 A CN 202310283384A CN 116320481 A CN116320481 A CN 116320481A
Authority
CN
China
Prior art keywords
points
coordinate system
camera
coding
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310283384.1A
Other languages
English (en)
Inventor
冯威武
杜文学
李强
朱海东
陈敏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Water Resources and Electric Power
Original Assignee
Zhejiang University of Water Resources and Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Water Resources and Electric Power filed Critical Zhejiang University of Water Resources and Electric Power
Priority to CN202310283384.1A priority Critical patent/CN116320481A/zh
Publication of CN116320481A publication Critical patent/CN116320481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种具有相机运动校正和参考系构建的立体DIC方法及系统。首先立体相机采集标靶与待测物体图像记为参考图像，计算立体相机的内外参；接着识别和定位参考图像中标靶的所有编码点；再构建参考坐标系，进而获得世界坐标系与参考坐标系之间的变换矩阵；接着基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数；最后利用运动模型参数移除兴趣点的测量像素坐标中由相机运动引起的全局运动，进而获得兴趣点在参考坐标系下的3D坐标。本发明可提高stereo‑DIC技术在户外测量、大视场测量等不可控测量环境的适应能力。相较于传统方法，本发明具有更高的灵活性、实用性和鲁棒性。

Description

具有相机运动校正和参考系构建的立体DIC方法及系统
技术领域
本发明属于光电检测领域的一种stereo-DIC测量方法，特别是涉及一种具有相机运动校正和参考系构建的stereo-DIC测量方法及系统。
背景技术
Stereo-DIC技术使用两个相机从不同的角度获取被测结构图像，利用图像匹配算法追踪物体表面的自然纹理实现物体表面的3D变形测量。因其具有非接触、多点测量、实时测量、自动化程度高以及可视化等优点，在实验室已经被广泛地应用于机器人视觉、医学成像、航空航天以及工业检测等领域。
通常，stereo-DIC的关键技术主要包括参数标定、兴趣点定位、应变场计算等。近年来，随着该技术被扩展应用至严苛的测试环境，例如户外测试、高温测试、振动测试及水下测试等，使得该技术面临一系列新的挑战。其中，由风荷载和地面不稳定等因素引起的相机运动会导致已标定的外部参数失效。因此，如何消除由相机姿态变化引起的测量误差是必需要考虑的。此外，由于stereo-DIC的世界坐标系默认被建立在左相机上，以至于系统测量的三维位移分量无法反映被测结构的真实面内和离面变形。又由于被测结构通常缺乏可以利用的标记，因此建立与被测结构设计坐标系一致的参考坐标系是非常困难的。目前，通常分步执行相机运动校正和参考坐标系构建，例如，通过在相机上固连惯性导航单元或角度传感器等辅助设备校正相机运动，在视场中安装人工标靶构建参考坐标系。这种方法具有操作复杂、成本高及计算量大等不足。
理论上，DIC方法通过把数字图像中的像素运动转化为实际位移，像素运动可分为全局运动和局部运动。其中，全局运动是由相机运动引起的图像平移或/和旋转，局部运动是由场景内物体的变形引起的。为了精确地测量局部运动，需要将全局运动从测量的像素运动中移除。而目前全局运动的移除较困难，没有较好的方法。
发明内容
本发明针对Stereo-DIC技术在不可控测试环境下面临的相机运动校正和参考坐标系构建等挑战，提出了一种具有相机运动校正和参考系构建的stereo-DIC测量方法及系统。首先，为了实现精确的兴趣点面内外3D变形测量，利用U型标靶上的3个编码点建立一个参考坐标系，并估计世界坐标系(默认与左相机坐标系对齐)与参考坐标系的变换关系；然后，为了校正测量过程中相机运动引起的测量误差，利用透视变换模型和6个编码点计算与每一帧图像对应的相机运动参数，进而从测量的兴趣点的像素运动中消除全局运动。
本发明的技术方案如下：
一、一种具有相机运动校正和参考系构建的立体DIC方法
步骤1：获取Stereo-DIC系统中立体相机的内参，在立体相机的视场中放置标靶，待测物体放置在标靶的中部，立体相机采集标靶与待测物体图像记为参考图像，根据参考图像确定立体相机的外参；
步骤2：识别和定位参考图像中标靶的所有编码点；
步骤3：基于立体相机的内参和外参确定步骤2中定位获得的编码点在世界坐标系的3D坐标，再基于编码点在世界坐标系的3D坐标构建参考坐标系，进而获得世界坐标系与参考坐标系之间的变换矩阵；
步骤4：立体相机采集一组标靶与待测物体图像记为待校正图像序列，识别并定位待校正图像序列中的所有编码点，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数；
步骤5：确定待校正图像序列中兴趣点的测量像素坐标，利用运动模型参数移除兴趣点的测量像素坐标中由相机运动引起的全局运动，获得兴趣点的真实像素坐标，进而获得兴趣点在参考坐标系下的3D坐标。
所述标靶为U型标靶，U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上间隔布置的编码点。
所述步骤2具体为：
首先，利用Otsu算法计算参考图像中编码点灰度梯度阈值，接着，将参考图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，获得各个编码点的编码，实现定位图像中的各个编码点。
所述步骤3具体为：
3.1)利用立体相机的内参和外参对编码点的像素坐标进行坐标转换，获得编码点在世界坐标系的3D坐标；
3.2)基于编码点在世界坐标系的3D坐标构建参考坐标系，获得编码点在参考坐标系的3D坐标；
3.3)基于编码点在世界坐标系和在参考坐标系的3D坐标，通过欧式变换计算获得世界坐标系与参考坐标系之间的变换矩阵。
所述3.3)具体为：
首先，由至少3个编码点在世界坐标系的3D坐标组成第一坐标点集A，确定第一坐标点集A的质心，由至少3个编码点在参考坐标系的3D坐标组成第二坐标点集B，确定第二坐标点集B的质心；接着将第一坐标点集A与第一坐标点集A的质心相减后获得第一去质心点集，将第二坐标点集B与第二坐标点集B的质心相减后获得第二去质心点集，再将第一去质心点集和第二去质心点集相乘后获得协方差矩阵C，最后利用基于奇异值分解方法分解协方差矩阵C后，获得最佳旋转矩阵RW_r，进而获得最佳平移向量tW_r，由最佳旋转矩阵RW_r和最佳平移向量tW_r组成世界坐标系与参考坐标系之间的变换矩阵。
所述步骤4中，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数，具体为：
首先，根据每帧中编码点的像素坐标，利用图像相关方法计算下一帧中对应编码点的像素坐标；接着使用透视变换模型计算相邻两帧间的透视变换矩阵并记为运动模型参数，计算公式如下：
Figure BDA0004138816150000031
Figure BDA0004138816150000032
Figure BDA0004138816150000033
其中，x′,y′,z′分别为j帧中第i个编码点的齐次坐标，
Figure BDA0004138816150000034
分别为j+1帧中第i个编码点的两个像素坐标值，/>
Figure BDA0004138816150000035
分别为j帧中第i个编码点的两个像素坐标值，AS为j+1帧标靶与待测物体图像和j帧标靶与待测物体图像之间的透视变换矩阵，a11、a12、a21和a22表示分别表示第一、第二旋转和第一、第二缩放变换参数，a31和a32表示第一、第二平移变换参数，a13和a23表示第一、第二透视变换参数。
所述步骤5中，首先确定兴趣点在左视图中的像素坐标，再基于立体相机的系统参数计算兴趣点在右视图中的像素坐标记为初始像素坐标，接着利用图像相关搜索方法对右视图的各个初始像素坐标依次进行区域搜索和亚像素坐标选择，获得兴趣点在右视图中的亚像素坐标并作为兴趣点在右视图中的最终像素坐标。
二、一种具有相机运动校正和参考系构建的立体DIC系统
立体DIC系统包括立体相机、相机内外参标定模块、U型标靶、编码点定位-解码模块、坐标系变换矩阵获取模块、数据接收单元和相机运动校正装置；立体相机与数据接收单元相连，数据接收单元与相机内外参标定模块、编码点定位-解码模块、坐标系变换矩阵获取模块和相机运动校正装置相连，相机内外参标定模块与坐标系变换矩阵获取模块和相机运动校正装置相连，U型标靶设置在立体相机的视场内，待测物体设置在U型标靶中。
所述U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上间隔布置的编码点。
所述编码点定位-解码模块中，利用Otsu算法计算图像中编码点灰度梯度阈值，接着，将图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，获得各个编码点的编码，实现定位图像中的各个编码点。
本发明的有益效果为：
本发明可提高stereo-DIC技术在户外测量、大视场测量等不可控测量环境的适应能力。此外，相较于分步执行相机运动校正和参考系构建的传统方法，本发明具有更高的灵活性、实用性和鲁棒性。
附图说明
图1为本发明某一实施例方法的主要流程框图；
图2为实施例中的U型标靶示意图；
图3为实施例中世界坐标系与参考坐标系空间转换示意图；
图4为实施例中基于数字图像相关的兴趣点匹配示意图；
图5为本发明某一实施例的实验配置图；
图6为实施例中的图5兴趣点在世界坐标系和参考坐标系下x方向的位移。
图7为图5实施例中的兴趣点在世界坐标系和参考坐标系下y方向的位移。
图8为图5实施例中的兴趣点在世界坐标系和参考坐标系下z方向的位移。
具体实施方式
为了使本领域技术人员更好地理解本发明，从而对本发明要求保护的范围作出更清楚地限定，下面就本发明的某些具体实施例对本发明进行详细描述。需要说明的是，以下仅是本发明构思的某些具体实施方式仅是本发明的一部分实施例，其中对于相关结构的具体的直接的描述仅是为方便理解本发明，各具体特征并不当然、直接地限定本发明的实施范围。本领域技术人员在本发明构思的指导下所作的常规选择和替换，以及在本发明构思指导下的若干技术特征的合理排列组合，均应视为在本发明要求保护的范围内。
一种相机运动校正和参考系构建的方法及系统，其是利用编码点定位和解析算法确定附着于标靶的6个编码点的像素坐标，并构建右手坐标系。基于欧氏变换算法确定参考坐标系与世界坐标系的变换矩阵，实现参考坐标系的构建。利用6个编码点在相邻帧的像素坐标和透视变换模型分别计算每一帧图像对应的相机运动参数，实现立体相机的运动校正。该发明无需借助高精度传感器，只需要一个U型标靶，即可提高stereo-DIC技术在户外测量、大视场测量等不可控测量环境的适应能力。相较于传统分步进行相机运动校正和参考系构建的方法，本发明具有更高的灵活性、实用性和鲁棒性。因此，本发明通过双目相机与U型标靶即可实现相机运动校正和参考坐标系构建。
如图1所示，方法包括以下步骤：
步骤1：获取Stereo-DIC系统中立体相机的内参，利用张氏标定方法标定Stereo-DIC系统中立体相机的内部参数，内部参数包括但不限于：主点坐标(u0,v0)、焦距(fx,fy)、畸变系数(k1,k2,k3,p1,p1)以及比例系数。立体相机为左右两个相机，将两个相机固定在两个三脚架的云台上，调整相机姿态至待测物体位于相机视场内。在立体相机的视场中放置标靶(见图2)，待测物体放置在标靶的中部，，借助角度传感器确保标靶上所有编码点所在的平面与待测物体上的兴趣点所在平面平行。立体相机采集标靶与待测物体图像记为参考图像，参考图像为左右相机拍摄的灰度图像，根据参考图像确定立体相机(即两个相机之间)的外参；具体实施中优选基于场景特征点的标定方法确定两个相机之间的外部参数，两个相机之间的外部参数包括旋转矩阵R和平移向量t。
如图2所示，标靶为U型标靶，U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上等间隔布置的编码点。
步骤2：识别和定位参考图像中标靶的所有编码点；
步骤2具体为：
首先，利用Otsu算法计算参考图像中编码点灰度梯度阈值，编码点的形状为椭圆，接着，将参考图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法精确计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，具体地，准确计算各个编码点所在圆环的15位二进制串，进行编码点的解码，获得各个编码点的编码，实现定位图像中的各个编码点。
步骤3：基于立体相机的内参和外参确定步骤2中定位获得的编码点在世界坐标系的3D坐标，再基于编码点在世界坐标系的3D坐标构建参考坐标系，进而获得世界坐标系与参考坐标系之间的变换矩阵；
步骤3具体为：
3.1)步骤2中定位获得的编码点的坐标为像素坐标，利用立体相机的内参和外参对编码点的像素坐标进行坐标转换，获得编码点在世界坐标系的3D坐标；
如图2所示，将采集的参考图像中的指定位置的3个编码点表示为
Figure BDA0004138816150000061
Figure BDA0004138816150000062
假设编码点在左右相机的参考图像中的像素坐标分别为/>
Figure BDA0004138816150000063
和/>
Figure BDA0004138816150000064
类似地，其在左、右相机和世界坐标系下的坐标分别为/>
Figure BDA0004138816150000065
及
Figure BDA0004138816150000066
编码点的像素坐标与其在相机坐标系下的3D坐标存在如下关系：
Figure BDA0004138816150000067
其中，fl和fr是左、右相机的焦距。一般情况下，将左相机的相机坐标系作为世界坐标系，编码点在相机坐标系下的坐标与其在世界坐标系下的坐标存在如下关系：
Figure BDA0004138816150000068
其中，I表示单位矩阵，从上式可知，一旦编码点在左右相机的参考图像中的像素坐标和立体相机的内、外参被确定，则该编码点在世界坐标系下的3D坐标
Figure BDA0004138816150000069
可以被估计。
3.2)基于编码点在世界坐标系的3D坐标构建参考坐标系，获得编码点在参考坐标系的3D坐标；具体实施中，以编码点3为原点，编码点1-编码点3的圆心连线为y轴，编码点3-编码点4的圆心连线为x轴，根据右手坐标系法则构建参考坐标系，则这3个编码点在参考坐标系下的三维坐标可分别表示为
Figure BDA00041388161500000610
L1-3为编码点1和编码点3的圆心在世界坐标系下的距离，L3-4为编码点3和编码点4的圆心在世界坐标系下的距离。
3.3)构建参考坐标系的关键是确定其与世界坐标系的变换关系。欧式变换(Euclidean transformation)可以描述两个坐标系之间的旋转和平移关系，前提是确定至少3个控制点在两个坐标系下的3D坐标。这一前提条件对于对于stereo-DIC技术而言是极易满足的，因此欧式变换可以被使用去确定世界坐标系与参考坐标系的变换关系。因此，基于编码点在世界坐标系和在参考坐标系的3D坐标，通过欧式变换计算获得世界坐标系与参考坐标系之间的变换矩阵。
3.3)具体为：
首先，由至少3个编码点在世界坐标系的3D坐标组成第一坐标点集A，确定第一坐标点集A的质心，由至少3个编码点在参考坐标系的3D坐标组成第二坐标点集B，确定第二坐标点集B的质心；接着将第一坐标点集A与第一坐标点集A的质心相减后获得第一去质心点集，将第二坐标点集B与第二坐标点集B的质心相减后获得第二去质心点集，再将第一去质心点集和第二去质心点集相乘后获得协方差矩阵C，最后利用基于奇异值分解(SVD)方法分解协方差矩阵C后，获得最佳旋转矩阵RW_r，进而获得最佳平移向量tW_r，由最佳旋转矩阵RW_r和最佳平移向量tW_r组成世界坐标系与参考坐标系之间的变换矩阵。
具体地，构建的参考坐标系Or-XrYrZr如图3所示，编码点4和1分别位于参考坐标系的Xr轴和Yr轴，编码点3与参考坐标系原点Or重合。
如果坐标点集不存在噪声，则第一坐标点集A和第二坐标点集B存在如下关系：
RW_rAi+tW_r＝Bi
如果坐标点集存在噪声，可使最小二乘误差最小化求解：
Figure BDA0004138816150000071
其中，error表示编码点3、编码点4和编码点1的重投影误差之和，RW_r和tW_r为世界坐标系到参考坐标系的旋转矩阵和平移向量，Ai和Bi表示点集A和B的第i个3D点。
首先，找到两个坐标点集的质心centroidA、centroidB，它们可表示为：
Figure BDA0004138816150000072
然后，移动两个坐标点集至参考坐标系原点，找到最佳旋转矩阵RW_r。由于两个质心都位于原点，两组点集变换关系中的平移向量被删除了，只存在旋转矩阵。本发明采用基于奇异值分解(SVD)的方法求解。令坐标点集A和B减去它们的质心(centroidA和centroidB)后相乘计算协方差矩阵C：
C＝(A-centroidA)(B-centroidB)T
使用SVD分解计算最佳旋转矩阵RW_r：
[U S V]＝svd(C)
RW_r＝VUT
其中，U、S、V为第一-第三矩阵，其中S为对角矩阵，svd(C)表示对矩阵C进行奇异值分解。T表示矩阵转置。
根据以下公式可以得出最佳的平移向量tW_r：
RW_r×centroidA+tW_r＝centroidB
tW_r＝centroidB-RW_r×centroidA
步骤4：立体相机采集一组标靶与待测物体图像记为待校正图像序列，待校正图像序列由左右相机同时连续拍摄标靶和标靶中的待测物体所获得的灰度图像组成，利用步骤2的方法识别并定位待校正图像序列中的所有编码点，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数；
步骤4中，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数，具体为：
首先，根据每帧中编码点的像素坐标，利用图像相关方法计算下一帧中对应编码点的像素坐标；运动模型参数可描述图像运动关系，其中透视变换模型是齐次坐标的一般非奇异线性变换，能够描述复杂的运动关系，至少需要4组点求解8个未知模型参数(其中a33固定为1)。考虑到测量过程中，环境扰动引起的相机运动往往同时包含位置和方向变化，可优先考虑基于透视变换模型的相机运动校正方法。因此，接着使用透视变换模型计算相邻两帧间的透视变换矩阵并记为运动模型参数，计算公式如下：
Figure BDA0004138816150000081
Figure BDA0004138816150000082
Figure BDA0004138816150000091
其中，x′,y′,z′分别为j帧中第i个编码点的齐次坐标，
Figure BDA0004138816150000092
分别为j+1帧中第i个编码点的两个像素坐标值，/>
Figure BDA0004138816150000093
分别为j帧中第i个编码点的两个像素坐标值，AS为j+1帧标靶与待测物体图像和j帧标靶与待测物体图像之间的透视变换矩阵，即相机的运动模型参数，利用最少4个编码点在相邻帧的像素坐标即可被求解。a11、a12、a21和a22表示分别表示第一、第二旋转和第一、第二缩放变换参数，a31和a32表示第一、第二平移变换参数，a13和a23表示第一、第二透视变换参数。
步骤5：确定待校正图像序列中兴趣点的测量像素坐标，利用运动模型参数移除兴趣点的测量像素坐标中由相机运动引起的全局运动，获得兴趣点的真实像素坐标，利用立体相机的内参和外参、世界坐标系与参考坐标系之间的变换矩阵对兴趣点的真实像素坐标进行坐标转换，获得兴趣点在参考坐标系下的3D坐标。
步骤5中，将左相机采集的图像记为左视图，右相机采集的图像记为右视图，首先确定兴趣点在左视图中的像素坐标，再基于立体相机的系统参数(内参和外参)计算兴趣点在右视图中的像素坐标记为初始像素坐标，接着利用图像相关搜索方法对右视图的各个初始像素坐标依次进行区域搜索和亚像素坐标选择，获得兴趣点在右视图中的亚像素坐标并作为兴趣点在右视图中的最终像素坐标。
具体地，如图4所示，每个初始像素坐标在以自身为中心的矩形区域(即子区)内搜索，将左视图中的子区记为第一子区，右视图中的子区记为第二子区，利用零均值归一化最小平方距离相关函数(ZNSSD)确定对应具有亚像素精度的坐标，公式如下：
Figure BDA0004138816150000094
其中，CZNSSD(p)表示两个子区的相关系数，M表示方形子区边长的一半，
Figure BDA0004138816150000095
和/>
Figure BDA0004138816150000096
分别表示两个子区的灰度，/>
Figure BDA0004138816150000098
和/>
Figure BDA0004138816150000099
分别表示两个子区的平均灰度。
一旦每一帧图像所对应的相机的运动模型参数被确定，即可从兴趣点的像素运动中移除由相机运动引起的全局运动。假设兴趣点在第j帧和j+1帧图像中的测量像素坐标分别为(Uj,Vj)、(Uj+1,Vj+1)，则可通过以下公式确定兴趣点在j+1帧的真实像素坐标
Figure BDA0004138816150000097
Figure BDA0004138816150000101
至此，可以确定兴趣点在左右视图中的每一帧中的真实像素坐标。
利用立体相机的内参和外参、世界坐标系与参考坐标系之间的变换矩阵对兴趣点的真实像素坐标进行坐标转换，获得兴趣点在参考坐标系下的3D坐标，具体为：
利用兴趣点的真实像素坐标、立体相机的系统参数计算兴趣点在世界坐标系的3D坐标，兴趣点在第j帧和第j+1帧的像素坐标可分别表示为
Figure BDA0004138816150000102
和/>
Figure BDA0004138816150000103
进而，再利用参考坐标系与世界坐标系之间的变换矩阵确定兴趣点在参考坐标系的3D坐标，计算公式如下：
Figure BDA0004138816150000104
Figure BDA0004138816150000105
其中，
Figure BDA0004138816150000106
和/>
Figure BDA0004138816150000107
分别为兴趣点在j和j+1帧的3D坐标。至此，兴趣点的3D位移即可可被确定。
该系统是将上述方法形成为软件装置部署于主体平台(例如PC)上，并结合必要的软、硬件设备而形成的系统。如图5所示，系统包括立体相机、相机内外参标定模块、U型标靶、编码点定位-解码模块、坐标系变换矩阵获取模块、数据接收单元和相机运动校正装置；立体相机包括实施一般双目立体视觉方法所必须的内容，包括两个工业相机和两个镜头，相机内外参标定模块用于标定立体相机的内参和外参，内参的计算优选利用张氏标定方法，采集一幅图像作为参考图像，优选基于场景特征点的标定方法确定立体相机的外部参数。立体相机与数据接收单元相连，数据接收单元与相机内外参标定模块、编码点定位-解码模块、坐标系变换矩阵获取模块和相机运动校正装置相连，相机内外参标定模块与坐标系变换矩阵获取模块和相机运动校正装置相连，U型标靶设置在立体相机的视场内，待测物体设置在U型标靶中。
U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上间隔布置的编码点，具体实施中，在竖向上间隔布置。
数据接收单元包括工控机和图像采集卡，用于控制、接收立体相机发送的图像再进行转发。
编码点定位-解码模块中，利用Otsu算法计算图像中编码点灰度梯度阈值，编码点的形状为椭圆，接着，将图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法精确计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，具体地，准确计算各个编码点所在圆环的15位二进制串，进行编码点的解码，获得各个编码点的编码，实现定位图像中的各个编码点。
坐标系变换矩阵获取模块中，基于立体相机的内参和外参确定步骤2中定位获得的编码点在世界坐标系的3D坐标，再基于编码点在世界坐标系的3D坐标构建参考坐标系，进而获得世界坐标系与参考坐标系之间的变换矩阵。
相机运动校正装置中，首先基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数；接着确定待校正图像序列中兴趣点的测量像素坐标，再利用运动模型参数移除兴趣点的测量像素坐标中由相机运动引起的全局运动，获得兴趣点的真实像素坐标，最后利用立体相机的内参和外参、世界坐标系与参考坐标系之间的变换矩阵对兴趣点的真实像素坐标进行坐标转换，获得兴趣点在参考坐标系下的3D坐标。
实施例
如图5所示，按包含上述方法对stereo-DIC测量技术的相机运动进行校正，以及构建参考坐标系。在测量系统被布置完成后，基于场景特征点的标定方法确定了立体相机的内外参数。一个移动滑块附着有随机散斑贴纸的二位移动平台被安装于光学平台上，兴趣点位于散斑贴纸的中间。测试过程中，主动施加给相机一定幅度的运动。同时，控制移动滑块首先沿竖直方向移动4次，然后沿水平方向移动4次，每次位移量均为0.35mm。stereo-DIC测量系统实时计算的兴趣点在x、y和z方向的运动轨迹如图6、图7和图8所示。可以发现，本发明提出的相机运动校正算法消除了大部分由相机运动引起的测量误差，并且通过把兴趣点的3D坐标由世界坐标系转换到参考坐标系实现了精确的面内外变形测量。可见本发明极大地提高了stereo-DIC技术在不可控测量环境的适应能力，同时，其实施过程是相对简单和容易的。

Claims (10)

1.一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，包括以下步骤：
步骤1：获取Stereo-DIC系统中立体相机的内参，在立体相机的视场中放置标靶，待测物体放置在标靶的中部，立体相机采集标靶与待测物体图像记为参考图像，根据参考图像确定立体相机的外参；
步骤2：识别和定位参考图像中标靶的所有编码点；
步骤3：基于立体相机的内参和外参确定步骤2中定位获得的编码点在世界坐标系的3D坐标，再基于编码点在世界坐标系的3D坐标构建参考坐标系，进而获得世界坐标系与参考坐标系之间的变换矩阵；
步骤4：立体相机采集一组标靶与待测物体图像记为待校正图像序列，识别并定位待校正图像序列中的所有编码点，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数；
步骤5：确定待校正图像序列中兴趣点的测量像素坐标，利用运动模型参数移除兴趣点的测量像素坐标中由相机运动引起的全局运动，获得兴趣点的真实像素坐标，进而获得兴趣点在参考坐标系下的3D坐标。
2.根据权利要求1所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述标靶为U型标靶，U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上间隔布置的编码点。
3.根据权利要求1所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述步骤2具体为：
首先，利用Otsu算法计算参考图像中编码点灰度梯度阈值，接着，将参考图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，获得各个编码点的编码，实现定位图像中的各个编码点。
4.根据权利要求1所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述步骤3具体为：
3.1)利用立体相机的内参和外参对编码点的像素坐标进行坐标转换，获得编码点在世界坐标系的3D坐标；
3.2)基于编码点在世界坐标系的3D坐标构建参考坐标系，获得编码点在参考坐标系的3D坐标；
3.3)基于编码点在世界坐标系和在参考坐标系的3D坐标，通过欧式变换计算获得世界坐标系与参考坐标系之间的变换矩阵。
5.根据权利要求4所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述3.3)具体为：
首先，由至少3个编码点在世界坐标系的3D坐标组成第一坐标点集A，确定第一坐标点集A的质心，由至少3个编码点在参考坐标系的3D坐标组成第二坐标点集B，确定第二坐标点集B的质心；接着将第一坐标点集A与第一坐标点集A的质心相减后获得第一去质心点集，将第二坐标点集B与第二坐标点集B的质心相减后获得第二去质心点集，再将第一去质心点集和第二去质心点集相乘后获得协方差矩阵C，最后利用基于奇异值分解方法分解协方差矩阵C后，获得最佳旋转矩阵RW_r，进而获得最佳平移向量tW_r，由最佳旋转矩阵RW_r和最佳平移向量tW_r组成世界坐标系与参考坐标系之间的变换矩阵。
6.根据权利要求1所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述步骤4中，基于编码点和透视变换模型对立体相机进行运动校正，获得立体相机的运动模型参数，具体为：
首先，根据每帧中编码点的像素坐标，利用图像相关方法计算下一帧中对应编码点的像素坐标；接着使用透视变换模型计算相邻两帧间的透视变换矩阵并记为运动模型参数，计算公式如下：
Figure FDA0004138816140000021
Figure FDA0004138816140000022
Figure FDA0004138816140000023
其中，x′,y′,z′分别为j帧中第i个编码点的齐次坐标，
Figure FDA0004138816140000024
分别为j+1帧中第i个编码点的两个像素坐标值，/>
Figure FDA0004138816140000025
分别为j帧中第i个编码点的两个像素坐标值，AS为j+1帧标靶与待测物体图像和j帧标靶与待测物体图像之间的透视变换矩阵，a11、a12、a21和a22表示分别表示第一、第二旋转和第一、第二缩放变换参数，a31和a32表示第一、第二平移变换参数，a13和a23表示第一、第二透视变换参数。
7.根据权利要求1所述的一种具有相机运动校正和参考系构建的立体DIC方法，其特征在于，所述步骤5中，首先确定兴趣点在左视图中的像素坐标，再基于立体相机的系统参数计算兴趣点在右视图中的像素坐标记为初始像素坐标，接着利用图像相关搜索方法对右视图的各个初始像素坐标依次进行区域搜索和亚像素坐标选择，获得兴趣点在右视图中的亚像素坐标并作为兴趣点在右视图中的最终像素坐标。
8.一种具有相机运动校正和参考系构建的立体DIC系统，其特征在于，包括立体相机、相机内外参标定模块、U型标靶、编码点定位-解码模块、坐标系变换矩阵获取模块、数据接收单元和相机运动校正装置；立体相机与数据接收单元相连，数据接收单元与相机内外参标定模块、编码点定位-解码模块、坐标系变换矩阵获取模块和相机运动校正装置相连，相机内外参标定模块与坐标系变换矩阵获取模块和相机运动校正装置相连，U型标靶设置在立体相机的视场内，待测物体设置在U型标靶中。
9.根据权利要求8所述的一种具有相机运动校正和参考系构建的立体DIC系统，其特征在于，所述U型标靶上设置有两列编码点，每列编码点包括至少3个在一条直线上间隔布置的编码点。
10.根据权利要求8所述的一种具有相机运动校正和参考系构建的立体DIC系统，其特征在于，所述编码点定位-解码模块中，利用Otsu算法计算图像中编码点灰度梯度阈值，接着，将图像中灰度梯度大于编码点灰度梯度阈值的像素点记为椭圆的环状边缘邻域点，然后，将所有环状边缘邻域点代入基于对偶二次曲线的目标方程中，再通过加权最小二乘算法计算基于对偶二次曲线的目标方程，获得各个椭圆的参数，进而确定各个椭圆的圆心并作为各个编码点的圆心；最后，基于各个编码点的圆心，利用图像处理算法对各个编码点进行图像解码，获得各个编码点的编码，实现定位图像中的各个编码点。
CN202310283384.1A 2023-03-22 2023-03-22 具有相机运动校正和参考系构建的立体dic方法及系统 Pending CN116320481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310283384.1A CN116320481A (zh) 2023-03-22 2023-03-22 具有相机运动校正和参考系构建的立体dic方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310283384.1A CN116320481A (zh) 2023-03-22 2023-03-22 具有相机运动校正和参考系构建的立体dic方法及系统

Publications (1)

Publication Number Publication Date
CN116320481A true CN116320481A (zh) 2023-06-23

Family

ID=86830310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310283384.1A Pending CN116320481A (zh) 2023-03-22 2023-03-22 具有相机运动校正和参考系构建的立体dic方法及系统

Country Status (1)

Country Link
CN (1) CN116320481A (zh)

Similar Documents

Publication Publication Date Title
CN102472609B (zh) 位置和姿势校准方法及设备
CN103759716B (zh) 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN112629431B (zh) 土木结构变形监测方法及相关设备
US9355453B2 (en) Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium
CN100430690C (zh) 利用单数码相机自由拍摄进行物体三维测量的方法
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
Kim et al. A camera calibration method using concentric circles for vision applications
CN102798350B (zh) 一种臂架挠度的测量方法、装置及系统
CN105308627B (zh) 一种标定相机的方法及其系统
CN108648237A (zh) 一种基于视觉的空间定位方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN103020952A (zh) 信息处理设备和信息处理方法
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
Mi et al. A vision-based displacement measurement system for foundation pit
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
CN112362034B (zh) 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN110763204A (zh) 一种平面编码靶标及其位姿测量方法
CN101901502A (zh) 光学三维测量中多视点云数据的全局优化配准方法
Yuan et al. A precise calibration method for line scan cameras
Ma et al. Precision pose measurement of an object with flange based on shadow distribution
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN114170321A (zh) 一种基于测距的相机自标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination