CN109360246A - 基于同步子区搜索的立体视觉三维位移测量方法 - Google Patents

基于同步子区搜索的立体视觉三维位移测量方法 Download PDF

Info

Publication number
CN109360246A
CN109360246A CN201811301575.1A CN201811301575A CN109360246A CN 109360246 A CN109360246 A CN 109360246A CN 201811301575 A CN201811301575 A CN 201811301575A CN 109360246 A CN109360246 A CN 109360246A
Authority
CN
China
Prior art keywords
image
measuring point
dic
district
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811301575.1A
Other languages
English (en)
Other versions
CN109360246B (zh
Inventor
单宝华
吕大刚
薛志林
白志霖
王皓
于晓辉
乔雨蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201811301575.1A priority Critical patent/CN109360246B/zh
Publication of CN109360246A publication Critical patent/CN109360246A/zh
Application granted granted Critical
Publication of CN109360246B publication Critical patent/CN109360246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于同步子区搜索的立体视觉三维位移测量方法,本发明涉及立体视觉三维位移测量方法,为解决时序匹配过程中未同步进行子区搜索,使测量计算效率低的问题。具体过程为:一、标定立体视觉系统,得到内外参数矩阵,采集图像,得到图像序列;二、提取左图像上各测点图像坐标,自动生成DIC匹配模板,计算搜索子区尺寸;三、得到右图像上对应测点的图像坐标;四、判断右图像上各测点DIC匹配结果是否满足极线约束关系,不满足则对DIC匹配结果进行修正;五、对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列各测点对应匹配结果;六、得到各测点各时刻的三维坐标和三维位移。本发明用于结构三维位移测量领域。

Description

基于同步子区搜索的立体视觉三维位移测量方法
技术领域
本发明涉及一种结构测量方法,特别是涉及一种三维位移测量方法。
背景技术
在土木工程领域,数字图像相关方法(DIC)是一种区域匹配算法,于上世纪八十年代由日本学者Yamaguchi与美国教授Peters、Sutton等人同时提出,近年来,随着DIC方法的不断发展,DIC方法在立体匹配中的优势越来越明显。
1983年,Sutton利用DIC对简单刚体运动进行了研究。1989年,H.A.Bruck利用Newton-Raphson方法解决亚像素搜索问题,为变形体的位移测量问题提供了解决方法。1998年,Vendroux,Smith对散斑相关精度影响的因素进行总结,随后提出了通过近似求解Hessian矩阵降低计算量。2009年,齐良育对几种亚像素搜索方法进行比较,为亚像素搜索策略的选择提供依据。同年,LanderVASSEUR,StijnMATTHYS等采用3D-DIC方法对CFRP加固的混凝土梁进行试验,为CFRP加固引起的裂缝发展情况分析提供了参考。2013年,MohammadKashfuddoja,M.Ramji使用3D-DIC方法对带孔洞的CFRP板进行试验,试验包括一侧加固,两侧加固两种情况。同年,梁晋,胡浩等针对板料大变形情况下难以测量的问题,提出了大变形分步匹配算法。2014年,刘聪应用3D-DIC方法测量了FRP包裹混凝土柱抗压试验,立体匹配选择二阶形函数。
通过比较分析可以发现,上述DIC方法进行时序匹配过程中大多选用单点全区搜索算法或单点子区搜索算法,没有采用同步子区搜索算法,测量过程计算效率低下。本发明为解决此问题,提出基于同步子区搜索的立体视觉三维位移测量方法。对左右图像序列上各测点同步进行DIC子区搜索,提高三维位移测量方法的计算效率。
发明内容
本发明的目的是为了解决时序匹配过程中没有同步进行子区搜索,导致测量过程计算效率低下的问题,而提出的一种同步子区搜索的立体视觉三维位移测量方法。
同步子区搜索的立体视觉三维位移测量方法具体过程为:
步骤一、采用相机标定方法对立体视觉系统进行标定,得到立体视觉系统的内参数矩阵和外参数矩阵,对各测点采集图像,得到各测点左右图像序列;所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar;所述左相机为立体视觉系统左侧相机,右相机为立体视觉系统右侧相机;所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T;所述测点为粘贴在被测对象表面的圆形靶标圆心;
步骤二、提取初始时刻左图像上各测点的图像坐标,自动生成各测点的DIC匹配模板,并计算各测点的DIC搜索子区尺寸;所述左图像为左相机采集的图像;所述DIC方法为数字图像相关方法;
步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配,得到右图像上各对应测点的图像坐标;所述右图像为右相机采集的图像;
步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,如果立体匹配满足极线约束关系,执行步骤五;如果立体匹配不满足极线约束关系,对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点;
步骤五、对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果;所述同步指的是依次完成一张图像上各测点的DIC子区搜索后,依次进行另一张图像上对应各测点的DIC子区搜索;
步骤六、根据立体视觉原理,对步骤五得到的左右图像序列的匹配结果进行计算,得到各测点在各时刻的三维坐标和三维位移。
本发明的有益效果为:
在土木工程领域,广泛使用的数字图像相关方法(DIC)是一种区域匹配算法。现有DIC在时序匹配过程中没有同步进行子区搜索,导致测量过程计算效率低下。本发明为解决此问题,提出基于同步子区搜索的立体视觉三维位移测量方法。该方法将对左右图像序列上各测点同步进行DIC子区搜索,提高三维位移测量方法的计算效率。
通过五层框架地震振动台三维位测量试验数据对基于同步子区搜索的立体视觉三维位移测量方法进行验算。试验结果表明位移计和基于同步子区搜索的立体视觉三维位移测量方法测得的三条曲线具有相同的趋势,证明基于同步子区搜索的立体视觉三维位移测量方法的有效性和可靠性;使用本发明测量方法的同步子区搜索算法的运算所需时间是单点全区搜索算法的9.3%,是单点子区搜索算法的87.3%,计算效率得到提高。证明基于同步子区搜索的立体视觉三维位移测量方法的计算效率更高。
附图说明
图1为双目立体视觉系统;
图2为确定初始图像上各测点的图像坐标、匹配模板、搜索子区尺寸示意图;
图3为右初始图像上极线约束修正DIC立体匹配示意图;
图4为初始时刻多测点同步进行DIC子区搜索匹配及修正示意图;
图5为初始时刻左右图像同步进行DIC子区搜索示意图;
图6为双目立体视觉模型;
图7为基于同步子区搜索的立体视觉三维位移测量方法的流程图;
图8为实施例一所用五层框架模型示意图;
图9为实施例一工况1测点1的x方向位移图;
图10为实施例一工况1测点1的y方向位移图;
图11为实施例一工况1测点1的z方向位移图;
具体实施方式
具体实施方式一:基于同步子区搜索的立体视觉三维位移测量方法具体过程为:
步骤一、采用相机标定方法对立体视觉系统进行标定,得到立体视觉系统的内参数矩阵和外参数矩阵,对各测点采集图像,得到各测点左右图像序列;所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar;所述左相机为立体视觉系统左侧相机,右相机为立体视觉系统右侧相机;所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T;所述测点为粘贴在被测对象表面的圆形靶标圆心;
步骤二、提取初始时刻左图像上各测点的图像坐标,自动生成各测点的DIC匹配模板,并计算各测点的DIC搜索子区尺寸;所述左图像为左相机采集的图像;所述DIC方法为数字图像相关方法;
步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配,得到右图像上各对应测点的图像坐标;所述右图像为右相机采集的图像;
步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,如果立体匹配满足极线约束关系,执行步骤五;如果立体匹配不满足极线约束关系,对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点;
步骤五、对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果;所述同步指的是依次完成一张图像上各测点的DIC子区搜索后,依次进行另一张图像上对应各测点的DIC子区搜索;
步骤六、根据立体视觉原理,对步骤五得到的左右图像序列的匹配结果进行计算,得到各测点在各时刻的三维坐标和三维位移。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤一中采用相机标定方法对立体视觉系统进行标定,得到立体视觉系统的内参数矩阵和外参数矩阵,对各测点采集图像,得到各测点左右图像序列;所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar;所述左相机为三维位移测量系统左侧相机,右相机为三维位移测量系统右侧相机;所述外参数矩阵为由左相机到右相机坐标系的旋转矩阵R和平移向量T;所述测点为圆形靶标圆心的具体过程为:
在整个基于同步子区搜索的立体视觉三维位移测量方法过程中,需要对立体视觉系统用到的相机标定结果进行分析,所以对立体视觉系统的标定是整个方法的第一步。采用张正友标定方法对立体视觉系统进行标定,以不同的姿态在空间测点所在平面摆放棋盘格标定板,采集大于等于5张标定图片进行分析,得到标定结果和立体视觉系统的内参数矩阵和外参数矩阵,然后对各测点采集图像,得到各测点左右图像序列;
所述不同的姿态为标定板取不同的角度和不同的位置;
所述双目立体视觉系统,如图1所示。
其他步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述步骤二中提取初始时刻左图像上各测点的图像坐标,自动生成各测点的DIC匹配模板,并计算各测点的DIC搜索子区尺寸;所述左图像为左相机采集的图像;所述DIC方法为数字图像相关方法的具体过程为:
步骤二一、粗定位左图像上各测点的DIC匹配模板区域:
在初始时刻的左相机图像上,先采取SUSAN滤波的方法对图像进行滤波去噪,其有益效果为较好的保持了图像原有结构和特点,同时锐化图像的边界和角点,提高图像质量;再使用MATLAB自带函数,在左图像上待测靶标周围选择矩形区域,使矩形区域内只包含待测的圆形靶标;
步骤二二、提取左图像上各测点的图像坐标,并自动生成各测点的DIC匹配模板:
对步骤二一得到的图像进行二值化处理,通过对各矩形区域的形状参数进行计算,设定形状阈值,过滤掉非目标区域;采用Canny算法粗略的提取靶标边界,将提取出来的目标边界连接在一起,并剔除一些不符合要求的非目标边界;然后采用矩和曲率保持(MCP)定位方法确定椭圆亚像素边缘;采用椭圆拟合方法确定椭圆圆心坐标,即左图像上各测点的图像坐标;求取椭圆各点的拟合误差,去掉误差大于5%的点,可以确定椭圆的长短轴;定位出圆形靶标的圆心坐标和长短轴,就可以确定出匹配模板的大小和位置,椭圆中心坐标即为矩形模板中心的位置,椭圆的长短轴即为矩形模板的两个边长;所述椭圆指的是由于相机镜头的畸变效应,圆形靶标呈现在图像上的已经不是圆,而是一个椭圆;
步骤二三、确定各测点在初始时刻的DIC方法的搜索子区尺寸:
测点在空间中的真实运动范围通常可由数值模拟或者预估给出,据此可指定所有测点在左相机图像中的最大运动范围,然后在右图像中相应地匹配出各测点的搜索范围,由此,获得所有测点在左右图像中的搜索子区,搜索子区尺寸的具体计算方法见公式(1)。
其中f为标定所用的棋盘格标定板上方格的实际尺寸,单位为mm;o-xwywzw为左相机坐标系,与世界坐标系重合,or-xryrzr为右相机坐标系;Ol-XlYl为左图像坐标系,Or-XrYr为右图像坐标系;s为测点在左相机坐标系x方向或y方向模拟出的实际运动最大值,单位为mm;I为棋盘格标定板上方格在图像坐标系中X方向或Y方向的像素尺寸,单位为pixel;h为测点在图像坐标系中X方向或Y方向的最大运动范围,单位为pixel。采取自动生成匹配模板方法的有益效果为可以减小匹配误差,提高测量精度和计算效率。所述搜索子区为各测点在各时刻左(或右)图像上进行DIC匹配的范围为各测点的搜索子区;确定初始图像上各测点的图像坐标、匹配模板、搜索子区尺寸示意图如图2所示。
其他步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三不同的是:所述步骤三使用DIC方法对初始时刻左图像上各测点进行立体匹配,得到右图像上各对应测点的图像坐标;所述右图像为右相机采集的图像的具体过程如下:
步骤三一:选择DIC方法的相关函数:
DIC方法立体匹配过程的匹配模板和搜索子区由步骤二得到,本实施方式选择的DIC方法的相关函数为零均值归一化差值平方和相关函数(Zero-mean normalized sum ofsquared difference,ZNSSD),其表达式如式(2)所示,其有益效果为考虑了光照不均匀分布,具有较好的抗噪性和鲁棒性。
式中,f(u,v)是匹配模板的灰度矩阵,来自于参考图像;g(x+u,y+v)表示匹配子区的灰度,分别表示灰度的平均值,CZNSSD的取值范围是[0,4],当其值为0时,表示匹配模板与匹配子区之间的相关性最大;
步骤三二:得到右图像上对应点的亚像素坐标:
本实施方式选用二次曲面拟合的方式进行亚像素搜索,其有益效果为保证搜索精度的前提下,提高了搜索效率。由相关函数计算得到相关系数矩阵CZNSSD中绝对值最大元素的位置为Q(XQ,YQ),由Q以及周围的8个整像素点共9个点可以形成局部二次相关曲面,该曲面方程如式(3)所示。
Φ(X,Y)=a1X2+b1Y2+c1XY+d1X+e1Y+f1 (3)
通过这9个点的位置以及对应位置处的相关系数值,拟合出系数a1~f1的数值,计算出曲面的极值点坐标为对应点的亚像素坐标;
步骤三三:优化右图像上对应点的亚像素坐标得到图像坐标:
将步骤三二得到的亚像素坐标作为反向组合型高斯牛顿(Inversecompositional Gauss-Newton,IC-GN)算法的初始值,得到优化后的亚像素坐标值。该亚像素坐标值即为通过DIC方法获得的右图像上对应点的立体匹配初值Pr
其他步骤及参数与具体实施方式一至三相同。
具体实施方式五:本实施方式与具体实施方式一至四不同的是:所述步骤四中判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,如果立体匹配满足极线约束关系,执行步骤五;如果立体匹配不满足极线约束关系,对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点的具体过程为:
步骤四一:计算右极线方程:
使用步骤一所得到的立体视觉系统的内外参数矩阵和外参数矩阵进行计算,得到基本矩阵F,使用基本矩阵F和步骤二得到的左图像上各测点图像坐标进行计算,得到右极线方程,右极线的齐次方程lr用式(4)计算:
lr=Fpl (4)
空间测点P在左右图像的投影点图像坐标用矩阵Pl和Pr来表示。Pl和Pr满足极线约束关系,即满足式(5):
步骤四二:判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,若Pl和Pr满足式(5),则匹配正确,执行步骤五;若Pl和Pr不满足式(5),执行步骤四三;
步骤四三:对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点:
设(X0,Y0)是左图像上pl点相对应的右图像上的DIC匹配点的图像坐标,设(X1,Y1)和(X2,Y2)是右极线lr上两个不同的点,将其代入齐次方程,得到式(6)所示的方程组;
其中a,b,c为直线方程系数,对式(6)进一步整理,可以得到:
a(X1-X2)+b(Y1-Y2)
有向量垂直的关系:
(a,b)⊥(X1-X2,Y1-Y2)
因为(X-X0,Y-Y0)⊥(X1-X2,Y1-Y2),所以(X-X0,Y-Y0)与(a,b)平行;因为pr′(X,Y)在直线lr上,所以得到式(7)所示的方程组;
将式(7)写成矩阵的形式为:
进行极线约束修正过程的有益效果为可以减小匹配误差,提高测量精度。由式(8)计算出经过极线约束修正后与左图像上pl点相对应的右图像上匹配点pr′的坐标(Xr,Yr),如图3所示;图4为初始时刻多测点同步进行DIC子区搜索匹配及修正示意图,其中,Il和Ir分别为左、右图像平面,el和er分别表示左、右图像极点。
其他步骤及参数与具体实施方式一至四相同。
具体实施方式六:本实施方式与具体实施方式一至五不同的是:所述步骤五中对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果的具体过程为:
初始时刻左图像中所有测点匹配模板依次与后续每一张左图像进行DIC匹配,各测点在各时刻左图像上进行DIC匹配的范围为各自的搜索子区,搜索子区尺寸由步骤二得到。同理,初始时刻右图像上所有测点匹配模板依次与后续每一张右图像进行DIC匹配,各测点在各时刻右图像上进行DIC匹配的范围为各自的搜索子区;所述同步指的是依次完成一张图像上各测点的DIC子区搜索后,依次进行另一张图像上对应各测点的DIC子区搜索,同步进行DIC子区搜索的有益效果为可以提高计算效率;对左右图像序列上各测点同步进行DIC子区搜索,需要说明的是初始时刻右图像上各测点的中心图像坐标为经极线约束修正后的匹配点图像坐标;最终,获得左右图像序列上各测点的对应匹配结果。采取同步子区搜索的方法的有益效果为可以提高计算效率,初始时刻左右图像同步进行DIC子区搜索过程如图5所示。
其他步骤及参数与具体实施方式一至五相同。
具体实施方式七:本实施方式与具体实施方式一至六不同的是:所述步骤六中根据立体视觉原理,对步骤五得到的左右图像序列的匹配结果进行计算,得到各测点在各时刻的三维坐标和三维位移的具体过程为:
双目立体视觉模型如图6所示,其中P为空间测点,o-xwywzw为左相机坐标系,与世界坐标系重合,or-xryrzr为右相机坐标系;Ol-XlYl为左图像坐标系,Or-XrYr为右图像坐标系;测点P(x,y,z)的三维坐标可以通过式(9)进行求解。
式中fl,fr分别为左右像机有效焦距,R和T为表征两像机相互位置关系的旋转矩阵和平移矩阵,r1~r9是旋转矩阵R的元素,T=[tx ty tz],tx,ty,tz分别是将左相机坐标系原点移至右相机坐标系的原点的平移量。(Xl,Yl),(Xr,Yr)为测点在左右图像上的坐标,其中初始时刻右图像坐标按照步骤四方法进行DIC立体匹配修正。
每一时刻空间点的三维坐标可以由式(9)进行计算,任一时刻三维坐标与初始时刻三维坐标的差值即为该时刻空间点的三维位移,基于同步子区搜索的立体视觉三维位移测量方法的流程图如图7所示。
其他步骤及参数与具体实施方式一至六相同。
实施例一:
本实施例为五层框架模型地震振动台三维位移测量试验,具体按以下步骤制备:
实施例所用五层框架模型如图8所示,模型结构长宽尺寸为3.68m×2.04m,高度为3.98m。在进行三维位移测量试验时,采用高强双面胶在试件表面测点位置粘贴由亚克力板制成的圆形靶标,本次实施例进行了多个工况试验,选取五个工况试验参数如表1。
表1
本实施例所用的立体视觉系统计算机为Windows7系统,硬盘存储容量为3TB,运行内存为8GB,CPU的频率为3.7GHz。试验过程中,采用德国AVT公司的Pike-F-100c系列CCD摄像机进行图像采集,镜头焦距5mm,利用外部触发设备控制两相机同步采集数据,采样频率最高为60Hz,本试验根据需要确定采样频率为20Hz,采集到的每张图片大小为1000像素×1000像素。
图9-图11为工况1测点1的三维位移图,工况1下其他测点以及其他工况下各测点的三维位移图与其相似。试验结果表明位移计和基于同步子区搜索的立体视觉三维位移测量方法测得的水平方向位移曲线吻合较好,证明三维位移测量方法有效性和可靠性。
对每个工况的所有测点进行同步子区搜索,每个工况的子区大小不同、采集的图片数量不同,需要的像素搜索时间也不相同。将各工况采用同步子区搜索算法和单点全区搜索算法所需运算时间进行对比,比较结果列于表2中。将各工况采用同步子区搜索算法和单点子区搜索算法所需运算时间进行对比,比较结果列于表3中。
表2
表3
由表2和表3可知,同一工况下,同步子区搜索算法运算所需时间少于单点全区搜索算法和单点子区搜索算法。使用同步子区搜索算法运算所需时间是单点全区搜索算法的9.3%到12.9%,是单点子区搜索算法的87.3%到90.9%。两种子区搜索算法的运算时间与子区大小有关,子区越大所用时间越长。经过比较,可以证明基于同步子区搜索的立体视觉三维位移测量方法缩短了计算时间,提高了计算效率。
此外,由于单点搜索算法每次只能计算一个测点,两次计算之间需要进行人为操作,无法紧密衔接。相比之下,同步搜索算法操作更为方便,省去了大量的人为操作时间,当测点数目更多、采集时间更长的情况下,基于同步子区搜索的立体视觉三维位移测量方法的优势会更加明显。
五层框架模型地震振动台三维位移测量试验结果表明:本发明方法可用于结构三维位移测量试验,采用同步子区搜索的立体视觉三维位移测量方法,可以提高三维位移测量方法的计算效率,减少计算时间。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述方法具体过程如下:
步骤一、采用相机标定方法对立体视觉系统进行标定,得到立体视觉系统的内参数矩阵和外参数矩阵,对各测点采集图像,得到各测点左右图像序列;所述内参数矩阵为左相机的内参数矩阵Al和右相机的内参数矩阵Ar;所述左相机为立体视觉系统左侧相机,右相机为立体视觉系统右侧相机;所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵R和平移向量T;所述测点为粘贴在被测对象表面的圆形靶标圆心;
步骤二、提取初始时刻左图像上各测点的图像坐标,自动生成各测点的DIC匹配模板,并计算各测点的DIC搜索子区尺寸;所述左图像为左相机采集的图像;所述DIC方法为数字图像相关方法;
步骤三、使用DIC方法对初始时刻左图像上各测点进行立体匹配,得到右图像上各对应测点的图像坐标;所述右图像为右相机采集的图像;
步骤四、判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,如果立体匹配满足极线约束关系,执行步骤五;如果立体匹配不满足极线约束关系,对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点;
步骤五、对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果;所述同步指的是依次完成一张图像上各测点的DIC子区搜索后,依次进行另一张图像上对应各测点的DIC子区搜索;
步骤六、根据立体视觉原理,对步骤五得到的左右图像序列的匹配结果进行计算,得到各测点在各时刻的三维坐标和三维位移。
2.根据权利要求1所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤一中采用相机标定方法对立体视觉系统进行标定,得到立体视觉系统的内参数矩阵和外参数矩阵,对各测点采集图像,得到各测点左右图像序列的具体过程为:
采用张正友标定方法对立体视觉系统进行标定,以不同的姿态在空间测点所在平面摆放棋盘格标定板,采集大于等于5张标定图片进行分析,得到标定结果和立体视觉系统的内参数矩阵和外参数矩阵,使用立体视觉系统对各测点采集图像,得到各测点左右图像序列;
所述不同的姿态为标定板取不同的角度和不同的位置。
3.根据权利要求2所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤二中提取初始时刻左图像上各测点的图像坐标,自动生成各测点的DIC匹配模板,并计算各测点的DIC搜索子区尺寸的具体过程为:
步骤二一、粗定位左图像上各测点的DIC匹配模板区域:
在初始时刻的左相机图像上,先采取SUSAN滤波的方法对图像进行滤波去噪;再使用MATLAB自带函数,在左图像上待测靶标周围选择矩形区域,使矩形区域内只包含待测的圆形靶标;
步骤二二、提取左图像上各测点的图像坐标,并自动生成各测点的DIC匹配模板:
对步骤二一得到的图像进行二值化处理,通过对各矩形区域的形状参数进行计算,设定形状阈值,过滤掉非靶标区域;采用Canny算法粗略的提取靶标边界,将提取出来的靶标边界连接在一起,剔除不符合要求的非靶标边界;采用矩和曲率保持定位方法确定椭圆亚像素边缘;采用椭圆拟合方法确定椭圆圆心坐标,即左图像上各测点的图像坐标;求取椭圆各点的拟合误差,去掉误差大于5%的点,可以确定椭圆的长短轴;根据定位出圆形靶标的圆心坐标和长短轴,确定出匹配模板的大小和位置,椭圆中心坐标即为矩形模板中心的位置,椭圆的长短轴即为矩形模板的两个边长;所述椭圆指的是由于相机镜头的畸变效应,圆形靶标呈现在图像上的不是圆,是一个椭圆;
步骤二三、确定各测点在初始时刻的DIC的搜索子区尺寸:
确定所有测点在左相机图像中的最大运动范围,在右图像中相应地匹配出各测点的搜索范围,获得所有测点在左右图像中的搜索子区,搜索子区尺寸的计算公式如公式(1)所示:
其中f为标定所用的棋盘格标定板上方格的实际尺寸,单位为mm;s为测点在左相机坐标系x方向或y方向模拟出的实际运动最大值,单位为mm;I为棋盘格标定板上方格在图像坐标系中X方向或Y方向的像素尺寸,单位为pixel;h为测点在图像坐标系中X方向或Y方向的最大运动范围,单位为pixel。
4.根据权利要求3所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤三使用DIC方法对初始时刻左图像上各测点进行立体匹配,得到右图像上各对应测点的图像坐标的具体过程为:
步骤三一:选择DIC方法的相关函数:
选择零均值归一化差值平方和相关函数,其表达式如式(2)所示
式中,f(u,v)是匹配模板的灰度矩阵;g(x+u,y+v)表示匹配子区的灰度,分别表示f(u,v)和g(x+u,y+v)的平均值,CZNSSD的取值范围是[0,4],当其值为0时,表示匹配模板与匹配子区之间的相关性最大;
步骤三二:得到右图像上对应点的亚像素坐标:
由相关函数计算得到相关系数矩阵CZNSSD中绝对值最大元素的位置为Q(XQ,YQ),由以Q及周围的8个整像素点共9个点可以形成局部二次相关曲面,该曲面方程如式(3)所示:
Φ(X,Y)=a1X2+b1Y2+c1XY+d1X+e1Y+f1 (3)
通过这9个点的位置以及对应位置处的相关系数值,拟合出系数a1~f1的数值,计算出曲面的极值点坐标为对应点的亚像素坐标;
步骤三三:优化右图像上对应点的亚像素坐标得到图像坐标:
将亚像素坐标作为反向组合型高斯牛顿算法的初始值,得到优化后的亚像素坐标值,即为通过DIC方法获得的右图像上对应点的立体匹配初值Pr
5.根据权利要求4所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤四中判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系,如果立体匹配满足极线约束关系,执行步骤五;如果立体匹配不满足极线约束关系,对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点的具体过程为:
步骤四一:计算右极线方程:
使用步骤一得到的立体视觉系统的内外参数矩阵和外参数矩阵进行计算,得到基本矩阵F;使用基本矩阵F和步骤二得到的左图像上各测点图像坐标进行计算,得到右极线方程,右极线的齐次方程lr用式(4)计算:
lr=Fpl (4)
空间测点P在左右图像的投影点图像坐标用矩阵Pl和Pr来表示;Pl和Pr满足极线约束关系,即满足式(5):
步骤四二:判断初始时刻右图像上各测点的DIC立体匹配结果是否满足极线约束关系:若Pl和Pr满足式(5),则匹配正确,执行步骤五;若Pl和Pr不满足式(5),执行步骤四三;
步骤四三:对不满足极线约束关系的立体匹配结果进行修正,得到右极线上距离DIC立体匹配结果最近的点,将该点作为极线修正后匹配点:
设(X0,Y0)是左图像上pl点相对应的右图像上的DIC匹配点的图像坐标,设(X1,Y1)和(X2,Y2)是右极线lr上两个不同的点,将其代入齐次方程,得到式(6)所示的方程组;
其中a,b,c为直线方程系数,对式(6)进一步整理,可以得到:
a(X1-X2)+b(Y1-Y2)
有向量垂直的关系:
(a,b)⊥(X1-X2,Y1-Y2)
因为(X-X0,Y-Y0)⊥(X1-X2,Y1-Y2),所以(X-X0,Y-Y0)与(a,b)平行;因为p′r(X,Y)在直线lr上,得到式(7)所示的方程组;
将式(7)写成矩阵的形式为:
由式(8)计算出经过极线约束修正后与左图像上pl点相对应的右图像上匹配点p′r的坐标为(Xr,Yr)。
6.根据权利要求5所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤五中对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果的具体过程为:
初始时刻左图像中所有测点的匹配模板依次与后续每一张左图像进行DIC匹配,各测点在各时刻左图像上进行DIC匹配的范围为各测点的搜索子区;初始时刻右图像上所有测点的匹配模板依次与后续每一张右图像进行DIC匹配,各测点在各时刻右图像上进行DIC匹配的范围为各测点的搜索子区;搜索子区由步骤二得到,对左右图像序列上各测点同步进行DIC子区搜索,得到左右图像序列的各测点的对应匹配结果。
7.根据权利要求6所述基于同步子区搜索的立体视觉三维位移测量方法,其特征在于:所述步骤六中根据立体视觉原理,对步骤五得到的左右图像序列的匹配结果进行计算,得到各测点在各时刻的三维坐标和三维位移的具体过程为:
测点P(x,y,z)的三维坐标通过式(9)进行求解;
式中fl,fr分别为左右像机有效焦距,r1~r9是旋转矩阵R的元素,T=[tx ty tz],tx,ty,tz分别是将左相机坐标系原点移至右相机坐标系的原点的平移量,(Xl,Yl),(Xr,Yr)为测点在左右图像上的坐标;
每一时刻空间测点的三维坐标由式(9)进行计算,任一时刻三维坐标与初始时刻三维坐标的差值即为该时刻空间点的三维位移。
CN201811301575.1A 2018-11-02 2018-11-02 基于同步子区搜索的立体视觉三维位移测量方法 Active CN109360246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811301575.1A CN109360246B (zh) 2018-11-02 2018-11-02 基于同步子区搜索的立体视觉三维位移测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811301575.1A CN109360246B (zh) 2018-11-02 2018-11-02 基于同步子区搜索的立体视觉三维位移测量方法

Publications (2)

Publication Number Publication Date
CN109360246A true CN109360246A (zh) 2019-02-19
CN109360246B CN109360246B (zh) 2021-10-29

Family

ID=65344085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811301575.1A Active CN109360246B (zh) 2018-11-02 2018-11-02 基于同步子区搜索的立体视觉三维位移测量方法

Country Status (1)

Country Link
CN (1) CN109360246B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264490A (zh) * 2019-08-15 2019-09-20 成都新西旺自动化科技有限公司 一种应用于机器视觉系统中的亚像素精度边缘提取方法
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN110608796A (zh) * 2019-08-08 2019-12-24 广东工业大学 一种基于双无人机的结构三维振动测量方法
CN112033286A (zh) * 2020-08-19 2020-12-04 哈尔滨工业大学 一种基于双目视觉的结构六自由度运动测量系统及其测量方法
CN112254656A (zh) * 2020-09-24 2021-01-22 哈尔滨工业大学 一种基于结构表面点特征的立体视觉三维位移测量方法
CN112284287A (zh) * 2020-09-24 2021-01-29 哈尔滨工业大学 一种基于结构表面灰度特征的立体视觉三维位移测量方法
CN112950527A (zh) * 2019-11-25 2021-06-11 哈尔滨工业大学 一种基于限定几何关联约束的立体匹配形貌测量方法
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN117146727A (zh) * 2023-10-30 2023-12-01 北京通泰恒盛科技有限责任公司 基于机器视觉的塔筒焊缝监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313515A (zh) * 2010-07-08 2012-01-11 国立清华大学 三维数字影像相关法的校正方法
CN106352806A (zh) * 2016-08-10 2017-01-25 中国科学技术大学 一种立体视觉三维数字图像相关测量的高精度标定方法
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置
CA3052145A1 (en) * 2017-01-31 2018-08-09 Oakland University 3d digital image correlation using single, color camera pseudo-stereo system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313515A (zh) * 2010-07-08 2012-01-11 国立清华大学 三维数字影像相关法的校正方法
CN106352806A (zh) * 2016-08-10 2017-01-25 中国科学技术大学 一种立体视觉三维数字图像相关测量的高精度标定方法
CA3052145A1 (en) * 2017-01-31 2018-08-09 Oakland University 3d digital image correlation using single, color camera pseudo-stereo system
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAN, BAOHUA等: "A Stereovision Measurement Method Using Epipolar Constraint to Correct Digital Image Correlation Matching", 《CHINESE JOURNAL OF LASERS》 *
薛志林: "基于双坐标系的立体视觉三维位移测量方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN110415300B (zh) * 2019-08-02 2022-10-21 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN110608796A (zh) * 2019-08-08 2019-12-24 广东工业大学 一种基于双无人机的结构三维振动测量方法
CN110264490A (zh) * 2019-08-15 2019-09-20 成都新西旺自动化科技有限公司 一种应用于机器视觉系统中的亚像素精度边缘提取方法
CN110264490B (zh) * 2019-08-15 2019-12-10 成都新西旺自动化科技有限公司 一种应用于机器视觉系统中的亚像素精度边缘提取方法
CN112950527B (zh) * 2019-11-25 2022-06-14 哈尔滨工业大学 一种基于限定几何关联约束的立体匹配形貌测量方法
CN112950527A (zh) * 2019-11-25 2021-06-11 哈尔滨工业大学 一种基于限定几何关联约束的立体匹配形貌测量方法
CN112033286A (zh) * 2020-08-19 2020-12-04 哈尔滨工业大学 一种基于双目视觉的结构六自由度运动测量系统及其测量方法
CN112254656B (zh) * 2020-09-24 2022-02-11 哈尔滨工业大学 一种基于结构表面点特征的立体视觉三维位移测量方法
CN112284287B (zh) * 2020-09-24 2022-02-11 哈尔滨工业大学 一种基于结构表面灰度特征的立体视觉三维位移测量方法
CN112284287A (zh) * 2020-09-24 2021-01-29 哈尔滨工业大学 一种基于结构表面灰度特征的立体视觉三维位移测量方法
CN112254656A (zh) * 2020-09-24 2021-01-22 哈尔滨工业大学 一种基于结构表面点特征的立体视觉三维位移测量方法
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113763451A (zh) * 2021-09-23 2021-12-07 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN113763451B (zh) * 2021-09-23 2024-01-02 重庆邮电大学 一种智能车双目视觉深度测量的递阶搜索方法
CN117146727A (zh) * 2023-10-30 2023-12-01 北京通泰恒盛科技有限责任公司 基于机器视觉的塔筒焊缝监测方法及系统
CN117146727B (zh) * 2023-10-30 2024-01-30 北京通泰恒盛科技有限责任公司 基于机器视觉的塔筒焊缝监测方法及系统

Also Published As

Publication number Publication date
CN109360246B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN109360246A (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN106441138B (zh) 基于视觉测量的变形监测方法
CN105913439B (zh) 一种基于激光跟踪仪的大视场摄像机标定方法
CN108986070B (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
CN110375648A (zh) 棋盘格靶标辅助的单台相机实现的空间点三维坐标测量方法
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN100428805C (zh) 仅用一幅平面标定物图像的摄像机标定方法
CN106361345A (zh) 基于摄像头标定的视频图像中人体身高测量的系统及方法
CN109658457A (zh) 一种激光与相机任意相对位姿关系的标定方法
CN108458665A (zh) 利用近景摄影进行隧道快速形变测量的方法
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
CN104173054A (zh) 基于双目视觉技术的人体身高测量方法及其装置
CN106097300A (zh) 一种基于高精度运动平台的多相机标定方法
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN105403173B (zh) 一种光场偏折术测量系统标定镜及其应用方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN109089025A (zh) 一种基于光场成像技术的影像仪数字聚焦方法
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN103115613A (zh) 一种空间三维定位方法
CN104616348A (zh) 基于多目立体视觉的织物外观重建方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
TW201310004A (zh) 編列數位影像關係裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant