CN112200203A - 斜视场下弱相关散斑图像的匹配方法 - Google Patents

斜视场下弱相关散斑图像的匹配方法 Download PDF

Info

Publication number
CN112200203A
CN112200203A CN202011219762.2A CN202011219762A CN112200203A CN 112200203 A CN112200203 A CN 112200203A CN 202011219762 A CN202011219762 A CN 202011219762A CN 112200203 A CN112200203 A CN 112200203A
Authority
CN
China
Prior art keywords
matching
point
pixel
camera
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011219762.2A
Other languages
English (en)
Other versions
CN112200203B (zh
Inventor
梁晋
叶美图
苗泽华
李文攀
陈仁虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011219762.2A priority Critical patent/CN112200203B/zh
Publication of CN112200203A publication Critical patent/CN112200203A/zh
Application granted granted Critical
Publication of CN112200203B publication Critical patent/CN112200203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种斜视场下弱相关散斑图像的匹配方法,方法中,双目系统立体相机标定,并进行大倾斜角或大立体角时左、右相机的散斑图像采集,基于FAST‑AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对;基于RANSAC算法对初始匹配点对进行筛选,得到点对;利用最小二乘法求解点对之间的对应关系M|d矩阵;对于左图像任一待匹配点,根据M|d矩阵将待匹配点映射至右图像获得对应的位置估计;以位置估计为初值并划定搜索域,在搜索域内基于第一匹配算法获得整像素坐标;基于第二匹配算法对整像素坐标进行亚像素搜索和匹配,获得最终的匹配结果,第二匹配算法的精度高于第一匹配算法。

Description

斜视场下弱相关散斑图像的匹配方法
技术领域
本发明属于计算机视觉与图像处理技术领域,特别是一种斜视场下弱相关散斑图像的匹配方法。
背景技术
基于数字图像相关匹配的变形测量方法广泛的应用于航空航天、汽车、材料、交通等领域,尤其是基于数字图像匹配和双目立体视觉的立体匹配更是备受关注。该方法借助两个工业CCD相机组成一套双目测量系统,采集有明显特征的物体表面图案,并通过图像的匹配得到图像对应点,再利用三维重建算法获取物体不同时刻的三维点云,通过跟踪三维点运动可求取物体表面的位移场和应变场。
立体匹配是通过像素灰度值和相似性度量函数进行双目图像上同名点的搜索和对应的过程。左、右相机图像匹配的完成主要借助于相关系数,该系数用于度量图像子区域之间的相似性,完全相似时相关系数为1,弱相关为1~0,不相关为0。理论上要求图像采集时相机光轴需尽可能的正对被测物体表面,物体表面法线偏离相机光轴的角度不能过大,也即不能有较大的倾斜角或立体角,否则很容易带来图像间的弱相关甚至不相关问题。实际测量中因工况复杂、双目测量系统布置困难等原因,往往不易获得正对图像,因此需要对存在倾斜角、立体角时采集的弱相关数字图像进行针对性匹配。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中存在的问题,本发明提出一种斜视场下弱相关散斑图像的匹配方法,实现物体二维尺寸的实时、准确测量,显著提高了精度。
本发明的目的是通过以下技术方案予以实现,一种斜视场下弱相关散斑图像的匹配方法包括以下步骤:
S1、双目系统立体相机标定,并进行大倾斜角或大立体角时左、右相机的散斑图像采集,其中,大倾角为大于45°的角度,大立体角为大于30°的角度;
S2、基于FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
S3、基于随机抽样一致算法对所述初始匹配点对Int_PtPairs进行筛选,得到点对Final_PtPairs;
S4、利用最小二乘法求解所述点对Final_PtPairs之间的对应关系的旋转平移矩阵;
S5、对于左图像任一待匹配点(Xo,Yo),根据所述旋转平移矩阵将所述待匹配点映射至右图像获得对应的位置估计(Xr,Yr);
S6、以位置估计(Xr,Yr)为初值并划定搜索域,在所述搜索域内基于第一匹配算法获得整像素坐标(Xrw,Yrw);
S7、基于第二匹配算法对所述整像素坐标(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs),所述第二匹配算法的精度高于所述第一匹配算法。
所述的方法中,步骤S1中,采用基于摄影测量的柔性标定,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后获得双目相机的内、外方位参数和相对外参数,其中,所述平面标定板上布置有标志点,标志点包括以规则的行和列排列的环形编码点以及圆形非编码点;将表面喷涂有黑白相间散斑图案的物体放置在相机视野内,相机光轴与物体被测表面不垂直时为斜视场,当物体表面与相机光轴在三维空间呈倾斜角时分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在固有的立体角使得成像倾斜;当左倾角,右倾角,前俯角,后仰角大于45°,立体角大于30°时,控制双目相机同步触发采集得到左、右相机的散斑图像。
所述的方法中,步骤S2中,FAST-AIIM方法基于特征检测的仿射不变性得到左、右图像上一一对应的二维点群集合的所述初始匹配点对Int_PtPairs。
所述的方法中,步骤S3中,随机抽样一致算法为RANSAC算法,所述RANSAC算法基于Int_PtPairs中左图像上的特征点与右图像上的特征点之间存在点对数据间的对应模型,利用概率统计与反复迭代选择出点对之间最正确的对应模型,同时筛选出符合所述对应模型的点对Final_PtPairs。
所述的方法中,步骤S4中,旋转平移矩阵为M|d矩阵,所述点对Final_PtPairs中左图像中的二维点集为A,右图像中的二维点集为B,A与B之间的映射矩阵为X,根据最小二乘法解得X矩阵内的投影变换参数X,基于投影变换参数X分离旋转矩阵M和平移矩阵d。
所述的方法中,步骤S4中,投影变换参数X为3行2列的矩阵,旋转矩阵M为2行2列的方阵,平移矩阵d为1行2列的矩阵。
所述的方法中,步骤S5中,所述待匹配点映射关系为(Xr,Yr)=M*(Xo,Yo)+d,其中,M为旋转矩阵,d为平移矩阵d。
所述的方法中,步骤S6中,以位置估计(Xr,Yr)为初值,搜索域半尺寸为S,搜索域左上、左下、右上、右下四个角点的坐标分别为(Xr-S,Yr-S),(Xr-S,Yr+S),(Xr+S,Yr-S),(Xr+S,Yr+S);采用归一化互相关函数整像素的搜索,在右图像上选取CNCC系数最大的搜索区域中心为匹配点,得到匹配点整像素坐标(Xrw,Yrw)。
所述的方法中,所述步骤S7中,利用亚像素插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,采用零均值归一化最小距离平方和系数ZNSSD进行子区亚像素搜索和匹配,通过亚像素的搜索,在右图像上选取相关系数最大的搜索区域中心为匹配点,得到亚像素匹配坐标(Xrs,Yrs),其中,
Figure BDA0002760006720000031
其中(xi,yj),(xi′,yj′)分别为左、右图像点上划定区域的像素坐标;f(xi,yj),g(xi′,yj′)分别为对应像素坐标的灰度值;
Figure BDA0002760006720000032
分别为对应搜索域的灰度基数,经过逐像素平方求和,再整体开方的运算得到。
所述的方法中,亚像素插值包括双线性插值算法或双三次样条插值算法。
有益效果
本发明同现有技术相比,本发明通过引入专用于投影变换特征检测的FAST AIIM算法和排错算法RANSAC算法,在牺牲一定特征检测和排错时间的条件下,极大的提高了斜视场立体相机散斑图像之间的匹配稳定性,为数字图像相关法在斜视场下的应用提供了一种可靠的匹配方法和思路;本发明还可提高传统数字图像相关法匹配的自动化程度。数字图像相关法往往通过种子点扩散的形式提高匹配效率,因此种子点的匹配正确与否非常关键,在斜视场弱相关图像的匹配中,种子点也存在弱相关问题,此时可进行手动选择匹配点,但手动匹配结果因人而异。而本发明可用于种子点的直接自动匹配,避免了人工操作,提高了匹配的自动化程度。
上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
在附图中:
图1为本发明的斜视场下弱相关数字图像匹配方法的流程图;
图2为本发明的斜视场下弱相关数字图像匹配方法中基于摄影测量的立体相机标定板图案,图中有规则排列的编码点和非编码点,还有已知物理尺寸的比例尺;
图3为本发明的斜视场下弱相关数字图像匹配方法中的大倾斜角和大立体角的定义示意图,图中的tl,tr,tf,tb分别为左倾角、右倾角、前俯角、后仰角,α1为小立体角,α2为大立体角;
图4为本发明的斜视场下弱相关数字图像匹配方法中的大倾斜角左、右相机图像,该图像的采集角度为tl约等于50°,因此用成功的DIC方法匹配不上,左侧图在为划分匹配子区网格,并选定种子点(十字型点),在右图中的极线(图中直线)上找不到对应的匹配点;
图5为本发明的斜视场下弱相关数字图像匹配方法中的FAST AIIM特征检测得到的匹配点对显示,匹配的点对之间用不同颜色的直线连接;
图6为本发明的斜视场下弱相关数字图像匹配方法中的FAST AIIM特征检测得到的匹配点对经过RANSAC算法筛选之后的点对显示,匹配的点对之间用不同颜色的直线连接;
图7为本发明的斜视场下弱相关数字图像匹配方法中的待匹配点选择,选择的点为图中标十字型且圆圈标记的点,周围的点为参考匹配点;
图8为本发明的斜视场下弱相关数字图像匹配方法中将左图中待匹配点用投影变换矩阵映射至右图像中的点显示,即图中十字标定点;
图9为本发明的斜视场下弱相关数字图像匹配方法中将映射至右图像中的点用第一、第二匹配后得到的亚像素匹配点显示,右图中出现两个高亮十字标记点,右侧点为常规算法手动匹配的错误点,左侧点为通过本发明得到的正确的匹配点;
图10(a)为正视亚当图,图10(b)为斜视亚当图,图10(c)为本发明的斜视场下弱相关数字图像匹配方法中的FAST-AIIM算法检测效果示意图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图10(c)更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
斜视场下弱相关散斑图像的匹配方法,所述方法包括以下步骤:
S1、双目系统立体相机标定,并进行大倾斜角时左、右相机的散斑图像采集;
S2、通过FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
S3、利用RANSAC算法对Int_PtPairs进行筛选,得到正确的点对Final_PtPairs;
S4、利用最小二乘法求解点对Final_PtPairs之间的对应关系M|d矩阵;
S5、对于左图像任一待匹配点(Xo,Yo),根据M|d可将该点映射至右图像获得对应位置估计(Xr,Yr);
S6、以(Xr,Yr)为初值并划定搜索域,在该搜索域范围内利用第一匹配算法获得整像素坐标(Xrw,Yrw);
S7、利用第二匹配算法对(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs)。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,双目系统的标定采用基于摄影测量的柔性标定方法,通过八步法,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后,获得双目相机的内、外方位参数和相对外参数;
所述平面标定板上布置有圆形标志点图案,标志点包括环形编码点和圆形非编码点,以规则的行和列排列;
完成所述相机标定步骤后,将一表面喷涂有黑白相间散斑图案的物体放置在相机视野内,定义相机光轴与物体被测表面不严格垂直时为斜视场,也即:当物体表面与相机光轴在三维空间呈一倾斜角时,分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在一固有立体角使得成像倾斜;
当上述4个倾角大于45°,立体角大于30°时称为大倾斜角,此时控制双目相机同步触发采集得到左、右相机的大倾斜角散斑图像。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,FAST-AIIM是一种基于特征检测的仿射不变性图像匹配算法,针对双目立体相机之间的变换进行特征检测,具有非常稳定的投影变换不变性。
进一步地,FAST-AIIM算法的特征描述子非常适合于双目相机投影变换的特征点对检测,将所述步骤S2中得到的左、右相机的大倾斜角散斑图像输入到该算法,运行算法得到初始匹配点对Int_PtPairs,该点对是左、右图像上一一对应的二维点群集合。如图10(a)、(b)、(c)所示,分辨率均为640pixel×480pixel,检测得到Int_PtPairs共586对,现给出4对匹配点坐标作为示例。
图像 第1对 第2对 第3对 第4对
(a) 274.096,293.204 94.533,208.356 43.5506,411.103 147.949,421.557
(b) 248.256,258.27 175.82,197.97 154.193,321.066 200.156,346.334
FAST-AIIM方法进行特征检测的优点有:具有投影变换关系的图像对,尤其是对倾斜视场的图像对具有非常稳定的检测能力,FAST-AIIM方法在检测速度方面也具有一定的优势。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,RANSAC算法为随机抽样一致算法,Int_PtPairs中左图像上的特征点与右图像上的特征点之间存在一个点对数据间的对应模型,利用概率统计与反复迭代可选择出点对之间最正确的对应模型,同时能筛选出符合该对应模型的正确的点对Final_PtPairs,在算法层面上Final_PtPairs也被称为“内点”。进一步地,RANSAC迭代模型采用二维图像仿射变换的6参数模型,记二维点坐标为(x,y),经仿射变换后的二维点坐标为(x,y),变换模型为:
x′=m1x+m2y+d1
y=m3x+m4y+d2
运行RANSAC算法,用586对点估计变换模型参数,将置信度设为0.98,通过多次迭代并舍弃不符合模型的数据,得到232对点对。
采用RANSAC算法进行点对排错的原因为:RANSAC算法经常用于计算机视觉中估计立体摄像机的基础矩阵等,能够鲁棒的估计模型参数,非常适合用于立体图像之间的匹配模型估计。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,Final_PtPairs中左图像中的二维点集为A,右图像中的二维点集为B,A与B之间的映射矩阵为X,则有
X=(ATA)-1ATB
可将A与B之间的映射看作投影变换,此时投影变换参数X可分离为旋转矩阵M和平移矩阵d,也即
Figure BDA0002760006720000081
d=[X31 X32]。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,根据点对的整体映射关系,有
(Xr,Yr)=M*(X0,Y0)+d
也即
Figure BDA0002760006720000082
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,所述步骤S6中,根据数字图像相关法(Digital Image Correlation,DIC),图像上选定二维像点的匹配分为两个步骤,先进行第一匹配,得到整像素的匹配结果,再进行第二匹配,通过亚像素插值和匹配得到亚像素级(0.01pixel)匹配结果。
传统的双目立体视觉的第一匹配需要借助立体相机的对极几何约束,通过在右图像上建立极线进行整像素搜索,选取相关系数最大的点作为匹配点,但由于斜视场大倾斜角的散斑图像相关性很低,沿极线上搜索可能相关系数都很难超过常规匹配的阈值,匹配算法难以达到收敛的条件,所以匹配成功率较低。因此,大倾斜角图像匹配以已经过一次位置估计的(Xr,Yr)为初值,再划定域内进行整像素搜索,设搜索子区半尺寸为S,则搜索域左上、左下、右上、右下四个角点的坐标分别为(Xr-S,Yr-S),(Xr-S,Yr+S),(Xr+S,Yr-S),(Xr+S,Yr+S);
在该搜索域内,采用归一化互相关函数(NCC)作为相关系数计算式,进行子区整像素搜索,该函数在保证准确性前提下能够减少计算量,即
Figure BDA0002760006720000091
式中(xi,yj),(xi′,yj′)分别为左、右图像点上划定区域的像素坐标;f(xi,yj),g(xi′,yj′)分别为对应像素坐标的灰度值;
Figure BDA0002760006720000092
分别为对应搜索域的灰度基数,经过逐像素平方求和,再整体开方的运算得到;
通过整像素的搜索,在右图像上选取CNCC系数最大的搜索区域中心为匹配点,即得到匹配点像素坐标(Xrw,Yrw)。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,在所述步骤S6的基础上,以获得的(Xrw,Yrw)为初值,进行第二匹配,首先利用亚像素插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,进一步地,例如双线性插值算法利用一像素点周围的四个整数像素点的灰度求取,其表达式为
G(x′,y′)=a10x′+a01y′+a11x′y′+a00,0<x′<1,0<y′<1
其中
Figure BDA0002760006720000093
式中g(i,j),g(i+1,j),g(i,j+1),g(i+1,j+1)分别为(x′,y′)周围的四个整像素点的灰度值。双线性插值计算量小,具有较高的精度,可以满足斜视场的精度要求。
完成亚像素插值之后,采用零均值归一化最小距离平方和系数(ZNSSD)作为第二匹配相关系数计算式,进行子区亚像素搜索和匹配,即
Figure BDA0002760006720000101
式中fm,gm分别为搜索域的灰度均值;Δf,Δg分别表式局部灰度与整体灰度的差值。
通过亚像素的搜索,在右图像上选取CZNSSD系数最大的搜索区域中心为匹配点,即得到亚像素匹配坐标(Xrs,Yrs)。可通过亚像素的匹配坐标对,利用S2中的立体相机标定结果进行三维重建,从而可获得物体斜视场表面的轮廓点云,若物体处于静态变形状态,可通过需要斜视场图像的匹配跟踪计算得到物体表面的变形场。
为了进一步理解本发明,
实施例1:结合图1至图9说明本实施例,本实施例的一种斜视场下弱相关散斑图像的匹配方法流程图如图1所示,具体步骤包括:
S1:双目系统立体相机标定,并进行大倾斜角时左、右相机的散斑图像采集;
用两台相机组建立体成像系统,相机型号为Basler Usb3.0,分辨率为500万像素(2448pixel×2048pixel),传感器像元尺寸为3.45um/pixel,配备25mm的RICOH型镜头。
双目系统的标定采用基于摄影测量的柔性标定方法,通过八步法,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后,获得双目相机的内、外方位参数和相对外参数;所述平面标定板上布置有圆形标志点图案,标志点包括环形编码点和圆形非编码点,以规则的行和列排列,预先通过摄影测量的方式获取比例尺,如图2所示。获得的双目相机标定结果为:
Figure BDA0002760006720000102
Figure BDA0002760006720000111
相机2相对于相机1的相对外参数为
Figure BDA0002760006720000112
完成所述相机标定步骤后,将一表面喷涂有黑白相间散斑图案的物体放置在相机视野内,定义相机光轴与物体被测表面不严格垂直时为斜视场,也即:当物体表面与相机光轴在三维空间呈一倾斜角时,分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在一固有立体角使得成像倾斜;
如图3所示,当其中的左倾角tl约为50°时,采集图像,获得如图4所示的左、右相机的立体图像,两幅图像存在严重倾斜,但符合立体视觉的投影模型。
S2:通过FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
FAST-AIIM算法,对图4中的两幅倾斜图像进行特征检测和匹配点对搜索,得到226对初始点对Int_PtPairs,其显示的效果如图5所示。
S3:利用RANSAC算法对Int_PtPairs进行筛选,得到正确的点对Final_PtPairs;
将S2中的226对初始点对利用RANSAC算法进行筛选,得到处理后的94对点对Final_PtPairs,其显示的效果如图6所示。
S4:利用最小二乘法求解Final_PtPairs点对之间的对应关系M|d矩阵;
将S3中的94个点对Final_PtPairs中左图像中的二维点集记为A,右图像中的二维点集记为B,A与B之间的映射矩阵为X,利用最小二乘法解得
Figure BDA0002760006720000121
仿射变换参数X可分离为旋转矩阵M和平移矩阵d,也即
Figure BDA0002760006720000122
d=[735.5324 33.3042]。
S5:对于左图像任一待匹配点(Xo,Yo),根据M|d可将该点映射至右图像获得对应位置估计(Xr,Yr);
点对的整体映射关系为
(Xr,Yr)=M*(X0,Y0)+d
在左图像上选取一待匹配点(1464,1576),如图7中稀疏点集中心有十字和圆圈的点;根据S4中获得的M|d矩阵,映射得到右图像上的位置估计(Xr,Yr)为(1818.7924,1425.1338)。
S6:以(Xr,Yr)为初值并划定搜索域,在该搜索域范围内利用第一匹配算法获得整像素坐标(Xrw,Yrw);
以(Xr,Yr)的坐标(1818.7924,1425.1338)为中心,设置子区半尺寸S为200pixel划定搜索域,通过数字图像相关法中的第一匹配算法得到整像素搜索坐标(Xrw,Yrw)为(1538,1510)。
S7:利用第二匹配算法对(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs)。
在所述步骤S6的基础上,以获得的(Xrw,Yrw)整像素坐标(1538,1510)为初值,进行第二匹配,利用双线性插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,再利用零均值归一化最小距离平方和系数作为相关系数计算式进行亚像素搜索,获得的亚像素匹配结果(Xrs,Yrs)为(1538.686883,1510.629269),图8所示为(Xrs,Yrs)的显示结果。
图9所示为以7×7为子区半尺寸进行整体匹配的效果,对于左图像上的黄色十字标记的种子点,右图像上有两个对应的匹配点,其中偏右的种子点是常规匹配算法计算的错误结果,偏左的是本发明计算得到的结果,观察可知本发明的匹配结果正确。在一个实施例中,系数ZNSSD的值在0~1之间,图9所示的点匹配得到的ZNSSD值为0.96,涉及到中间的计算过程较繁琐,此处不再细列。系数ZNSSD在0~1之间的优点为:采用ZNSSD作为相关系数计算式,在图像匹配中具有很强的抗环境光干扰能力和抗光照不均匀能力,能够极大的提高图像匹配稳定性。
适用于双目相机光轴与物体表面相对倾斜角较大或双目相机之间的立体角较大的工况,避免了极线出错时匹配失败的问题,极大的提高了数字图像匹配的稳定性,扩大了方法的适用范围。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。

Claims (10)

1.一种斜视场下弱相关散斑图像的匹配方法,所述方法包括以下步骤:
S1、双目系统立体相机标定,并进行大倾斜角或大立体角时左、右相机的散斑图像采集,其中,大倾角为大于45°的角度,大立体角为大于30°的角度;
S2、基于FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
S3、基于随机抽样一致算法对所述初始匹配点对Int_PtPairs进行筛选,得到点对Final_PtPairs;
S4、利用最小二乘法求解所述点对Final_PtPairs之间的对应关系的旋转平移矩阵;
S5、对于左图像任一待匹配点(Xo,Yo),根据所述旋转平移矩阵将所述待匹配点映射至右图像获得对应的位置估计(Xr,Yr);
S6、以位置估计(Xr,Yr)为初值并划定搜索域,在所述搜索域内基于第一匹配算法获得整像素坐标(Xrw,Yrw);
S7、基于第二匹配算法对所述整像素坐标(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs),所述第二匹配算法的精度高于所述第一匹配算法。
2.根据权利要求1所述的方法,其中,优选的,步骤S1中,采用基于摄影测量的柔性标定,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后获得双目相机的内、外方位参数和相对外参数,其中,所述平面标定板上布置有标志点,标志点包括以规则的行和列排列的环形编码点以及圆形非编码点;将表面喷涂有黑白相间散斑图案的物体放置在相机视野内,相机光轴与物体被测表面不垂直时为斜视场,当物体表面与相机光轴在三维空间呈倾斜角时分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在固有的立体角使得成像倾斜;当左倾角,右倾角,前俯角,后仰角大于45°,立体角大于30°时,控制双目相机同步触发采集得到左、右相机的散斑图像。
3.根据权利要求1所述的方法,其中,步骤S2中,FAST-AIIM方法基于特征检测的仿射不变性得到左、右图像上一一对应的二维点群集合的所述初始匹配点对Int_PtPairs。
4.根据权利要求1所述的方法,其中,步骤S3中,随机抽样一致算法为RANSAC算法,所述RANSAC算法基于Int_PtPairs中左图像上的特征点与右图像上的特征点之间存在点对数据间的对应模型,利用概率统计与反复迭代选择出点对之间最正确的对应模型,同时筛选出符合所述对应模型的点对Final_PtPairs。
5.根据权利要求1所述的方法,其中,步骤S4中,旋转平移矩阵为M|d矩阵,所述点对Final_PtPairs中左图像中的二维点集为A,右图像中的二维点集为B,A与B之间的映射矩阵为X,根据最小二乘法解得X矩阵内的投影变换参数X,基于投影变换参数X分离旋转矩阵M和平移矩阵d。
6.根据权利要求5所述的方法,其中,步骤S4中,投影变换参数X为3行2列的矩阵,旋转矩阵M为2行2列的方阵,平移矩阵d为1行2列的矩阵。
7.根据权利要求5所述的方法,其中,步骤S5中,所述待匹配点映射关系为(Xr,Yr)=M*(Xo,Yo)+d,其中,M为旋转矩阵,d为平移矩阵d。
8.根据权利要求1所述的方法,其中,步骤S6中,以位置估计(Xr,Yr)为初值,搜索域半尺寸为S,搜索域左上、左下、右上、右下四个角点的坐标分别为(Xr-S,Yr-S),(Xr-S,Yr+S),(Xr+S,Yr-S),(Xr+S,Yr+S);采用归一化互相关函数整像素的搜索,在右图像上选取CNCC系数最大的搜索区域中心为匹配点,得到匹配点整像素坐标(Xrw,Yrw),其中,
Figure FDA0002760006710000021
其中(xi,yj),(xi′,yj′)分别为左、右图像点上划定区域的像素坐标;f(xi,yj),g(xi′,yj′)分别为对应像素坐标的灰度值;
Figure FDA0002760006710000022
Figure FDA0002760006710000023
分别为对应搜索域的灰度基数,经过逐像素平方求和,再整体开方的运算得到。
9.根据权利要求1所述的方法,其中,所述步骤S7中,利用亚像素插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,采用零均值归一化最小距离平方和系数ZNSSD进行子区亚像素搜索和匹配,通过亚像素的搜索,在右图像上选取相关系数最大的搜索区域中心为匹配点,得到亚像素匹配坐标(Xrs,Yrs)。
10.根据权利要求1所述的方法,其中亚像素插值包括双线性插值算法或双三次样条插值算法,其中,双线性插值算法利用一像素点周围的四个整数像素点的灰度求取,其表达式为
G(x′,y′)=a10x′+a01y′+a11x′y′+a00,0<x′<1,0<y′<1
其中
Figure FDA0002760006710000031
式中g(i,j),g(i+1,j),g(i,j+1),g(i+1,j+1)分别为(x′,y′)周围的四个整像素点的灰度值。
CN202011219762.2A 2020-11-04 2020-11-04 斜视场下弱相关散斑图像的匹配方法 Active CN112200203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011219762.2A CN112200203B (zh) 2020-11-04 2020-11-04 斜视场下弱相关散斑图像的匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011219762.2A CN112200203B (zh) 2020-11-04 2020-11-04 斜视场下弱相关散斑图像的匹配方法

Publications (2)

Publication Number Publication Date
CN112200203A true CN112200203A (zh) 2021-01-08
CN112200203B CN112200203B (zh) 2022-04-05

Family

ID=74033290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011219762.2A Active CN112200203B (zh) 2020-11-04 2020-11-04 斜视场下弱相关散斑图像的匹配方法

Country Status (1)

Country Link
CN (1) CN112200203B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113091608A (zh) * 2021-03-23 2021-07-09 南京理工大学 一种基于网格提取种子点的数字散斑相关快速实现方法
CN113111941A (zh) * 2021-04-13 2021-07-13 浙江理工大学 一种基于彩色图和矢量图的织物图案匹配方法及系统
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113838120A (zh) * 2021-09-30 2021-12-24 重庆大学 一种基于数字图像相关的大转角运动位移测量方法
CN114120011A (zh) * 2021-11-25 2022-03-01 杭州电子科技大学 一种利用群体智能算法提高图像匹配精度和速度的方法
CN114463251A (zh) * 2021-12-13 2022-05-10 西安交通大学 一种测量航空发动机中介机匣内表面变形的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089260A1 (en) * 2011-10-05 2013-04-11 Carnegie Mellon University Systems, Methods, and Software Implementing Affine-Invariant Feature Detection Implementing Iterative Searching of an Affine Space
CN103617616A (zh) * 2013-12-03 2014-03-05 康江科技(北京)有限责任公司 一种仿射不变的图像匹配方法
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN104359417A (zh) * 2014-11-14 2015-02-18 西安交通大学 一种用于大视场大倾角测量的椭圆散斑生成方法
CN105157594A (zh) * 2015-09-05 2015-12-16 辽宁工程技术大学 一种基于半子区分割法的数字图像相关方法
CN106595528A (zh) * 2016-11-10 2017-04-26 华中科技大学 一种基于数字散斑的远心显微双目立体视觉测量方法
CN107644227A (zh) * 2017-05-18 2018-01-30 南京财经大学 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN108830797A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种基于仿射投影矩阵模型的直线匹配方法
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN111354033A (zh) * 2020-02-28 2020-06-30 西安交通大学 基于特征匹配的数字图像测量方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089260A1 (en) * 2011-10-05 2013-04-11 Carnegie Mellon University Systems, Methods, and Software Implementing Affine-Invariant Feature Detection Implementing Iterative Searching of an Affine Space
CN103617616A (zh) * 2013-12-03 2014-03-05 康江科技(北京)有限责任公司 一种仿射不变的图像匹配方法
CN104359417A (zh) * 2014-11-14 2015-02-18 西安交通大学 一种用于大视场大倾角测量的椭圆散斑生成方法
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105157594A (zh) * 2015-09-05 2015-12-16 辽宁工程技术大学 一种基于半子区分割法的数字图像相关方法
CN106595528A (zh) * 2016-11-10 2017-04-26 华中科技大学 一种基于数字散斑的远心显微双目立体视觉测量方法
CN107644227A (zh) * 2017-05-18 2018-01-30 南京财经大学 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN108830797A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种基于仿射投影矩阵模型的直线匹配方法
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN111354033A (zh) * 2020-02-28 2020-06-30 西安交通大学 基于特征匹配的数字图像测量方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JONGIN SON: "Fast affine-invariant image matching based on global Bhattacharyya measure with adaptive tree", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
MARIANO RODRIGUEZ: "Fast affine invariant image matching", 《IMAGE PROCESSING ON LINE》 *
WENPAN LI: "Accurate and efficient 3D reconstruction system for the human body with color texture based on DIC", 《OPTICS AND LASERS IN ENGINEERING》 *
叶美图: "基于数字图像相关的旋转叶片全场测量", 《中南大学学报》 *
唐正宗: "大变形测量数字图像的种子点匹配方法", 《西安交通大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091608A (zh) * 2021-03-23 2021-07-09 南京理工大学 一种基于网格提取种子点的数字散斑相关快速实现方法
WO2022198901A1 (zh) * 2021-03-23 2022-09-29 南京理工大学 一种基于网格提取种子点的数字散斑相关快速实现方法
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113111941A (zh) * 2021-04-13 2021-07-13 浙江理工大学 一种基于彩色图和矢量图的织物图案匹配方法及系统
CN113111941B (zh) * 2021-04-13 2023-11-24 浙江理工大学 一种基于彩色图和矢量图的织物图案匹配方法及系统
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN113838120A (zh) * 2021-09-30 2021-12-24 重庆大学 一种基于数字图像相关的大转角运动位移测量方法
CN113838120B (zh) * 2021-09-30 2024-01-30 重庆大学 一种基于数字图像相关的大转角运动位移测量方法
CN114120011A (zh) * 2021-11-25 2022-03-01 杭州电子科技大学 一种利用群体智能算法提高图像匹配精度和速度的方法
CN114120011B (zh) * 2021-11-25 2024-04-09 杭州电子科技大学 一种利用群体智能算法提高图像匹配精度和速度的方法
CN114463251A (zh) * 2021-12-13 2022-05-10 西安交通大学 一种测量航空发动机中介机匣内表面变形的方法及装置
CN114463251B (zh) * 2021-12-13 2024-03-15 西安交通大学 一种测量航空发动机中介机匣内表面变形的方法及装置

Also Published As

Publication number Publication date
CN112200203B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN112200203B (zh) 斜视场下弱相关散斑图像的匹配方法
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN109035320B (zh) 基于单目视觉的深度提取方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
JP2004516533A (ja) 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法
CN108765476B (zh) 一种偏振图像配准方法
CN109373912B (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN110060304B (zh) 一种生物体三维信息采集方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN111127613A (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
WO2021116078A1 (en) A method for measuring the topography of an environment
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN109741389B (zh) 一种基于区域基匹配的局部立体匹配方法
US20220114713A1 (en) Fusion-Based Digital Image Correlation Framework for Strain Measurement
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.
CN104157008A (zh) 一种基于asift的深度像匹配方法
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant