CN103487036B - 基于空间前方交会和链码形似性的同名标记点匹配方法 - Google Patents

基于空间前方交会和链码形似性的同名标记点匹配方法 Download PDF

Info

Publication number
CN103487036B
CN103487036B CN201310354176.2A CN201310354176A CN103487036B CN 103487036 B CN103487036 B CN 103487036B CN 201310354176 A CN201310354176 A CN 201310354176A CN 103487036 B CN103487036 B CN 103487036B
Authority
CN
China
Prior art keywords
gauge point
gauge
chain code
point
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310354176.2A
Other languages
English (en)
Other versions
CN103487036A (zh
Inventor
卢万崎
常智勇
黄亮
聂寇准
卢津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201310354176.2A priority Critical patent/CN103487036B/zh
Publication of CN103487036A publication Critical patent/CN103487036A/zh
Application granted granted Critical
Publication of CN103487036B publication Critical patent/CN103487036B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于空间前方交会和链码形似性的同名标记点匹配方法,首先需要对两相机进行标定，得到相机的内外参数，在被测物体表面粘贴非编码标记点；拍摄被测物体，采集到左右两张相片，对每张图片上的标记点检测识别，提取出标记点的中心坐标；根据空间前方交会原理构建左右两张相片上的标记点所对应投影线间的距离矩阵，自动设定合理的距离阈值实现标记点的初匹配；然后对左右两图的初匹配结果分别构建查分链码，根据链码的形似性剔除误匹配。本发明适合双目立体视觉测量系统的标记点二维匹配方法，不仅能够消除误匹配，还能自动的设定最佳的阈值而提高剔除误匹配的效率且减少了匹配遗漏，算法的鲁棒性较高。

Description

基于空间前方交会和链码形似性的同名标记点匹配方法
技术领域
本发明涉及光学测量技术领域，具体是一种基于空间前方交会和链码形似性的同名标记点匹配方法。
背景技术
在点云拼接技术中，基于非编码标记点的拼接方法不受被测物体形状的限制，标记点定位精度高，易于识别，且拼接算法运算量小，可以达到自动的高精度数据拼接要求，因此非编码标记点常用到双目立体视觉测量系统中。在每次测量过程中，需要对左右相机所拍摄的两幅图像上的同名标记点进行二维匹配，这是实现测量自动化的关键环节，该环节直接关系到标记点三维坐标的求解和点云拼接。
双目测量系统中的同名标记点匹配主要存在两个问题：误匹配和匹配遗漏。误匹配是将两张图片上的非同名标记点匹配在一起，影响标记点三维坐标的求解，继而会严重影响不同视角下点云拼接精度，然而误匹配是可以通过合理的方法得以避免；在合理的视角拍摄物体时，应保证两张相片上的匹配点对不少于3对，否则两张图片作废，匹配遗漏在两张图片上标记点点较少时可以避免，当标记点较多时会不可避免的出现匹配遗漏的情况，这与标记点的识别和定位精度有关。
近年来多名学者基于极线几何理论对多个图像上的同名标记点进行匹配，这些方法至少需要在三个摄站采集的图片的基础上进行同名点匹配，并不适合双目立体视觉测量系统；东南大学的卢韶芳等人根据查分链码的不变性实现不同图片上同名标记点的匹配，但需要保证两张相片上的标记点个数相同，且每个标记点都有同名标记点，且需相机垂直拍摄物体表面，同样不适合双目立体视觉测量系统；南京航空航天大学的张辉和张丽艳等人利用极线几何实现初匹配，采用自适应迭代松弛算法剔除误匹配，但需要设定多个阈值，鲁棒性不高。针对以上问题本发明提出一种新的针对两相机所拍摄的两张相片上同名标记点进行匹配的方法，解决误匹配和减少匹配遗漏的问题。
发明内容
要解决的技术问题
为解决现有双目立体视觉系统中的标记点二维匹配以及所存在误匹配和匹配遗漏的问题，本发明提出了一种基于空间前方交会和链码形似性的同名标记点匹配方法。
技术方案
本发明首先需要对两相机进行标定，得到相机的内外参数，在被测物体表面粘贴非编码标记点；拍摄被测物体，采集到左右两张相片，对每张图片上的标记点检测识别，提取出标记点的中心坐标；根据空间前方交会原理构建左右两张相片上的标记点所对应投影线间的距离矩阵，自动设定合理的距离阈值实现标记点的初匹配；然后对左右两图的初匹配结果分别构建查分链码，根据链码的形似性剔除误匹配。
本发明的技术方案为：
所述一种基于空间前方交会和链码形似性的同名标记点匹配方法，其特征在于：采用以下步骤：
步骤1：标定两台拍摄相机的内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)；在被测物体表面粘贴非编码标记点，且任意三个标记点不能共线；
步骤2：采用步骤1中的两台相机拍摄被测物体，得到左右两张图片，其中左图上有n个标记点，右图上有m个标记点，n和m均大于4；
步骤3：对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标；设左相机在基准坐标系下的空间坐标为SL(0,0,0)，由两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)得到右相机在基准坐标系下的空间坐标为SR＝(Tx,Ty,Tz)；根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线SLPL和SRPR，其中PL为左图上的标记点，PR为右图上的标记点；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(DLR)n×m，矩阵(DLR)n×m的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合；
步骤4：从距离矩阵(DLR)n×m中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min＝{Min1,Min2,Min3，...,Mini，...，Minn}；取测量系统精度的量度G＝Min3，若Min3≥k·g，则认为左右两张图片匹配的同名标记点的数量少于三个，将这两幅图片报废处理，则返回步骤2重新拍摄，其中k为判断参数，取3～n之间的整数，g为双目立体视觉测量系统精度值；若Min3＜k·g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3～m中的整数；
再取DLR中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ的条件，则取这些满足条件的次最小值的平均值为距离阈值δ；
步骤5：将矩阵DLR中每一行元素与δ作比较，对于矩阵DLR中的第i行，若其存在元素值小于δ，则左图中第i个标记点存在初始匹配标记点对集合G(i)＝{j1,j2,...,jti}，集合G(i)中元素表示与左图第i个标记点相匹配的右图中的标记点的标号，ti表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指矩阵DLR第i行中小于δ的元素对应的右图中的标记点；左图中存在初始匹配标记点对集合的标记点形成左图标记点集合；
步骤6：由步骤5得到的初匹配结果，根据唯一性约束，剔除误匹配，找出正确的同名标记点：按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码，其中K＝t1*t2*...ti*...*tn；将这K种查分链码与基准查分链码相比较做差，若满足条件：K种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该差分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件，则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。
有益效果
本发明提出的一种基于空间前方交会和查分链码的同名点匹配方法,是适合双目立体视觉测量系统的标记点二维匹配方法，不仅能够消除误匹配，还能自动的设定最佳的阈值而提高剔除误匹配的效率且减少了匹配遗漏，算法的鲁棒性较高。
附图说明
图1：左右两相机所拍摄的贴有非编码标记点的被测物体的图片；
图2：空间前方交会的两投影线间的距离示意图；
图3：是查分链码的比较图；
图4：是左右两图上的同名标记点连线图。
具体实施方式
下面结合具体实施例描述本发明：
本实施例中的一种基于空间前方交会和链码形似性的同名标记点匹配方法，采用以下步骤：
步骤1：搭建实验平台，在被测工具箱表面粘贴非编码标记点，且任意三个标记点不能共线，如图1所示。标定两相机得到内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)。
相机型号为DMK-21BUO4，焦距16mm，水平视角12.781°，两台相机在导轨上平行配置，两相机光轴的角度误差值约-5°～5°。被测工具箱表面粘贴的标记点尽量接近等边三角形。
步骤2：采用步骤1中的两台相机拍摄被测物体，得到左右两张图片，如图1所示，，其中左图上有n个标记点，右图上有m个标记点，n和m均大于4。
步骤3：对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标：对于左右两张图片上各一个标记点，其在各自图片坐标系中的坐标为PL(xL，yL)和PR(xR，yR)，根据相机的焦距f得到两个标记点分别在各自相机坐标系下的坐标为PL(xL，yL，-f)和PR(xR，yR，-f)；设左相机在基准坐标系下的空间坐标为SL(0,0,0)，由两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)得到右相机在基准坐标系下的空间坐标为SR＝(Tx,Ty,Tz)，从而得到左右两图中标记点在基准坐标系下的坐标。
根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线SLPL和SRPR，其中PL为左图上的标记点，PR为右图上的标记点，如图2所示；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(DLR)n×m，矩阵(DLR)n×m的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合。
步骤4：从距离矩阵(DLR)n×m中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min＝{Min1,Min2,Min3，...,Mini，...，Minn}；取测量系统精度的量度G＝Min3，若Min3≥k·g，则认为左右两张图片匹配的同名标记点的数量少于三个，将这两幅图片报废处理，其中k为判断参数，取3～n之间的整数，g为双目立体视觉测量系统精度值；若Min3＜k·g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3～m中的整数。
再取DLR中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ的条件，则取这些满足条件的次最小值的平均值为距离阈值δ。
步骤5：将矩阵DLR中每一行元素与δ作比较，对于矩阵DLR中的第i行，若其存在元素值小于δ，则左图中第i个标记点存在初始匹配标记点对集合G(i)＝{j1,j2,...,jti}，集合G(i)中元素表示与左图第i个标记点相匹配的右图中的标记点的标号，ti表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指矩阵DLR第i行中小于δ的元素对应的右图中的标记点。左图中存在初始匹配标记点对集合的标记点形成左图标记点集合。
步骤6：在步骤5得到一对多的初匹配结果，即对于得到的左图标记点集合，在右图中存在K＝t1·t2·...ti·...·tn种对应的标记点组合与其对应，接下来根据唯一性约束，剔除误匹配，找出正确的同名标记点：按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码；将这K种查分链码与基准查分链码相比较做差，若满足条件：K种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该差分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件，则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。

Claims (1)

1.一种基于空间前方交会和链码形似性的同名标记点匹配方法，其特征在于：采用以下步骤：
步骤1：标定两台拍摄相机的内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)；在被测物体表面粘贴非编码标记点，且任意三个标记点不能共线；
步骤2：采用步骤1中的两台相机拍摄被测物体，得到左右两张图片，其中左图上有n个标记点，右图上有m个标记点，n和m均大于4；
步骤3：对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标；设左相机在基准坐标系下的空间坐标为SL(0,0,0)，由两台相机在基准坐标系下的距离向量T(Tx,Ty,Tz)得到右相机在基准坐标系下的空间坐标为SR＝(Tx,Ty,Tz)；根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线SLPL和SRPR，其中PL为左图上的标记点，PR为右图上的标记点；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(DLR)n×m，距离矩阵(DLR)n×m的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合；
步骤4：从距离矩阵(DLR)n×m中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min＝{Min1,Min2,Min3，...,Mini，...，Minn}；取测量系统精度的量度G＝Min3，若Min3≥k·g，则认为左右两张图片匹配的同名标记点的数量少于三个，将这两幅图片报废处理，则返回步骤2重新拍摄，其中k为判断参数，取3～n之间的整数，g为双目立体视觉测量系统精度值；若Min3＜k·g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3～m中的整数；
再取距离矩阵(DLR)n×m中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ的条件，则取这些满足条件的次最小值的平均值 为距离阈值δ；
步骤5：将距离矩阵(DLR)n×m中每一行元素与δ作比较，对于距离矩阵(DLR)n×m中的第i行，若其存在元素值小于δ，则左图中第i个标记点存在初始匹配标记点对集合G(i)＝{j1,j2,...,jti}，集合G(i)中元素表示与左图第i个标记点相匹配的右图中的标记点的标号，ti表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指距离矩阵(DLR)n×m第i行中小于δ的元素对应的右图中的标记点；左图中存在初始匹配标记点对集合的标记点形成左图标记点集合；
步骤6：由步骤5得到的初匹配结果，根据唯一性约束，剔除误匹配，找出正确的同名标记点：按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码，其中K＝t1*t2*...ti*...*tn；将这K种查分链码与基准查分链码相比较做差，若满足条件：K种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该查分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件，则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。
CN201310354176.2A 2013-08-14 2013-08-14 基于空间前方交会和链码形似性的同名标记点匹配方法 Expired - Fee Related CN103487036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310354176.2A CN103487036B (zh) 2013-08-14 2013-08-14 基于空间前方交会和链码形似性的同名标记点匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310354176.2A CN103487036B (zh) 2013-08-14 2013-08-14 基于空间前方交会和链码形似性的同名标记点匹配方法

Publications (2)

Publication Number Publication Date
CN103487036A CN103487036A (zh) 2014-01-01
CN103487036B true CN103487036B (zh) 2015-08-19

Family

ID=49827451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310354176.2A Expired - Fee Related CN103487036B (zh) 2013-08-14 2013-08-14 基于空间前方交会和链码形似性的同名标记点匹配方法

Country Status (1)

Country Link
CN (1) CN103487036B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业（集团）有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN111028284A (zh) * 2019-10-31 2020-04-17 浙江未来技术研究院(嘉兴) 一种基于同名标记点的双目视觉立体匹配方法及装置
CN112684429B (zh) * 2020-12-03 2022-09-20 中国科学院光电技术研究所 一种适用于空间交会对接激光雷达的远近场目标识别方法
CN116459000B (zh) * 2023-03-29 2023-09-19 北京诺亦腾科技有限公司 确定空间路径的方法、装置、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561269B (zh) * 2009-05-26 2011-08-17 空气动力学国家重点实验室 近景摄影测量的特征线自动匹配方法
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法

Also Published As

Publication number Publication date
CN103487036A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN102353340B (zh) 缸盖毛坯加工尺寸识别方法及装置
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN104075688A (zh) 一种双目立体凝视监控系统的测距方法
CN100428805C (zh) 仅用一幅平面标定物图像的摄像机标定方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN103487036B (zh) 基于空间前方交会和链码形似性的同名标记点匹配方法
CN105469389B (zh) 一种用于视觉传感器标定的网格球靶标及相应标定方法
CN110763140B (zh) 一种非平行光轴高精度双目测距方法
CN107816942A (zh) 一种基于十字结构光视觉系统的平面二维尺寸测量方法
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN103743352A (zh) 一种基于多相机匹配的三维变形测量方法
CN104268876A (zh) 基于分块的摄像机标定方法
CN104794717A (zh) 一种基于双目视觉系统的深度信息对比方法
CN110879080A (zh) 一种高温锻件高精度智能测量仪和测量方法
CN103983186A (zh) 双目视觉系统校正方法及校正设备
CN102914295A (zh) 基于计算机视觉立方体标定的三维测量方法
CN101685532B (zh) 简易线性广角镜头的校正法
CN102567991A (zh) 一种基于同心圆合成图像匹配的双目视觉标定方法和系统
CN109493378B (zh) 一种基于单目视觉与双目视觉相结合的垂直度检测方法
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
Ye et al. Research on flame location and distance measurement method based on binocular stereo vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150819

Termination date: 20170814

CF01 Termination of patent right due to non-payment of annual fee