CN107945217B - 一种适用于自动装配的图像特征点对快速筛选方法及系统 - Google Patents

一种适用于自动装配的图像特征点对快速筛选方法及系统 Download PDF

Info

Publication number
CN107945217B
CN107945217B CN201711155224.XA CN201711155224A CN107945217B CN 107945217 B CN107945217 B CN 107945217B CN 201711155224 A CN201711155224 A CN 201711155224A CN 107945217 B CN107945217 B CN 107945217B
Authority
CN
China
Prior art keywords
sample
feature point
image
matching
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711155224.XA
Other languages
English (en)
Other versions
CN107945217A (zh
Inventor
翟博
刘岭
赵博
胡辉彪
邱亚男
陈思佳
郑东升
李秋云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Institute of Astronautical Systems Engineering
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Institute of Astronautical Systems Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Institute of Astronautical Systems Engineering filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201711155224.XA priority Critical patent/CN107945217B/zh
Publication of CN107945217A publication Critical patent/CN107945217A/zh
Application granted granted Critical
Publication of CN107945217B publication Critical patent/CN107945217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明公开了一种适用于自动装配的图像特征点对快速筛选方法及系统。其中，该方法利用对接部段在较大的空间尺度上几何结构相似的特点，以特征点为顶点动态构建三角剖分，借助匹配特征点对在三角剖分拓扑结构中的顶点一致对应特点，以及对应三角形单元结构相似特点建立双层约束，实现对已有特征点对的准确快速筛选，有效地剔除了错误的匹配特征点对，提高了特征点对样本集合的整体质量，保证后续图像偏移误差计算的准确性、鲁棒性与计算效率。

Description

一种适用于自动装配的图像特征点对快速筛选方法及系统
技术领域
本发明属于装备综合保障技术应用领域，尤其涉及一种适用于自动装配的图像特征点对快速筛选方法及系统。
背景技术
航天装备产品技术状态复杂，产品研制周期中的过程质量的管理对研制成本的控制以及使用成功率都至关重要。图像具有内容直观、丰富的特点，基于图像数据处理技术的信息挖掘与精度计算逐渐成为航天应用与装备综合保障领域的重要手段。
装配是航天产品制造的重要环节，特别是对于运载火箭这样的大型复杂装备，装配工作量常常占到产品制造总工作量的60％-70％。装配技术与工艺在很大程度上决定了航天产品的制造成本、周期乃至最终状态的好坏。目前，我国针对大型装备的装配正处于由传统人工装配工艺向数字化自动装配工艺的过渡阶段，数字化自动装配技术正在从点到线投入研究与应用。
图像匹配是数字图像处理的一项基础技术，也是大多数应用场景中必不可少的处理过程。基于特征点距离匹配与特征点对的全局拟合是目前图像匹配技术中使用较多的一类方法，先通过检索图像局部区域像素灰度值凸出的代表点作为特征点，然后通过量化描述形成相应的特征向量，最后按照一定的距离计算准则寻找最匹配的特征点形成一对匹配特征点对。在整幅图像多个特征点对的基础上进行最小二乘拟合可以得到两幅图像的一个偏移参数或者变换关系。理想情况下，基于图像匹配技术获得的两幅图像的偏移参数可以达到亚像素级，相比传统的人工观察调整或者基于物理传感器测量的方法具有精度高、成本低的优势。
实际应用中成像方式、环境以及内容等因素决定了采集图像样本的质量，也可能给图像匹配的准确性与鲁棒性带来了不确定的干扰。比如面向航天产品对接的部段采集图像存在明显的结构相似性特点，湿热条件下采集到的图像容易包含明显的环境噪声，阴雨天雾天等非理想天候下采集到的图像容易出现失真，摄像机拍摄视角不一致时采集到的图像景物可能存在轻微形变等现象。
特征点是图像局部区域内的像素灰度值突出的像素位置，虽然现有方法中通过计算高维特征向量以描述特征点附近灰度的变化规律，但当采集图像面临上述现象时，采集到的特征点容易变得不稳定，导致出现较多的错误匹配点对，从而对最终拟合结果的准确性造成影响。此外，特征点高维特征向量的计算过程产生较大的计算负担，不利于实际应用。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种适用于自动装配的图像特征点对快速筛选方法及系统，能够综合利用对接部段在大空间尺度上的结构一致性，动态地逐对判断出现在对接部段上的特征点对，可以有效剔除潜在的错误匹配特征点对，显著提高特征点对的整体质量。
本发明目的通过以下技术方案予以实现：根据本发明的一个方面，提供了一种适用于自动装配的图像特征点对快速筛选方法，所述方法包括以下步骤：步骤一：确定待参考图像和样本图像；步骤二：将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，计算每个矩形单元的代表特征点的BRIEF特征向量；步骤三：样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合；根据该组匹配特征点对集合得到最优的三对匹配特征点对作为初始特征点对，根据初始特征点对拟合得到初始仿射变换参数；步骤四：根据步骤三中的初始仿射变换参数和步骤三中的初始特征点对确定样本初始三角剖分和参考初始三角剖分；步骤五：根据步骤四中的样本初始三角剖分和参考初始三角剖分确定样本拓扑结构和参考拓扑结构；步骤六：根据样本拓扑结构和参考拓扑结构对匹配特征点对集合中的匹配特征点对进行筛选。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤一具体包括：在运载火箭部段装配直行轨道上布置两台朝向相反的相机，使两台相机的光轴在同一条水平直线上，并且光轴线与两个部段水平中心线的上下距离误差不大于部段直径的1/3；控制两台相机以相同参数同时拍摄图像，指定其中一部相机所拍摄的图像为参考图像，另一部相机所拍摄的图像为样本图像，并且将参考图像旋转180°保证与样本图像的坐标系指向一致。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤二具体包括：将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，提取参考图像的ORB特征点和样本图像的ORB特征点，比较出现在同一个矩形单元内ORB特征点的极值响应，保留极值响应值最大的ORB特征点作为该矩形单元的代表特征点，利用BRIEF量化描述方法计算每个矩形单元的代表特征点的BRIEF特征向量。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤三具体包括：根据Hamming距离约束原则，样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合，其中，每对特征点对中位于样本图像中的特征点称为样本匹配特征点，每对特征点对中与样本匹配特征点对应的位于参考图像中的特征点称为参考匹配特征点；预设最大迭代次数，在步骤二中所述的匹配特征点对集合中无重复选取三对匹配特征点对进行迭代，迭代结束后获取最优的三对匹配特征点对作为初始匹配特征点对，根据初始匹配特征点对拟合得到初始变换参数，其中初始匹配特征点对包括三个位于样本图像中的初始样本匹配特征点和三个位于参考图像中的初始参考匹配特征点。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤四具体包括：建立样本图像坐标系和参考图像坐标系，在样本图像坐标系内模拟三个坐标点形成样本外围三角形，将样本外围三角形包围步骤二中所述样本图像中的每个矩形单元的代表特征点；根据步骤三中所述初始变换参数将样本外围三角形的三个顶点变换至参考图像坐标系下形成参考外围三角形；按照Bowyer-Watson方法分别将样本外围三角形各顶点与步骤三中所述的三个初始样本匹配特征点连接形成样本初始三角剖分，将参考外围三角形的各顶点与步骤三中所述的三个初始参考匹配特征点连接形成参考初始三角剖分。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤五具体包括：从步骤二中所述匹配特征点对集合中去除初始特征点对，然后从匹配特征点对集合中逐对选取匹配特征点对，并按照Bowyer-Watson方法将选取的匹配特征点对中的样本匹配特征点插入步骤四所述样本初始三角剖分，提取当前样本初始三角剖分中与插入的样本匹配特征点具有连接的点和线作为样本拓扑结构，同时按照Bowyer-Watson方法将当前选取匹配特征点对中的参考匹配特征点插入步骤四所述参考初始三角剖分，提取当前参考初始三角剖分中与插入的参考匹配特征点具有连接的点和线作为参考拓扑结构。
上述适用于自动装配的图像特征点对快速筛选方法中，步骤六具体包括:
步骤(61):按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中与当前插入样本匹配特征点连接的顶点以及参考拓扑结构中与当前插入参考匹配特征点连接的顶点，判断两个对应顶点是否属于一对匹配特征点对,遍历完毕之后如果插入的样本匹配特征点在样本拓扑结构的连接顶点和参考匹配特征点在参考拓扑结构连接的对应顶点都属于一对匹配特征点对，则跳转至步骤步骤(62)；如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中与插入参考匹配特征点对的连接关系，跳转至步骤五选取新的插入特征点对；
步骤(62):预设三角形相似敏感性系数阈值，按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中以插入样本匹配特征点为顶点的三角形，以及参考拓扑结构中以插入参考特征点为顶点三角形，计算两个三角形的相似敏感性系数并判断是否小于预设阈值,遍历结束后如果样本拓扑结构中所有的以插入样本匹配特征点为顶点的三角形与参考拓扑结构中以插入参考匹配特征点为顶点的对应三角形的三角形相似敏感性系数小于阈值，则保留当前的样本拓扑结构和参考拓扑结构，如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中与插入参考匹配特征点对的连接关系，同时跳转至步骤五选取新的插入特征点对。如果达到最大步骤三中所述最大遍历次数则跳转至步骤(63)；
步骤(63)：记录最终样本拓扑与参考拓扑结构中对应匹配的顶点为筛选后剩余的特征点对。
上述适用于自动装配的图像特征点对快速筛选方法中，Hamming距离约束原则为：以样本图像中的每个矩形单元的代表特征点为基准，逐一计算与参考图像中未匹配代表特征点的Hamming距离，标记Hamming距离最小的两个特征点为一对匹配特征点对，最终样本图像中所有代表特征点检索匹配结束后得到一组匹配特征点对集合。
上述适用于自动装配的图像特征点对快速筛选方法中，初始匹配特征点对的获取步骤包括：预设三角形相似敏感性系数阈值、最大迭代次数作为常量；预设当前全局最优边长作为变量并赋初始值；在步骤三所述匹配特征点对集合中无重复地选取三对匹配特征点对作为一步迭代；将当前选取的三对匹配特征点对中的三个样本匹配特征点连接形成当前样本特征点三角形，将三对匹配特征点对中的三个参考匹配特征点连接形成当前参考特征点三角形；计算当前样本特征点三角形与当前参考特征点的当前三角形相似敏感性系数；如果当前三角形相似敏感性系数小于或者等于阈值，计算当前样本特征点三角形与当前参考特征点三角形的当前最短边长，如果当前最短边长的数值不大于当前全局最优边长的数值，则直接跳转至步骤六，如果当前最短边长的数值大于当前全局最优边长的数值，则令当前全局最优边长的数值等于当前最短边长的数值，记录当前迭代中选取的三对匹配特征点对为当前初始特征点对；如果当前三角形相似敏感性系数大于阈值，判断当前迭代次数是否大于预设的最大迭代次数，如果达到，记录当前初始特征点对为最终的初始特征点对。
上述适用于自动装配的图像特征点对快速筛选方法中，相似敏感性系数定义如下：记三角形
Figure BDA0001474054820000061
与
Figure BDA0001474054820000062
是两个以ORB特征点为顶点的三角形，且P1与Q1、P2与Q2、P3与Q3是三对匹配特征点对，其中特征点P1对应
Figure BDA0001474054820000063
的内角为θ1,P，特征点P2对应的
Figure BDA0001474054820000064
内角为θ2,P，特征点P3对应的
Figure BDA0001474054820000065
内角为θ3,P，特征点Q1对应
Figure BDA0001474054820000066
的内角为θ1,Q，特征点Q2对应
Figure BDA0001474054820000067
的内角为θ2,Q，特征点Q3对应
Figure BDA0001474054820000068
的内角为θ3,Q，则记三角形
Figure BDA0001474054820000069
与
Figure BDA00014740548200000610
的相似敏感性系数为
Figure BDA00014740548200000611
相似敏感性系数的计算公式如下：
Figure BDA00014740548200000612
根据本发明的另一方面，提供了一种适用于自动装配的图像特征点对快速筛选系统，包括：第一模块，用于确定待参考图像和样本图像；第二模块，用于将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，计算每个矩形单元的代表特征点的BRIEF特征向量；第三模块，用于将样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合；根据该组匹配特征点对集合得到最优的三对匹配特征点对作为初始特征点对，根据初始特征点对拟合得到初始仿射变换参数；第四模块，用于根据初始仿射变换参数和该组匹配特征点确定样本初始三角剖分和参考初始三角剖分；第五模块，用于根据样本初始三角剖分和参考初始三角剖分确定样本拓扑结构和参考拓扑结构；第六模块，用于根据样本拓扑结构和参考拓扑结构对匹配特征点对集合中的匹配特征点对进行筛选。
本发明与现有技术相比具有如下有益效果：
1)本发明能够对装配部段图像的匹配特征点对进行准确快速筛选，有效剔除了因图像噪声、模糊产生的不稳定匹配特征点对，以及相似纹理下产生的错误匹配点对，提高了特征点对样本集合的整体质量；
2)本发明利用特征点三角剖分结构的平面划分特点，筛选后的特征点对在图像空间内均匀分布，有效避免了局部过于密集或者分布过于分散的情况，能够对后续图像间变换参数的拟合或者场景结构的描述起到较好的保障与支撑。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的相机位置标定示意图；
图2是本发明实施例提供的适用于自动装配的图像特征点对快速筛选方法的流程图；
图3是本发明实施例提供的两个具有对应关系的外围三角形示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本实施例首先对ORB特征点、仿射变换、Delauny三角剖分和Bowyer-Watson方法进行详细介绍；
ORB特征点：本专利采用ORB特征点表示方法，该方法由Or ientated FAST特征点以及BRIEF特征描述方法两部分组成。本文中利用Opencv2.48版本中ORB特征点提取算法，在原有Orientated FAST特征点提取方法的基础上，结合空间金字塔，能够完整地实现包含平移、旋转、缩放的图像匹配。该方法是已有的通用方法。
仿射变换：仿射变换是一种可以覆盖大多数应用的图像变换方式，包含平移、旋转、缩放三种变换方式的叠加。假设两幅图像的旋转角度为θ，缩放比例因子为s，平移量为tx，ty，则两幅图像间包含平移、旋转、缩放三种因素的仿射变换公式为：
Figure BDA0001474054820000081
其中(x,y)以及(x’,y’)分别表示两幅图像的像素坐标。本发明主要是面向装备部段装备应用，过程中两部相机在严格的标定与配置下进行成像，因此严格意义下只包含水平与垂直方向的平移变换。考虑到摄像机摆放位置可能存在机械误差，以及两个相机与两个部段之间的距离误差等因素，造成图像中出现轻微的旋转与尺度变换，因此本发明使用仿射变换能够覆盖实际应用中出现的情况。
Delauny三角剖分：理论上一组离散特征点集可以形成多个三角剖分，不同三角剖分之间优劣不同。Delauny三角剖分是在一组离散点集的基础上按照一定的规则形成的唯一的、最优的平面划分。Delauny三角剖分中的每个三角面最接近等边三角形，整个三角网对图像形成较好的平面支撑，除此之外，Delauny三角剖分还具有以下三方面的优点：1)对于给定的特征点集，从任何一个点开始进行组网，最终得到的结果(包含结构与连接方向)是一样的，即具有唯一性；2)形成的三角网具有凸多边形外壳，即三角网的外围边界具有封闭性。因此Delauny是计算机图形学的一个非常重要的理论基础，可以很好地对图像或者图形的结构进行表示，因此本发明中所提到的三角剖分均指的是Delauny三角剖分。
Bowyer-Watson方法：Bowyer-Watson方法是Delauny三角剖分的一种最为经典的构建方法，采用逐点插入的建网方式，同时按照连接顺序与方向规定了最终形成的整个Delauny三角剖分的唯一方向，沿着该方向可以逐一遍历该三角剖分所有的顶点与边。由于该方法是通用方法。
图2是本发明实施例提供的适用于自动装配的图像特征点对快速筛选方法的流程图。如图2所示，该方法包括如下步骤：
步骤一：在运载火箭部段装配直行轨道上布置两台朝向相反的相机，使两台相机的光轴在同一条水平直线上，并且光轴线与两个部段水平中心线的上下距离误差不大于部段直径的1/3；控制两台相机以相同参数同时拍摄图像，指定其中一部相机所拍摄的图像为参考图像，另一部相机所拍摄的图像为样本图像，并且将参考图像旋转180°保证与样本图像的坐标系指向一致；
步骤二：将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，提取参考图像的ORB特征点和样本图像的ORB特征点，比较出现在同一个矩形单元内ORB特征点的极值响应，保留极值响应值最大的ORB特征点作为该矩形单元的代表特征点，利用BRIEF量化描述方法计算每个矩形单元的代表特征点的特征向量。根据Hamming距离约束原则，样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合，其中每对特征点对中位于样本图像中的特征点称为样本匹配特征点，每对特征点对中与样本匹配特征点对应的位于参考图像中的特征点称为参考匹配特征点；
步骤三：预设最大迭代次数，在步骤二中所述的匹配特征点对集合中无重复选取三对匹配特征点对进行迭代，迭代结束后获取最优的三对匹配特征点对作为初始匹配特征点对，根据初始匹配特征点对拟合得到初始变换参数，其中初始匹配特征点对包括三个位于样本图像中的初始样本匹配特征点和三个位于参考图像中的初始参考匹配特征点；
步骤四：建立样本图像坐标系和参考图像坐标系，在样本图像坐标系内模拟三个坐标点形成样本外围三角形，将样本外围三角形包围步骤二中所述样本图像中的每个矩形单元的代表特征点。根据步骤三中所述初始变换参数将样本外围三角形的三个顶点变换至参考图像坐标系下形成参考外围三角形。按照Bowyer-Watson方法分别将样本外围三角形各顶点与步骤三中所述的三个初始样本匹配特征点连接形成样本初始三角剖分，将参考外围三角形的各顶点与步骤三中所述的三个初始参考匹配特征点连接形成参考初始三角剖分；
步骤五：从步骤二中所述匹配特征点对集合中去除初始特征点对，然后从匹配特征点对集合中逐对选取匹配特征点对，并按照Bowyer-Watson方法将选取的匹配特征点对中的样本匹配特征点插入步骤四所述样本初始三角剖分，提取当前样本初始三角剖分中与插入的样本匹配特征点具有连接的点和线作为样本拓扑结构，同时按照Bowyer-Watson方法将当前选取匹配特征点对中的参考匹配特征点插入步骤四所述参考初始三角剖分，提取当前参考初始三角剖分中与插入的参考匹配特征点具有连接的点和线作为参考拓扑结构；
步骤六：按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中与当前插入样本匹配特征点连接的顶点以及参考拓扑结构中与当前插入参考匹配特征点连接的顶点，判断两个对应顶点是否属于一对匹配特征点对。遍历完毕之后如果插入的样本匹配特征点在样本拓扑结构的连接顶点和参考匹配特征点在参考拓扑结构连接的对应顶点都属于一对匹配特征点对，则跳转至步骤七；如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中与插入参考匹配特征点对的连接关系，跳转至步骤五选取新的插入特征点对；
步骤七：预设三角形相似敏感性系数阈值，按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中以插入样本匹配特征点为顶点的三角形，以及参考拓扑结构中以插入参考特征点为顶点三角形，计算两个三角形的相似敏感性系数并判断是否小于阈值。遍历结束后如果样本拓扑结构中所有的以插入样本匹配特征点为顶点的三角形与参考拓扑结构中以插入参考匹配特征点为顶点的对应三角形的三角形相似敏感性系数小于阈值，则保留当前的样本拓扑结构和参考拓扑结构，如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中与插入参考匹配特征点对的连接关系，同时跳转至步骤五选取新的插入特征点对。如果达到最大步骤三中所述最大遍历次数则跳转至步骤八；
步骤八：记录最终样本拓扑与参考拓扑结构中对应匹配的顶点为筛选后剩余的特征点对。
具体的，本实施例主要面向复杂装备自动装配应用中技术支持，以运载火箭部段自动装配为主要应用场景，通过布置两台相机进行反向标定，对待装配的两个部段从平行的角度和高度拍照成像，可以进一步利用图像匹配方法计算两个部段的像素级偏移参数，本实施例提出了一种图像特征点对的快速筛选方法，主要思路和详细步骤如下：
(1)摄像机标定和部段图像采集
通常在火箭部段装备时，用于托举支撑两个待装配部段的轨道车相向移动。在末端直行轨道上布置两台朝向相反的相机，保证两台相机的光轴在同一条水平直线上。为了确保待装配部段结构能够占据采集图像的主要区域，两台相机的光轴线与两个部段水平中心线的上下距离误差不大于部段直径的1/3，具体如图1所示。两台相机在同一时间点以相同的焦距成像。为了区分，本实施例将包含其中一台相机拍摄的图像称为样本图像，另一台相机拍摄的图像称为参考图像，并且将参考图像旋转180°保证与样本图像的坐标系指向一致。
(2)获取匹配特征点对集合
特征点是图像在某个局部邻域内灰度突出、具有代表性的空间位置，三角剖分是具有一定的空间连接关系的平面划分结构，因此以图像特征点为顶点的三角剖分结构对图像内的关键信息分布与整体结构具有较好的空间表示。直观上一个相对较好的平面划分首先要求各顶点尽可能在整幅图像内均匀分布，既不能过于密集，也不能过于分散。因此本实施例首先将两幅输入图像分别划分成矩形网格，在每个矩形单元内只保留极值响应最大的特征点作为该网格单元的代表特征点，极值响应最大意味着对应像素位置的灰度值相比周围像素的灰度值更加突出，也更具有代表性。除此以外，通过网格划分，所有的代表特征点在整幅图像中均匀分布，能够更好地形成对图像各区域重要信息的覆盖，同时也去除了许多极值响应不突出的不稳定特征点，减小了误匹配特征点对出现的几率。
图像变换中最为经典的是包含平移、旋转、缩放三种因子的仿射变换，由于本方法事先对相机的标定与成像参数进行严格控制，因此两张拍摄图像理论上只存在水平与垂直方向上的平移。本实施例选取ORB特征点提取方法，结合BRIEF特征向量按照Hamming距离最小的原则进行寻优，最终得到样本图像与参考图像的初始匹配特征点对集合。具体以样本图像代表特征点为基准，逐一计算与参考图像中未匹配代表特征点的Hamming距离，标记Hamming距离最小的两个特征点为一对匹配特征点对，最终样本图像中所有代表特征点检索匹配结束后得到一组匹配特征点对集合。
(3)构建初始三角剖分
结合Bowyer-Watson方法，想要实现对一组离散匹配特征点对构建两个具有顶点匹配关系的三角剖分，需要同时构建两个外围三角形分别包围所有的参考特征点和样本特征点，同时要考虑两个初始外围三角形在基本变换参数方面具有不变性，如图3所示。此外，初始外围三角形顶点不是真实的特征点，不能作为后续插入特征点对匹配正确性的参考。本专利根据三对特征点对拟合出一个仿射变换模型的原则，在所有的匹配特征点对中寻找出三对初始匹配特征点对，与外围三角形连接形成初始三角剖分结构。
寻找的三对初始特征点对，首先应当在图像中均匀分布(接近等边三角形)；其次应当分布在图像中较大的空间范围内(位置比较分散)；再次应当具有非常高的匹配正确性。结合上述三点要求，如果某三对特征点对组成的三角形的最小边长足够大，则可以说明该三对特征点对分布既均匀，又分散。此外，如果该三对特征点对形成的两个顶点一一匹配的三角形具有结构上足够高的相似性，则认为这三对特征点对为真匹配的几率比较大。基于上述思路，在所有匹配特征点对中寻找出三对初始化特征点对，计算一个初始变换矩阵，进一步根据这个初始变换矩阵，由外围三角形，确定另一个外围三角形，完成特征点对筛选的初始化过程。具体的初始外围三角形构建方法如算法1所示。
Figure BDA0001474054820000131
(4)特征点对逐对筛选
特征点是图像在某个局部邻域内灰度突出、具有代表性的空间位置。三角剖分是一种具有顶点连接关系的平面划分结构，因此以特征点为顶点的三角剖分形成了图像的空间结构覆盖。另一方面，三角剖分中每一个顶点与周围具有连接关系的其他顶点可以形成一种局部拓扑结构，而两幅图像中正确匹配的特征点对出现在同一景物的同一个相对位置，因此可以得出结论，由正确匹配特征点对形成的两个局部拓扑结构是一致的，这种一致性可以从以下三方面来表现：1)在形成的局部拓扑结构中，正确匹配特征点对所邻接的其他特征点对都是一一正确匹配的特征点对；2)在形成的局部拓扑结构中，正确匹配特征点对与邻接特征点对构建的两两对应的三角形相似。
在得到初始三角剖分的基础上，逐对插入除了初始特征点对之外的其余匹配特征点对，提取每对插入特征点对插入后形成的局部拓扑结构，分别判断对条件1、条件2的符合情况，当出现任意一个条件不满足时，则认为当前插入特征点对是一对错误匹配特征点对，并还原插入前的三角剖分结构；当两个条件都满足时，则认为当前插入特征点对是一对正确匹配特征点对，则保留最新生成的三角剖分结构，直到所有的匹配特征点对都插入完毕，得到最终全部由正确匹配特征点对为顶点两个特征点三角剖分
Figure BDA0001474054820000141
以及
Figure BDA0001474054820000142
此时，删除模拟的初始外围三角形顶点以及与其相互连接的边。具体算法如下：
Figure BDA0001474054820000143
Figure BDA0001474054820000151
(5)整理筛选结果
通过上述层次化的约束，本实施例在一组建立了由局部邻接匹配特征点对到单个匹配特征点三角形，再到多个邻边匹配特征点三角形的多层次约束方法，既包括基于大范围结构上的约束，筛选后的特征点对在图像中均匀分布，又包括部分量化约束，保证了筛选的准确性。经过筛选之后，错误匹配的特征点对被剔除，总体样本数量减少，便于进行变换模型拟合。此外，该方法采用四方边缘结构进行顶点与边的快速遍历，具有非常快的筛选速度。
本实施例还提供了一种适用于自动装配的图像特征点对快速筛选系统，包括：第一模块、第二模块、第三模块、第四模块、第五模块和第六模块。其中，第一模块，用于确定待参考图像和样本图像；第二模块，用于将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，计算每个矩形单元的代表特征点的BRIEF特征向量；第三模块，用于将样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合；根据该组匹配特征点对集合得到最优的三对匹配特征点对作为初始特征点对，根据初始特征点对拟合得到初始仿射变换参数；第四模块，用于根据初始仿射变换参数和步该组匹配特征点确定样本初始三角剖分和参考初始三角剖分；第五模块，用于根据样本初始三角剖分和参考初始三角剖分确定样本拓扑结构和参考拓扑结构；第六模块，用于根据样本拓扑结构和参考拓扑结构对匹配特征点对集合中的匹配特征点对进行筛选。
以上所述的实施例只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (7)

1.一种适用于自动装配的图像特征点对快速筛选方法，其特征在于，所述方法包括以下步骤：
步骤一：确定待参考图像和样本图像；
步骤二：将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，计算每个矩形单元的代表特征点的BRIEF特征向量；
步骤三：样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合；根据该组匹配特征点对集合得到最优的三对匹配特征点对作为初始特征点对，根据初始特征点对拟合得到初始仿射变换参数；
步骤四：根据步骤三中的初始仿射变换参数和步骤三中的初始特征点对确定样本初始三角剖分和参考初始三角剖分；
步骤五：根据步骤四中的样本初始三角剖分和参考初始三角剖分确定样本拓扑结构和参考拓扑结构；
步骤六：根据样本拓扑结构和参考拓扑结构对匹配特征点对集合中的匹配特征点对进行筛选；其中，
步骤三具体包括：
根据Hamming距离约束原则，样本图像中的每个矩形单元的代表特征点与参考图像中的每个矩形单元的代表特征点进行匹配得到一组匹配特征点对集合，其中，每对特征点对中位于样本图像中的特征点称为样本匹配特征点，每对特征点对中与样本匹配特征点对应的位于参考图像中的特征点称为参考匹配特征点；
预设最大迭代次数，在步骤二中所述的匹配特征点对集合中无重复选取三对匹配特征点对进行迭代，迭代结束后获取最优的三对匹配特征点对作为初始匹配特征点对，根据初始匹配特征点对拟合得到初始变换参数，其中初始匹配特征点对包括三个位于样本图像中的初始样本匹配特征点和三个位于参考图像中的初始参考匹配特征点；
步骤四具体包括：建立样本图像坐标系和参考图像坐标系，在样本图像坐标系内模拟三个坐标点形成样本外围三角形，将样本外围三角形包围步骤二中所述样本图像中的每个矩形单元的代表特征点；
根据步骤三中所述初始仿射变换参数将样本外围三角形的三个顶点变换至参考图像坐标系下形成参考外围三角形；
按照Bowyer-Watson方法分别将样本外围三角形各顶点与步骤三中的三个位于样本图像中的初始样本匹配特征点连接形成样本初始三角剖分，将参考外围三角形的各顶点与步骤三中的三个位于参考图像中的初始参考匹配特征点连接形成参考初始三角剖分；
步骤六具体包括:
步骤(61):按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中与当前插入样本匹配特征点连接的顶点以及参考拓扑结构中与当前插入参考匹配特征点连接的顶点，判断两个对应顶点是否属于一对匹配特征点对,遍历完毕之后如果插入的样本匹配特征点在样本拓扑结构的连接顶点和参考匹配特征点在参考拓扑结构连接的对应顶点都属于一对匹配特征点对，则跳转至步骤(62)；如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中删除与插入参考匹配特征点对的连接关系，跳转至步骤五选取新的插入特征点对；
步骤(62):预设三角形相似敏感性系数阈值，按照Bowyer-Watson方法中对三角剖分连接方向的定义，在步骤五中所述的样本拓扑结构和参考拓扑结构中按照一致的连接方向进行遍历，每次遍历时同时选取样本拓扑结构中以插入样本匹配特征点为顶点的三角形，以及参考拓扑结构中以插入参考特征点为顶点三角形，计算两个三角形的相似敏感性系数并判断是否小于预设阈值,遍历结束后如果样本拓扑结构中所有的以插入样本匹配特征点为顶点的三角形与参考拓扑结构中以插入参考匹配特征点为顶点的对应三角形的三角形相似敏感性系数小于阈值，则保留当前的样本拓扑结构和参考拓扑结构，如果不满足则在样本拓扑结构中删除与插入的样本匹配特征点的连接关系，以及参考拓扑结构中删除与插入参考匹配特征点对的连接关系，同时跳转至步骤五选取新的插入特征点对，如果达到步骤三中最大迭代次数则跳转至步骤(63)；
步骤(63)：记录最终样本拓扑与参考拓扑结构中对应匹配的顶点为筛选后剩余的特征点对。
2.根据权利要求1所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：步骤一具体包括：在运载火箭部段装配直行轨道上布置两台朝向相反的相机，使两台相机的光轴在同一条水平直线上，并且光轴线与两个部段水平中心线的上下距离误差不大于部段直径的1/3；控制两台相机以相同参数同时拍摄图像，指定其中一部相机所拍摄的图像为参考图像，另一部相机所拍摄的图像为样本图像，并且将参考图像旋转180°保证与样本图像的坐标系指向一致。
3.根据权利要求2所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：步骤二具体包括：将参考图像与样本图像分割成以特定长宽的矩形为单元的平面网格，提取参考图像的ORB特征点和样本图像的ORB特征点，比较出现在同一个矩形单元内ORB特征点的极值响应，保留极值响应值最大的ORB特征点作为该矩形单元的代表特征点，利用BRIEF量化描述方法计算每个矩形单元的代表特征点的BRIEF特征向量。
4.根据权利要求3所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：步骤五具体包括：从步骤二中所述匹配特征点对集合中去除初始特征点对，然后从匹配特征点对集合中逐对选取匹配特征点对，并按照Bowyer-Watson方法将选取的匹配特征点对中的样本匹配特征点插入步骤四所述样本初始三角剖分，提取当前样本初始三角剖分中与插入的样本匹配特征点具有连接的点和线作为样本拓扑结构，同时按照Bowyer-Watson方法将当前选取匹配特征点对中的参考匹配特征点插入步骤四所述参考初始三角剖分，提取当前参考初始三角剖分中与插入的参考匹配特征点具有连接的点和线作为参考拓扑结构。
5.根据权利要求3所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：Hamming距离约束原则为：以样本图像中的每个矩形单元的代表特征点为基准，逐一计算与参考图像中未匹配代表特征点的Hamming距离，标记Hamming距离最小的两个特征点为一对匹配特征点对，最终样本图像中所有代表特征点检索匹配结束后得到一组匹配特征点对集合。
6.根据权利要求3所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：初始匹配特征点对的获取步骤包括：
预设三角形相似敏感性系数阈值、最大迭代次数作为常量；预设当前全局最优边长作为变量并赋初始值；在步骤三所述匹配特征点对集合中无重复地选取三对匹配特征点对作为一步迭代；
将当前选取的三对匹配特征点对中的三个样本匹配特征点连接形成当前样本特征点三角形，将三对匹配特征点对中的三个参考匹配特征点连接形成当前参考特征点三角形；
计算当前样本特征点三角形与当前参考特征点的当前三角形相似敏感性系数；
如果当前三角形相似敏感性系数小于或者等于阈值，计算当前样本特征点三角形与当前参考特征点三角形的当前最短边长，如果当前最短边长的数值不大于当前全局最优边长的数值，则直接跳转至步骤六，如果当前最短边长的数值大于当前全局最优边长的数值，则令当前全局最优边长的数值等于当前最短边长的数值，记录当前迭代中选取的三对匹配特征点对为当前初始特征点对；
如果当前三角形相似敏感性系数大于阈值，判断当前迭代次数是否大于预设的最大迭代次数，如果达到，记录当前初始特征点对为最终的初始特征点对。
7.根据权利要求6所述的适用于自动装配的图像特征点对快速筛选方法，其特征在于：相似敏感性系数定义如下：
记三角形
Figure FDA0002473926340000051
与
Figure FDA0002473926340000052
是两个以ORB特征点为顶点的三角形，且P1与Q1、P2与Q2、P3与Q3是三对匹配特征点对，其中特征点P1对应
Figure FDA0002473926340000053
的内角为θ1,P，特征点P2对应的
Figure FDA0002473926340000054
内角为θ2,P，特征点P3对应的
Figure FDA0002473926340000055
内角为θ3,P，特征点Q1对应
Figure FDA0002473926340000056
的内角为θ1,Q，特征点Q2对应
Figure FDA0002473926340000057
的内角为θ2,Q，特征点Q3对应
Figure FDA0002473926340000058
的内角为θ3,Q，则记三角形
Figure FDA0002473926340000059
与
Figure FDA00024739263400000510
的相似敏感性系数为
Figure FDA00024739263400000511
相似敏感性系数的计算公式如下：
Figure FDA00024739263400000512
CN201711155224.XA 2017-11-20 2017-11-20 一种适用于自动装配的图像特征点对快速筛选方法及系统 Active CN107945217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711155224.XA CN107945217B (zh) 2017-11-20 2017-11-20 一种适用于自动装配的图像特征点对快速筛选方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711155224.XA CN107945217B (zh) 2017-11-20 2017-11-20 一种适用于自动装配的图像特征点对快速筛选方法及系统

Publications (2)

Publication Number Publication Date
CN107945217A CN107945217A (zh) 2018-04-20
CN107945217B true CN107945217B (zh) 2020-07-14

Family

ID=61932015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711155224.XA Active CN107945217B (zh) 2017-11-20 2017-11-20 一种适用于自动装配的图像特征点对快速筛选方法及系统

Country Status (1)

Country Link
CN (1) CN107945217B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033523B (zh) * 2018-06-26 2023-04-18 首都航天机械公司 一种基于三维cad模型的装配工艺规程生成系统与方法
CN111047579B (zh) * 2019-12-13 2023-09-05 中南大学 一种特征质量评估方法及图像特征均匀提取方法
CN112508860B (zh) * 2020-11-19 2022-09-30 湖南兰茜生物科技有限公司 一种免疫组化图像核阳性的人工智能判读方法及系统
CN114396962A (zh) * 2022-02-25 2022-04-26 北京世纪高通科技有限公司 可达域的生成方法、装置、设备及存储介质
CN116878422B (zh) * 2023-07-14 2024-03-22 上海米度测量技术有限公司 一种物体几何轴线转动角度测量装置和方法
CN116958606A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 一种图像匹配方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833765A (zh) * 2010-04-30 2010-09-15 天津大学 基于双向匹配和三角形约束的特征匹配方法
KR101178443B1 (ko) * 2009-01-29 2012-08-30 오승우 의상 시뮬레이션을 위한 물리법칙에 기반한 멀티그리드 방법 및 그 프로그램이 기록된 컴퓨터가 판독가능한 기록매체
CN103325085A (zh) * 2012-03-02 2013-09-25 索尼公司 自动图像对齐
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080425A1 (en) * 2008-09-29 2010-04-01 Board of regents of the Nevada System of Higher Education, on Behalf of the University of Minutiae-based template synthesis and matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101178443B1 (ko) * 2009-01-29 2012-08-30 오승우 의상 시뮬레이션을 위한 물리법칙에 기반한 멀티그리드 방법 및 그 프로그램이 기록된 컴퓨터가 판독가능한 기록매체
CN101833765A (zh) * 2010-04-30 2010-09-15 天津大学 基于双向匹配和三角形约束的特征匹配方法
CN103325085A (zh) * 2012-03-02 2013-09-25 索尼公司 自动图像对齐
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Fingerprint verification using computational geometry;Manuel Ramirez-Flores 等;《DYNA》;20160201;第83卷(第195期);第128-137页 *
Image matching based local Delaunay triangulation and affine invariant geometric constraint;Jianfang Dou 等;《Optik》;20130925;第125卷(第1期);第1节、第3节、图1 *
基于Bowyer-Watson三角网生成算法的研究;周雪梅 等;《计算机工程与应用》;20111209;第49卷(第6期);第198-200页 *
基于SURF特征和Delaunay三角网格的图像匹配;闫自庚 等;《自动化学报》;20140630;第40卷(第6期);第1216-1222页 *

Also Published As

Publication number Publication date
CN107945217A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107945217B (zh) 一种适用于自动装配的图像特征点对快速筛选方法及系统
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN108171780A (zh) 一种基于激光雷达构建室内真实三维地图的方法
CN108470370A (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
CN111079565B (zh) 视图二维姿态模板的构建方法及识别方法、定位抓取系统
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN110070567A (zh) 一种地面激光点云配准方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN111524168A (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
CN113192200A (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN107958489B (zh) 一种曲面重建方法及装置
Lv et al. Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN115631317B (zh) 隧道衬砌正射影像生成方法及装置、存储介质、终端
CN112002007A (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant