CN107679537A - 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 - Google Patents
一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 Download PDFInfo
- Publication number
- CN107679537A CN107679537A CN201710322683.6A CN201710322683A CN107679537A CN 107679537 A CN107679537 A CN 107679537A CN 201710322683 A CN201710322683 A CN 201710322683A CN 107679537 A CN107679537 A CN 107679537A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- profile
- projected image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，属于数字图像处理技术领域。本发明在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用ORB特征匹配和颜色索引建立从输入图像到目标三维模型的2D‑3D特征对应关系，并利用匹配误差构造置信概率矩阵，提出加权的正交投影算法解算无纹理空间目标的六自由度姿态参数。ORB特征提高了轮廓点匹配的准确性并且在初始姿态相对真实姿态有较大偏移的情况下仍具有一定的鲁棒性；本发明充分发掘建立2D‑3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC算法剔除误匹配点，提高算法的计算效率和精度。
Description
技术领域
本发明涉及三维立体视觉的数字图像处理技术领域，尤其是涉及一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法。
背景技术
近年来，光学成像系统在空间目标上的应用能十分广泛，许多实际功能如自动交会对接、在轨自服务等都需要确定空间目标的姿态参数，因此将姿态估计方法应用于空间目标是有迫切需求的。另一方面，随着高质量光学成像系统的快速发展，包含更多空间目标细节信息的图像数据可以用来作为姿态估计的输入，有利于提高姿态估计的精度。
完整的姿态估计方法需要解决两方面的问题：首先需要确定从输入图像到目标三维模型的特征对应关系，然后基于对应关系对投影误差函数进行优化实现对目标姿态参数的估计。对于后一问题，国内外学者已经提出了很多有效的算法；而针对于前一问题，即如何确定输入图像到目标三维模型的特征对应关系，目前的姿态估计算法大致可以分为三类：(1)基于几何的方法直接将姿态估计问题分为两个子问题，首先通过提取特征点、特征线或是特征区域，在二维图像和三维模型之间以特征匹配的方式建立对应关系，再基于得到的对应关系进行姿态参数的估计。这类方法只适用于一些限定的应用场景，而在无约束的三维环境下，没有哪一种特征提取算子是完全稳定和可靠的。(2)基于表观的方法借助于图像识别的方式来回避建立2D-3D特征对应关系的问题。该类方法预先生成一些目标三维模型不同姿态下的投影图像，然后以某种标准计算输入图像与预先生成的投影图像的相似度，以相似度最高的投影图像所对应的姿态作为目标的姿态结果。这类方法可以粗略地估计姿态参数，但由于不存在严格的投影对应关系方程，因此无法得到目标姿态参数的准确估计值，而且预先生成的投影轮廓数量会随着姿态估计参数精度要求的提高而呈指数级增长。(3)迭代方法采用迭代机制来同时确定特征对应关系并估计姿态参数。与前两类方法对比，第三类方法的优势在于不依赖于特征提取算子的能力并且不需要预先生成大量投影图像，因此也是目前姿态估计问题研究的热点。但采用迭代机制的方法也有共同的缺点就是会受到算法收敛速度和收敛半径的限制，并且初始值往往对算法效果影响较大。
因此，如何提高姿态参数的计算精度以及提高计算效率是本领域技术人员亟需解决的问题。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提高计算精度和计算效率实现空间目标姿态估计。
(二)技术方案
为了实现上述目的，本发明提供了一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，包括以下步骤：
步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型中包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；
步骤2、根据三维模型确定在不同视角下的空间目标投影图像库；
步骤3、从空间目标投影图像库中选出与输入图像最相似的投影图像集合，即最相似图集；
步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓；
步骤5、基于轮廓点的ORB特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系；
步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系；
步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W；
步骤8：结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数；
步骤9、根据终止条件判断当前输出姿态参数还是返回步骤2进行下一次迭代计算。
优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤2是以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合，首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色，然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：
其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量。选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合即最相似图集。
优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤5中是通过将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系，并利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵，由单应矩阵可以计算得到第j张投影图像的第q个轮廓点(xjq,yjq)在输入图像上的对应点坐标(xjq',yjq')，“～”表示在齐次意义下相等，m代表最相似图集中投影图像的数量。
根据公式(2)可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：
Qj代表第j张投影图像的轮廓点个数，是输入图像上与(xjq,yjq)匹配的点，(xjq',yjq')是通过(2)式计算得到。
优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤7基于投影图像与输入图像匹配准确度构造置信概率矩阵W。W是n×n的对角矩阵，如公式(4)：
其中n为2D-3D对应点的数量，对角线元素ωj为第j对2D-3D对应点的置信概率；由于通过步骤7得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率；本算法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率；计算聚类得分的具体公式如下：
ωj＝αj×ln(e-βj)×γj,j＝1,2,...,Ncluster (5)
其中Ncluster代表二维点聚类数目，αj、βj和γj的计算公式分别如下：
其中radius代表聚类半径，pi代表聚类中二维点的坐标，pcenter代表聚类中心点坐标，nj代表第j个聚类中二维点的数量。
(三)有益效果
本发明有效的结合了基于几何、表观、迭代三种方法的优点，采用基于轮廓点ORB特征匹配的无纹理空间目标姿态估计；首先以Hu矩作为相似性测度选出与输入图像最相似的若干张投影图像，然后通过轮廓点的ORB特征匹配在输入图像轮廓与空间目标三维模型之间建立2D-3D点对应关系，并根据ORB特征匹配准确度构造2D-3D对应点的置信概率，最后基于置信概率矩阵对正交投影算法做出改进，提出加权的正交投影算法，迭代地解算无纹理空间目标的六自由度姿态参数。
因此本发明充分发掘建立2D-3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC算法剔除误匹配点，同时采用ORB特征匹配的方法在输入图像轮廓与投影图像轮廓之间建立匹配关系，对旋转、平移和尺度变化均具有一定的鲁棒性；并结合置信概率矩阵对正交投影算法做出改进，提出了加权正交投影算法，提升了姿态参数的计算精度和计算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明基于轮廓点ORB特征匹配的姿态估计算法流程图；
图2为本发明具体实现流程图；
图3为本发明算法与传统姿态估计算法效果对比图。
具体实施方式
为了使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细的描述。
本发明实施例提出的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法具体实现流程如图1和图2所示，各部分具体实施细节如下：
步骤1、输入是空间目标的三维模型和待估计姿态下所成单目图像。其中三维模型需要包含空间目标的顶点坐标以及结构信息，不需要材质和纹理信息。输入单目图像为灰度图像，相面中空间目标所占区域大小约为图像大小的十分之一。
步骤2、根据三维模型生成空间目标在不同视角下的投影图像库。利用OpenGL仿真成像系统模拟相机成像过程，忽略了相机的畸变等因素的影响。首先从输入的三维模型中读取出顶点坐标及其对应的法向量，以三角面片的形式在OpenGL仿真成像系统中重建出空间目标的三维结构。三维模型的旋转由三个欧拉角(俯仰角，偏航角和滚转角)表示，对这三个欧拉角分别在(-90°,90°)范围内等间隔采样，生成不同旋转视角下的空间目标投影图像，构成空间目标投影图像库。
步骤3、以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合。首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色。然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：
其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量。选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合，下文中简称“最相似图集”。
步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓。预处理包括平滑去噪，形态学滤波消除孔洞。预处理之后提取输入图像与投影图像的外部轮廓，所得到的轮廓为单像素宽的连续曲线。
步骤5、基于轮廓点的ORB(Oriented FAST and Rotated BRIEF)特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系。将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵。由单应矩阵可以计算得到第j张投影图像的第q个轮廓点(xjq,yjq)在输入图像上的对应点坐标(xjq',yjq')，“～”表示在齐次意义下相等，m代表最相似图集中投影图像的数量。
根据(2)式可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：
Qj代表第j张投影图像的轮廓点个数，是输入图像上与(xjq,yjq)匹配的点，(xjq',yjq')是通过(2)式计算得到。
步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系。以投影图像轮廓像素点的RGB颜色值作为索引，可以找到与之对应的空间目标三维模型的顶点；再利用步骤5得到的从投影图像映射到输入图像的单应矩阵，根据式(2)可以计算得到投影图像轮廓点对应的输入图像对应点。由此可以建立输入图像到空间目标三维模型之间的2D-3D点对应关系。由于最相似图集中的投影图像也具有较大的相似度，所以同一个三维顶点很有可能在多张投影图像中出现，而通过多张投影图像的单应矩阵计算得到的输入图像上的对应点坐标一般不相同，所以会得到多对一的2D-3D对应关系。
步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W。W是n×n的对角矩阵，形如式(4)：
其中n为2D-3D对应点的数量，对角线元素ωj为第j对2D-3D对应点的置信概率。由于通过步骤7得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率。本专利方法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小(式(3))给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率。计算聚类得分的具体公式如下：
ωj＝αj×ln(e-βj)×γj,j＝1,2,...,Ncluster (5)
其中Ncluster代表二维点聚类数目，αj、βj和γj的计算公式分别如下：
其中radius代表聚类半径，pi代表聚类中二维点的坐标，pcenter代表聚类中心点坐标，nj代表第j个聚类中二维点的数量。
步骤8、结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数。正交迭代算法的思路是构建三维点到图像点所在视线的距离误差函数，通过迭代地最小化误差函数得到旋转矩阵和平移向量。假设由上文所述建立2D-3D点对应关系的方法可以得到n对2D-3D对应点，xp表示图像平面上的二维点，xv表示物体坐标系下的三维点坐标。则第i对2D-3D对应点之间的误差可以表示为：
其中是第i个图像二维点的视线投影矩阵，定义如下：
取优化函数为所有2D-3D对应点对的误差平方和：
可以看出优化目标函数是平移向量t的二次函数，因此对于一个给定的旋转矩阵R，平移向量t的最优值可以直接计算得到：
由(12)式可知平移向量t的最优值是旋转矩阵R的函数，则将优化目标函数改写为：
现在优化目标函数只有一个变量旋转矩阵R，可以求得最优解。利用SVD分解迭代地求解旋转矩阵R的最优值。为描述方便起见，将三维点在图像点对应视线上的投影点定义为q，则有：
则三维点集{xvi}和{qi(R)}之间的协方差矩阵M(R)为：
其中：
设(U,S,V)是协方差矩阵M的一个SVD分解，即M＝USVT，那么旋转矩阵的最优解为：
R*＝UVT (20)
再利用式(12)确定平移向量t的最优值，则得到了六自由度的姿态参数。
步骤9、根据终止条件判断输出姿态参数或是进行下一次迭代计算。由计算得到的六自由度姿态参数利用OpenGL仿真成像系统生成该视角下的投影图像，并采用步骤5中的ORB特征匹配和计算匹配误差方法衡量姿态结果的准确程度。如果新生成的投影图像的匹配误差比最相似图集中投影图像的匹配误差大，则终止计算，以匹配误差最小的投影图像所对应的六自由度姿态参数作为最终计算结果输出；否则用新生成的投影图像替换最相似图集中匹配误差最大的投影图像，继续进行下一次迭代计算。
本发明在未给定任何先验特征对应关系情况下基于单目视觉的空间目标姿态估计为研究对象，提出了基于轮廓点ORB特征匹配的无纹理空间目标姿态估计方法。在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用ORB特征匹配和颜色索引建立从输入图像到目标三维模型的2D-3D特征对应关系，并利用匹配误差构造置信概率矩阵，提出加权的正交投影算法解算无纹理空间目标的六自由度姿态参数。ORB特征提高了轮廓点匹配的准确性并且在初始姿态相对真实姿态有较大偏移的情况下仍具有一定的鲁棒性；本发明充分发掘建立2D-3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC算法剔除误匹配点，提高算法的计算效率和精度。
上述实施例只为说明本发明的技术构思及特点，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，包括以下步骤：
步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型中包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；
步骤2、根据三维模型确定在不同视角下的空间目标投影图像库；
步骤3、从空间目标投影图像库中选出与输入图像最相似的投影图像集合，即最相似图集；
步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓；
步骤5、基于轮廓点的ORB特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系；
步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系；
步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W；
步骤8：结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数；
步骤9、根据终止条件判断当前输出姿态参数还是返回步骤2进行下一次迭代计算。
2.根据权利要求1所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，所述步骤2是以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合，首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色，然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>m</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>,</mo>
<mi>G</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</munderover>
<mo>|</mo>
<msubsup>
<mi>h</mi>
<mi>k</mi>
<mi>I</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>h</mi>
<mi>k</mi>
<mi>G</mi>
</msubsup>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量。选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合即最相似图集。
3.根据权利要求1所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，所述步骤5中是通过将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系，并利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵，由单应矩阵可以计算得到第j张投影图像的第q个轮廓点(xjq,yjq)在输入图像上的对应点坐标(xjq',yjq')，“～”表示在齐次意义下相等，m代表最相似图集中投影图像的数量。
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msup>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>y</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>~</mo>
<msub>
<mi>H</mi>
<mi>j</mi>
</msub>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>m</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
根据公式(2)可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：
<mrow>
<msubsup>
<mi>E</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
<mi>j</mi>
</msubsup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>Q</mi>
<mi>j</mi>
</msub>
</munderover>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>-</mo>
<msup>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>-</mo>
<msup>
<msub>
<mi>y</mi>
<mrow>
<mi>j</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>m</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
Qj代表第j张投影图像的轮廓点个数，是输入图像上与(xjq,yjq)匹配的点，(xjq',yjq')是通过(2)式计算得到。
4.根据权利要求1所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，所述步骤7基于投影图像与输入图像匹配准确度构造置信概率矩阵W。W是n×n的对角矩阵，如公式(4)：
其中n为2D-3D对应点的数量，对角线元素ωj为第j对2D-3D对应点的置信概率；由于通过步骤7得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率；本算法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率；计算聚类得分的具体公式如下：
ωj＝αj×ln(e-βj)×γj,j＝1,2,...,Ncluster (5)
其中Ncluster代表二维点聚类数目，αj、βj和γj的计算公式分别如下：
<mrow>
<msub>
<mi>&alpha;</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mi>min</mi>
<mi>j</mi>
</munder>
<msubsup>
<mi>E</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
<mi>j</mi>
</msubsup>
</mrow>
<msubsup>
<mi>E</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
<mi>j</mi>
</msubsup>
</mfrac>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>m</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&beta;</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>c</mi>
<mi>e</mi>
<mi>n</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</mfrac>
<mo>/</mo>
<mi>r</mi>
<mi>a</mi>
<mi>d</mi>
<mi>i</mi>
<mi>u</mi>
<mi>s</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>u</mi>
<mi>s</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&gamma;</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>u</mi>
<mi>s</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</msub>
</munderover>
<msub>
<mi>n</mi>
<mi>j</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
<mi>u</mi>
<mi>s</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中radius代表聚类半径，pi代表聚类中二维点的坐标，pcenter代表聚类中心点坐标，nj代表第j个聚类中二维点的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710322683.6A CN107679537B (zh) | 2017-05-09 | 2017-05-09 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710322683.6A CN107679537B (zh) | 2017-05-09 | 2017-05-09 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107679537A true CN107679537A (zh) | 2018-02-09 |
| CN107679537B CN107679537B (zh) | 2019-11-19 |
Family
ID=61133616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710322683.6A Active CN107679537B (zh) | 2017-05-09 | 2017-05-09 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107679537B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
| CN109872343A (zh) * | 2019-02-01 | 2019-06-11 | 视辰信息科技(上海)有限公司 | 弱纹理物体姿态跟踪方法、系统及装置 |
| CN109903313A (zh) * | 2019-02-28 | 2019-06-18 | 中国人民解放军国防科技大学 | 一种基于目标三维模型的实时位姿跟踪方法 |
| CN110047106A (zh) * | 2019-03-08 | 2019-07-23 | 深圳大学 | 用于增强现实的相机姿态估计方法、装置、设备及介质 |
| CN110135376A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 确定图像传感器的坐标系转换参数的方法、设备和介质 |
| CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN110516684A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 用于确定无人机姿态信息的方法和装置 |
| CN111652901A (zh) * | 2020-06-02 | 2020-09-11 | 山东大学 | 一种基于置信度和特征融合的无纹理三维物体跟踪方法 |
| CN111968180A (zh) * | 2020-08-18 | 2020-11-20 | 裴成学 | 基于参考平面的高精度物体多自由度姿态估计方法及系统 |
| CN112797923A (zh) * | 2021-01-05 | 2021-05-14 | 上海交通大学 | 校正粒子衍射图像图案中心和欧拉角的方法、系统及介质 |
| CN112802098A (zh) * | 2021-01-16 | 2021-05-14 | 北京化工大学 | 一种基于tm-src的三维无纹理目标位姿估计方法 |
| CN113673457A (zh) * | 2021-08-26 | 2021-11-19 | 北京环境特性研究所 | 模拟测量图像处理方法、装置、计算设备及存储介质 |
| CN114827562A (zh) * | 2022-03-11 | 2022-07-29 | 深圳海翼智新科技有限公司 | 投影方法、装置、投影设备及计算机存储介质 |
| CN115358319A (zh) * | 2022-08-23 | 2022-11-18 | 天津大学 | 基于双阈值检测的自适应容错滤波方法及系统 |
| CN116958263A (zh) * | 2023-08-09 | 2023-10-27 | 苏州三垣航天科技有限公司 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447725A (zh) * | 2016-06-29 | 2017-02-22 | 北京航空航天大学 | 基于轮廓点混合特征匹配的空间目标姿态估计方法 |
-
2017
- 2017-05-09 CN CN201710322683.6A patent/CN107679537B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447725A (zh) * | 2016-06-29 | 2017-02-22 | 北京航空航天大学 | 基于轮廓点混合特征匹配的空间目标姿态估计方法 |
Non-Patent Citations (5)
| Title |
|---|
| DUNKER J 等: "Single View Recognition and Pose Estimation of 3D Objects Using Sets of Prototypical Views and Spatially Tolerant Contour Representations", 《IEEE COMPUTER SOCIETY》 * |
| WD SUN 等: "Contour-based iterative pose estimation of 3D rigid object", 《IET COMPUTER VISION》 * |
| XIN ZHANG 等: "Pose Estimation of Space Objects Based on Hybrid Feature Matching of Contour Points", 《CHINESE CONFERENCE ON IMAGE AND GRAPHICS TECHNOLOGIES》 * |
| 冷大炜: "基于2D-3D泛轮廓点对应的三维刚体目标的迭代姿态估计", 《中国科学院研究生院学报》 * |
| 谷蔷薇: "基于2D/3D图像数据融合的空间目标运动估计方法", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN110516684A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 用于确定无人机姿态信息的方法和装置 |
| CN110516684B (zh) * | 2018-05-21 | 2022-04-12 | 北京京东尚科信息技术有限公司 | 用于确定无人机姿态信息的方法和装置 |
| CN109064514A (zh) * | 2018-07-03 | 2018-12-21 | 北京航空航天大学 | 一种基于投影点坐标回归的六自由度位姿估计算法 |
| CN109872343A (zh) * | 2019-02-01 | 2019-06-11 | 视辰信息科技(上海)有限公司 | 弱纹理物体姿态跟踪方法、系统及装置 |
| CN109903313A (zh) * | 2019-02-28 | 2019-06-18 | 中国人民解放军国防科技大学 | 一种基于目标三维模型的实时位姿跟踪方法 |
| CN109903313B (zh) * | 2019-02-28 | 2022-04-26 | 中国人民解放军国防科技大学 | 一种基于目标三维模型的实时位姿跟踪方法 |
| CN110047106A (zh) * | 2019-03-08 | 2019-07-23 | 深圳大学 | 用于增强现实的相机姿态估计方法、装置、设备及介质 |
| CN110135376A (zh) * | 2019-05-21 | 2019-08-16 | 北京百度网讯科技有限公司 | 确定图像传感器的坐标系转换参数的方法、设备和介质 |
| CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN110147767B (zh) * | 2019-05-22 | 2023-07-18 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN111652901A (zh) * | 2020-06-02 | 2020-09-11 | 山东大学 | 一种基于置信度和特征融合的无纹理三维物体跟踪方法 |
| CN111968180A (zh) * | 2020-08-18 | 2020-11-20 | 裴成学 | 基于参考平面的高精度物体多自由度姿态估计方法及系统 |
| CN111968180B (zh) * | 2020-08-18 | 2023-12-05 | 维数谷智能科技（嘉兴）有限公司 | 基于参考平面的高精度物体多自由度姿态估计方法及系统 |
| CN112797923A (zh) * | 2021-01-05 | 2021-05-14 | 上海交通大学 | 校正粒子衍射图像图案中心和欧拉角的方法、系统及介质 |
| CN112797923B (zh) * | 2021-01-05 | 2022-12-30 | 上海交通大学 | 校正粒子衍射图像图案中心和欧拉角的方法、系统及介质 |
| CN112802098A (zh) * | 2021-01-16 | 2021-05-14 | 北京化工大学 | 一种基于tm-src的三维无纹理目标位姿估计方法 |
| CN113673457B (zh) * | 2021-08-26 | 2023-06-30 | 北京环境特性研究所 | 模拟测量图像处理方法、装置、计算设备及存储介质 |
| CN113673457A (zh) * | 2021-08-26 | 2021-11-19 | 北京环境特性研究所 | 模拟测量图像处理方法、装置、计算设备及存储介质 |
| CN114827562A (zh) * | 2022-03-11 | 2022-07-29 | 深圳海翼智新科技有限公司 | 投影方法、装置、投影设备及计算机存储介质 |
| CN115358319A (zh) * | 2022-08-23 | 2022-11-18 | 天津大学 | 基于双阈值检测的自适应容错滤波方法及系统 |
| CN116958263A (zh) * | 2023-08-09 | 2023-10-27 | 苏州三垣航天科技有限公司 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
| CN116958263B (zh) * | 2023-08-09 | 2024-04-12 | 苏州三垣航天科技有限公司 | 一种空间观测目标姿态识别过程中单目相机智能增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107679537B (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679537B (zh) | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN111063021A (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN108898665A (zh) | 三维人脸重建方法、装置、设备及计算机可读存储介质 | |
| CN108122256A (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
| CN105719352B (zh) | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| CN105184857A (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
| CN113052109A (zh) | 一种3d目标检测系统及其3d目标检测方法 | |
| CN109766896B (zh) | 一种相似度度量方法、装置、设备和存储介质 | |
| CN107507263B (zh) | 一种基于图像的纹理生成方法及系统 | |
| CN113450396A (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
| CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| Konrad et al. | Fisheyesuperpoint: Keypoint detection and description network for fisheye images | |
| Ji et al. | An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets | |
| CN114972646A (zh) | 一种实景三维模型独立地物的提取与修饰方法及系统 | |
| Cai et al. | Semantic segmentation of terrestrial laser scanning point clouds using locally enhanced image-based geometric representations | |
| CN114358133A (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
| CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 | |
| Hu et al. | R-CNN based 3D object detection for autonomous driving | |
| Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
| CN116681839A (zh) | 一种基于改进NeRF的实景三维目标重建与单体化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |