CN110390137A - 一种针对机械零件三维注册的链状特征提取匹配方法 - Google Patents

一种针对机械零件三维注册的链状特征提取匹配方法 Download PDF

Info

Publication number
CN110390137A
CN110390137A CN201910549432.0A CN201910549432A CN110390137A CN 110390137 A CN110390137 A CN 110390137A CN 201910549432 A CN201910549432 A CN 201910549432A CN 110390137 A CN110390137 A CN 110390137A
Authority
CN
China
Prior art keywords
chain
straight line
characteristic
dimensional
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910549432.0A
Other languages
English (en)
Other versions
CN110390137B (zh
Inventor
刘振宇
王科
刘达新
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910549432.0A priority Critical patent/CN110390137B/zh
Publication of CN110390137A publication Critical patent/CN110390137A/zh
Application granted granted Critical
Publication of CN110390137B publication Critical patent/CN110390137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对机械零件三维注册的链状特征提取匹配方法。针对机械零件表面无纹理但具有丰富几何信息的特点，将机械零件二维图像中首尾相连的有向直线段组成一条有向链，根据链的形状来构建特征描述子。在特征匹配阶段引入动态权重进行特征向量之间的相似距离计算，从而快速淘汰形状结构差异较大的链状特征。另外，该特征能够同时构建机械零件二维图像和三维模型之间的多组2D‑3D对应点，在提高三维注册效率的同时也增强了注册的鲁棒性。

Description

一种针对机械零件三维注册的链状特征提取匹配方法
技术领域
本发明属于图形图像处理领域，特别是一种针对机械零件三维注册的链状特征提取匹配方法。
背景技术
通过单目图像对机械零件进行快速鲁棒的三维注册是实现增强现实装配应用系统的基础。基于单目图像的三维注册只需要一个普通RGB相机和CAD模型即可实现对目标物体的位姿估计，其方便快捷的特点吸引了众多科研人员的兴趣。然而，机械零件具有表面无纹理且存在金属光泽的特点，导致一些成熟的图像特征(如SIFT、SURF)无法适用，由此增加了单目三维注册的难度。
目前针对单目图像的三维注册通常采用基于模型关键帧的三维注册框架，该方法分为离线和在线两个阶段，离线阶段中通过虚拟相机对CAD模型进行“拍摄”，得到模型在不同视点下的二维投影图像，即关键帧；在线阶段则将真实图像与关键帧进行匹配，计算得到目标物体与相机之间的相对位姿关系。
现有的对机械零件的三维注册方法，无论是基于模板匹配还是基于特征匹配，仍存在某些缺陷。中国专利一种基于线框模型的三维目标注册定位方法(专利申请公开号：CN106125907A，作者：李静等)提出通过线框模型生成大量模板并采用Hausdorff距离进行形状匹配从而实现对三维目标进行定位。但是该发明在离线阶段需要对三维模型生成各种不同视角与尺度的模板来应对形状匹配方法不具备旋转缩放不变的缺陷，因此其在注册效率方面仍有待提高。Tombari等人(Tombari F,Franchi A,Di L.BOLD Features to DetectTexture-less Objects[C]IEEE International Conference on Computer Vision.IEEE,2014.)将有向直线段视为基本几何单元，每条特征直线与k条最近邻有向直线构成一个BOLD特征从而实现对无纹理物体的三维注册。该图像特征的缺点在于根据直线段中点梯度方向来确定直线方向的方法对光照较为敏感，而且在特征构建过程中容易受特征直线附近的噪声直线段的影响，使得注册鲁棒性大幅度下降。
上述方法在注册效率、稳定性等方面均存在一定程度的不足，导致其在工程应用过程中仍然具有较大提升空间。
发明内容
针对机械零件表面缺少纹理但几何信息丰富的特点，本发明提出了一种面向机械零件的链状特征提取与匹配方法，从而实现对其在单目图像中的三维注册。
本发明采用的技术方案如下：
所述方法包括，即图像和模型的特征提取与匹配过程包括：
在离线阶段：
(1)针对机械零件的实物产品，建立一个计算机物理几何模型作为CAD模型，并且获得已知的CAD模型的三维特征点集，从CAD模型的不同视角通过虚拟相机拍摄获得各个关键帧图像；
(2)采用图像预处理与直线方向的确定方法对关键帧图像进行处理，获得有向直线段集合；
(3)采用特征直线的筛选及二维特征点的确定方法对关键帧图像的有向直线段集合进行处理获得特征直线；
(4)根据特征直线及各有向直线段的约束特征，针对关键帧图像的特征直线采用链状特征的构造方法处理获得其链状特征；
(5)采用链状特征的特征向量和标签向量构建方式处理获得关键帧图像所提取链状特征的特征向量和标签向量；
在在线阶段：
(6)对机械零件的实物产品采用相机进行拍摄获得实物图像，实物图像中机械零件的实物产品可放置在任一场景环境进行拍摄，并通过步骤(2)、(3)、(4)相同的处理方法对实物图像进行处理，获得实物图像的所有链状特征，然后采用步骤(5)中链状特征的特征向量构建方式获得实物图像所提取链状特征的特征向量；
(7)依据链状特征的形状结构，采用一种特征向量之间的相似距离计算方法，对实物图像提取的链状特征与关键帧图像提取的链状特征进行两个特征之间的匹配。
所述的机械零件针对具有棱边的实物机械零件。
所述步骤(2)中，图像预处理与直线方向的确定方法具体步骤为：
(2.1)提取图像中的感兴趣区域并获得机械零件在整张图像中的位置，并计算出感兴趣区域的形心C；
(2.2)利用LSD直线检测算法提取感兴趣区域中的所有直线段，各个直线段会首尾相接，采用以下公式确定每条直线段s的方向sign(s)：
其中，分别表示直线段s的两个端点，n为垂直于图像平面向外的单位向量，分别表示从感兴趣区域的形心C出发分别到直线段s的两个端点的向量；
(2.3)合并断裂直线段(即两条方向大体一致且首尾点很接近的直线段)和删除孤立直线段。
所述步骤(2.3)中，合并断裂直线段具体是将直线段的方向之间的夹角小于夹角阈值且首点和尾点之间的间距小于间距阈值的每两条直线段进行合并为一条直线段。
所述步骤(3)中，特征直线的筛选及二维特征点的确定方法具体过程为：
对于关键帧图像，以有向直线段l的起点作为二维点分别表示二维点在图像坐标系中的坐标，通过反投影方法求得二维点在CAD模型坐标系上的三维空间点分别表示空间点在模型坐标系中的坐标，然后进行以下判断：若在CAD模型的三维特征点集中存在一个点nM为三维特征点的总个数，满足εR为两个三维点之间的距离阈值，则将该有向直线段l作为关键帧图像的一条特征直线，点Pl K、点分别作为该有向直线l对应的二维特征点和三维特征点；若在CAD模型的三维特征点集中不存在一个点则该有向直线段l不作为特征直线；
对于实物图像，长度大于20个像素单位的有向直线段l均作为特征直线，各特征直线的起点作为二维特征点。
所述步骤(4)中，链状特征的构造方法具体步骤如下：
(4.1)对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向，将首尾相连的两条有向直线段为两条有向直线段相互邻接；
(4.2)分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条或多条有向直线链；
(4.3)将不少于4节点(包括根节点)的有向直线链作为一个链状特征F，每个链状特征最多由2m-1条直线构成(特征直线前后各连接m-1条直线)。
所述步骤(5)中，链状特征的特征向量和标签向量构建方式具体过程如下：
(5.1)对于关键帧图像和实物图像中的每条链状特征F，设其根节点直线对应向量为lr，链中除特征直线外的某条有向直线对应向量为l′，以根节点直线为基准，逆时针方向计算夹角，采用以下公式计算链状特征F的根节点lr对应的向量lr和除了根节点lr以外的其他有向直线段l′对应的向量l′之间的夹角α：
由链状特征F获得ns-1个夹角值，ns为链状特征F中有向直线段的总数量；
(5.2)将各夹角按照形式构成一个2(m-1)维的特征向量vf，其中m表示每棵二叉树的最大深度，和分别为链状特征F在正、负方向上第i条有向直线段与特征直线之间的夹角，若链状特征F中对应位置没有有向直线段，设置或
关键帧图像和实物图像均采用上述两个步骤处理获得特征向量vf。
(5.3)对于关键帧图像中的每条链状特征，还要在创建特征向量的同时构建与特征向量对应的标签向量，建立每个链状特征中各条有向直线段的起点与CAD模型中三维特征点之间的映射关系，获取链状特征中各二维特征点对应的三维特征点的序号，将按照形式构成一个2m-1维的标签向量vl，其中，λ0为特征直线的二维特征点对应的三维特征点序号，和分别为链状特征F在正、负方向上第i条有向直线段的二维特征点对应的三维特征点序号；若链状特征F中对应位置没有有向直线段，即或则对应的三维特征点序号设置为
所述步骤(7)中，针对关键帧图像和实物图像中对应的两个链状特征，采用以下方式进行相似距离计算，进行特征匹配：
以两个链状特征的特征向量va[a1,a2,...,a2(m-1)]和特征向量vb[b1,b2,...,b2(m-1)]为例说明，相似距离d(va,vb)计算如下：
其中，ωi为两个链状特征对应的特征向量第i维元素之间相似度si的权重值，θ表示两个夹角之间差值的阈值，是用来控制特征向量各元素之间相似度结果的参数，ai,bi分别是特征向量va和特征向量vb在第i维的夹角值，a1,a2,...,a2(m-1)表示特征向量va的各个元素，b1,b2,...,b2(m-1)表示特征向量vb的各个元素。
所述步骤(7)中两个特征向量之间的相似距离用来描述两个待匹配链状特征之间的相似程度。两个向量之间的距离越小，表示两条链的结构越相似，两条链能够匹配的概率也就越大。本发明的相似距离从链的特征直线为起点向两端计算，若靠近特征直线的邻近直线段对应的夹角相差较小，则后续较远直线对应夹角的权重值将相应增大；反之，则基本可以判断这两条链状特征无法匹配，因此后续直线对应夹角的权重值也会变得很小，从而导致两个特征向量之间的距离较大。采用这样的动态权重方式能够快速淘汰特征直线邻近结构差异较大的链状特征。
本发明针对机械零件表面无纹理但具有丰富几何信息的特点，能够从单目图像中提取链状特征并构造相应的特征向量，引入动态权重进行特征向量之间的相似距离计算，从而快速淘汰形状结构差异较大的链状特征；同时构建二维图像和三维模型之间的多组2D-3D对应点，在提高三维注册效率的同时也增强了三维注册的鲁棒性。
本发明方法不仅可以应用于基于增强现实装配引导系统中，还可用于工业机器人系统中对机械零件的自动识别以及位姿估计。
本发明的有益效果在于：
(1)在图像预处理和链状特征构建的过程中，有向直线的邻接关系引入了首尾相连的强约束，降低了图像上一些细小的噪声、不相关直线对链状特征构建的干扰；
(2)采用树结构来构建链状特征能够保证特征冗余，当真实图片中零件由于局部遮挡等因素丢失部分直线信息时，仍然可以通过其他根通路的链状特征来匹配到对应点，保证算法的鲁棒性；
(3)通过链状特征可以在一次特征匹配中同时找到二维图像和三维模型之间多组相互关联的2D-3D对应点，不仅提高了匹配的效率，同时也减小了野值点出现的概率从而提高三维注册的鲁棒性。
附图说明
图1是实施例中的三维注册方法流程图；
图2是实施例中的“夹具”零件CAD模型及其对应实物；
图3是实施例中离线阶段生成的部分关键帧；
图4是实施例中链状特征构造示意图；
图5是实施例中真实图像预处理后提取的所有有向直线段；
图6是实施例在线阶段的详细步骤流程图；
图7是实施例三维注册的结果图。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图以及具体实例对本发明作进一步详细说明。
本发明的实施例如下：
本发明实施例主要分为离线和在线两个阶段，其流程如图1所示。结合图2所示的“夹具”零件，具体实施过程如下：
·离线阶段
(1)将“夹具”零件的CAD模型转换成STL格式的三角网格文件，通过二面角阈值的方式提取三维特征边后，再根据两条边交于一点、两条边的夹角小于设定阈值等约束条件自动提取三维特征点，得到三维特征点集如表1所示。
表1 CAD模型的三维特征点集
(2)在虚拟视点球面上进行均匀采样，并在每个视点生成一张关键帧，从而构成一个关键帧集合，图3所示的是部分关键帧；
(2.1)通过棋盘格校准算法获取真实相机的内部参数，并将其设置为虚拟相机的内部参数；
(2.2)将目标物体模型的质心与单位视点球的球心重合，同时将位于各视点上的虚拟相机轴线对准球心，适当调整CAD模型的比例，通过OpenGL绘制模型在各视点下的二维投影，即得到相应的关键帧。在投影过程中，三角网格模型被投影为三通道二维图像，每个三角面片的RGB值对应于该三角面片的法向量。
(3)对每张关键帧提取链状特征并构建相应的特征向量，建立该链状特征与CAD模型上相应三维特征点之间的映射关系，并构建特征索引表。以图4(a)中的关键帧为例，对于关键帧中链状特征提取以及构建特征索引表的详细步骤如下：
(3.1)提取图像中的感兴趣区域来确定目标零件在整张图像中的位置，并计算出该区域的形心。利用LSD直线检测算法提取该区域中的所有直线段并通过本发明提出的直线方向确定方法确定各直线段的方向。确定所有直线段的方向后，可再对其进行合并断裂直线段(即两条方向大体一致且首尾点很接近的直线段)、删除孤立直线段等处理，处理后的结果如图4(b)所示。
(3.2)对于关键帧中的某条有向直线段l，其起点坐标为Pl K(392,116)，通过反投影技术求得该二维点在模型坐标系上对应的三维空间点坐标Pl M(-60.1,20.03,20.5)。经查找，在CAD模型三维特征点集SM中存在一个点满足因此认为l是该关键帧的一条特征直线，Pl K，分别是该有向直线l对应的二维特征点和三维特征点。通过上述方法筛选出该关键帧中的所有特征直线，并建立各二维特征点与对应三维特征点之间的映射关系。
(3.3)取每棵二叉树的最大深度m＝4，对于关键帧中的特征直线l，根据邻接关系在正负方向上分别构建两棵以l作为根节点的二叉树(图4(b)中所示加粗线段)，图4(c)是这两棵二叉树的一个根通路组合所构成的有向直线链。由于这条链由7条有向直线组成，因此可以将其视为一个链状特征。
(3.4)计算链状特征中各有向直线与特征直线之间的夹角，图4(c)所示的链状特征计算所得的特征向量为vf[38,2,113,316,244,187]，其对应的标签向量为vl[1,4,6,8,2,10,12]。
(3.5)通过上述方法提取出所有关键帧中的所有链状特征，并将其特征向量与对应的标签向量组成一张索引表，以供在线阶段进行特征匹配使用。
·在线阶段
(1)通过单目相机获取真实场景图像。
(2)对真实场景图像进行图像预处理，其结果如图5所示。将长度大于20个像素单位的有向直线段视为特征直线，采用本发明的链状特征构建方法对所有特征直线构造链状特征，提取到的链状特征集合为SL＝{v1,v2,...,vi,...,vn}，其中vi为提取到的第i个链状特征向量。
(3)在线阶段特征匹配的详细步骤如图6所示。对于真实场景图像中提取的某个链状特征vi＝[60,110,0,295,265,294]，在离线阶段建立好的特征索引表中通过线性搜索进行特征匹配。假设特征索引表中的某个链状特征为vj＝[77,138,202,326,254,324]，则两个特征向量之间的相似距离d(vi,vj)采用如下公式进行计算：
其中，特征向量之间各对应元素的相似度sk及其权重ωk可以通过以下公式计算，计算结果如表2所示。
其中，vik为特征向量vi的第k个元素，vjk为特征向量vj的第k个元素，取θ＝60。
表2特征向量之间各对应元素的相似度sk及其权重ωk的计算结果
k 1 2 3 4 5 6
ω<sub>k</sub> 1.000 0.716 0.381 1.000 0.483 0.394
s<sub>k</sub> 0.716 0.533 0 0.483 0.819 0.500
由此可得，特征向量vik和vjk之间的相似距离d(vi,vj)为：
通过上述特征向量的之间的相似距离计算方法在特征索引表中找到与之距离最小的链状特征vbest，记他们之间的相似距离为d。若d>0.6(相似距离阈值为0.6)，则对下一个特征进行匹配；若d≤0.6，则将vi中各直线的起点根据vbest的标签向量构建多组2D-3D对应点(SI为真实图像的二维特征点集，SM为CAD模型的三维特征点集，N为对应点组数)，取距离特征直线起点最近(包含该点)的5组(即N＝5)对应点作为有效对应点。通过PnP算法计算CAD模型的初始位姿参数，并计算初始注册误差e。若e≤10(像素单位)则视为注册成功；反之则进行下一个链状特征的匹配。最终，图5中的目标零件与CAD模型之间的2D-3D对应点集合如表3所示。
表3匹配获得的2D-3D对应点集合
(4)将CAD模型按照初始位姿参数绘制到真实场景图像中。但是投影模型与图像中的目标零件之间可能存在一定的重投影误差，可通过位姿优化算法对三维注册结果进行完善。在投影绘制过程中，利用OpenGL中的z-buffer深度测试算法对线框模型进行消隐处理，使其更具真实感。“夹具”零件的最终三维注册结果如图7(a)所示。
以上结合附图详细阐述了本发明的基本原理和主要特征，采用上述发明，可以有效地对表面无纹理的机械零件实现三维注册。虽然上述实施例中仅对“夹具”零件实现了三维注册，但是本发明也可以实现对其他具有较多直线特征的机械零件实现三维注册，并在一定程度上能够抵抗局部遮挡的干扰，如图7(b)(c)(d)所示。另外，本发明的链状特征能够同时构建二维图像和三维模型之间的多组2D-3D对应点，并且在特征匹配阶段引入了动态权重进行特征向量之间的相似距离计算，从而快速淘汰形状结构差异较大的链状几何特征，在增强了注册鲁棒性的同时也提高了三维注册效率。本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上进行的改动都是本发明的保护范围。

Claims (7)

1.一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于所述方法包括：
在离线阶段：
(1)针对机械零件的实物产品，建立一个计算机物理几何模型作为CAD模型，并且获得已知的CAD模型的三维特征点集，从CAD模型的不同视角通过虚拟相机拍摄获得各个关键帧图像；
(2)采用图像预处理与直线方向的确定方法对关键帧图像进行处理，获得有向直线段集合；
(3)采用特征直线的筛选及二维特征点的确定方法对关键帧图像的有向直线段集合进行处理获得特征直线；
(4)根据特征直线及各有向直线段的约束特征，针对关键帧图像的特征直线采用链状特征的构造方法处理获得其链状特征；
(5)采用链状特征的特征向量和标签向量构建方式处理获得关键帧图像所提取链状特征的特征向量和标签向量；
在在线阶段：
(6)对机械零件的实物产品采用相机进行拍摄获得实物图像，并通过步骤(2)、(3)、(4)相同的处理方法对实物图像进行处理，获得实物图像的所有链状特征，然后采用步骤(5)中链状特征的特征向量构建方式获得实物图像所提取链状特征的特征向量；
(7)依据链状特征的形状结构，采用一种特征向量之间的相似距离计算方法，对实物图像提取的链状特征与关键帧图像提取的链状特征进行两个特征之间的匹配。
2.根据权利要求1所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(2)中，图像预处理与直线方向的确定方法具体步骤为：
(2.1)提取图像中的感兴趣区域并获得机械零件在整张图像中的位置，并计算出感兴趣区域的形心C；
(2.2)利用LSD直线检测算法提取感兴趣区域中的所有直线段，采用以下公式确定每条直线段s的方向sign(s)：
其中，P1 I,分别表示直线段s的两个端点，n为垂直于图像平面向外的单位向量，CP1 I,分别表示从感兴趣区域的形心C出发分别到直线段s的两个端点P1 I,的向量；
(2.3)合并断裂直线段和删除孤立直线段。
3.根据权利要求2所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(2.3)中，合并断裂直线段具体是将直线段的方向之间的夹角小于夹角阈值且首点和尾点之间的间距小于间距阈值的每两条直线段进行合并为一条直线段。
4.根据权利要求1所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(3)中，特征直线的筛选及二维特征点的确定方法具体过程为：对于关键帧图像，以有向直线段l的起点作为二维点 分别表示二维点在图像坐标系中的坐标，通过反投影方法求得二维点在CAD模型坐标系上的三维空间点 分别表示空间点在模型坐标系中的坐标，然后进行以下判断：若在CAD模型的三维特征点集中存在一个点nM为三维特征点的总个数，满足εR为两个三维点之间的距离阈值，则将该有向直线段l作为关键帧图像的一条特征直线，点Pl K、点分别作为该有向直线l对应的二维特征点和三维特征点；若在CAD模型的三维特征点集中不存在一个点则该有向直线段l不作为特征直线；对于实物图像，长度大于20个像素单位的有向直线段l均作为特征直线，各特征直线的起点作为二维特征点。
5.根据权利要求1所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(4)中，链状特征的构造方法具体步骤如下：
(4.1)对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向；
(4.2)分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条有向直线链；
(4.3)将不少于4节点的有向直线链作为一个链状特征F。
6.根据权利要求1所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(5)中，链状特征的特征向量和标签向量构建方式具体过程如下：
(5.1)对于关键帧图像和实物图像中的每条链状特征F，采用以下公式计算链状特征F的根节点lr对应的向量lr和除了根节点lr以外的其他有向直线段l′对应的向量l′之间的夹角α：
由链状特征F获得ns-1个夹角值，ns为链状特征F中有向直线段的总数量；
(5.2)将各夹角按照形式构成一个2(m-1)维的特征向量vf，其中m表示每棵二叉树的最大深度，和分别为链状特征F在正、负方向上第i条有向直线段与特征直线之间的夹角，若链状特征F中对应位置没有有向直线段，设置或
(5.3)对于关键帧图像中的每条链状特征，还构建与特征向量对应的标签向量，建立每个链状特征中各条有向直线段的起点与CAD模型中三维特征点之间的映射关系，获取链状特征中各二维特征点对应的三维特征点的序号，将按照形式构成一个2m-1维的标签向量vl，其中，λ0为特征直线的二维特征点对应的三维特征点序号，和分别为链状特征F在正、负方向上第i条有向直线段的二维特征点对应的三维特征点序号；若链状特征F中对应位置没有有向直线段，则对应的三维特征点序号设置为
7.根据权利要求1所述的一种针对机械零件三维注册的链状特征提取匹配方法，其特征在于：所述步骤(7)中，针对关键帧图像和实物图像中对应的两个链状特征，采用以下方式进行相似距离计算，进行特征匹配：
以两个链状特征的特征向量va[a1,a2,...,a2(m-1)]和特征向量vb[b1,b2,...,b2(m-1)]为例说明，相似距离d(va,vb)计算如下：
其中，ωi为两个链状特征对应的特征向量第i维元素之间相似度si的权重值，θ表示两个夹角之间差值的阈值，ai,bi分别是特征向量va和特征向量vb在第i维的夹角值，a1,a2,...,a2(m-1)表示特征向量va的各个元素，b1,b2,...,b2(m-1)表示特征向量vb的各个元素。
CN201910549432.0A 2019-06-24 2019-06-24 一种针对机械零件三维注册的链状特征提取匹配方法 Active CN110390137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549432.0A CN110390137B (zh) 2019-06-24 2019-06-24 一种针对机械零件三维注册的链状特征提取匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910549432.0A CN110390137B (zh) 2019-06-24 2019-06-24 一种针对机械零件三维注册的链状特征提取匹配方法

Publications (2)

Publication Number Publication Date
CN110390137A true CN110390137A (zh) 2019-10-29
CN110390137B CN110390137B (zh) 2020-12-08

Family

ID=68285862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549432.0A Active CN110390137B (zh) 2019-06-24 2019-06-24 一种针对机械零件三维注册的链状特征提取匹配方法

Country Status (1)

Country Link
CN (1) CN110390137B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709917A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 基于标注的形状匹配算法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统
CN112734945A (zh) * 2021-03-30 2021-04-30 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、系统及应用
US20210304438A1 (en) * 2020-09-25 2021-09-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Object pose obtaining method, and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102554445A (zh) * 2010-12-22 2012-07-11 沈阳黎明航空发动机(集团)有限责任公司 带锁底结构零件电子束焊接根部链状气孔的控制方法
CN102706274A (zh) * 2012-04-25 2012-10-03 复旦大学 工业结构化场景中机器视觉精确定位机械零件的系统
US9240984B2 (en) * 2011-07-25 2016-01-19 Qterics, Inc. Configuring an electronic device based on a transaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102554445A (zh) * 2010-12-22 2012-07-11 沈阳黎明航空发动机(集团)有限责任公司 带锁底结构零件电子束焊接根部链状气孔的控制方法
US9240984B2 (en) * 2011-07-25 2016-01-19 Qterics, Inc. Configuring an electronic device based on a transaction
CN102706274A (zh) * 2012-04-25 2012-10-03 复旦大学 工业结构化场景中机器视觉精确定位机械零件的系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709917A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 基于标注的形状匹配算法
CN111709917B (zh) * 2020-06-01 2023-08-22 深圳市深视创新科技有限公司 基于标注的形状匹配算法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统
US20210304438A1 (en) * 2020-09-25 2021-09-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Object pose obtaining method, and electronic device
US11887388B2 (en) * 2020-09-25 2024-01-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Object pose obtaining method, and electronic device
CN112734945A (zh) * 2021-03-30 2021-04-30 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、系统及应用
CN112734945B (zh) * 2021-03-30 2021-08-17 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、系统及应用

Also Published As

Publication number Publication date
CN110390137B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN110390137B (zh) 一种针对机械零件三维注册的链状特征提取匹配方法
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
EP1986153B1 (en) Method and system for determining objects poses from range images
Varanasi et al. Temporal surface tracking using mesh evolution
Stamos et al. Integration of range and image sensing for photo-realistic 3D modeling
US9154773B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN112767531B (zh) 面向移动端的虚拟试衣的人体模型脸部分区域建模方法
Wang et al. Robust 3D reconstruction with an RGB-D camera
CN111951381B (zh) 一种基于单张人脸图片的三维人脸重建系统
Zheng et al. A novel projective-consistent plane based image stitching method
WO2021009062A1 (en) Methods of estimating a bare body shape from a concealed scan of the body
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN112613123A (zh) 一种飞机管路ar三维注册方法及装置
CN113095371A (zh) 一种面向三维重建的特征点匹配方法及系统
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Cushen et al. Markerless real-time garment retexturing from monocular 3d reconstruction
Yamazaki et al. Coplanar shadowgrams for acquiring visual hulls of intricate objects
CN114742969A (zh) 基于空间图像的三维服装重建方法
CN105405147B (zh) 一种基于融合lbp和灰度特征描述的直线段匹配方法
Pham et al. Feature descriptors: A review of multiple cues approaches
Ling et al. Aircraft pose estimation based on mathematical morphological algorithm and Radon transform
CN112434712A (zh) 一种基于尺度和角度自适应选取的局部二值模式纹理图像特征提取方法及系统
Cao et al. Tracking registration algorithm for augmented reality based on random fern
Chai et al. Feature tracking and synchronous scene generation with a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant