CN109886124B - 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 - Google Patents

一种基于线束描述子图像匹配的无纹理金属零件抓取方法 Download PDF

Info

Publication number
CN109886124B
CN109886124B CN201910064184.0A CN201910064184A CN109886124B CN 109886124 B CN109886124 B CN 109886124B CN 201910064184 A CN201910064184 A CN 201910064184A CN 109886124 B CN109886124 B CN 109886124B
Authority
CN
China
Prior art keywords
line segment
image
metal part
descriptor
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910064184.0A
Other languages
English (en)
Other versions
CN109886124A (zh
Inventor
何再兴
赵昕玥
江智伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910064184.0A priority Critical patent/CN109886124B/zh
Publication of CN109886124A publication Critical patent/CN109886124A/zh
Priority to PCT/CN2019/128936 priority patent/WO2020151454A1/zh
Priority to US17/276,814 priority patent/US11392787B2/en
Application granted granted Critical
Publication of CN109886124B publication Critical patent/CN109886124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0033—Gripping heads and other end effectors with gripping surfaces having special shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于线束描述子图像匹配的无纹理金属零件抓取方法。拍摄获得实际图像和CAD模板图像，提取输入零件图像的前景部分，计算前景图像的协方差矩阵并建立临时坐标系的方向，将线段的方向设定为指向临时坐标系的第一或第二象限；利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；采用透视n线算法进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。本发明能够对直线段进行正确匹配，计算得到精确的零件位姿，进而能够成功完成抓取，可满足实际应用的需求。

Description

一种基于线束描述子图像匹配的无纹理金属零件抓取方法
技术领域
本发明涉及计算机视觉及工业自动化技术领域，具体涉及一种基于对比度不变线束描述子图像匹配的无纹理金属零件抓取方法。
背景技术
无纹理金属零件的抓取一直以来都是计算机视觉及工业自动化领域的一个重要研究方向。在很多应用场景下都需要对无纹理金属零件的抓取，如对零件进行识别等。
对于纹理物体，最常用的方法就是提取模板和实际图像中的特征点(如SIFT或SURF)进行匹配之后计算位姿并抓取，效率高且准确。但无纹理金属零件无法提取有效的特征点，因此该类方法不适用。
目前主要的基于匹配的无纹理零件抓取方法主要是提取实际零件图片中的零件轮廓，将此轮廓与模板轮廓进行比较，取最相似的模板作为匹配正确的模板，以该模板对应的位姿进行抓取。比较常见的匹配方法有：直接将两张轮廓图像(模板与实际图像)的对应像素进行比较；或者是提取两张轮廓图像的某些特征(如矩特征)，计算特征之间的相似程度。但这些方法都是将轮廓作为一个整体进行计算，容易受到外部的影响，计算复杂度较高且匹配正确率较低，影响最后抓取的成功率。
近年来，有学者提出了一种利用相邻直线段对无纹理物体进行匹配并抓取的方法(Bunch Of Lines Descriptor,BOLD)。这种描述匹配方法能够准确地完成图像间的直线段匹配，并且对旋转、平移和尺度变化均有鲁棒性，能够计算出满足抓取精度的结果完成抓取。但是，由于BOLD描述子需要基于梯度方向对线段进行描述，因此在图像对比度发生变化时，BOLD描述子无法进行正确地匹配，且在这种情况下会造成抓取失败。
发明内容
本发明为解决上述匹配方法的不足，提出一种基于线束描述子图像匹配的无纹理金属零件抓取方法，本发明提出了一种新的线段方向定义方法，并改进了匹配时距离函数的计算方法，使其能适应更一般的情况，满足实际应用的需求。
如图1所示，本发明的技术方案包括以下步骤：
步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；
所述的CAD模型为网格模型，例如可以为三角网格。
步骤2：使用线段检测子算法(line segment detector,LSD)对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段，设定线段处于临时坐标系的方向；
步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；
步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；
步骤5：根据匹配得到的线段对采用透视n线算法(perspective n lines，PNL)进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。
所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。
所述步骤1中，具体是：提取图像的前景部分作为前景图像，计算前景图像的协方差矩阵，进而获得协方差矩阵的两个特征值及两个特征值对应的特征向量，将较大的特征值对应的特征向量的方向作为临时坐标系的x轴正方向，另一特征向量的方向作为y轴正方向。
所述步骤2中，遍历所有线段设定线段的方向，具体为：以线段上任意一点为临时坐标系的原点建立临时坐标系，然后：若线段穿过第一象限，则线段指向临时坐标系的第一象限；若线段穿过第二象限，则线段指向临时坐标系的第二象限；若线段未穿过第一、第二象限，则线段指向临时坐标系的第一、第二象限之一。
所述步骤3中，每条线段最近邻的k条线段是根据线段中点之间的距离进行排序选择。即针对每条线段，计算该条线段和其他所有线段的中点之间的距离，选取距离最短的k条线段作为该条线段最近邻的k条线段。
一张图像中的各个线段的k选取相同，不同图像中的各个线段的k选取可以相同，可以不同。
所述步骤3中，具体是：
3.1、以两条线段si和sj作为线段与其最近邻的一条线段，计算两条线段si和sj之间距离，如图3所示，采用以下公式计算第一角度α和第二角度β，以角度α和β来描述两条线段si和sj的相对位置：
Figure GDA0002782193280000031
Figure GDA0002782193280000032
Figure GDA0002782193280000033
其中，si和sj分别表示同一幅图像中的两条线段的向量表示，向量方向由步骤2中获得的线段处于临时坐标系的方向确定；n是垂直于图像平面的单位向量，||a||代表向量a的模长，mi和mj分别表示线段si和sj的中点，tij代表从mi指向mj的向量。
3.2、对于图像的每条线段，采用步骤3.1方式获得了线段和与其相邻的k条最近邻线段之间的第一角度α和第二角度β，即每条线段的基于对比度不变线束描述子由k对第一角度α和第二角度β构成，并组成矩阵作为表示描述子。
具体实施中，可将每对第一角度α和第二角度β离散地累积到2D联合直方图中，本文中采用离散步长设为π/12，此2D联合直方图即为该线段的描述子。
所述步骤4，具体是：
4.1、实际图像和CAD模板图像的两张图像中生成线段描述子时的k值不同，分别为k1和k2，
若k1＝k2，则采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配，构成线段对：
Figure GDA0002782193280000041
其中，d表示两个描述子之间的欧式距离，
Figure GDA0002782193280000042
表示第1张图像中的线段的描述子中的第i个元素，
Figure GDA0002782193280000043
表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数；
若k1<k2，则采用以下方式处理；
首先按下式计算修正每幅图像的描述子：
Figure GDA0002782193280000044
其中，
Figure GDA0002782193280000045
代表第m张图像中的线段的第i个位置上的元素；
之后再归一化每幅图像的描述子：
Figure GDA0002782193280000046
其中，m表示是第几张图像中的线段的描述子，m为1或2。当为第1张图像时，m＝1，当为第2张图像时，m＝2。
最后采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配：
Figure GDA0002782193280000047
其中，d表示表示两个描述子之间的欧式距离，
Figure GDA0002782193280000048
表示第1张图像中的线段的描述子中的第i个元素，
Figure GDA0002782193280000049
表示表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数。
步骤4最后在实际图像中的所有线段都在CAD模板图像找到匹配的线段对后，利用RANSAC算法对所有线段对进行误匹配去除，得到最后的线段对作为线段匹配结果。
本发明的有益效果是：
1)本发明解决了在背景对比度变化的情况下无纹理金属零件的匹配错误的问题。
2)本发明推广了匹配时距离函数的计算方法，使其能适应k值不同的情况，满足实际应用的需求。
3)本发明解决了在随机光照以及零件姿态改变的情况下无法对零件进行准确匹配的问题，使用本发明可以在工业环境中更鲁棒、更准确地计算零件的位姿，从而最终大幅提高零件抓取的成功率。
附图说明
图1为本发明方法的流程图；
图2为线段方向定义示意图；
图3为描述子计算示意图；
图4为在无纹理金属零件上应用BOLD描述子后的匹配结果图；
图5为在无纹理金属零件上应用本发明后的匹配结果图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。本发明的流程图如图1所示。
本发明的具体实施例及其实施过程如下：
实施例以U形插销机械零件作为无纹理金属零件进行实施。
步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；采用grabcut算法提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；
针对实际图像和CAD模板图像，具体进行以下处理：计算输入图像的前景图像的协方差矩阵及其特征值和对应特征向量，将较大的特征值对应的特征向量的方向作为临时坐标系的x轴方向，另一特征向量的方向作为y轴的方向，如图2所示。
步骤2：使用线段检测子算法(line segment detector,LSD)对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段设定线段处于临时坐标系的方向；
如图2所示，线段s的方向被设定为指向临时坐标系的第一象限。
步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；
如图3所示，具体是：
3.1、以两条线段si和sj作为线段与其最近邻的一条线段距离，如图3所示，采用以下公式计算第一角度α和第二角度β，以角度α和β来描述两条线段si和sj的相对位置：
Figure GDA0002782193280000061
Figure GDA0002782193280000062
Figure GDA0002782193280000063
3.2、对于图像的每条线段，采用步骤3.1方式获得了线段和与其相邻的k条最近邻线段之间的第一角度α和第二角度β，即每条线段的基于对比度不变线束描述子由k对第一角度α和第二角度β构成，并组成矩阵作为表示描述子。
具体实施中，可将每对第一角度α和第二角度β离散地累积到2D联合直方图中，本文中采用离散步长设为π/12，此2D联合直方图即为该线段的描述子。
步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；
最后利用RANSAC算法对误匹配进行删除，输出的匹配结果如图5所示，匹配正确的线段均由方框框出。使用BOLD方法进行匹配的结果如图4所示，可以看出本发明方法的正确率有大幅提升。
步骤5：根据匹配得到的线段对采用透视n线算法(perspective n lines，PNL)进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：
步骤1：对于放置实际环境下的实际无纹理金属零件，采用实际物理相机对无纹理金属零件进行拍摄获得实际图像；对于计算机虚拟场景下导入的无纹理金属零件的CAD模型，采用虚拟相机对无纹理金属零件的CAD模型进行拍摄获得CAD模板图像；提取输入实际图像和CAD模板图像的前景部分，计算前景部分的协方差矩阵，并建立临时坐标系的方向；
步骤2：使用线段检测子算法对实际图像和所有CAD模板图像进行处理，提取获得实际图像和所有CAD模板图像中的棱边作为线段，针对每一幅图像遍历其中所有线段，设定线段处于临时坐标系的方向；
步骤3：在每一幅图像中，遍历所有线段，利用每条线段最近邻的k条线段与该条线段之间的角度关系建立该条线段的描述子；
步骤4：考虑实际图像和CAD模板图像的两张图像中线段的描述子的k取值不同时，对实际图像和CAD模板图像中不同线段的描述子进行匹配，获得线段对；
步骤5：根据匹配得到的线段对采用透视n线算法进行处理位姿识别，获得实际无纹理金属零件的位姿，然后将实际无纹理金属零件的位姿输入到机械臂进而抓取零件。
2.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。
3.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤1中，具体是：提取图像的前景部分作为前景图像，计算前景图像的协方差矩阵，进而获得协方差矩阵的两个特征值及两个特征值对应的特征向量，将较大的特征值对应的特征向量的方向作为临时坐标系的x轴正方向，另一特征向量的方向作为y轴正方向。
4.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤2中，遍历所有线段设定线段的方向，具体为：以线段上任意一点为临时坐标系的原点建立临时坐标系，然后：若线段穿过第一象限，则线段指向临时坐标系的第一象限；若线段穿过第二象限，则线段指向临时坐标系的第二象限；若线段未穿过第一、第二象限，则线段指向临时坐标系的第一、第二象限所在方向。
5.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤3中，每条线段最近邻的k条线段是根据线段中点之间的距离进行排序选择。
6.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤3中，具体是：
3.1、以两条线段si和sj作为线段与其最近邻的一条线段，计算两条线段si和sj之间距离，采用以下公式计算第一角度α和第二角度β，以角度α和β来描述两条线段si和sj的相对位置：
Figure FDA0002749779390000021
Figure FDA0002749779390000022
Figure FDA0002749779390000023
其中，si和sj分别表示同一幅图像中的两条线段的向量表示，向量方向由步骤2中获得的线段处于临时坐标系的方向确定；n是垂直于图像平面的单位向量，||a||代表向量a的模长，mi和mj分别表示线段si和sj的中点，tij代表从mi指向mj的向量；
3.2、对于图像的每条线段，采用步骤3.1方式获得了线段和与其相邻的k条最近邻线段之间的第一角度α和第二角度β，由k对第一角度α和第二角度β构成，并组成矩阵作为表示描述子。
7.根据权利要求1所述的一种基于线束描述子图像匹配的无纹理金属零件抓取方法，其特征在于：所述步骤4，具体是：
4.1、实际图像和CAD模板图像的两张图像中生成线段描述子时的k值不同，分别为k1和k2，
若k1＝k2，则采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配，构成线段对：
Figure FDA0002749779390000031
其中，d表示两个描述子之间的欧式距离，
Figure FDA0002749779390000032
表示第1张图像中的线段的描述子中的第i个元素，
Figure FDA0002749779390000033
表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数；
若k1<k2，则采用以下方式处理；
首先按下式计算修正每幅图像的描述子：
Figure FDA0002749779390000034
之后再归一化每幅图像的描述子：
Figure FDA0002749779390000035
其中，
Figure FDA0002749779390000039
代表第m张图像中的线段的第i个位置上的元素；
最后采用以下公式计算实际图像中一条线段的描述子和CAD模板图像中每一条线段的描述子之间的欧式距离，选取距离最近的描述子对应的两条线段，认为这两条线段匹配：
Figure FDA0002749779390000036
其中，d表示两个描述子之间的欧式距离，
Figure FDA0002749779390000037
表示第1张图像中的线段的描述子中的第i个元素，
Figure FDA0002749779390000038
表示表示第2张图像中的线段的描述子中的第i个元素，i表示描述子中元素的序数，n表示描述子中元素的总数；
步骤4最后在实际图像中的所有线段都在CAD模板图像找到匹配的线段对后，利用RANSAC算法对所有线段对进行误匹配去除，得到最后的线段对作为线段匹配结果。
CN201910064184.0A 2019-01-23 2019-01-23 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 Active CN109886124B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910064184.0A CN109886124B (zh) 2019-01-23 2019-01-23 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
PCT/CN2019/128936 WO2020151454A1 (zh) 2019-01-23 2019-12-27 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
US17/276,814 US11392787B2 (en) 2019-01-23 2019-12-27 Method for grasping texture-less metal parts based on bold image matching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910064184.0A CN109886124B (zh) 2019-01-23 2019-01-23 一种基于线束描述子图像匹配的无纹理金属零件抓取方法

Publications (2)

Publication Number Publication Date
CN109886124A CN109886124A (zh) 2019-06-14
CN109886124B true CN109886124B (zh) 2021-01-08

Family

ID=66926619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910064184.0A Active CN109886124B (zh) 2019-01-23 2019-01-23 一种基于线束描述子图像匹配的无纹理金属零件抓取方法

Country Status (3)

Country Link
US (1) US11392787B2 (zh)
CN (1) CN109886124B (zh)
WO (1) WO2020151454A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886124B (zh) * 2019-01-23 2021-01-08 浙江大学 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN110766750B (zh) * 2019-09-09 2022-04-05 浙江大学 一种基于局部轮廓的机械臂视觉伺服目标识别方法
US11772271B2 (en) 2020-01-10 2023-10-03 Mujin, Inc. Method and computing system for object recognition or object registration based on image classification
CN112288038B (zh) * 2020-01-10 2021-05-18 牧今科技 基于图像分类的物体识别或物体注册的方法及计算系统
WO2022099597A1 (zh) * 2020-11-13 2022-05-19 浙江大学 一种基于虚拟轮廓特征点的机械零件6d位姿测量方法
US11922368B1 (en) * 2020-12-11 2024-03-05 Amazon Technologies, Inc. Object classification exception handling via machine learning
CN114851206B (zh) * 2022-06-06 2024-03-29 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN108830797A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种基于仿射投影矩阵模型的直线匹配方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2946338B1 (en) * 2013-01-21 2021-04-21 Datalogic IP TECH S.r.l. Describing objects using edge-pixel-feature descriptors
CN103324948B (zh) * 2013-07-01 2016-04-27 武汉大学 一种基于线特征的低空遥感影像稳健匹配方法
US10013630B1 (en) 2014-09-26 2018-07-03 A9.Com, Inc. Detection and recognition of objects lacking textures
CN106408531A (zh) * 2016-09-09 2017-02-15 四川大学 基于gpu加速的层次化自适应三维重建方法
CN109886124B (zh) * 2019-01-23 2021-01-08 浙江大学 一种基于线束描述子图像匹配的无纹理金属零件抓取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN108830797A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种基于仿射投影矩阵模型的直线匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOLD Features to Detect Texture-less Objects;Federico Tombari;《2013 IEEE International Conference on Computer Vision》;20140303;1265-1272 *
LSD: a line segment detector;Rafael Grompone von Gioi;《Image Processing On Line》;20120331;第2卷(第4期);35-55 *
基于CAD模型的单目六自由度位姿测量;宋薇;《光学精密工程》;20160809;第24卷(第4期);882-891 *

Also Published As

Publication number Publication date
US11392787B2 (en) 2022-07-19
CN109886124A (zh) 2019-06-14
US20210271920A1 (en) 2021-09-02
WO2020151454A1 (zh) 2020-07-30

Similar Documents

Publication Publication Date Title
CN109886124B (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN111784770B (zh) 基于shot和icp算法的无序抓取中的三维姿态估计方法
He et al. Sparse template-based 6-D pose estimation of metal parts using a monocular camera
EP2081133B1 (en) System and method for deformable object recognition
CN111507908B (zh) 图像矫正处理方法、装置、存储介质及计算机设备
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
JP6612822B2 (ja) モデルを修正するためのシステムおよび方法
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
CN114092553A (zh) 基于fpfh和icp改进算法的无序抓取姿态估计方法
CN112862674A (zh) 一种基于AutoStitch算法的多图像自动拼接方法和系统
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
CN115222912A (zh) 目标位姿估计方法、装置、计算设备及存储介质
CN111047513B (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
CN115331153A (zh) 一种用于辅助前庭康复训练的姿态监测方法
CN114882108A (zh) 一种二维图像下汽车发动机盖抓取位姿的估计方法
CN113409373B (zh) 图像处理方法及相关终端、设备和存储介质
Fan et al. 3D hand skeleton model estimation from a depth image
CN116958501A (zh) 一种基于改进sift特征点算法的图像拼接系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant