CN111815706B - 面向单品类拆垛的视觉识别方法、装置、设备及介质 - Google Patents

面向单品类拆垛的视觉识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN111815706B
CN111815706B CN202010582651.1A CN202010582651A CN111815706B CN 111815706 B CN111815706 B CN 111815706B CN 202010582651 A CN202010582651 A CN 202010582651A CN 111815706 B CN111815706 B CN 111815706B
Authority
CN
China
Prior art keywords
point cloud
matching
point
workpiece
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010582651.1A
Other languages
English (en)
Other versions
CN111815706A (zh
Inventor
李城旭
高磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seizet Technology Shenzhen Co Ltd
Original Assignee
Seizet Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seizet Technology Shenzhen Co Ltd filed Critical Seizet Technology Shenzhen Co Ltd
Priority to CN202010582651.1A priority Critical patent/CN111815706B/zh
Publication of CN111815706A publication Critical patent/CN111815706A/zh
Application granted granted Critical
Publication of CN111815706B publication Critical patent/CN111815706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向单品类拆垛的视觉识别方法、装置、设备及介质，属于机器视觉领域，其中，方法的实现包括：对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；对目标点云进行边界提取，得到边界点云，其中，边界点云中仅包括轮廓点；将预设模板点云与边界点云进行3D匹配，从边界点云中分割出与预设模板点云匹配的各工件轮廓点云，其中，预设模板点云为与待拆垛对象中的各工件类型一致的轮廓点云；获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各工件位姿中的高度信息进行拆垛。本发明通过对滤波后提取边界的工件点云和模板点云进行3D轮廓匹配，减少大量平面点云的干扰，提高了匹配精度并且加快了计算速度。

Description

面向单品类拆垛的视觉识别方法、装置、设备及介质
技术领域
本发明属于机器视觉领域，更具体地，涉及一种面向单品类拆垛的视觉识别方法、装置、设备及介质。
背景技术
在工业制造和物流领域，传统的拆垛系统是基于深度学习图片识别分割的方式实现的，经济成本高，且存在一定的识别误差，难以实现准确抓取，无法适应对后续处理有精度要求的场景。和拆垛相对应的码垛场景下，要求高空间利用率，相邻物品之间间隙小，有的甚至要求紧密贴合，这同样也要求拆垛具有识别分割小间隙物品的能力。随着工业级3D相机的推广和3D视觉算法的兴起，基于3D视觉的拆垛系统有望实现高精度，低成本的要求。
现有的使用深度学习方式的拆垛系统的实现方法如图1所示，包括以下步骤：1、相机拍照，获取原始点云和图片；2、对原始点云进行滤波；3、深度学习将图片进行处理，根据灰度值差异算出工件的水平位置(x,y)和尺寸；4、根据深度学习的结果结合3D点云进行处理，得到工件的高度信息(z)，同时计算出工件的位姿(x,y,z,r,p)；5、抓取规划，对计算得到的多个工件按照特定策略(如高度z)进行排序，选取最优的可抓取工件；6、输出工件位姿，机器人获取到该位姿，运动到抓取点抓取。
上述方法的主要缺陷在于：在工程实际中，外界环境光的变化无可预测，除非搭建一个暗室，但会导致成本增加，深度学习对灰度图的质量要求比较严格，图片质量受外界环境光的影响很大，图片质量差，深度学习识别的位置和尺寸可能与实际有较大偏差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种面向单品类拆垛的视觉识别方法、装置、设备及介质，由此解决现有拆垛方式由于受外界环境光的影响，图片质量差，而导致的深度学习识别的位置和尺寸可能与实际有较大偏差的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种面向单品类拆垛的视觉识别方法，包括：
对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
对所述目标点云进行边界提取，得到边界点云，其中，所述边界点云中仅包括轮廓点；
将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，其中，所述预设模板点云为与所述待拆垛对象中的各工件类型一致的轮廓点云；
获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各所述工件位姿中的高度信息进行拆垛。
优选地，所述将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，包括：
提取所述边界点云中各点的FPFH特征，根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云；
根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云。
优选地，所述根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云，包括：
将所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，在所述边界点云中，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与所述预设模板点云初步匹配的各工件轮廓点云。
优选地，所述根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云，包括：
将初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，所述第一预设距离大于所述第二预设距离；
设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，所述第一预设匹配度小于所述第二预设匹配度。
按照本发明的另一方面，提供了一种面向单品类拆垛的视觉识别装置，包括：
预处理模块，用于对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
轮廓提取模块，用于对所述目标点云进行边界提取，得到边界点云，其中，所述边界点云中仅包括轮廓点；
匹配模块，用于将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，其中，所述预设模板点云为与所述待拆垛对象中的各工件类型一致的轮廓点云；
位姿获取模块，用于获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各所述工件位姿中的高度信息进行拆垛。
优选地，所述匹配模块包括：
第一匹配子模块，用于提取所述边界点云中各点的FPFH特征，根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云；
第二匹配子模块，用于根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云。
优选地，所述第一匹配子模块包括：
第一匹配点对获取模块，用于将所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
初步匹配子模块，用于设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，在所述边界点云中，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与所述预设模板点云初步匹配的各工件轮廓点云。
优选地，所述第二匹配子模块包括：
第二匹配点对获取模块，用于将初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，所述第一预设距离大于所述第二预设距离；
最终匹配子模块，用于设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，所述第一预设匹配度小于所述第二预设匹配度。
按照本发明的另一方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明通过对滤波后提取边界的工件点云和模板点云进行3D轮廓匹配，减少大量平面点云的干扰，提高了匹配精度并且加快了计算速度，相比于传统2D加深度学习的方式，采集高精度的3D点云比图片质量稳定，可以保证在环境光变化情况下稳定准确地分割工件，提升识别稳定性的同时也提高了识别精度。
附图说明
图1是本发明实施例提供的一种使用深度学习方式的拆垛方法的流程示意图；
图2是本发明实施例提供的一种面向单品类拆垛的视觉识别方法的流程示意图；
图3是本发明实施例提供的另一种面向单品类拆垛的视觉识别方法的流程示意图；
图4是本发明实施例提供的一种纸箱拆垛示意图；
图5是本发明实施例提供的一种使用深度学习方式的分割效果示意图；
图6是本发明实施例提供的一种待拆垛对象的原始点云；
图7是本发明实施例提供的一种边界提取后的结果示意图；
图8是本发明实施例提供的一种初步匹配后的结果示意图；
图9是本发明实施例提供的一种最终匹配后的结果示意图；
图10是本发明实施例提供的一种装置结构示意图；
图11是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明实例中，“第一”、“第二”等是用于区别不同的对象，而不必用于描述特定的顺序或先后次序。
实施例一
如图2所示是本发明实施例提供的一种面向单品类拆垛的视觉识别方法的流程示意图，在图2所示的方法中包括以下步骤：
S1：对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
S2：对目标点云进行边界提取，得到边界点云，其中，边界点云中仅包括轮廓点；
S3：将预设模板点云与边界点云进行3D匹配，从边界点云中分割出与预设模板点云匹配的各工件轮廓点云，其中，预设模板点云为与待拆垛对象中的各工件类型一致的轮廓点云；
在本发明实施例中，步骤S3可以通过以下方式实现：
S3.1：提取边界点云中各点的快速点特征直方图(Fast Point FeatureHistograms，FPFH)特征，根据边界点云中各点的FPFH特征与预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各第一匹配点对确定与预设模板点云初步匹配的各工件轮廓点云；
S3.2：根据初步匹配得到的各工件轮廓点云与预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各第二匹配点对确定与预设模板点云最终匹配的各工件轮廓点云。
在本发明实施例中，由于预设模板点云为与待拆垛对象中的各工件类型一致的轮廓点云，通过步骤S3.1的初次匹配，可以找出与预设模板点云外形结构大致一致的若干个工件轮廓点云。
具体地，步骤S3.1可以通过以下方式实现：
S3.1.1：将边界点云中各点的FPFH特征与预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
其中，第一预设距离可以根据实际需要确定，本发明实施例不做唯一性限定。
其中，点的FPFH特征值可以通过以下方式计算：
已知点云P中有n个点，那么它的点特征直方图(Point Feature Histograms，PFH)的理论计算复杂度是O(nk^2)其中，k是点云P中每个点p计算特征向量时考虑的邻域数量。对于实时应用或接近实时应用中，密集点云的点特征直方图PFH的计算，是一个主要的性能瓶颈。
在本发明实施例中，主要采用PFH计算方式的简化形式，即快速点特征直方图FPFH，FPFH把算法的计算复杂度降低到了O(nk)，但是仍然保留了PFH大部分的识别特性，具体实现方式为：
第一步：对于每一个查询点Pq，计算这个点和它的邻域点之间的一个元组pk，其中，元组的计算方式可以使用PFH中的方式，将第一步结果称之为简化的点特征直方图(Simple Point Feature Histograms，SPFH)；
第二步：重新确定每个点的k邻域，使用邻近的SPFH值来计算查询点Pq的最终直方图FPFH，如下所示：
其中，权重w在一些给定的度量空间中，表示查询点和其k领域邻近点之间的距离，因此可用来评定一对点，然而也可以用另一种度量来表示，本发明实施例不做唯一性限定。因此，对于一个已知查询点，采用本实施例的方法首先只利用查询点和它邻域点之间的距离，来估计它的SPFH值，很明显比PFH的标准计算少了邻域点之间的互联。点云数据集中的所有点都要执行这一计算获取SPFH，接下来使用它的邻近点的SPFH值和查询点的SPFH值重新计算权重，从而得到查询点的最终FPFH值。
S3.1.2：设置待拆垛对象中各工件半径为实际工件最大尺寸的一半，在边界点云中，若沿着工件半径长度上的点与预设模板点云中的点满足第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与预设模板点云初步匹配的各工件轮廓点云。
在本发明实施例中，通过匹配半径长度上的点可以初步确定出一个工件，通过步骤S3.1.2可以确定出若干个工件轮廓点云，并且找出的初步匹配的各工件轮廓点云中的点与预设模板点云中与之匹配的点均满足第一匹配点对的要求。
进一步地，步骤S3.2可以通过以下方式实现：
S3.2.1：将初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，第一预设距离大于第二预设距离；
在本发明实施例中，第二预设距离可以根据实际需要确定，且第二预设距离小于第一预设距离，可以实现更加精确的匹配。
通过步骤S3.2.1对由步骤S3.1.2初步匹配的各工件轮廓点云中的点与预设模板点云中与之匹配的点之间的FPFH特征距离的进一步判断，可以删选出更加匹配的点对。
S3.2.2：设置待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与预设模板点云中的点满足第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，第一预设匹配度小于第二预设匹配度。
S4：获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各工件位姿中的高度信息进行拆垛。
本发明实施例通过对滤波后提取边界的工件点云和模板点云进行3D轮廓匹配，减少大量平面点云的干扰，提高了匹配精度并且加快了计算速度，相比于传统2D加深度学习的方式，采集高精度的3D点云比图片质量稳定，可以保证在环境光变化情况下稳定准确地分割工件，提升识别稳定性的同时也提高了识别精度。
实施例二
如图3所示是本发明实施例提供的另一种面向单品类拆垛的视觉识别方法的流程示意图，包括以下步骤：
(1)获取待拆垛对象的原始3D点云，设待拆垛对象的原始3D点云为P0；
在本发明实施例中，可以通过3D相机获取待拆垛对象的原始3D点云。
(2)对步骤(1)中的待拆垛对象的原始3D点云P0进行初步滤波，得到滤波后的点云P1；
在本发明实施例中，可以使用PassThrough通道滤波器对步骤(1)中的待拆垛对象的原始3D点云P0进行滤波，还可以选用其它滤波方式，本发明实施例不做唯一性限定。
(3)对步骤(2)得到的点云P1进行下采样，得到采样后的点云P2；
在本发明实施例中，可以使用VoxelGrid下采样方法对步骤(2)得到的点云P1进行下采样。
(4)对采样后的点云P2进行边界提取，得到提取边界后的点云P3，其中，点云P3中仅包括轮廓边界点；
在本发明实施例中，可以使用PCL点云库Boundary工具对采样后的点云P2进行边界提取。
(5)遍历P3点云中的点{V1,V2,…Vn}，并计算每个点Vi的FPFH特征，预设模板点云集合为{M1,M2,…Mm},模板点云中点的FPFH特征已预先算好，计算P3中每个点Vi与模板点云中每个点Mj的特征距离Dij，设置匹配点允许最大距离Dmax：如5mm，若Dij小于等于Dmax，则这两个点可当作重合点对，若Dij大于Dmax，则剔除点Vi，设置工件半径为实际箱子最大尺寸的一半，在边界点云P3中，若沿着工件半径长度上的点与预设模板点云中的点满足第一匹配点对要求的点的数量大于第一预设匹配度要求，则可以确定出一个与预设模板点云初步匹配的工件轮廓点云，设置识别的最大工件数，当算完P3点云中的所有点或已经识别到的工件数达到最大工件数，停止计算，得到所有初步匹配的工件轮廓点云；
其中，匹配度的计算方式为：沿着工件半径长度上的点与预设模板点云中的点满足第一匹配点对要求的点的数量除以沿着工件半径上的所有点的数量即为匹配度。比如，若工件半径上有100个点，最后匹配出来有50个点满足第一匹配点对要求，那么匹配度就是50/100＝50％。
(6)将步骤(5)得到的各工件轮廓点云与模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，Dmax大于第二预设距离，设置工件半径为实际箱子最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与预设模板点云中的点满足第二匹配点对的要求的点的数量大于第一预设匹配度要求，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，第一预设匹配度要求小于第二预设匹配度要求；然后对于符合第二预设匹配度要求的点对，求出匹配度最小即点对距离最近的点对，根据该点对求出一个刚性变换矩阵。
(7)根据步骤(6)中匹配点对之间的刚性变换矩阵及工件半径计算出每个最终匹配的工件轮廓点云在相机坐标系下对应的工件位姿；
其中，工件位姿包括：(x,y,z,r,p,λ)，x表示工件原点离相机坐标系原点的x方向的距离，y表示工件原点离相机坐标系原点的y方向的距离，z表示工件原点离相机坐标系原点的z方向的距离，r表示工件原点绕相机坐标系x轴的转角(弧度)，p表示工件原点绕相机坐标系y轴的转角(弧度)，λ表示工件原点绕相机坐标系z轴的转角(弧度)。
其中，可以通过以下方式获取工件位姿：
步骤(6)中算得一个刚性变化矩阵，得到场景点云中识别到的工件的位置，根据模板点云的预先定义的原点，即可确定工件的原点即工件位姿。
(8)将步骤(7)得到的各工件位姿转换到机器人坐标系下的工件位姿，并根据工件位姿中的高度信息，从上往下进行拆垛。
以下结合具体实例对本发明方法及传统的识别方法进行对比说明。
以图4所示的纸箱拆垛为例，先采用PassThrough通道滤波器和VoxelGrid下采样(分辨率1mm)方式进行滤波，再采用轴对齐矩形边界框(Axially Aligned Bounding Box,AABB)深度学习工具识别进行图片处理。由于环境光和封箱胶带的影响，如图5所示的深度学习分割的效果和实际存在差别，耗时见表1：
表1
算法功能 获取点云 滤波 深度学习 3D点云处理 抓取规划
耗时(ms) 800 243 100 268 70
以图6所示的工件原始点云为例，图6中箱子间隙2mm，初步滤波后提取边界，提取边界的结果如图7所示；再经过初步匹配，可初步识别6个工件，如图8所示；在经过第二次匹配得到的最终匹配结果如图9所示；采用本发明方法的耗时见表2。通过本发明所述方法，实现了工件点云噪点去除、边界提取，减少点云计算量的同时也减少了大量平面点云的干扰，进一步地提高了匹配准确性和大幅降低工件识别时间。
表2
流程 点云获取 滤波 提取边界 初步匹配 再次匹配
耗时(ms) 800 235 30 427 366
本发明实施例通过对滤波后提取边界的工件点云和模板点云进行3D轮廓匹配，减少大量平面点云的干扰，提高了匹配精度并且加快了计算速度，相比于传统2D加深度学习的方式，采集高精度的3D点云比图片质量稳定，可以保证在环境光变化情况下稳定准确地分割工件，提升识别稳定性的同时也提高了识别精度。
实施例三
如图10所示是本发明实施例提供的一种面向单品类拆垛的视觉识别装置结构示意图，包括：
预处理模块101，用于对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
轮廓提取模块102，用于对目标点云进行边界提取，得到边界点云，其中，边界点云中仅包括轮廓点；
匹配模块103，用于将预设模板点云与边界点云进行3D匹配，从边界点云中分割出与预设模板点云匹配的各工件轮廓点云，其中，预设模板点云为与待拆垛对象中的各工件类型一致的轮廓点云；
位姿获取模块104，用于获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各工件位姿中的高度信息进行拆垛。
作为一优选方案，上述匹配模块103包括：
第一匹配子模块，用于提取边界点云中各点的FPFH特征，根据边界点云中各点的FPFH特征与预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各第一匹配点对确定与预设模板点云初步匹配的各工件轮廓点云；
第二匹配子模块，用于根据初步匹配得到的各工件轮廓点云与预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各第二匹配点对确定与预设模板点云最终匹配的各工件轮廓点云。
更进一步的，上述第一匹配子模块包括：
第一匹配点对获取模块，用于将边界点云中各点的FPFH特征与预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
初步匹配子模块，用于设置待拆垛对象中各工件半径为实际工件最大尺寸的一半，在边界点云中，若沿着工件半径长度上的点与预设模板点云中的点满足第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与预设模板点云初步匹配的各工件轮廓点云。
更进一步的，上述第二匹配子模块包括：
第二匹配点对获取模块，用于将初步匹配得到的各工件轮廓点云与预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，第一预设距离大于第二预设距离；
最终匹配子模块，用于设置待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与预设模板点云中的点满足第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，第一预设匹配度小于第二预设匹配度。
本发明实施例通过对滤波后提取边界的工件点云和模板点云进行3D轮廓匹配，减少大量平面点云的干扰，提高了匹配精度并且加快了计算速度，相比于传统2D加深度学习的方式，采集高精度的3D点云比图片质量稳定，可以保证在环境光变化情况下稳定准确地分割工件，提升识别稳定性的同时也提高了识别精度。
实施例四
如图11所示是本发明实施例提供的一种计算机设备的结构示意图，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图10所示。需要指出的是，图10仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如方法实施例中的面向单品类拆垛的视觉识别装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行面向单品类拆垛的视觉识别装置，以实现方法实施例中的面向单品类拆垛的视觉识别方法。
实施例五
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储面向单品类拆垛的视觉识别装置，被处理器执行时实现方法实施例的面向单品类拆垛的视觉识别方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向单品类拆垛的视觉识别方法，其特征在于，包括：
对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
对所述目标点云进行边界提取，得到边界点云，其中，所述边界点云中仅包括轮廓点；
将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，其中，所述预设模板点云为与所述待拆垛对象中的各工件类型一致的轮廓点云；
获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各所述工件位姿中的高度信息进行拆垛；
所述将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，包括：
提取所述边界点云中各点的FPFH特征，根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云；
根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云；
所述根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云，包括：
将所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，在所述边界点云中，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与所述预设模板点云初步匹配的各工件轮廓点云。
2.根据权利要求1所述的方法，其特征在于，所述根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云，包括：
将初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，所述第一预设距离大于所述第二预设距离；
设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，所述第一预设匹配度小于所述第二预设匹配度。
3.一种面向单品类拆垛的视觉识别装置，其特征在于，包括：
预处理模块，用于对待拆垛对象的原始3D点云进行滤波和下采样后得到目标点云；
轮廓提取模块，用于对所述目标点云进行边界提取，得到边界点云，其中，所述边界点云中仅包括轮廓点；
匹配模块，用于将预设模板点云与所述边界点云进行3D匹配，从所述边界点云中分割出与所述预设模板点云匹配的各工件轮廓点云，其中，所述预设模板点云为与所述待拆垛对象中的各工件类型一致的轮廓点云；
位姿获取模块，用于获取匹配得到的各工件轮廓点云对应的工件位姿，以根据各所述工件位姿中的高度信息进行拆垛；
所述匹配模块包括：
第一匹配子模块，用于提取所述边界点云中各点的FPFH特征，根据所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离确定第一匹配点对，根据各所述第一匹配点对确定与所述预设模板点云初步匹配的各工件轮廓点云；
第二匹配子模块，用于根据初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离确定第二匹配点对，根据各所述第二匹配点对确定与所述预设模板点云最终匹配的各工件轮廓点云；
所述第一匹配子模块包括：
第一匹配点对获取模块，用于将所述边界点云中各点的FPFH特征与所述预设模板点云中各点的FPFH特征之间的特征距离小于等于第一预设距离的点对作为第一匹配点对；
初步匹配子模块，用于设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，在所述边界点云中，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第一匹配点对要求的点的数量大于第一预设匹配度，则确定出一个与所述预设模板点云初步匹配的各工件轮廓点云。
4.根据权利要求3所述的装置，其特征在于，所述第二匹配子模块包括：
第二匹配点对获取模块，用于将初步匹配得到的各工件轮廓点云与所述预设模板点云的匹配点对之间的FPFH特征距离小于等于第二预设距离的点对作为第二匹配点对，其中，所述第一预设距离大于所述第二预设距离；
最终匹配子模块，用于设置所述待拆垛对象中各工件半径为实际工件最大尺寸的一半，对于任一初步匹配得到的工件轮廓点云，若沿着工件半径长度上的点与所述预设模板点云中的点满足所述第二匹配点对要求的点的数量大于第二预设匹配度，则将该初步匹配得到的工件轮廓点云作为最终匹配的工件轮廓点云，其中，所述第一预设匹配度小于所述第二预设匹配度。
5.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至2任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至2任一项所述方法的步骤。
CN202010582651.1A 2020-06-23 2020-06-23 面向单品类拆垛的视觉识别方法、装置、设备及介质 Active CN111815706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010582651.1A CN111815706B (zh) 2020-06-23 2020-06-23 面向单品类拆垛的视觉识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010582651.1A CN111815706B (zh) 2020-06-23 2020-06-23 面向单品类拆垛的视觉识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111815706A CN111815706A (zh) 2020-10-23
CN111815706B true CN111815706B (zh) 2023-10-27

Family

ID=72845540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010582651.1A Active CN111815706B (zh) 2020-06-23 2020-06-23 面向单品类拆垛的视觉识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111815706B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907668B (zh) * 2021-02-26 2024-01-30 梅卡曼德（北京）机器人科技有限公司 垛型中组垛箱体的识别方法、装置及机器人
CN112818930B (zh) * 2021-02-26 2023-12-05 梅卡曼德（北京）机器人科技有限公司 一种堆垛箱体的识别方法及抓取位姿的确定方法
CN112967368A (zh) * 2021-04-20 2021-06-15 梅卡曼德（北京）机器人科技有限公司 基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质
CN113344769B (zh) * 2021-04-20 2024-06-14 梅卡曼德（北京）机器人科技有限公司 基于机器视觉的物品3d图像信息获取方法、装置、介质
CN113284178B (zh) * 2021-06-11 2024-04-09 梅卡曼德（北京）机器人科技有限公司 物体码垛方法、装置、计算设备及计算机存储介质
CN113418525A (zh) * 2021-07-29 2021-09-21 中国工程物理研究院应用电子学研究所 一种基于激光雷达成像的自主定位装置及定位方法
CN114119750A (zh) * 2021-11-25 2022-03-01 上海库灵科技有限公司 用于机械臂抓取的物体三维空间位姿识别方法和装置
CN114399761B (zh) * 2021-12-29 2024-06-14 国能铁路装备有限责任公司 转向架的叠加部件数量识别方法、装置和系统
CN114049355B (zh) * 2022-01-14 2022-04-19 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、系统和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369161A (zh) * 2017-07-19 2017-11-21 无锡信捷电气股份有限公司 一种基于改进欧式聚类的散乱工件点云分割方法
CN108571967A (zh) * 2017-03-13 2018-09-25 深圳市朗驰欣创科技股份有限公司 一种定位方法和装置
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN109801316A (zh) * 2018-12-19 2019-05-24 中国农业大学 一种果树树冠三维点云自动化配准方法及重构方法
CN109978829A (zh) * 2019-02-26 2019-07-05 深圳市华汉伟业科技有限公司 一种待检测对象的检测方法及其系统
CN110264481A (zh) * 2019-05-07 2019-09-20 熵智科技(深圳)有限公司 一种箱体类点云分割方法与装置
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111311650A (zh) * 2020-01-20 2020-06-19 南方电网数字电网研究院有限公司 一种点云数据的配准方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108571967A (zh) * 2017-03-13 2018-09-25 深圳市朗驰欣创科技股份有限公司 一种定位方法和装置
CN107369161A (zh) * 2017-07-19 2017-11-21 无锡信捷电气股份有限公司 一种基于改进欧式聚类的散乱工件点云分割方法
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109801316A (zh) * 2018-12-19 2019-05-24 中国农业大学 一种果树树冠三维点云自动化配准方法及重构方法
CN109978829A (zh) * 2019-02-26 2019-07-05 深圳市华汉伟业科技有限公司 一种待检测对象的检测方法及其系统
CN110264481A (zh) * 2019-05-07 2019-09-20 熵智科技(深圳)有限公司 一种箱体类点云分割方法与装置
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111311650A (zh) * 2020-01-20 2020-06-19 南方电网数字电网研究院有限公司 一种点云数据的配准方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Justin Huang 等.Flexible user specification of perceptual landmarks for robot manipulation.《2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》.2017,全文. *
余洪山 等.面向室内移动机器人的改进3D-NDT点云配准算法.《仪器仪表学报》.2019,第40卷(第9期),全文. *
郑晶怡 等.基于形状先验模型的平面型工件抓取位姿检测.《机器人》.2017,(第1期),全文. *

Also Published As

Publication number Publication date
CN111815706A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111815706B (zh) 面向单品类拆垛的视觉识别方法、装置、设备及介质
CN114170279B (zh) 一种基于激光扫描的点云配准方法
Choi et al. 3D pose estimation of daily objects using an RGB-D camera
CA2535828C (en) Computer-vision system for classification and spatial localization of bounded 3d-objects
CN111598946B (zh) 一种物体位姿测量方法、装置及存储介质
CN113034600B (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN111199562A (zh) 用于在机器人拣选时快速物体检测的系统和方法
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
CN113034593A (zh) 6d位姿标注方法、系统及存储介质
CN111553946A (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN113487633A (zh) 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN113362385A (zh) 一种基于深度图像的货物体积测量方法及设备
CN105405122A (zh) 一种基于数据平稳性的圆检测方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN113128346B (zh) 起重机施工现场的目标识别方法、系统、装置及存储介质
CN111445401B (zh) 圆柱棒料无序分拣的视觉识别方法、装置、设备及介质
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
Patoommakesorn et al. The 3d edge reconstruction from 2d image by using correlation based algorithm
Liu et al. An efficient edge-feature constraint visual SLAM
CN110738268A (zh) 一种基于sift和ddis的智能立体仓库货物自动识别方法
Sheng et al. Image segmentation and object measurement based on stereo vision
CN116630379A (zh) 基于网格特征描述的堆叠工件遮挡点云配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant