CN117351213A - 基于3d视觉的箱体分割定位方法及系统 - Google Patents
基于3d视觉的箱体分割定位方法及系统 Download PDFInfo
- Publication number
- CN117351213A CN117351213A CN202311656910.0A CN202311656910A CN117351213A CN 117351213 A CN117351213 A CN 117351213A CN 202311656910 A CN202311656910 A CN 202311656910A CN 117351213 A CN117351213 A CN 117351213A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- original
- dimensional
- image
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 2
- 102000000591 Tight Junction Proteins Human genes 0.000 description 1
- 108010002321 Tight Junction Proteins Proteins 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000001578 tight junction Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器人抓取技术领域，公开了一种基于3D视觉的箱体分割定位方法及系统，该方法包括：通过3D视觉相机获取箱体范围的原始三维点云图像，通过阈值分割获取多个聚类；将原始三维点云图像投影到二维图像上，通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值；将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。本发明能够快速获取箱体的精确分割定位结果。
Description
技术领域
本发明涉及机器人抓取技术领域，尤其涉及一种基于3D视觉的箱体分割定位方法及系统。
背景技术
在机器人无序抓取、自动拆垛领域，箱体拆垛是一个经典问题。其难点在于，在箱体紧密摆放，且无法预先得知箱体布局时，如何准确定位到箱体抓取中心。
近年来，随着3D视觉技术的发展，工业级3D相机的逐步成熟，基于3D视觉引导的拆垛、上料算法逐渐应用到工业产线上。自动引导拆垛的使用，大大提高了生产线的柔性和生产效率。
在已有的自动拆垛方案中，存在使用3D传感器进行扫描,并获取箱体坐标的方案:
例如,申请号为CN201910613517.0的视觉方案，依赖灰度图的跳变寻找箱体的边缘，进行目标分割。然而此方案仅适用于纯色的箱体，对箱体的颜色和纹理变化非常敏感，例如在箱体贴胶带或箱体绑满扎带，又或者箱体内部花纹复杂时，很容易因为拟合的错误导致误识别。
例如申请号为CN202110122401.4，CN202010316454.5，CN202010159834.2的方案，在分割定位时使用了基于神经网络或深度学习的方法，而该方法一般需要大量的数据进行训练，需要较长的标注和部署时间，且扩充新型时有较高的成本。
例如申请号为CN201410665285.0的方案，采取了2D模板匹配的方案，通过模板与图像的相似性进行定位。但该方案对紧密贴合的纯色的箱体进行匹配时，精度会大幅降低。
即现有技术存在复杂情况下无法定位到箱体抓取中心，容易产生定位失败以及误识别的情况，且难以进行数据标注。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于3D视觉的箱体分割定位方法及系统，其解决了现有在复杂情况下无法定位到箱体抓取中心的技术问题。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于3D视觉的箱体分割定位方法，包括以下步骤：
S1：通过3D视觉相机获取箱体范围的原始三维点云图像，将原始三维点云图像转换到机器人坐标系下；通过阈值分割获取原始三维点云图像中多个聚类；
S2：将坐标转换后的原始三维点云图像投影到二维图像上，并获取原始三维点云图像中独立的或离群的聚类；通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对应从原始三维点云图像中减去已分割的聚类；
S3：对原始三维点云图像中剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值；
S5：将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。
本发明实施例提出的基于3D视觉的箱体分割定位方法，采用固定安装的3D视觉相机作为传感器，通过获取的原始三维点云图像（3D点云），计算点云的3D特征，并在三维空间内做分割处理，然后结合映射在二维平面的2D纹理信息，对分割结果进行校验，快速获取箱体的精确分割定位结果。同现有技术相比，本发明对环境光、灰尘、材质纹路和标签等一系列外部因素引发的噪声具有很好的抗干扰处理效果和适应性。
可选地，步骤S3完成后，且在进行步骤S5之前，方法还包括：
S4：当推断出的排列方式的结果为二组以上时，调用保留彩色信息和/或纹理信息的原始三维点云图像重新投影到二维图像上，以分别将每一组排列方式的结果在二维图像上生成掩膜；计算掩膜后的二维图像的均值与方差，筛选出二维图像的均值与方差综合最小的结果作为正确的分割结果。
可选地，步骤S1中将原始三维点云图像转换到机器人坐标系下，包括以下步骤：
通过手眼标定获得的手眼标定矩阵，手眼标定矩阵为机器人的多组机械臂的位姿数据以及各机械臂标记在3D视觉相机下的位姿数据的对应关系矩阵；
将3D视觉相机采集的原始三维点云图像，通过手眼标定矩阵将点云进行坐标转换，将原始三维点云图像转换到机器人坐标系下。
可选地，步骤S1还包括，对原始三维点云图像进行预处理，包括：
对原始三维点云图像进行区域分割，保留AOI区域（Area of interest，有效区域，有效区域之外的数据为无效数据），剔除无效数据；
对原始三维点云图像进行降采样、滤波和/或去除离群点操作；
可选地，步骤S1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
通过主成分分析法的原始三维点云图像中的每个点的法向量方向，剔除接近垂直分布的点云，以获取近水平的点云数据；
以各点之间的欧氏距离为标准对原始三维点云图像中的所有点进行聚类操作，剔除点云数量小于单个箱体数据的聚类，获取点云数量大于或等于单个箱体数据的聚类。
可选地，步骤S3中对原始三维点云图像中剩余聚类进行二次处理，包括：
计算原始三维点云图像中剩余聚类对应的二维图像的面积，再除以单个箱体的面积，获取当前聚类对应的二维图像中包含的箱体数量；
计算出图像的轮廓信息和角点信息；
通过角点与其对应的两条轮廓的位置，推断出单个箱体的位置；
将两条轮廓中的任一轮廓作为箱体的长边，推断出两种箱体排列；
将两种以上的箱体排列分别与当前聚类对应的二维图像进行交并比判断，通过交并比阈值计算并进行多次迭代以推算箱体的排列，直至箱体排列中箱体的数量达到待分割的箱体数量，得到最终的分割结果。
可选地，多次迭代的过程中，根据垛型的先验信息，判断当前迭代完的排列结果是否符合相关的垛型排布，对不符合相关的垛型的排布的迭代的排列结果进行剪枝操作。
可选地，步骤S5中得到实际的各箱体的位姿坐标，包括：
根据映射的分割结果重新分割原始三维点云图像，组成新的聚类，新的聚类中每个聚类为单独的一个箱体的三维点云数据；
根据重新分割后的箱体，通过矩阵变化，最小包围盒的方式计算出箱体的位姿坐标，通过坐标转换成机器人抓取位姿。
可选地，箱体的位姿坐标包括箱体的中心点位姿和角点坐标；
机器人抓取位姿包括：机器人的机械臂对箱体进行拆垛作业所需的位置和欧拉角。
第二方面，本发明实施例提供一种基于3D视觉的箱体分割定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
（三）有益效果
本发明的有益效果是：本发明的基于3D视觉的箱体分割定位方法及系统，由于采用固定安装的3D视觉相机作为传感器，通过获取的原始三维点云图像（3D点云），在三维空间内做分割处理，然后结合映射在二维平面的2D纹理信息，对分割结果进行校验，快速获取箱体的精确分割定位结果。相较于现有技术而言，本发明对环境光、灰尘、材质纹路和标签等一系列外部因素引发的噪声具有很好的抗干扰处理效果和适应性。而本发明无需训练即可完成部署，有效解决了训练模型适应性不足且需要大量历史数据的问题。
附图说明
图1为本发明优选实施例的基于3D视觉的箱体分割定位方法的流程示意图；
图2为本发明优选实施例的匹配非紧密连接的箱体示意图；
图3为本发明优选实施例的同一个角点的两种箱体排列的示意图；
图4为本发明优选实施例的箱体排列推断结果对应示意图；
图5为本发明优选实施例的回型垛的箱体排列推断结果示意图；
图6为本发明优选实施例的二维图像示意图；
图7为本发明优选实施例的最终箱体分割结果示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本发明实施例提出的基于3D视觉的箱体分割定位方法及系统，采用3D视觉相机作为传感器，通过获取原始三维点云图像，在三维空间内做分割处理，然后结合映射在二维平面的2D纹理信息，对分割结果进行校验，快速获取箱体的精确分割定位结果。相较于现有技术而言，本发明对环境光、灰尘、材质纹路和标签等一系列外部因素引发的噪声具有很好的抗干扰处理效果和适应性。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例
图1为本发明实施例1中基于3D视觉的箱体分割定位方法的流程示意图。本发明实施例提供一种基于3D视觉的箱体分割定位方法，包括以下步骤：
S1：通过3D视觉相机获取箱体范围的原始三维点云图像，将原始三维点云图像转换到机器人坐标系下；通过阈值分割获取原始三维点云图像中多个聚类。
实施时，可按照以下步骤原始三维点云图像转换到机器人坐标系下：
S11：通过手眼标定获得的手眼标定矩阵，手眼标定矩阵为机器人的多组机械臂的位姿数据以及各机械臂标记在3D视觉相机下的位姿数据的对应关系矩阵。
手眼标定矩阵H通过以下方案获取：分别采集N组机械臂数据，以及机械臂附带的标记在相机下的位姿数据（包含位置和姿态）。手眼标定也称手眼校准，用于将相机（“眼睛”）看到的内容同机器人（“收”）移动的位置相关联。手眼标定常用的标记有棋盘格或圆孔。本发明中，采取的是经典的的求解方式，采用经典的Tsai的方案。具体的，应用如下公式计算出手眼标定矩阵H(这里分解为Rx和Tx)：
其中A和B分别由相机和机械臂的数据转换得来。一般来说，需要采集不少于4组数据获取标定结果。
S12：将3D视觉相机采集的原始三维点云图像，通过手眼标定矩阵将点云进行坐标转换，将原始三维点云图像转换到机器人坐标系下。一般情况下，机器人坐标系的Z轴数据朝上，同3D相机的Z轴相反。
S13：对原始三维点云图像进行预处理，包括：
对原始三维点云图像进行区域分割，保留AOI区域，剔除无效数据。一方面可尽量降低后续计算量，另一方面可以减少误识别的可能性，确保机械臂运行安全。
对原始三维点云图像进行降采样、滤波和/或去除离群点操作。降采样一方面减少冗余点，进一步降低数据处理量，另一方面可以保证不同高度的数据分布均匀。滤波和/或去除离群点操作包括：统计点云当中每个点与设定半径r范围内相邻点的欧氏距离，计算其标准差，剔除掉与相邻点标准差大于设定阈值的离散点。
实施时，步骤S1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
S14：通过主成分分析法的原始三维点云图像中的每个点的法向量方向，剔除接近垂直分布的点云，以获取近水平的点云数据。
计算方式同KD-Tree算法对三维点云数据进行处理，搜索邻域内的点，通过主成分分析获取法向量。
剔除接近垂直分布的点云，具体方法如下：
计算法向量N和标准向量Z（0，0，1）的点积，通过反正弦函数获取当前法向量和标准向量Z的夹角。通过阈值过滤夹角过大的点云，从而获取近水平的点云数据。
S15：以各点之间的欧氏距离为标准对原始三维点云图像中的所有点进行聚类操作，剔除点云数量小于单个箱体数据的聚类，获取点云数量大于或等于单个箱体数据的聚类。包括：
计算每个聚类的质心，依据质心所在的高度进行直方图统计，保留直方图上处于最顶层的聚类。例如，以1cm为间隔统计所有聚类的直方图，获取数据最高点。只保留最高的一定阈值范围内的聚类。
S2：将坐标转换后的原始三维点云图像投影到二维图像上，并获取原始三维点云图像中独立的或离群的聚类；通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对应从原始三维点云图像中减去已分割的聚类。
实施时，可以采用如下步骤进行，具体地：
S21、将无序分布的三维点云投影到背景全为0的连续的二维图像上，二维图像保留三维点云的XY坐标信息，点云数据投影为非0数据。投影后的点云如附图2所示。
随后对二维图像进行处理，去除噪声，填补空洞。主要包括：
闭运算（Cosing Operation），为图像处理中的形态学操作，用于去除小的噪点，连接断裂区域。本发明中，分别进行膨胀（Dilation）和腐蚀（Erosion）操作，完成以上流程操作，保证二维图像连续且完整；
随后将图像二值化，方便下一步操作。
S22、依据已知的箱体长宽信息（w,h）制作出二值化的矩形模板，对模板进行全为0的边界填充，并旋转矩形模板，构建不同角度的矩形模板，对所有模板图像按比例缩放，构建4层图像金字塔。
S23、通过Coarse to Fine的方式，从图像金字塔顶层到底层依次对二维图像进行不同角度的矩形相似度匹配。与传统的2D模板匹配方法不同的是，本发明在相似度计算时更注重于目标物是否是一个特定尺寸的矩形，非图像纹理的相似程度。
例如：使用如下相似度计算公式：
其中，f(x,y)表示场景图像窗口内的像素值，t(x,y)表示模型的像素值，表示场景图像窗口内的均值，/>表示模型的均值，/>表示场景图像窗口内的标准差，/>表示模型的标准差，n为窗口的大小。
S24、对图像运行阈值与分水岭算法，提取出高相似度的结果，并通过计算交并比的方式进行非极大值抑制，得到最终结果，结果如附图2所示。
S25、从原始图像上减去已经匹配到的结果，保留剩下的聚类进行下一步操作。
S3：对原始三维点云图像中剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值。
实施时，可以采用如下步骤进行，具体地：
S31、经过步骤S2之后，还存在一些包含了多个紧密贴合箱体的聚类，需要对这些聚类进行进一步处理。
S32、计算原聚类对应的二维图像的面积，再除以单个箱体的面积，获取当前二维图像中可能包含的箱体个数。
S33、通过梯度计算的方法，计算出图像的轮廓信息，包括：
运行角点检测，计算出图像的角点信息；通过角点与其对应的两条轮廓的位置，能准确的推断出单个箱体的位置；此时无法推断出箱体的长边方向，而箱体的长边方向一定与两条轮廓的某一条重合，所以能得到两种箱体的排列可能，如图3所示。
S34、分别对两种箱体的排列可能与二维图像进行交并比判断。当交并比大于一定阈值时，将该箱体的排列可能加入结果候选列表内并进入下一轮迭代，否则删除该箱体的排列可能并停止迭代。
S35、进入下一轮迭代时，根据推断的位置，并生成新的图像用于对下一轮迭代时的交并比判断，然后重复步骤S33与S34，直到某一轮推断的结果候选列表内箱体的数量达到先前计算的待分割箱体数量，然后保存当前推断结果，参照图4和图5。
S36、迭代搜索的过程中可以根据相关的垛型排布，例如花垛或者回型垛（参见图5）的先验信息，判断当前迭代完的结果是否符合相关的垛型排布，对不符合的迭代结果进行剪枝操作，提高迭代效率。
实施时，步骤S3完成后，且在进行步骤S5之前，方法还可包括：
S4：当推断出的排列方式的结果为二组以上时，调用保留彩色信息和/或纹理信息的原始三维点云图像重新投影到二维图像上，以分别将每一组排列方式的结果在二维图像上生成掩膜；计算掩膜后的二维图像的均值与方差，筛选出二维图像的均值与方差综合最小的结果作为正确的分割结果。包括：
S41、步骤S3的推断结果仅满足结果与二维图像的交并比接近1，或结果与二维图像对应，可能会推断出若干种不同的箱体排列方式满足上述条件，比如对于一个回型垛来说，推断出来的箱体排列可能顺时针分布，也可能逆时针分布，如图5所示，需要进一步判断其具体分布情况。
S42、依据S41的结果，区分可能的分布情况。
当同一个位置的箱体排列方式结果个数大于2时则需要进行正确结果的筛选，调用带有纹理信息的三维点云信息，投影到二维图像上。
S43、对于每个结果，在二维上生成掩膜，并对掩膜进行膨胀操作、对带有纹理信息的二维图像进行掩膜操作。
S44、计算掩膜后的图像的均值与方差，选择均值与方差综合最小的结果，过滤掉其他结果，获得最优分布结果。
S5：将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。包括：
S51、根据步骤S1将离散的三维点云投影到连续的二维图像的规则，将二维上的箱体结果映射回三维图像，获得三维分割结果。
S52、根据映射回的结果重新分割点云，组成新的聚类，新的聚类中每个聚类均代表单独的一个箱体的三维点云数据。
S53、根据重新分配后的箱体点云聚类，通过矩阵变化，最小包围盒的方式计算出箱体的位姿坐标，包括中心点位姿和角点坐标，通过坐标转换获取最终机器人抓取位置和姿态。分割前和最终的分割结果分别如图6和图7所示。
S54、通过S53获取的位置和姿态，转换为机器人抓取位姿，机器人抓取位姿包括：机器人的机械臂对箱体进行拆垛作业所需的位置和欧拉角，进行拆垛作业。
本发明实施例还提供一种基于3D视觉的箱体分割定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
本发明的有益效果是：本发明的基于3D视觉的箱体分割定位方法及系统，由于采用固定安装的3D视觉相机作为传感器，通过获取的原始三维点云图像（3D点云），在三维空间内做分割处理，然后结合映射在二维平面的2D纹理信息，对分割结果进行校验，快速获取箱体的精确分割定位结果。相较于现有技术而言，本发明对环境光、灰尘、材质纹路和标签等一系列外部因素引发的噪声具有很好的抗干扰处理效果和适应性。而本发明无需训练即可完成部署，只需获取箱体的尺寸即可，提高现场部署效率，有效解决了训练模型适应性不足且需要大量历史数据的问题。
由于本发明仅在分割完成时使用灰度图像（仅需要计算）进行校验，分割过程并完全不依赖灰度信息，有效解决了上述箱体内部颜色复杂的情况。而本发明在分割时完全不依赖箱体的颜色信息，可以兼容多种各种情况。
本发明可充分利用三维点云和纹理信息，对箱体贴近数据有准确、高效的分割效果；通过投影、预处理、点云去噪等方式进行处理，可减少计算复杂度，无需进行高维度的三维运算，执行效率高。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”，可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”，可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”，可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。
Claims (10)
1.一种基于3D视觉的箱体分割定位方法，其特征在于，包括以下步骤：
S1：通过3D视觉相机获取箱体范围的原始三维点云图像，将原始三维点云图像转换到机器人坐标系下；通过阈值分割获取原始三维点云图像中多个聚类；
S2：将坐标转换后的原始三维点云图像投影到二维图像上，并获取原始三维点云图像中独立的或离群的聚类；通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对应从原始三维点云图像中减去已分割的聚类；
S3：对原始三维点云图像中剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值；
S5：将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。
2.如权利要求1所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S3完成后，且在进行所述S5之前，所述方法还包括：
S4：当所述推断出的排列方式的结果为二组以上时，调用保留彩色信息和/或纹理信息的原始三维点云图像重新投影到二维图像上，以分别将每一组排列方式的结果在二维图像上生成掩膜；计算掩膜后的二维图像的均值与方差，筛选出二维图像的均值与方差综合最小的结果作为正确的分割结果。
3.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1中将原始三维点云图像转换到机器人坐标系下，包括以下步骤：
通过手眼标定获得的手眼标定矩阵，所述手眼标定矩阵为机器人的多组机械臂的位姿数据以及各机械臂标记在3D视觉相机下的位姿数据的对应关系矩阵；
将3D视觉相机采集的原始三维点云图像，通过所述手眼标定矩阵将点云进行坐标转换，将原始三维点云图像转换到机器人坐标系下。
4.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1还包括，对所述原始三维点云图像进行预处理，包括：
对原始三维点云图像进行区域分割，保留AOI区域，剔除无效数据；
对原始三维点云图像进行降采样、滤波和/或去除离群点操作。
5.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
通过主成分分析法的原始三维点云图像中的每个点的法向量方向，剔除接近垂直分布的点云，以获取近水平的点云数据；
以各点之间的欧氏距离为标准对原始三维点云图像中的所有点进行聚类操作，剔除点云数量小于单个箱体数据的聚类，获取点云数量大于或等于单个箱体数据的聚类。
6.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S3中对原始三维点云图像中剩余聚类进行二次处理，包括：
计算原始三维点云图像中剩余聚类对应的二维图像的面积，再除以单个箱体的面积，获取当前聚类对应的二维图像中包含的箱体数量；
计算出图像的轮廓信息和角点信息；
通过角点与其对应的两条轮廓的位置，推断出单个箱体的位置；
将两条轮廓中的任一轮廓作为箱体的长边，推断出两种箱体排列；
将两种以上的箱体排列分别与当前聚类对应的二维图像进行交并比判断，通过交并比阈值计算并进行多次迭代以推算箱体的排列，直至箱体排列中箱体的数量达到待分割的箱体数量，得到最终的分割结果。
7.如权利要求6所述的基于3D视觉的箱体分割定位方法，其特征在于，所述多次迭代的过程中，根据垛型的先验信息，判断当前迭代完的排列结果是否符合相关的垛型排布，对不符合相关的垛型的排布的迭代的排列结果进行剪枝操作。
8.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S5中得到实际的各箱体的位姿坐标，包括：
根据映射的分割结果重新分割原始三维点云图像，组成新的聚类，新的聚类中每个聚类为单独的一个箱体的三维点云数据；
根据重新分割后的箱体，通过矩阵变化，最小包围盒的方式计算出箱体的位姿坐标，通过坐标转换成机器人抓取位姿。
9.如权利要求8所述的基于3D视觉的箱体分割定位方法，其特征在于，所述箱体的位姿坐标包括箱体的中心点位姿和角点坐标；
所述机器人抓取位姿包括：机器人的机械臂对箱体进行拆垛作业所需的位置和欧拉角。
10.一种基于3D视觉的箱体分割定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-9中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311656910.0A CN117351213B (zh) | 2023-12-06 | 2023-12-06 | 基于3d视觉的箱体分割定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311656910.0A CN117351213B (zh) | 2023-12-06 | 2023-12-06 | 基于3d视觉的箱体分割定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351213A true CN117351213A (zh) | 2024-01-05 |
| CN117351213B CN117351213B (zh) | 2024-03-05 |
Family
ID=89358010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311656910.0A Active CN117351213B (zh) | 2023-12-06 | 2023-12-06 | 基于3d视觉的箱体分割定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351213B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650766A (zh) * | 2016-09-13 | 2017-05-10 | 电子科技大学 | 基于固有特征分析的三维体波形分类方法 |
| CN108898147A (zh) * | 2018-06-27 | 2018-11-27 | 清华大学 | 一种基于角点检测的二维图像边缘平直化方法、装置 |
| US20190088004A1 (en) * | 2018-11-19 | 2019-03-21 | Intel Corporation | Method and system of 3d reconstruction with volume-based filtering for image processing |
| CN109579852A (zh) * | 2019-01-22 | 2019-04-05 | 杭州蓝芯科技有限公司 | 基于深度相机的机器人自主定位方法及装置 |
| CN109635672A (zh) * | 2018-11-22 | 2019-04-16 | 同济大学 | 一种无人驾驶的道路特征参数估计方法 |
| CN111967484A (zh) * | 2019-05-20 | 2020-11-20 | 长沙智能驾驶研究院有限公司 | 点云聚类方法、装置、计算机设备和存储介质 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN115533902A (zh) * | 2022-09-29 | 2022-12-30 | 杭州海康机器人股份有限公司 | 一种基于视觉引导的拆垛方法、装置、电子设备及系统 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| CN116129233A (zh) * | 2023-02-23 | 2023-05-16 | 华东师范大学 | 基于多模态融合感知的自动驾驶场景全景分割方法 |
-
2023
- 2023-12-06 CN CN202311656910.0A patent/CN117351213B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650766A (zh) * | 2016-09-13 | 2017-05-10 | 电子科技大学 | 基于固有特征分析的三维体波形分类方法 |
| CN108898147A (zh) * | 2018-06-27 | 2018-11-27 | 清华大学 | 一种基于角点检测的二维图像边缘平直化方法、装置 |
| US20190088004A1 (en) * | 2018-11-19 | 2019-03-21 | Intel Corporation | Method and system of 3d reconstruction with volume-based filtering for image processing |
| CN109635672A (zh) * | 2018-11-22 | 2019-04-16 | 同济大学 | 一种无人驾驶的道路特征参数估计方法 |
| CN109579852A (zh) * | 2019-01-22 | 2019-04-05 | 杭州蓝芯科技有限公司 | 基于深度相机的机器人自主定位方法及装置 |
| CN111967484A (zh) * | 2019-05-20 | 2020-11-20 | 长沙智能驾驶研究院有限公司 | 点云聚类方法、装置、计算机设备和存储介质 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN115533902A (zh) * | 2022-09-29 | 2022-12-30 | 杭州海康机器人股份有限公司 | 一种基于视觉引导的拆垛方法、装置、电子设备及系统 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| CN116129233A (zh) * | 2023-02-23 | 2023-05-16 | 华东师范大学 | 基于多模态融合感知的自动驾驶场景全景分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| YONGBIN LIAO 等: "Point Cloud Instance Segmentation With Semi-Supervised Bounding-Box Mining", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 30 November 2021 (2021-11-30), pages 10159 - 10170, XP011926466, DOI: 10.1109/TPAMI.2021.3131120 * |
| 杨雨桐 等: "使用中心预测-聚类的3D箱体实例分割方法", 《计算机工程与应用》, 14 March 2023 (2023-03-14), pages 1 - 9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351213B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070818B (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| CN106204572B (zh) | 基于场景深度映射的道路目标深度估计方法 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
| CN113034600B (zh) | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 | |
| CN110992422B (zh) | 一种基于3d视觉的药盒姿态估计方法 | |
| CN112164115B (zh) | 物体位姿识别的方法、装置及计算机存储介质 | |
| JP2019192022A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN114972377A (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
| CN114972968A (zh) | 基于多重神经网络的托盘识别和位姿估计方法 | |
| CN111783721A (zh) | 一种激光点云的车道线提取方法及电子设备 | |
| CN113313116A (zh) | 一种基于视觉的水下人工目标准确检测与定位方法 | |
| CN109598261B (zh) | 一种基于区域分割的三维人脸识别方法 | |
| US20220379475A1 (en) | Transparent object bin picking | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN113920142A (zh) | 一种基于深度学习的分拣机械手多物体分拣方法 | |
| CN113505808A (zh) | 基于深度学习用于配电类设施开关检测识别算法 | |
| CN117351213B (zh) | 基于3d视觉的箱体分割定位方法及系统 | |
| CN114359314B (zh) | 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法 | |
| Li et al. | Stereo neural vernier caliper | |
| CN113884025B (zh) | 增材制造结构光回环检测方法、装置、电子设备和存储介质 | |
| CN115719377A (zh) | 一种六自由度位姿估计数据集自动采集系统 | |
| Yang et al. | Ground plane matters: Picking up ground plane prior in monocular 3d object detection | |
| CN115187744A (zh) | 一种基于激光点云的机柜识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |