CN111453401B - 工件的自动拾取方法和装置 - Google Patents

Abstract

本发明公开了工件的自动拾取方法和装置，方法包括以下步骤：获取模型文本，其中模型文本包括工件的第一点云；获取工件的第二点云；根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；根据第一特征点和第二特征点，通过霍夫投票进行匹配；根据匹配结果，自动进行工件的拾取；其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。通过本发明不需要人工对工件进行放置，使得工件在任意状态均可以进行自动拾取，提高了效率且减少了成本。本发明作为一种工件的自动拾取方法和装置，可广泛应用于三维定位技术领域。

Description

工件的自动拾取方法和装置

技术领域

本发明涉及三维定位技术领域，尤其是一种工件的自动拾取方法和装置。

背景技术

制造业通常设置生产线进行工件的生产，生产过程包括工件的上下料、装备、转移和包装等过程。在传统制造业中，在进行工件的上下料时通常需要人工上下料，生产效率低下且人力成本高。鉴于上述缺点，出现了利用机器人实现上下料的方法，而该方法通常需要针对特定的工件制造一种专用的治具，并且需要人工将工件放置于治具之中，因此操作麻烦、效率低且成本高，仍不能够适应当今高效率和低成本的发展趋势。

发明内容

有鉴于此，为了解决上述技术问题，本发明的目的是提供高效的工件的自动拾取方法和装置。

本发明采用的技术方案是：工件的自动拾取方法，包括以下步骤：

获取模型文本，其中模型文本包括工件的第一点云；

获取工件的第二点云；

根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

根据第一特征点和第二特征点，通过霍夫投票进行匹配；

根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

进一步，所述根据第一点云，得到第一特征点的步骤中，包括以下步骤：

根据检测点和预设半径，通过特征点检测算法分别获取每一检测点的第一特征值、第二特征值和第三特征值；

根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点；

其中，第一点云包括若干个检测点。

进一步，所述根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点这一步骤，具体为：

若第二特征值与第一特征值的比值小于或等于预设第一阈值，第三特征值与第二特征值的比值小于预设第二阈值，将该检测点作为第一特征点；其中第一特征值大于第二特征值，第二特征值大于第三特征值。

进一步，所述根据检测点和预设半径，通过特征点检测算法分别获取每一检测点的第一特征值、第二特征值和第三特征值这一步骤，具体为：

确定每一检测点的预设半径范围内的邻域点，计算每一检测点与对应的每一领域点的权重与差值；

根据差值和权重，分别建立协方差矩阵；

根据协方差矩阵，得到每一检测点的第一特征值、第二特征值和第三特征值；

其中，第一点云包括邻域点。

进一步，所述根据第一特征点和第二特征点，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一特征点和第一特征点预设半径范围内的邻域点，计算每一第一特征点与对应的每一领域点的第一权重与第一差值，根据第二特征点和第二特征点预设半径范围内的邻域点，计算每一第二特征点与对应的每一领域点的第二权重与第二差值；

根据第一权重、第一差值以及第二权重和第二差值，通过特征值分解算法计算得到每一第一特征点的第四特征值和对应的第一特征向量、第五特征值和对应的第二特征向量、第六特征值和对应的第三特征向量，以及得到每一第二特征点的第七特征值和对应的第四特征向量、第八特征值和对应的第五特征向量、第九特征值和对应的第六特征向量；

根据第一特征向量、第二特征向量和第三特征向量得到每一第一特征点的第一局部坐标系，以及根据第四特征向量、第五特征向量和第六特征向量得到每一第二特征点的第二局部坐标系；

根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配；

其中，第一点云和第二点云分别包括邻域点。

进一步，所述根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一局部坐标系和第二局部坐标系，分别建立球形结构；

根据球形结构建立直方图，得到每一第一特征点的第一特征描述和每一第二特征点的第二特征描述；

根据第一特征描述和第二特征描述，通过霍夫投票进行匹配。

进一步，所述根据第一特征描述和第二特征描述，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一点云获取工件的第一参考点；

根据第一参考点和第一特征点，得到第一参考点和第一特征点之间的第一向量；

根据第一特征描述和第二特征描述，将第一特征点与第二特征点进行匹配；

根据第一向量和匹配后的第二特征点，进行坐标系转换，得到第二点云中与第一参考点对应的第二参考点；

根据第二参考点、第一特征点和第二特征点，计算得到第一点云与第二点云之间的旋转平移矩阵。

进一步，所述根据匹配结果，自动进行工件的拾取的步骤中，其中所述模型文本包括机器人拾取工件的拾取位姿矩阵，包括以下步骤：

获取用于获得第二点云的三维相机与机器人之间的关系矩阵；

根据拾取位姿矩阵、所述关系矩阵和所述旋转平移矩阵，通过机器人自动进行工件的拾取。

本发明还提供工件的自动拾取装置，包括：

第一获取模块，用于获取模型文本，其中模型文本包括工件的第一点云；

第二获取模块，用于获取工件的第二点云；

计算模块，用于根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

匹配模块，用于根据第一特征点和第二特征点，通过霍夫投票进行匹配；

拾取模块，用于根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

本发明还提供另一种工件的自动拾取装置，包括：

三维相机，用于预先获取工件的第一点云，以及用于获取工件的第二点云；

控制器，用于根据第一点云得到第一特征点，根据第二点云得到第二特征点，以及根据第一特征点和第二特征点，通过霍夫投票进行匹配，并根据匹配结果对机器人进行控制；

机器人，用于受工控机控制自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

本发明的有益效果是：获取包括工件的第一点云的模型文本，获取工件的第二点云，并分别根据第一点云和第二点云获取第一特征点和第二特征点，根据第一特征点和第二特征点，通过霍夫投票进行匹配，根据匹配结果，自动进行工件的拾取；工件的拾取基于工件的第二点云，因此不需要人工对工件进行放置，使得工件在任意状态均可以进行自动拾取，提高了效率且减少了成本；同时，通过霍夫投票进行第一特征点和第二特征点的匹配，并根据包括第一点云与第二点云之间的旋转平移矩阵的匹配结果，自动进行工件的拾取，使得工件的拾取更加准确，保证了工件的拾取效果。

附图说明

图1为本发明装置的结构示意图；

图2为本发明装置的结构框图；

图3为本发明方法的步骤流程示意图；

图4为球形结构示意图；

图5为霍夫投票的示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本实施例提供一种工件的自动拾取装置，包括：

三维相机，用于预先获取工件的第一点云，以及用于获取工件的第二点云；

控制器，用于根据第一点云得到第一特征点，根据第二点云得到第二特征点，以及根据第一特征点和第二特征点，通过霍夫投票进行匹配，并根据匹配结果对机器人进行控制；

机器人，用于受工控机控制自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

在本实施例中，所述三维相机1用于对工件进行拍摄，获取工件的点云，其中，在离线状态下即实际对工件进行自动转移之前，预先获取单个工件的第一点云；同时在离线状态下通过示教机器人至拾取位姿，并保存至模型文本；在在线阶段(场景)中，即实际需要对工件A进行自动转移时，获取工件的第二点云，第二点云可以为单个工件的点云，或者可以由多个相同的工件的点云组成。

控制器，与三维相机连接，包括(电脑+显示器)2以及机器人控制柜3。电脑用于执行数据处理过程，例如可以为工控机，对第一点云和第二点云进行处理，计算得到第一特征点和第二特征点，以及对获得的第一特征点和第二特征点进行进一步处理，并通过霍夫投票进行匹配。处理结果或匹配结果能够显示与显示器上，且能够将处理得到的结果或匹配结果产生相应信号至机器人控制柜，机器人控制柜用于保存模型文本且对机器人进行控制。其中，特征点指的是关键点，具有平移、缩放、旋转变换不变性和良好的抗噪性，能稳定地体现出工件的独特性和本质性的点，第一特征点可以为一个或若干个，第二特征点也可以为一个或若干个。

机器人4，本实施例中为六轴工业机器人，受机器人控制柜所控制，用于对场景下的工件进行拾取转移。作为可选地实施方式，机器人末端上设置有气动夹具，用于夹取场景下的工件并将拾取到的工件移动到指定的作业位姿。

作为可选地实施方式，工件的自动拾取装置还包括空气压缩机5，与控制器连接，用于为整个拾取过程提供气源。

作为可选地实施方式，工件的自动拾取装置还包括与连接空气压缩机5、气动夹具的电磁阀6和电磁继电器7。

如图2所示，本实施例还提供另一种工件的自动拾取装置，包括：

第一获取模块，用于获取模型文本，其中模型文本包括工件的第一点云；

第二获取模块，用于获取工件的第二点云；

计算模块，用于根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

匹配模块，用于根据第一特征点和第二特征点，通过霍夫投票进行匹配；

拾取模块，用于根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

上述装置实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述装置实施例相同，并且达到的有益效果与上述装置实施例所达到的有益效果也相同。

如图3所示，本实施例提供一种工件的自动拾取方法，包括以下步骤：

获取模型文本，其中模型文本包括工件的第一点云；

获取工件的第二点云；

根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

根据第一特征点和第二特征点，通过霍夫投票进行匹配；

根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵。

在本实施例中，可选地，包括以下步骤：

S1:离线状态的数据获取或处理。

S11:获取模型文本。

具体地：在离线状态下，利用三维相机获取单个工件的第一点云(即该单个工件作为模板)保存到模型文本，同时示教机器人拾取工件的拾取位姿(拾取位姿矩阵^baseH_model)并将其保存到模型文本。

S12：根据第一点云，得到第一特征点。

可选地包括：S121、根据检测点和预设半径，通过特征点检测算法(即ISS(Intrinsic Shape Signatures，内在形状标签)关键点检测算法)分别获取每一检测点的第一特征值、第二特征值和第三特征值；

S121、根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点；

其中，第一点云包括若干个检测点。

在本实施例中，S121具体为：确定每一检测点的预设半径范围内的邻域点，计算每一检测点与对应的每一领域点的权重与差值；根据差值和权重，分别建立协方差矩阵；根据协方差矩阵，得到每一检测点的第一特征值、第二特征值和第三特征值；其中，第一点云包括邻域点。

例如：在第一点云中任意选取检测点p_i，预设半径为r，与p_i相距r内的所有邻域点p_j∈R_i，计算邻域点的权重w_ij＝1/||p_i-p_j||,||p_i-p_j||<r，i，j代表数量，R_i为集合这个权重是为了补偿对点云3D点的不均匀采样，点在密度稀疏的采样区域贡献大于密度密集区域；p是三维点的向量表达方式，

T代表的是向量的转置。根据权重计算协方差矩阵，COV表示协方差矩阵：

然后可以计算得到协方差矩阵的特征值{λ₁,λ₂,λ₃}，即第一特征值λ₁，第二特征值λ₂，第三特征值λ₃，从大到小排列特征值，对应的特征向量{e₁,e₂,e₃}，即第一λ₁值最大，代表邻域点主要集中在其对应的特征向量e₁上，其λ₃值最小，代表邻域点在对应的特征向量e₃上分布最分散，特征向量e₃代表法向量。通过多次计算和检测点的选取，最终得到每一检测点的第一特征值、第二特征值和第三特征值。

步骤S122、根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点。

具体地：若第二特征值与第一特征值的比值小于或等于预设第一阈值，第三特征值与第二特征值的比值小于预设第二阈值，将该检测点作为第一特征点；其中第一特征值大于第二特征值，第二特征值大于第三特征值。

例如，当一个检测点求出的结果使得λ₂/λ₁≤ε₁和λ₃/λ₂<ε₂同时成立，其中，ε₁为预设第一阈值，ε₂为预设第二阈值，则将该检测点作为关键点，即第一特征点，由此能够从第一点云中确定一第一特征点，第一特征点可以为一个或若干个。

S13：对第一特征点进行特征描述，在本实施例中使用SHOT(Signature ofHistograms of OrienTations，方向直方图标签)算子计算对第一特征点进行特征描述。其中SHOT是一种基于局部坐标系的描述符。

包括步骤S131、构建第一局部坐标系：根据第一特征点和第一特征点预设半径范围内的邻域点，计算每一第一特征点与对应的每一领域点的第一权重与第一差值，根据第一权重和第一差值，得到通过特征值分解算法(EVD算法)计算得到每一第一特征点的第四特征值和对应的第一特征向量、第五特征值和对应的第二特征向量、第六特征值和对应的第三特征向量；根据第一特征向量、第二特征向量和第三特征向量得到每一第一特征点的第一局部坐标系。

例如：设检测点p(从第一特征点中选取)预设半径r邻域内的点p_i∈R(||p_i-p||≤r)，通过带权值的M计算局部描述符，M表达式如下：

其中d_i＝||p_i-p||，r为预设半径，R为集合，使用EVD算法计算出M的三个特征值{λ₁',λ₂',λ₃'}，即第四特征值λ₁'，第五特征值λ₂'、第六特征值λ₃'，从大到小排列特征值，对应的特征向量{e₁',e₂',e₃'}，即第一特征向量e₁'、第二特征向量e₂'、第三特征向量e₃'，分别作为x⁺、y⁺、z⁺(或相反方向时为x^-、y^-、z^-)。其中，x⁺代表笛卡尔坐标系x正方向，x^-代表笛卡尔坐标系x负方向，以此类推，x方向的方法如下：

∧表示并的算术计算，

表示特征点的x正负方向上的描述直方图，使用相同的方法确定z的方向，y的方向则通过z×x来确定，通过多次计算可以得到每一第一特征点的第一局部坐标系。

步骤S132、建立直方图(方向描述直方图)，即基于第一局部坐标系建立一个比简单的3D坐标系更有代表性的局部的球形结构，以预设半径r为半径。通过引入球形范围内的几何信息，包括点位置信息、法向量等，建立局部直方图。首先，将球形结构划分成若干份如图4，其中将按方位角平分成8份，倾斜角分成2份，沿着半径方向分成2份(将半径为r的大圆均匀切三次(过中心点)，分为八份，以球心，1/2r为半径将大圆切分两份，沿着倾斜角将圆切分两份，总共8*2*2＝32份)。其次，设待检测点p的法向量为n_i(即e₃')，求球内每一点p_i∈R单位法向量n_j，设上述两个单位法向量的夹角θ_j，则cosθ_j＝n_i·n_j，将cosθ_j划分成n份，则球形结构可以建立32(n+1)份的局部直方图。其中1代表的是球内邻域点处于球的哪个位置(球分成32份)。通过计算每个邻域点所处局部坐标系的位置和方向角的大小，在直方图相应的位置计数加1，最终得到基于第一局部坐标系的每一特征点的第一特征描述。

S2:在线阶段，场景状态的数据获取或处理。

S21：通过三维相机获取工件的第二点云；

S22：通过与上述方法相同的方式确认第二点云中的第二特征点；

S23：通过与上述方法相同的方式，根据第二特征点和第二特征点预设半径范围内的邻域点，计算每一第二特征点与对应的每一领域点的第二权重与第二差值，通过特征值分解算法计算得到每一第二特征点的第七特征值和对应的第四特征向量、第八特征值和对应的第五特征向量、第九特征值和对应的第六特征向量，以及根据第四特征向量、第五特征向量和第六特征向量得到每一第二特征点的第二局部坐标系；建立球形结构；根据球形结构建立直方图，得到基于第二局部坐标系的每一第二特征点的第二特征描述。

S3:根据第一特征描述和第二特征描述，通过霍夫投票进行匹配。

如图5所示，具体包括：

S31:根据第一点云获取工件的第一参考点：在本实施例中所述第一参考点C^M为工件的重心；

S32:根据第一参考点和第一特征点，得到第一参考点和第一特征点之间的第一变量：

设第一特征点为F_i ^M，i代表数量，取值为1，2…n，计算F_i ^M和C^M之间的第一向量：

因此在离线状态下可以求解第一参考点与每一第一特征点的第一向量

S33：根据第一特征描述和第二特征描述，将第一特征点与第二特征点进行匹配，例如：有第一特征点F₁ ^M、F₂ ^M、F₃ ^M，进行匹配分别对应第二特征点(

j代表数量，取值为1，2…n)中的F₁ ^S、F₂ ^S、F₃ ^S。

S34：根据第一向量和匹配后的第二特征点，进行坐标系转换，得到第二点云中与第一参考点C^M对应的第二参考点C^S：

具体地：将上面基于全局坐标系计算出来的

向量转化为局部坐标向量：

是全局坐标系旋转到F_i ^M上的局部坐标系的变换矩阵，每一列等于F_i ^M的一个轴在全局坐标系的矢量表达：

分别是全局坐标系在局部坐标系上x，y，z方向上的表达，都是行向量，T表示将行向量转置为列向量，

是全局坐标系在局部坐标系旋转矩阵，可以通过事先与模板匹配的时候计算出来。

其中，全局坐标系指的是真实存在的坐标系，如三维相机的坐标系、机器人的坐标系。设第二参考点C^S在第二特征点F_i ^S上的第二局部坐标系表示为

由于寻找的目标物体是刚性的，故第二参考点在匹配的第二特征上的第二局部坐标系上表示的位置是不变的，因此

最后，将

变换到场景目标中的全局坐标系中：

其中

是旋转矩阵，每一列表示F_i ^S上局部坐标系的一个轴在全局坐标系上的矢量表达：

其中，

分别是全局坐标系在局部坐标系上x，y，z方向上的表达，即可以计算出场景目标中第二参考点的位置，即可以将

作为霍夫变换的参数空间，由于每个模型库关键点只有一张票，大大减少了计算量。在霍夫投票结束后，对投票进行统计，找出大于预设阈值的峰值，如有多个峰值出现，则有多个工件的存在。

S35:根据第二参考点、第一特征点和第二特征点，计算得到第一点云与第二点云之间的旋转平移矩阵。

具体地，根据第二参考点和相互匹配的第一特征点和第二特征点对，即可以求得第一点云与第二点云之间的旋转平移矩阵^modelH_scene。

S4:进行工件的拾取。

通过手眼标定获取用于获得第二点云的三维相机与机器人之间的关系矩阵^baseH_cam；

根据拾取位姿矩阵^baseH_model和关系矩阵^baseH_cam，计算得到模型文本中工件对于三维相机的位姿^camH_model，计算方式为：^camH_model＝inv(^baseH_cam)*^baseH_model其中inv是对矩阵的求逆，*为乘。

然后计算最终拾取位姿矩阵为：^baseH_scene＝^baseH_cam*^camH_model*^modelH_scene；

根据最终拾取位姿矩阵，通过机器人自动进行工件的拾取。

具体地，拾取过程为：电脑根据最终拾取位姿矩阵，控制机器人移动至拾取位姿正上方，通过机器人控制柜IO口发出信号打开继电器，使得电磁阀换向打开气动夹具，沿着当前状态沿竖直方向向下移动，再断开继电器信号，使得电磁阀再次换向，闭合气动夹具，夹具卡住场景下其中一个工件，将拾取到的工件移动到指定的作业位姿。

上述装置实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述装置实施例相同，并且达到的有益效果与上述装置实施例所达到的有益效果也相同。

综上所述，相较于现有技术，本发明具有以下优点：

1)工件的拾取基于工件的第二点云，因此不需要人工对工件进行放置，使得工件在任意状态均可以进行自动拾取，提高了效率且减少了成本；

2)在需要进行不同种类的工件的拾取时，只需要通过事先对不同工件进行第一点云的获取，并获取相应的模型文本即可；

3)通过霍夫投票进行第一特征点和第二特征点的匹配，并根据包括第一点云与第二点云之间的旋转平移矩阵的匹配结果，自动进行工件的拾取，使得工件的拾取更加准确，保证了工件的拾取效果。

在一些可选择的实施例中，在本发明的步骤所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例中的步骤表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本说明书的描述中，参考术语“一个实施例”、“本实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.工件的自动拾取方法，其特征在于，包括以下步骤：

获取模型文本，其中模型文本包括工件的第一点云；

获取工件的第二点云；

根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

根据第一特征点和第二特征点，通过霍夫投票进行匹配；

根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵；

所述根据第一特征点和第二特征点，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一特征点和第一特征点预设半径范围内的邻域点，计算每一第一特征点与对应的每一领域点的第一权重与第一差值，根据第二特征点和第二特征点预设半径范围内的邻域点，计算每一第二特征点与对应的每一领域点的第二权重与第二差值；

根据第一权重、第一差值以及第二权重和第二差值，通过特征值分解算法计算得到每一第一特征点的第四特征值和对应的第一特征向量、第五特征值和对应的第二特征向量、第六特征值和对应的第三特征向量，以及得到每一第二特征点的第七特征值和对应的第四特征向量、第八特征值和对应的第五特征向量、第九特征值和对应的第六特征向量；

根据第一特征向量、第二特征向量和第三特征向量得到每一第一特征点的第一局部坐标系，以及根据第四特征向量、第五特征向量和第六特征向量得到每一第二特征点的第二局部坐标系；

根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配；

其中，第一点云和第二点云分别包括邻域点。

2.根据权利要求1所述的工件的自动拾取方法，其特征在于：所述根据第一点云，得到第一特征点的步骤中，包括以下步骤：

根据检测点和预设半径，通过特征点检测算法分别获取每一检测点的第一特征值、第二特征值和第三特征值；

根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点；

其中，第一点云包括若干个检测点。

3.根据权利要求2所述的工件的自动拾取方法，其特征在于：所述根据每一检测点的第一特征值、第二特征值和第三特征值，确定第一特征点这一步骤，具体为：

若第二特征值与第一特征值的比值小于或等于预设第一阈值，第三特征值与第二特征值的比值小于预设第二阈值，将该检测点作为第一特征点；其中第一特征值大于第二特征值，第二特征值大于第三特征值。

4.根据权利要求2所述的工件的自动拾取方法，其特征在于：所述根据检测点和预设半径，通过特征点检测算法分别获取每一检测点的第一特征值、第二特征值和第三特征值这一步骤，具体为：

确定每一检测点的预设半径范围内的邻域点，计算每一检测点与对应的每一领域点的权重与差值；

根据差值和权重，分别建立协方差矩阵；

根据协方差矩阵，得到每一检测点的第一特征值、第二特征值和第三特征值；

其中，第一点云包括邻域点。

5.根据权利要求1所述的工件的自动拾取方法，其特征在于：所述根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一局部坐标系和第二局部坐标系，分别建立球形结构；

根据球形结构建立直方图，得到每一第一特征点的第一特征描述和每一第二特征点的第二特征描述；

根据第一特征描述和第二特征描述，通过霍夫投票进行匹配。

6.根据权利要求5所述的工件的自动拾取方法，其特征在于：所述根据第一特征描述和第二特征描述，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一点云获取工件的第一参考点；

根据第一参考点和第一特征点，得到第一参考点和第一特征点之间的第一向量；

根据第一特征描述和第二特征描述，将第一特征点与第二特征点进行匹配；

根据第一向量和匹配后的第二特征点，进行坐标系转换，得到第二点云中与第一参考点对应的第二参考点；

根据第二参考点、第一特征点和第二特征点，计算得到第一点云与第二点云之间的旋转平移矩阵。

7.根据权利要求5所述的工件的自动拾取方法，其特征在于：所述根据匹配结果，自动进行工件的拾取的步骤中，其中所述模型文本包括机器人拾取工件的拾取位姿矩阵，包括以下步骤：

获取用于获得第二点云的三维相机与机器人之间的关系矩阵；

根据拾取位姿矩阵、所述关系矩阵和所述旋转平移矩阵，通过机器人自动进行工件的拾取。

8.工件的自动拾取装置，其特征在于，包括：

第一获取模块，用于获取模型文本，其中模型文本包括工件的第一点云；

第二获取模块，用于获取工件的第二点云；

计算模块，用于根据第一点云，得到第一特征点，以及根据第二点云，得到第二特征点；

匹配模块，用于根据第一特征点和第二特征点，通过霍夫投票进行匹配；

拾取模块，用于根据匹配结果，自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵；

所述根据第一特征点和第二特征点，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一特征点和第一特征点预设半径范围内的邻域点，计算每一第一特征点与对应的每一领域点的第一权重与第一差值，根据第二特征点和第二特征点预设半径范围内的邻域点，计算每一第二特征点与对应的每一领域点的第二权重与第二差值；

根据第一权重、第一差值以及第二权重和第二差值，通过特征值分解算法计算得到每一第一特征点的第四特征值和对应的第一特征向量、第五特征值和对应的第二特征向量、第六特征值和对应的第三特征向量，以及得到每一第二特征点的第七特征值和对应的第四特征向量、第八特征值和对应的第五特征向量、第九特征值和对应的第六特征向量；

根据第一特征向量、第二特征向量和第三特征向量得到每一第一特征点的第一局部坐标系，以及根据第四特征向量、第五特征向量和第六特征向量得到每一第二特征点的第二局部坐标系；

根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配；

其中，第一点云和第二点云分别包括邻域点。

9.工件的自动拾取装置，其特征在于，包括：

三维相机，用于预先获取工件的第一点云，以及用于获取工件的第二点云；

控制器，用于根据第一点云得到第一特征点，根据第二点云得到第二特征点，以及根据第一特征点和第二特征点，通过霍夫投票进行匹配，并根据匹配结果对机器人进行控制；

机器人，用于受工控机控制自动进行工件的拾取；

其中，匹配结果包括第一点云与第二点云之间的旋转平移矩阵；

所述根据第一特征点和第二特征点，通过霍夫投票进行匹配的步骤中，包括以下步骤：

根据第一特征点和第一特征点预设半径范围内的邻域点，计算每一第一特征点与对应的每一领域点的第一权重与第一差值，根据第二特征点和第二特征点预设半径范围内的邻域点，计算每一第二特征点与对应的每一领域点的第二权重与第二差值；

根据第一权重、第一差值以及第二权重和第二差值，通过特征值分解算法计算得到每一第一特征点的第四特征值和对应的第一特征向量、第五特征值和对应的第二特征向量、第六特征值和对应的第三特征向量，以及得到每一第二特征点的第七特征值和对应的第四特征向量、第八特征值和对应的第五特征向量、第九特征值和对应的第六特征向量；

根据第一特征向量、第二特征向量和第三特征向量得到每一第一特征点的第一局部坐标系，以及根据第四特征向量、第五特征向量和第六特征向量得到每一第二特征点的第二局部坐标系；

根据第一局部坐标系和第二局部坐标系，通过霍夫投票进行匹配；

其中，第一点云和第二点云分别包括邻域点。

Images