CN115469602A - 多材质产品的3d视觉主动式引导轨迹生成方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种多材质产品的3D视觉主动式引导轨迹生成方法、装置、设备及介质，其中方法包括：对待处理产品进行扫描，得到待处理点云；对待处理点云进行特征点抓取，得到待处理特征点集，并对待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；根据待处理特征点集、模板特征点集和模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；根据各个待处理轮廓点检测框，对每个待处理单材质区域提取待处理单材质轮廓点集；根据各个待处理单材质轮廓点集和各个模板单材质轮廓点集，对模板引导轨迹进行调整，得到待处理产品对应的待处理引导轨迹。从而生成了多材质产品的引导轨迹，提高了自动化点胶或喷涂作业的效果。

Description

多材质产品的3D视觉主动式引导轨迹生成方法、装置、设备及 介质

技术领域

本发明涉及自动化加工技术领域，尤其涉及一种多材质产品的3D视觉主动式引导轨迹生成方法、装置、设备及介质。

背景技术

多材质产品是由多种材质组合而成，传统的点胶机或喷涂机已无法满足需求，且目前暂无多材质产品的视觉引导轨迹。以人体工程学键盘的掌托为例，掌托由多种材料制成，最外层是布料，最内层是塑胶，布料留有一定的剩余，需要使用剩余的布料对塑胶进行包边，在剩余的布料和一定区域的塑胶上刷上粘合剂，使用布料将塑胶进行包边处理，因掌托存在一定量的形变，并且剩余布料的长度存在一定差异，导致一般只能人工刷胶。目前在进行自动化点胶或喷涂作业时，还没有很好的解决方案。因此，亟需一种可以针对多材质产品进行引导轨迹生成的方式。

发明内容

基于此，有必要针对上述提到无法针对多材质产品进行引导轨迹生成的技术问题，提出了一种多材质产品的3D视觉主动式引导轨迹生成方法、装置、设备及介质。

本申请提出了一种多材质产品的3D视觉主动式引导轨迹生成方法，所述方法包括：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

进一步的，所述对所述待处理点云进行特征点抓取，得到待处理特征点集的步骤，包括：

将所述待处理点云输入与所述模板产品对应的目标检测模型进行固定特征的检测，得到各个固定特征检测框；

在所述待处理点云中的与每个所述固定特征检测框对应的范围内搜索中心点，作为单特征中心点；

将各个所述单特征中心点作为所述待处理特征点集。

进一步的，所述对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域的步骤，包括：

采用预设的滤波组合方法，对所述待处理点云进行滤波处理，得到待提取点云，其中，所述滤波组合方法是均值滤波、中值滤波、高斯滤波和聚类滤波中的至少一种滤波方法组合得到的方法；

将所述待提取点云输入与所述模板产品对应的区域分割模型进行每种所述待分析材质对应的区域分割，得到所述待处理单材质区域。

进一步的，所述根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集的步骤，包括：

在第一材质对应的所述待处理单材质区域中的与所述第一材质对应的每个所述待处理轮廓点检测框对应的范围内搜索边界极值点，得到待处理单材质轮廓点，其中，所述第一材质是各种所述待分析材质中的任一种所述待分析材质；

将所述第一材质对应的各个所述待处理单材质轮廓点作为所述第一材质对应的所述待处理单材质轮廓点集。

进一步的，所述获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹的步骤之前，还包括：

对所述模板产品进行扫描，得到模板点云；

对所述模板点云进行特征点抓取，得到所述模板特征点集，并对所述模板点云进行每种所述待分析材质的区域提取，得到模板单材质区域；

根据每个所述模板单材质区域获取用户输入的各个模板轮廓点检测框；

根据第二材质对应的各个所述模板轮廓点检测框，对所述第二材质对应的所述模板单材质区域提取所述模板单材质轮廓点集，其中，所述第二材质是各种所述待分析材质中的任一种所述待分析材质；

根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系；

在所述模板产品上示教出每种所述待分析材质对应的机构单材质轨迹；

根据各个所述机构单材质轨迹，确定所述模板引导轨迹。

进一步的，所述根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系的步骤，包括：

从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框；

对所述模板特征点集中的每个特征点与所述待锚定检测框之间进行最短距离计算，得到单点最短距离；

从各个所述单点最短距离中找出值为最小的所述单点最短距离，作为目标距离；

将所述模板特征点集中的与所述目标距离对应的点作为所述待锚定检测框对应的锚定点；

将所述待锚定检测框对应的所述锚定点与所述待锚定检测框之间的空间位置关系作为所述待锚定检测框对应的单框锚定关系；

重复执行所述从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框的步骤，直至完成各个所述模板轮廓点检测框中的所述模板轮廓点检测框的获取；

将各个所述单框锚定关系作为所述模板特征点与检测框锚定关系。

进一步的，所述根据各个所述机构单材质轨迹，确定所述模板引导轨迹的步骤，包括：

获取所述模板产品对应的机构坐标与图像坐标之间的转换关系；

根据所述转换关系，将每个所述机构单材质轨迹映射到图像坐标系下，得到图像单材质轨迹；

基于路径最短原则，对各个所述图像单材质轨迹进行拼接，得到所述模板引导轨迹。

本申请还提出了一种多材质产品的3D视觉主动式引导轨迹生成装置，所述装置包括：

点云获取模块，用于对待处理产品进行扫描，得到待处理点云；

点云分析模块，用于对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

数据获取模块，用于获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

待处理轮廓点检测框确定模块，用于根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

待处理单材质轮廓点集确定模块，用于根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

待处理引导轨迹确定模块，用于根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本申请还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本申请的多材质产品的3D视觉主动式引导轨迹生成方法，首先从待处理产品的待处理点云中分析出待处理特征点集和待处理单材质区域，其次基于所述待处理特征点集与所述模板特征点集的对应关系和模板特征点与检测框锚定关系，确定待处理产品的各个待处理轮廓点检测框，然后根据各个所述待处理轮廓点检测框对每个所述待处理单材质区域提取待处理单材质轮廓点集，最后根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整以确定适用于待处理产品的待处理引导轨迹，从而生成了多材质产品的引导轨迹，为针对多材质产品进行自动化点胶或喷涂作业提供了基础，提高了生产效率；而且根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，充分考虑了待处理产品的形变，提高了确定的待处理引导轨迹的准确性，提高了自动化点胶或喷涂作业的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中多材质产品的3D视觉主动式引导轨迹生成方法的流程图；

图2为一个实施例中多材质产品的3D视觉主动式引导轨迹生成装置的结构框图；

图3为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在一个实施例中，提供了一种多材质产品的3D视觉主动式引导轨迹生成方法。该方法既可以应用于终端，也可以应用于服务器，本实施例以应用于终端举例说明。

该多材质产品的3D视觉主动式引导轨迹生成方法具体包括如下步骤：

S1：对待处理产品进行扫描，得到待处理点云；

具体而言，采用预设的机械手抓取待处理产品移动到视觉工具下，视觉工具对待处理产品进行扫描，将扫描得到的点云作为待处理点云。

在逆向工程中通过视觉工具得到的产品外观表面的点数据集合也称之为点云。

可选的，本申请的视觉工具采用三维线扫相机。

S2：对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

其中，所述待处理点云的特征点，是待处理产品中不易形变的固定特征的具有代表性的点。比如，在人体工程学键盘的掌托中，都存在固定的卡扣，卡扣附近无其余部件，因此将卡扣作为固定特征。

具体而言，从所述待处理点云中提取固定特征对应的各个点中具有代表性的点作为特征点，将提取的各个特征点作为待处理特征点集。

具有代表性的点的选择范围包括：中心点、左下角的点、左上角的点、右上角的点和右下角的点。

待分析材质，是想要分析的材质。材质的取值范围包括不限于：塑胶和布料。

具体而言，对所述待处理点云进行每种待分析材质的区域提取，将提取的每个区域作为一个待处理单材质区域。也就是说，待处理单材质区域中包括多个点，待处理单材质区域中的各个点表述的是同一种材质。

S3：获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

具体而言，可以从数据库中获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，也从第三方应用中获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹。

因所述模板产品与所述待处理产品为同类产品，只不过所述待处理产品相对所述模板产品可能有形变(也可以称为变形)。本申请的目标是在待处理产品存在形变的情况下，也能够准确的确定引导轨迹。

模板特征点集中包括至少一个特征点，其中，该特征点是模板产品中不易形变的固定特征的具有代表性的点。

模板特征点与检测框锚定关系，是模板产品的特征点与模板产品的模板轮廓点检测框之间的空间相对位置关系。

可选的，模板特征点与检测框锚定关系，是模板产品的特征点与模板产品的模板轮廓点检测框的中心点之间的空间相对位置关系。

模板单材质轮廓点集，是模板产品的一种待分析材质的轮廓的点的集合。

模板引导轨迹，是模板产品的视觉的引导轨迹。

可选的，模板引导轨迹是视觉工具的图像坐标系下的引导轨迹。

S4：根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

具体而言，首先将所述待处理特征点集中的特征点与所述模板特征点集中的特征点对应，将对应上的两个特征点作为特征点对；其次确定特征点对中的两个特征点之间的空间相对位置关系；然后根据所述模板特征点与检测框锚定关系，确定每个特征点对的第一特征点(也就是属于所述模板特征点集的特征点)对应的模板轮廓点检测框；最后根据特征点对的空间相对位置关系，对该特征点对的第一特征点对应的模板轮廓点检测框进行位置转换，得到该特征点对的第二特征点(也就是属于所述待处理特征点集的特征点)对应的待处理轮廓点检测框。

可以理解的是特征点对中的两个特征点对应同一个固定特征。

S5：根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

具体而言，采用预设的轮廓点确定方法，在所述待处理单材质区域中的与所述待处理轮廓点检测框对应的各个点中搜索轮廓点，将搜索到的轮廓点作为待处理单材质轮廓点；将同一个所述待处理单材质区域对应的各个待处理单材质轮廓点作为一个待处理单材质轮廓点集。

待处理单材质轮廓点集中的点是待处理单材质区域的轮廓上的点。

S6：根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

具体而言，首先根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集确定每种待分析材质的空间相对位置关系，然后根据待分析材质的空间相对位置关系，对所述模板引导轨迹中的与该待分析材质对应的轨迹段进行调整，在对所述模板引导轨迹完成所有待分析材质对应的轨迹段调整之后，将该所述模板引导轨迹作为所述待处理产品对应的待处理引导轨迹。

可以理解的是，所述根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹的步骤之后，还包括：根据模板产品对应的机构坐标与图像坐标之间的转换关系，将所述待处理产品对应的待处理引导轨迹的坐标从视觉工具的图像坐标系映射到机械手的机构坐标下，将完成映射的轨迹作为目标引导轨迹；根据引导轨迹对待处理产品进行点胶或喷涂作业。

所述模板产品对应的机构坐标与图像坐标之间的转换关系，是预先标定的转换关系。可以理解的是，所述模板产品对应的机构坐标与图像坐标之间的转换关系的实现方法，本领域技术人员可以从现有技术中无创造性的确定，在此不做赘述。

本实施例首先从待处理产品的待处理点云中分析出待处理特征点集和待处理单材质区域，其次基于所述待处理特征点集与所述模板特征点集的对应关系和模板特征点与检测框锚定关系，确定待处理产品的各个待处理轮廓点检测框，然后根据各个所述待处理轮廓点检测框对每个所述待处理单材质区域提取待处理单材质轮廓点集，最后根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整以确定适用于待处理产品的待处理引导轨迹，从而生成了多材质产品的引导轨迹，为针对多材质产品进行自动化点胶或喷涂作业提供了基础，提高了生产效率；而且根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，充分考虑了待处理产品的形变，提高了确定的待处理引导轨迹的准确性，提高了自动化点胶或喷涂作业的效果。

在一个实施例中，上述对所述待处理点云进行特征点抓取，得到待处理特征点集的步骤，包括：

S211：将所述待处理点云输入与所述模板产品对应的目标检测模型进行固定特征的检测，得到各个固定特征检测框；

具体而言，将所述待处理点云输入与所述模板产品对应的目标检测模型进行固定特征的检测，将检测得到的每个固定特征的检测框作为一个固定特征检测框。

其中，目标检测模型，用于检测待处理点云中的固定特征对应的各个点，并针对每个固定特征对应的各个点生成一个矩形体的检测框。所述目标检测模型是基于目标检测网络训练得到的模型。可以理解的是，所述目标检测模型的具体训练方法，本领域技术人员可以从现有技术中无创造性的确定，在此不做赘述。

S212：在所述待处理点云中的与每个所述固定特征检测框对应的范围内搜索中心点，作为单特征中心点；

具体而言，在所述待处理点云中的与每个所述固定特征检测框对应的范围内的各个点中，搜索出中心点，将搜索到的中心点作为一个单特征中心点。

也就是说，所述固定特征检测框与单特征中心点一一对应。

S213：将各个所述单特征中心点作为所述待处理特征点集。

具体而言，将各个所述单特征中心点作为所述待处理特征点集，从而确定了待处理产品中不易形变的固定特征的具有代表性的点的集合。

本实施例通过目标检测模型进行固定特征的检测，实现了自动化进行固定特征的检测，提高了本申请的自动化程度；通过目标检测模型的准确检测性能，提高了确定的待处理特征点集的准确性。

在一个实施例中，上述对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域的步骤，包括：

S221：采用预设的滤波组合方法，对所述待处理点云进行滤波处理，得到待提取点云，其中，所述滤波组合方法是均值滤波、中值滤波、高斯滤波和聚类滤波中的至少一种滤波方法组合得到的方法；

具体而言，采用预设的滤波组合方法，对所述待处理点云中的杂散点进行滤波处理，将完成滤波处理的所述待处理点云作为待提取点云。

图像的滤波处理波，即在尽量保留待提取点云对应的图像细节特征的条件下对待提取点云对应的图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。

其中，所述滤波组合方法两种及以上滤波方法组合得到的方法时，各个滤波方法按预设顺序执行。

可选的，所述滤波组合方法两种及以上滤波方法组合得到的方法时，若所述滤波组合方法包含聚类滤波，则将聚类滤波作为所述滤波组合方法中的第一个执行的方法。

S222：将所述待提取点云输入与所述模板产品对应的区域分割模型进行每种所述待分析材质对应的区域分割，得到所述待处理单材质区域。

具体而言，将所述待提取点云输入与所述模板产品对应的区域分割模型进行每种所述待分析材质对应的区域分割，将针对每种所述待分析材质分割出的区域作为一个所述待处理单材质区域。

其中，区域分割模型是用于检测所述待提取点云中的每种所述待分析材质对应的各个点，并将每种所述待分析材质对应的各个点作为一个区域。所述区域分割模型是基于目标检测网络训练得到的模型。可以理解的是，所述区域分割模型的具体训练方法，本领域技术人员可以从现有技术中无创造性的确定，在此不做赘述。

本实施例通过区域分割模型进行每种所述待分析材质对应的区域分割，实现了自动化进行区域分割，提高了本申请的自动化程度；而且先采用预设的滤波组合方法，对所述待处理点云进行滤波处理，去除了杂散点，有利于提高后续区域分割的准确性。

在一个实施例中，上述根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集的步骤，包括：

S51：在第一材质对应的所述待处理单材质区域中的与所述第一材质对应的每个所述待处理轮廓点检测框对应的范围内搜索边界极值点，得到待处理单材质轮廓点，其中，所述第一材质是各种所述待分析材质中的任一种所述待分析材质；

其中，每个所述待处理单材质区域对应一个方向属性。方向属性的取值范围包括：x方向最大、y方向最大、z方向最大、x方向最小、y方向最小和z方向最小。通过方向属性，可以准确并快速的确定待处理单材质轮廓点。

具体而言，在第一材质对应的所述待处理单材质区域中的与所述第一材质对应的每个所述待处理轮廓点检测框对应的范围内的各个点中，搜索与所述待处理轮廓点检测框的方向属性相同的边界极值点，将搜索到的边界极值点作为待处理单材质轮廓点。

比如，所述第一材质对应的所述待处理轮廓点检测框A1的方向属性是x方向最大，则在第一材质对应的所述待处理单材质区域中的与所述第一材质对应的每个所述待处理轮廓点检测框对应的范围的各个点中搜索出x方向上最大的点，将搜索出的点作为所述待处理轮廓点检测框A1对应的待处理单材质轮廓点。

S52：将所述第一材质对应的各个所述待处理单材质轮廓点作为所述第一材质对应的所述待处理单材质轮廓点集。

具体而言，将所述第一材质对应的各个所述待处理单材质轮廓点作为所述第一材质对应的所述待处理单材质轮廓点集，也就是说，所述待处理单材质轮廓点集中的点表述的都是第一材质。

可以理解的是，重复执行步骤S51至步骤S52，即可确定每种所述待分析材质对应的所述待处理单材质轮廓点集。

本实施例通过采用搜索边界极值点，从而快速的确定每种所述待分析材质对应的所述待处理单材质轮廓点集，为基于所述待处理单材质轮廓点集确定待处理产品对应的待处理引导轨迹提供了基础。

在一个实施例中，上述获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹的步骤之前，还包括：

S31：对所述模板产品进行扫描，得到模板点云；

具体而言，采用预设的机械手抓取模板产品移动到视觉工具下，视觉工具对模板产品进行扫描，将扫描得到的点云作为模板点云。

S32：对所述模板点云进行特征点抓取，得到所述模板特征点集，并对所述模板点云进行每种所述待分析材质的区域提取，得到模板单材质区域；

具体而言，从所述模板点云中提取固定特征对应的各个点中具有代表性的点作为特征点，将提取的各个特征点作为所述模板特征点集。

具体而言，对所述模板点云进行每种待分析材质的区域提取，将提取的每个区域作为一个模板单材质区。也就是说，模板单材质区域中包括多个点，模板单材质区域中的各个点对应同一种材质。

S33：根据每个所述模板单材质区域获取用户输入的各个模板轮廓点检测框；

具体而言，将每个所述模板单材质区域进行展示，根据展示的所述模板单材质区域获取用户输入的各个模板轮廓点检测框。

模板轮廓点检测框是矩形体的检测框。也就是说，模板轮廓点检测框是三维的框。

每个所述模板轮廓点检测框对应一个方向属性。

S34：根据第二材质对应的各个所述模板轮廓点检测框，对所述第二材质对应的所述模板单材质区域提取所述模板单材质轮廓点集，其中，所述第二材质是各种所述待分析材质中的任一种所述待分析材质；

具体而言，从所述第二材质对应的所述模板单材质区域中的与所述第二材质对应的对应的范围内的各个点，搜索与所述第二材质对应的所述模板轮廓点检测框的方向属性，将搜索到的边界极值点作为模板单材质轮廓点，将所述第二材质对应的各个模板单材质轮廓点作为所述第二材质对应的所述模板单材质轮廓点集。

可以理解的是，重复执行步骤S34，即可确定每种所述待分析材质对应的所述模板单材质轮廓点集。

S35：根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系；

具体而言，将所述模板特征点集中的与所述模板轮廓点检测框距离最近的特征点作为锚定点，将该锚定点与该所述模板轮廓点检测框之间的空间相对位置关系作为单框锚定关系；将所有的单框锚定关系作为所述模板特征点与检测框锚定关系。

S36：在所述模板产品上示教出每种所述待分析材质对应的机构单材质轨迹；

具体而言，通过人工示教的方式，在所述模板产品上示教出每种所述待分析材质对应的机构单材质轨迹。

S37：根据各个所述机构单材质轨迹，确定所述模板引导轨迹。

具体而言，将所述机构单材质轨迹的坐标系从机械手的机构坐标系转换为视觉工具的图像坐标系，将转换后的各个单材质轨迹进行关联，形成一条完整轨迹，将该条完整轨迹作为所述模板引导轨迹。

完整轨迹，是只包含一个起点和一个终点的轨迹。

本实施例根据就近原则确定所述模板特征点集中的特征点与模板轮廓点检测框之间的锚定关系，为后续基于模板特征点与检测框锚定关系确定形变的待处理产品的待处理轮廓点检测框提供了基础。

在一个实施例中，上述根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系的步骤，包括：

S351：从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框；

S352：对所述模板特征点集中的每个特征点与所述待锚定检测框之间进行最短距离计算，得到单点最短距离；

具体而言，对所述模板特征点集中的每个特征点与所述待锚定检测框之间进行最短距离计算，将计算得到的每个最短距离作为单点最短距离。

S353：从各个所述单点最短距离中找出值为最小的所述单点最短距离，作为目标距离；

具体而言，从各个所述单点最短距离中找出值为最小的所述单点最短距离，将找出的所述单点最短距离作为目标距离。

S354：将所述模板特征点集中的与所述目标距离对应的点作为所述待锚定检测框对应的锚定点；

具体而言，将所述模板特征点集中的与所述目标距离对应的点作为所述待锚定检测框对应的锚定点，从而将距离最近的特征点作为锚定点。

S355：将所述待锚定检测框对应的所述锚定点与所述待锚定检测框之间的空间位置关系作为所述待锚定检测框对应的单框锚定关系；

具体而言，将所述待锚定检测框对应的所述锚定点与所述待锚定检测框之间的空间位置关系作为所述待锚定检测框对应的单框锚定关系，从而确定了待锚定检测框与锚定点之间的锚定关系。

S356：重复执行所述从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框的步骤，直至完成各个所述模板轮廓点检测框中的所述模板轮廓点检测框的获取；

具体而言，重复执行所述从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框的步骤，也就是重复执行步骤S351至步骤S356，直至完成各个所述模板轮廓点检测框中的所述模板轮廓点检测框的获取；当完成各个所述模板轮廓点检测框中的所述模板轮廓点检测框的获取时，此时意味着确定了每个所述模板轮廓点检测框的单框锚定关系。

S357：将各个所述单框锚定关系作为所述模板特征点与检测框锚定关系。

具体而言，将各个所述单框锚定关系作为所述模板特征点与检测框锚定关系，从而为后续基于模板特征点与检测框锚定关系确定形变的待处理产品的待处理轮廓点检测框提供了基础。

本实施例通过将最短距离最小的特征点作为所述模板轮廓点检测框的锚定点，锚定点与所述模板轮廓点检测框之间的空间位置关系作为单框锚定关系，将所有单框锚定关系作为模板特征点与检测框锚定关系，为后续基于模板特征点与检测框锚定关系确定待处理产品的待处理轮廓点检测框提供了基础。

在一个实施例中，上述根据各个所述机构单材质轨迹，确定所述模板引导轨迹的步骤，包括：

S371：获取所述模板产品对应的机构坐标与图像坐标之间的转换关系；

具体而言，可以从数据库中获取所述模板产品对应的机构坐标与图像坐标之间的转换关系，也可以从第三方应用中获取所述模板产品对应的机构坐标与图像坐标之间的转换关系。

S372：根据所述转换关系，将每个所述机构单材质轨迹映射到图像坐标系下，得到图像单材质轨迹；

具体而言，根据所述转换关系，将每个所述机构单材质轨迹的坐标从机械手的机构坐标映射到视觉工具的图像坐标系下，将完成映射的轨迹作为图像单材质轨迹。

S373：基于路径最短原则，对各个所述图像单材质轨迹进行拼接，得到所述模板引导轨迹。

具体而言，基于路径最短原则，将各个所述图像单材质轨迹进行拼接，得到一条完整轨迹，将该完整轨迹作为所述模板引导轨迹。

可以理解的是，基于路径最短原则，将各个所述图像单材质轨迹进行拼接时，若存在相邻的所述图像单材质轨迹不相交，则可以添加辅助线，以使将各个所述图像单材质轨迹拼接成一条完整轨迹。

在本申请的另一个实施例中，还可以将各个所述图像单材质轨迹进行展示，用户将展示的各个所述图像单材质轨迹拼接出一条完整轨迹。

本实施例基于路径最短原则，对各个所述图像单材质轨迹进行拼接，得到所述模板引导轨迹，从而使确定的模板引导轨迹的路径最短，减少了确定的模板引导轨迹的长度，提高了产品加工效率。

如图2所示，在一个实施例中，本申请还提出了一种多材质产品的3D视觉主动式引导轨迹生成装置，所述装置包括：

点云获取模块801，用于对待处理产品进行扫描，得到待处理点云；

点云分析模块802，用于对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

数据获取模块803，用于获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

待处理轮廓点检测框确定模块804，用于根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

待处理单材质轮廓点集确定模块805，用于根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

待处理引导轨迹确定模块806，用于根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本实施例首先从待处理产品的待处理点云中分析出待处理特征点集和待处理单材质区域，其次基于所述待处理特征点集与所述模板特征点集的对应关系和模板特征点与检测框锚定关系，确定待处理产品的各个待处理轮廓点检测框，然后根据各个所述待处理轮廓点检测框对每个所述待处理单材质区域提取待处理单材质轮廓点集，最后根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整以确定适用于待处理产品的待处理引导轨迹，从而生成了多材质产品的引导轨迹，为针对多材质产品进行自动化点胶或喷涂作业提供了基础，提高了生产效率；而且根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，充分考虑了待处理产品的形变，提高了确定的待处理引导轨迹的准确性，提高了自动化点胶或喷涂作业的效果。

图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现多材质产品的3D视觉主动式引导轨迹生成方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行多材质产品的3D视觉主动式引导轨迹生成方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本实施例首先从待处理产品的待处理点云中分析出待处理特征点集和待处理单材质区域，其次基于所述待处理特征点集与所述模板特征点集的对应关系和模板特征点与检测框锚定关系，确定待处理产品的各个待处理轮廓点检测框，然后根据各个所述待处理轮廓点检测框对每个所述待处理单材质区域提取待处理单材质轮廓点集，最后根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整以确定适用于待处理产品的待处理引导轨迹，从而生成了多材质产品的引导轨迹，为针对多材质产品进行自动化点胶或喷涂作业提供了基础，提高了生产效率；而且根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，充分考虑了待处理产品的形变，提高了确定的待处理引导轨迹的准确性，提高了自动化点胶或喷涂作业的效果。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

本实施例首先从待处理产品的待处理点云中分析出待处理特征点集和待处理单材质区域，其次基于所述待处理特征点集与所述模板特征点集的对应关系和模板特征点与检测框锚定关系，确定待处理产品的各个待处理轮廓点检测框，然后根据各个所述待处理轮廓点检测框对每个所述待处理单材质区域提取待处理单材质轮廓点集，最后根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整以确定适用于待处理产品的待处理引导轨迹，从而生成了多材质产品的引导轨迹，为针对多材质产品进行自动化点胶或喷涂作业提供了基础，提高了生产效率；而且根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，充分考虑了待处理产品的形变，提高了确定的待处理引导轨迹的准确性，提高了自动化点胶或喷涂作业的效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率

SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多材质产品的3D视觉主动式引导轨迹生成方法，所述方法包括：

对待处理产品进行扫描，得到待处理点云；

对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

2.根据权利要求1所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述对所述待处理点云进行特征点抓取，得到待处理特征点集的步骤，包括：

将所述待处理点云输入与所述模板产品对应的目标检测模型进行固定特征的检测，得到各个固定特征检测框；

在所述待处理点云中的与每个所述固定特征检测框对应的范围内搜索中心点，作为单特征中心点；

将各个所述单特征中心点作为所述待处理特征点集。

3.根据权利要求1所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域的步骤，包括：

采用预设的滤波组合方法，对所述待处理点云进行滤波处理，得到待提取点云，其中，所述滤波组合方法是均值滤波、中值滤波、高斯滤波和聚类滤波中的至少一种滤波方法组合得到的方法；

将所述待提取点云输入与所述模板产品对应的区域分割模型进行每种所述待分析材质对应的区域分割，得到所述待处理单材质区域。

4.根据权利要求1所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集的步骤，包括：

在第一材质对应的所述待处理单材质区域中的与所述第一材质对应的每个所述待处理轮廓点检测框对应的范围内搜索边界极值点，得到待处理单材质轮廓点，其中，所述第一材质是各种所述待分析材质中的任一种所述待分析材质；

将所述第一材质对应的各个所述待处理单材质轮廓点作为所述第一材质对应的所述待处理单材质轮廓点集。

5.根据权利要求1所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹的步骤之前，还包括：

对所述模板产品进行扫描，得到模板点云；

对所述模板点云进行特征点抓取，得到所述模板特征点集，并对所述模板点云进行每种所述待分析材质的区域提取，得到模板单材质区域；

根据每个所述模板单材质区域获取用户输入的各个模板轮廓点检测框；

根据第二材质对应的各个所述模板轮廓点检测框，对所述第二材质对应的所述模板单材质区域提取所述模板单材质轮廓点集，其中，所述第二材质是各种所述待分析材质中的任一种所述待分析材质；

根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系；

在所述模板产品上示教出每种所述待分析材质对应的机构单材质轨迹；

根据各个所述机构单材质轨迹，确定所述模板引导轨迹。

6.根据权利要求5所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述根据各个所述模板轮廓点检测框和所述模板特征点集，确定所述模板特征点与检测框锚定关系的步骤，包括：

从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框；

对所述模板特征点集中的每个特征点与所述待锚定检测框之间进行最短距离计算，得到单点最短距离；

从各个所述单点最短距离中找出值为最小的所述单点最短距离，作为目标距离；

将所述模板特征点集中的与所述目标距离对应的点作为所述待锚定检测框对应的锚定点；

将所述待锚定检测框对应的所述锚定点与所述待锚定检测框之间的空间位置关系作为所述待锚定检测框对应的单框锚定关系；

重复执行所述从各个所述模板轮廓点检测框中获取任一个所述模板轮廓点检测框作为待锚定检测框的步骤，直至完成各个所述模板轮廓点检测框中的所述模板轮廓点检测框的获取；

将各个所述单框锚定关系作为所述模板特征点与检测框锚定关系。

7.根据权利要求5所述的多材质产品的3D视觉主动式引导轨迹生成方法，其特征在于，所述根据各个所述机构单材质轨迹，确定所述模板引导轨迹的步骤，包括：

获取所述模板产品对应的机构坐标与图像坐标之间的转换关系；

根据所述转换关系，将每个所述机构单材质轨迹映射到图像坐标系下，得到图像单材质轨迹；

基于路径最短原则，对各个所述图像单材质轨迹进行拼接，得到所述模板引导轨迹。

8.一种多材质产品的3D视觉主动式引导轨迹生成装置，其特征在于，所述装置包括：

点云获取模块，用于对待处理产品进行扫描，得到待处理点云；

点云分析模块，用于对所述待处理点云进行特征点抓取，得到待处理特征点集，并对所述待处理点云进行每种待分析材质的区域提取，得到待处理单材质区域；

数据获取模块，用于获取模板产品的模板特征点集、模板特征点与检测框锚定关系、各个模板单材质轮廓点集及模板引导轨迹，其中，所述模板产品与所述待处理产品为同类产品；

待处理轮廓点检测框确定模块，用于根据所述待处理特征点集、所述模板特征点集和所述模板特征点与检测框锚定关系，确定各个待处理轮廓点检测框；

待处理单材质轮廓点集确定模块，用于根据各个所述待处理轮廓点检测框，对每个所述待处理单材质区域提取待处理单材质轮廓点集；

待处理引导轨迹确定模块，用于根据各个所述待处理单材质轮廓点集和各个所述模板单材质轮廓点集，对所述模板引导轨迹进行调整，得到所述待处理产品对应的待处理引导轨迹。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

Images