CN113829344B - 适用于柔性产品的视觉引导轨迹生成方法、装置、设备及介质 - Google Patents

Abstract

本申请提供了一种适用于柔性产品的视觉引导轨迹生成方法，首先建立模板特征点集，模板特征点集是由多个基准点集组成的，且第k个基准点集是由第k‑1个基准点集进行扩张得到的，然后建立每个点位的三维测量框与模板特征点集中模板特征点的空间相对位置关系，后续针对待处理产品，提取到待处理产品对应的三维图像的实际特征点后，就可以根据三维测量框与模板特征点集中模板特征点的空间相对位置关系确定每个实际特征点对应的三维测量框，然后根据每个点位对应三维测量框确定对应的目标机构轨迹路径点集。该方法解决了柔性产品无法进行视觉引导的难题。此外，还提出了一种适用于柔性产品的视觉引导轨迹生成装置、设备及介质。

Description

适用于柔性产品的视觉引导轨迹生成方法、装置、设备及介质

技术领域

本申请涉及自动化加工技术领域，特别涉及为一种适用于柔性产品的视觉引导轨迹的生成方法、装置、设备及介质。

背景技术

柔性材料受限于本身形变量过大，传统的点胶机或喷涂机已无法满足需求，且目前暂无柔性产品视觉引导方案。以VR眼镜生产过程为例，一般中高端的VR眼镜与人皮肤接触的那一部分都是海绵或者布质等柔性材料所制，其他主体为塑胶或金属等硬质材料所制，生产过程中需要将主体与柔性材料的接触面刷上粘合剂进行粘合，主体为硬质材料所制可用常规自动化方案进行自动化高精度粘合剂(比如，胶水)喷涂作业，而柔性材料受限于本身形变量过大，一般只能采用人工刷胶。目前对柔性材料在进行自动化点胶或喷涂作业时，还没有很好的解决方案。

因此，亟需一种可以针对柔性产品进行视觉引导轨迹生成的方式。

发明内容

针对于上述提到无法对柔性产品进行视觉引导轨迹生成的问题，提出了一种适用于柔性产品的视觉引导轨迹的生成方法、装置、设备及介质，该方法可以很好地解决柔性产品无法进行视觉引导轨迹生成的问题。

一种适用于柔性产品的视觉引导轨迹生成方法，所述方法包括：

对模板产品进行扫描，得到与所述模板产品对应的模板图像；

对所述模板图像进行特征点提取，得到第一基准点集；

根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤N，k和M均为正整数；

在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

一种适用于柔性产品的视觉引导轨迹生成装置，所述装置包括：

扫描模块，用于对模板产品进行扫描，得到与所述模板产品对应的模板图像；

提取模块，用于对所述模板图像进行特征点提取，得到第一基准点集；

构成模块，用于根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

示教模块，用于在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

映射模块，用于获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

建立模块，用于基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

所述扫描模块还用于对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

第一确定模块，用于对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

第二确定模块，用于根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

对模板产品进行扫描，得到与所述模板产品对应的模板图像；

对所述模板图像进行特征点提取，得到第一基准点集；

根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

对模板产品进行扫描，得到与所述模板产品对应的模板图像；

对所述模板图像进行特征点提取，得到第一基准点集；

根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

上述适用于柔性产品的视觉引导轨迹生成方法、装置、计算机设备及存储介质，首先建立模板特征点集，模板特征点集是由多个基准点集组成的，且第k个基准点集是由第k-1个基准点集进行扩张得到的，然后建立每个点位的三维测量框与模板特征点集中模板特征点的空间相对位置关系，后续针对待处理产品，提取到待处理产品对应的三维图像的实际特征点后，就可以根据三维测量框与模板特征点集中模板特征点的空间相对位置关系确定每个实际特征点对应的三维测量框，然后根据每个点位对应三维测量框确定对应的目标机构轨迹路径点集，该目标机构轨迹路径点集构成了视觉引导轨迹。上述方法中考虑到柔性产品存在较大的形变，所以建立的模板特征点集中包括多个基准点集，然后又分别建立每个点位的三维测量框与模板特征点集中模板特征点的空间相对位置关系，当后续测量到待处理产品对应的实际特征点后，就可以根据空间相对位置关系准确地确定点位的三维测量框，然后根据图像坐标与机构坐标之间的转换关系，确定目标机构轨迹路径点集，故，该方法针对柔性产品，也能够准确地生成视觉引导轨迹。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中适用于柔性产品的视觉引导轨迹生成方法流程图；

图2为一个实施例中采用3D视觉进行引导的过程示意图；

图3为一个实施例中适用于柔性产品的视觉引导轨迹生成装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，提出了一种适用于柔性产品的视觉引导轨迹生成方法，该方法包括：

步骤102，对模板产品进行扫描，得到与模板产品对应的模板图像。

其中，采用视觉工具对模板产品进行3D扫描，得到模板产品的模板图像。在一个实施例中，一次扫描的范围有限，对于中大型产品，需要分为多次扫描，然后将多次扫描的结果进行拼接，得到完整的模板图像。

步骤104，对模板图像进行特征点提取，得到第一基准点集。

其中，特征点是指模板图像中具有代表性的点，比如，提取产品内轮廓或外轮廓上的有代表性的点作为特征点。将提取到的特征点集称为第一基准点集。

步骤106，根据第一基准点集得到模板特征点集，模板特征点集中包括：M个基准点集，M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，第k-1基准点集中的每个点对应的扩张点构成了第k基准点集，其中，2≤k≤M，k和M均为正整数。

其中，通过对第一基准点集中的每个点进行邻域有效点提取，然后基于领域有效点进行拟合得到平面，提取平面对应的法向量，即拟合得到法向量，然后基于法向量确定产品所在的方向，在产品方向上进行向内或向外扩张预设的固定空间距离(比如，1mm*1mm*1mm),得到每个点对应的扩张点，每个点与对应的扩张点之间的距离是一样的，所有的扩张点构成了第二基准点集，然后利用同样的方式，根据第二基准点集得到第三基准点集，根据第三基准点集得到第四基准点集等等，最后将得到的所有基准点集共同作为模板特征点集。考虑到柔性产品的形变量很大，所以这里创新性地扩展了模板特征点集中的特征点范围，便于后续建立准确的三维测量框与模板特征点之间的空间相对位置关系。

其中，M的值是根据具体的产品来提前设定的，设定的原则是：产品规格越大，M的值越大，产品的常规形变量越大，M的值越大。

步骤108，在模板产品上示教出模板机构路径点集，模板机构路径点集中包括各个点位的模板机构坐标。

其中，模板机构路径点集中包括：模板产品中每个点位的机构坐标(即产品上点位的坐标)。模板机构路径点集是由一个个点位构成的集合。通过人工示教来得到模板机构路径点集。这里的点位是指工艺执行点位。

步骤110，获取图像坐标与机构坐标之间的转换关系，根据转换关系，将模板机构路径点集映射到模板图像，确定模板机构路径点集中每个点位的图像坐标。

其中，预先建立图像坐标与机构坐标之间的转换关系，建立该转换关系的过程就是通常说得标定数据的过程。根据预先建立的转换关系，将模板机构路径点集中各个点位的机构坐标映射到模板图像上，得到每个点位的图像坐标。

步骤112，基于每个点位的图像坐标建立三维测量框，从模板特征点集中查找与三维测量框对应的模板特征点，建立三维测量框与模板特征点集中模板特征点的空间相对位置关系。

其中，基于点位的图像坐标建立三维测量框，三维测量框是以点位的图像坐标为中心按照预设的长宽高建立的，三维测量框是一个三维的长方体。从模板特征点集中查找与三维测量框中心最近的模板特征点，将该最近的模板特征点作为与该三维测量框对应的模板特征点，然后建立三维测量框与模板特征点的空间相对位置关系。

步骤114，对待处理产品进行扫描，得到待处理产品的三维图像，待处理产品与模板产品为同类产品。

其中，待处理产品为实际需要执行的产品，其与示教的模板产品为同类产品，只不过其内部可能有变形。我们的目标是在待处理产品内部有变形的情况下，也能实现高精度的。对待处理产品同样需要进行扫描，然后得到三维图像。

步骤116，对三维图像进行实际特征点提取，得到实际特征点集，根据三维测量框与模板特征点集中模板特征点的空间相对位置关系，确定三维图像中每个实际特征点对应的三维测量框。

其中，采用同样的方式对三维图像进行特征点提取，得到实际特征点集，已知三维测量框与模板特征点集中的模板特征点的空间相对位置关系，确定每个实际特征点对应的三维测量框。具体地，是通过将实际特征点集的特征点对应的模板特征点集中的特征点，然后确实三维测量框。举个例子，实际特征点A对应模板特征点A’，那边A’对应的三维测量框就是A对应的三维测量框。

步骤118，根据待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，目标机构轨迹路径点集构成了视觉引导轨迹。

其中，在确定了三维测量框的位置后，为了使得输出的视觉引导轨迹更贴合实际产品，在三维测量框内搜索有效点，保证搜索的有效点是符合产品局部形变的点，也一定是在实际产品上的点，将得到的有效点形成有效点集D，然后基于有效点集D根据转换关系确定目标机构轨迹路径点集。

上述适用于柔性产品的视觉引导轨迹生成方法，首先建立模板特征点集，模板特征点集是由多个基准点集组成的，且第k个基准点集是由第k-1个基准点集进行扩张得到的，然后建立每个点位的三维测量框与模板特征点集中模板特征点的空间相对位置关系，后续针对待处理产品，提取到待处理产品对应的三维图像的实际特征点后，就可以根据三维测量框与模板特征点集中模板特征点的空间相对位置关系确定每个实际特征点对应的三维测量框，然后根据每个点位对应三维测量框确定对应的目标机构轨迹路径点集，该目标机构轨迹路径点集构成了视觉引导轨迹。上述方法中考虑到柔性产品存在较大的形变，所以建立的模板特征点集中包括多个基准点集，然后又分别建立每个点位的三维测量框与模板特征点集中模板特征点的空间相对位置关系，当后续测量到待处理产品对应的实际特征点后，就可以根据空间相对位置关系准确地确定点位的三维测量框，然后根据图像坐标与机构坐标之间的转换关系，确定目标机构轨迹路径点集，故，该方法针对柔性产品，也能够准确地生成视觉引导轨迹。

在一个实施例中，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，包括：对所述第k-1基准点集中的每一点进行领域有效点的提取，基于提取到的邻域有效点进行平面拟合，基于拟合得到的平面确定所述法向量；基于所述法向量在产品方向上向内或向外扩张预设的固定空间距离，得到与相应点对应的扩张点。

其中，基于第k-1基准点集扩张得到第k基准点集，针对第k-1基准点集中的每个点，首先拟合得到法向量，将法向量作为Z方向，确定X方向以及Y方向。然后确定产品方向，比如，产品方向为X方向，那么沿着X方向进行扩张预设的固定空间距离，得到第k基准点集。

在一个实施例中，所述基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的特征点，建立所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，包括：基于每个点位的图像坐标建立三维测量框，所述三维测量框是以所述点位的图像坐标为中心的；从所述模板特征点集中查找距离所述点位的图像坐标最近的模板特征点，将所述距离点位的图像坐标最近的模板特征点作为与所述三维测量框对应的模板特征点，建立三维测量框与所述模板特征点之间的空间相对位置关系。

其中，在确定了三维测量框后，采用“就近原则”确定与之对应的模板特征点，并建立两者之间的空间相对位置关系。采用“就近原则”有利于减少形变带来的影响。从而提高了空间相对位置关系的准确度。

在一个实施例中，所述根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹，包括：确定每个实际特征点对应的三维测量框，在所述三维测量框内搜索有效点，得到有效点集；根据所述有效点集确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

其中，由于待处理产品可能存在凸起或凹陷，为了使得生成的视觉引导轨迹更准确，在得到三维测量框之后，在三维测量框内进行有效点的搜索，然后将搜索的有效点的坐标作为准确的坐标。基于有效点集确定目标机构轨迹路径点集，这样便能够得到准确到的视觉引导轨迹，后续可以利用视觉引导轨迹进行点胶或喷涂的操作。

在一个实施例中，在所述获取图像坐标与机构坐标之间的转换关系之前，还包括：建立所述图像坐标与机构坐标之间的转换关系，包括：通过相机扫描标定模块获取扫描图像；采用视觉工具抓取所述扫描图像中N个标定点的图像坐标；将所述机针头移动至所述标定块的位置，记录相应的N个机构坐标；根据所述N个标定点的图像坐标和所述N个机构坐标确定所述图像坐标与所述机构坐标之间的转换关系，其中，N为大于或等于4的正整数。

其中，转换关系也称为“标定关系”，即不同坐标系之间的转换关系，体现在图像坐标与机构坐标之间的转换。建立转换关系的过程具体包括：首先确定N个N个标定点的图像坐标，然后确定N个标定点的机构坐标，之后，根据N个标定点的图像坐标和N个标定点的机构坐标就可以计算得到两者之间的转换关系。

在一个实施例中，上述方法还包括：根据所述目标机构轨迹路径点集进行引导点胶或喷涂。

在一个实施例中，获取所述模板产品的大小和常规形变量，根据所述模板产品的大小和所述常规形变量确定所述M的值。模板产品越大，形变量越大，所取得M值就会越大。通过M值得设定，可以使得应用更加灵活。

如图2所示，为整个采用3D视觉进行引导的过程示意图。包括：四个部分，第一部分是建立标定关系的过程。第二部分是建立模板特征点集的过程。第三部分是建立三维测量框与模板特征点集中模板特征点的空间相对位置关系的过程。第四部分是具体的执行的过程。

其中，第一部分中先是扫描标定块获取图像，之后采用视觉工具抓取图像中N个标定点的图像坐标；另外，将针头移动至标定块的位置，记录相应的N个机构坐标；根据N个标定点的图像坐标和N个标定点的机构坐标确定图像坐标与所述机构坐标之间的标定关系。

第二部分中先是对模板产品进行扫描得到模板图像，然后提取模板图像中的特征点作为第一基准点集P1，然后对基准点集P1中的每一个点进行邻域有效点的提取，基于邻域有效点拟合得到法向量，之后基于法向量沿着产品方向向内或向外扩张固定空间距离生成第二基准点集P2，之后基于第二基准点集P2生成第三基准点集P3，以此类推，得到PM，将P1-PM都作为模板特征点集P。

第三部分中先是在模板产品A上示教出模板机构路径点集D1，根据转换关系映射到模板图像得到点位的图像坐标，然后基于点位生成三维测量框，并按照“就近原则”将其锚定到模板特征点集P中的某一模板特征点，并建立三维测量框与该模板特征点之间的空间相对位置关系。

第四部分中先是对待处理产品A1进行扫描得到三维图像，然后采用3D工具组进行实际特征点集的抓取，然后根据三维测量框与模板特征点集中模板特征点的空间相对位置关系确定与每个实际特征点对应的三维测量框，然后在三维测量框内搜索有效点，并输出有效点集D2，在转换关系作用下，将有效点集D2转化为目标机构轨迹路径点集。后续可以利用目标机构轨迹路径点集进行引导点胶或喷墨。

如图3所示，在一个实施例中，提出了一种适用于柔性产品的视觉引导轨迹生成装置，所述装置包括：

扫描模块302，用于对模板产品进行扫描，得到与所述模板产品对应的模板图像；

提取模块304，用于对所述模板图像进行特征点提取，得到第一基准点集；

构成模块306，用于根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

示教模块308，用于在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

映射模块310，用于获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

建立模块312，用于基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

所述扫描模块还用于对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

第一确定模块314，用于对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

第二确定模块316，用于根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

在一个实施例中，构成模块306还用于对所述第k-1基准点集中的每一点进行领域有效点的提取，基于提取到的邻域有效点进行平面拟合，基于拟合得到的平面确定所述法向量；基于所述法向量在产品方向上向内或向外扩张预设的固定空间距离，得到与相应点对应的扩张点。

在一个实施例中，建立模块还用于基于每个点位的图像坐标建立三维测量框，所述三维测量框是以所述点位的图像坐标为中心的；从所述模板特征点集中查找距离所述点位的图像坐标最近的模板特征点，将所述距离点位的图像坐标最近的模板特征点作为与所述三维测量框对应的模板特征点，建立三维测量框与所述模板特征点之间的空间相对位置关系。

在一个实施例中，第二确定模块316还用于确定每个实际特征点对应的三维测量框，在所述三维测量框内搜索有效点，得到有效点集；根据所述有效点集确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

在一个实施例中，上述装置还包括：转换模块，用于通过相机扫描标定模块获取扫描图像；采用视觉工具抓取所述扫描图像中N个标定点的图像坐标；将所述机针头移动至所述标定块的位置，记录相应的N个机构坐标；根据所述N个标定点的图像坐标和所述N个机构坐标确定所述图像坐标与所述机构坐标之间的转换关系，其中，N为大于或等于4的正整数。

在一个实施例中，上述装置还包括：引导模块，用于根据所述目标机构轨迹路径点集进行引导点胶或喷涂。

在一个实施例中，上述装置还包括：第三确定模块，用于获取所述模板产品的大小和常规形变量，根据所述模板产品的大小和所述常规形变量确定所述M的值。

图4示出了一个实施例中计算机设备的内部结构图。该计算机设备可以是终端。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质有存储操作系统，还可有存储计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的适用于柔性产品的视觉引导轨迹生成方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的适用于柔性产品的视觉引导轨迹生成方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一实施例中适用于柔性产品的视觉引导轨迹生成方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一实施例中适用于柔性产品的视觉引导轨迹生成方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种适用于柔性产品的视觉引导轨迹生成方法，其特征在于，所述方法包括：

对模板产品进行扫描，得到与所述模板产品对应的模板图像；

对所述模板图像进行特征点提取，得到第一基准点集；

根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

2.根据权利要求1所述的方法，其特征在于，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，包括：

对所述第k-1基准点集中的每一点进行领域有效点的提取，基于提取到的邻域有效点进行平面拟合，基于拟合得到的平面确定所述法向量；

基于所述法向量在产品方向上向内或向外扩张预设的固定空间距离，得到与相应点对应的扩张点。

3.根据权利要求1所述的方法，其特征在于，所述基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的特征点，建立所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，包括：

基于每个点位的图像坐标建立三维测量框，所述三维测量框是以所述点位的图像坐标为中心的；

从所述模板特征点集中查找距离所述点位的图像坐标最近的模板特征点，将距离所述点位的图像坐标最近的模板特征点作为与所述三维测量框对应的模板特征点，建立三维测量框与所述模板特征点之间的空间相对位置关系。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹，包括：

确定每个实际特征点对应的三维测量框，在所述三维测量框内搜索有效点，得到有效点集；

根据所述有效点集确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

5.根据权利要求1所述的方法，其特征在于，在所述获取图像坐标与机构坐标之间的转换关系之前，还包括：

建立所述图像坐标与机构坐标之间的转换关系，包括：

通过相机扫描标定模块获取扫描图像；

采用视觉工具抓取所述扫描图像中N个标定点的图像坐标；

将机针头移动至所述标定模块的位置，记录相应的N个机构坐标；

根据所述N个标定点的图像坐标和所述N个机构坐标确定所述图像坐标与所述机构坐标之间的转换关系，其中，N为大于或等于4的正整数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标机构轨迹路径点集进行引导点胶或喷涂。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述模板产品的大小和常规形变量，根据所述模板产品的大小和所述常规形变量确定所述M的值。

8.一种适用于柔性产品的视觉引导轨迹生成装置，其特征在于，所述装置包括：

扫描模块，用于对模板产品进行扫描，得到与所述模板产品对应的模板图像；

提取模块，用于对所述模板图像进行特征点提取，得到第一基准点集；

构成模块，用于根据所述第一基准点集得到模板特征点集，所述模板特征点集中包括：M个基准点集，所述M个基准点集中的第k基准点集是通过对第k-1基准点集中的每一点的领域有效点进行提取，基于领域有效点拟合得到法向量，基于所述法向量在产品方向上扩张预设的固定空间距离得到与相应点对应的扩张点，所述第k-1基准点集中的每个点对应的扩张点构成了所述第k基准点集，其中，2≤k≤M，k和M均为正整数；

示教模块，用于在模板产品上示教出模板机构路径点集，所述模板机构路径点集中包括各个点位的模板机构坐标；

映射模块，用于获取图像坐标与机构坐标之间的转换关系，根据所述转换关系，将所述模板机构路径点集映射到所述模板图像，确定所述模板机构路径点集中每个点位的图像坐标；

建立模块，用于基于每个点位的图像坐标建立三维测量框，从所述模板特征点集中查找与所述三维测量框对应的模板特征点，建立所述三维测量框与所述模板特征点集中特征点的空间相对位置关系；

所述扫描模块还用于对待处理产品进行扫描，得到待处理产品的三维图像，所述待处理产品与所述模板产品为同类产品；

第一确定模块，用于对所述三维图像进行实际特征点提取，得到实际特征点集，根据所述三维测量框与所述模板特征点集中模板特征点的空间相对位置关系，确定所述三维图像中每个实际特征点对应的三维测量框；

第二确定模块，用于根据所述待处理产品中每个实际特征点对应的三维测量框确定对应的目标机构轨迹路径点集，所述目标机构轨迹路径点集构成了视觉引导轨迹。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述适用于柔性产品的视觉引导轨迹生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述适用于柔性产品的视觉引导轨迹生成方法的步骤。

Images