CN116188526A - 一种轨迹生成方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种轨迹生成方法、装置、设备及介质，涉及轨迹生成技术领域。所述方法包括：对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；将所述待加工区域的三维图像转换为第二网格模型；基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹。本申请通过上述方案能更准确的获得待加工对象的操作轨迹，从而可以提高对待加工对象的操作质量。

Description

一种轨迹生成方法、装置、设备及介质

技术领域

本申请涉及轨迹生成技术领域，尤其涉及轨迹生成方法、装置、设备及介质。

背景技术

基于工业机器人的智能制造领域，对于高精度、高效率、高可靠和高度自动化的操作轨迹生成方法具有越来越高需求，例如在焊接、喷漆、涂胶、打磨等工业制造环节都对机器人的操作轨迹都具有很高的要求，为了更高效的生成操作轨迹，需要设计专门的轨迹生成方法。

现有技术中待加工对象的轨迹生成主要靠人工根据自身经验来完成，如此，现有技术中的轨迹生成方法不能准确的获得待加工对象的操作轨迹，从而影响到对待加工对象的操作质量。

发明内容

本申请的主要目的在于提供轨迹生成方法、装置、设备及介质，旨在解决现有技术中轨迹生成方法不能准确的获得待加工对象的操作轨迹，从而影响到对待加工对象操作质量的技术问题。

为实现上述目的，本申请第一方面提供了一种轨迹生成方法，所述方法包括：

对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；

将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；

基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；

将所述待加工区域的三维图像转换为第二网格模型；

基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

可选地，在所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之前，还包括：

根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件；

所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹，包括：

在所述待加工对象的待加工区域满足加工条件的情况下，基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹。

可选地，所述根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件，包括：

对比所述第二网格模型的待加工区域与所述数字模型的待加工区域，获得所述第二网格模型的待加工区域与所述数字模型的待加工区域的误差数值；

根据误差阈值与所述误差数值的关系，判断所述待加工对象的待加工区域是否满足加工条件。

可选地，在根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件的步骤之后，还包括：

在所述待加工对象的待加工区域不满足加工条件的情况下，发送提示信息；其中，所述提示信息包括所述待加工对象的待加工区域的位置误差信息。

可选地，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹，包括：

基于所述待加工对象的理论待操作轨迹的特征，获得所述第二网格模型中待加工区域的操作轨迹的特征；

基于所述待加工区域中操作轨迹的特征，获得所述待加工对象的操作轨迹。

可选地，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之后，还包括：

对所述待加工对象的操作轨迹邻域的第二网格模型进行平滑处理和网格修复；

基于经过平滑处理和网格修复后的所述第二网格模型，提取所述操作轨迹上的轨迹控制点；其中，所述轨迹控制点包括所述操作轨迹上的网格顶点；

基于所述数字模型中的曲线类型和所述轨迹控制点，优化所述待加工对象的操作轨迹；其中，所述曲线包括贝塞尔曲线和B样条曲线。

可选地，在所述对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型的步骤之前，还包括：

加载待加工对象的数字模型；其中所述数字模型包括所述待加工对象的几何信息和拓扑信息；

调整所述待加工对象在工作台上的位置，以使所述待加工对象在工作台上的位置与所述待加工对象的数字模型的位置相同；

基于调整位置后的所述待加工对象，获取所述待加工对象的局部图像。

第二方面，本申请提供了一种轨迹生成装置，所述装置包括：

第一获得模型，用于对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；

第二获得模型，用于将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；

第三获得模型，用于基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；

转换模型，用于将所述待加工区域的三维图像转换为第二网格模型；

第四获得模型，用于基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

第三方面，本申请提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现实施例中所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现实施例中所述的方法。

通过上述技术方案，本申请至少具有如下有益效果：

本申请实施例提出的一种轨迹生成方法、装置、设备及介质，包括：先对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；然后将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；然后基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；然后将所述待加工区域的三维图像转换为第二网格模型；最后基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

即，当需要获得待加工对象的操作轨迹时，先获取待加工对象的局部图像，然后将待加工对象的局部图像处理后再转换为第一网格模型，然后将第一网格模型与待加工对象的数字模型进行融合，融合后再预测出待加工对象的待加工区域的大致位置，然后基于加工区域的大致位置以及从第一位置到第二位置的预设路径，获得待加工区域的三维图像；其中，从第一位置可以获得待加工对象的局部图像，从第二位置可以获得待加工对象的三维图像，然后将待加工区域的三维图像转换为第二网格模型，然后基于理论待操作轨迹的特征和第二网格模型的待加工区域，获得待加工对象的初步操作轨迹，最终将初步操作轨迹进行优化后，得到待加工对象的操作轨迹。

即，本申请将待加工对象的局部图像转换为第一网格模型，将包括待加工区域的三维图像转换为第二网格模型，且将局部图像的第一网格模型与待加工对象的数字模型进行融合。由于网格模型本身具有整体性，可以从网格模型整体出发对网格模型的每一个三角形做优化，从而获得全局稳定且位置准确的几何位置。而数字模型可以为网格模型的优化提供基础的约束关系，进一步引导网格模型优化的具体方向；如果只有数字模型，没有网格模型，这显然只有轨迹的理论位置，无法做到轨迹准确；如果只有网格模型，没有数字模型，则网格模型优化的约束性不强，少了很多先验信息，不能做到往轨迹的理论位置做优化，就不能得到准确的操作轨迹。因此，通过该方案能更准确的获得待加工对象的操作轨迹，从而可以提高对待加工对象的操作质量。

附图说明

图1为本申请实施例涉及的硬件运行环境的计算机设备结构示意图；

图2为本申请实施例提供的一种轨迹生成方法的流程图；

图3为本实施例提供的步骤S12的一种具体执行方法的流程示意图；

图4为本实施例提供的步骤S13的一种具体执行方法的流程示意图；

图5为本申请实施例提供的一种轨迹生成装置的示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

基于工业机器人的智能制造领域，对于高精度、高效率、高可靠、高度自动化的目标操作轨迹生成方法具有越来越高的需求，例如在焊接、喷漆、涂胶和打磨等工业制造环节都对机器人的目标操作轨迹都具有很高的要求。目前轨迹生成的方法主要存在如下问题：对现场工人的素质要求较高，需要经验丰富且专业的工人；过程繁琐复杂，在生成轨迹的过程中需要大量的人工干预；对于同类代加工工件，每次焊接前都需要完成相同的轨迹生成流程；对工件定位要求高，需要用夹具精确固定代加工工件；对于工件的误差和结构异常无法主动识别，需要人工检查；在使用3D成像设备自动生成轨迹时，需要人工指定拍照的位置以确定待加工轨迹的具体位置；轨迹特征需要人工指定而非从数字模型自动获取(从指定模型中指定操作轨迹相关连的区域根据规则自动生成轨迹的局部几何特征)；3D点云远近密度不均匀，导致轨迹定位精度无法统一；基于3D点云的滤波方法在平滑数据的同时也会造成边缘的退化，从而导致轨迹定位误差；未对工件和3D数字模型的虚实融合，不能很好的交互式呈现工件实际信息和3D数字模型的关系。

目前主流的目标操作轨迹生成方法有：人工示教方式的操作轨迹生成方法，如机器人焊接时，以人工的交互方式将焊接的起止点信息输入给机器人系统，从而生成焊接机器人的目标焊接轨迹，该方法对现场工人专业素质要求较高，对于复杂的目标操作轨迹无法做到准确示教，在边界条件不确定性较大的场景，每次操作前都需要示教，重复工作量很大；离线编程方式的操作轨迹生成方法，如离线编程焊接时，需要根据被焊接工件对象的数字模型中需要被焊接的点位和轨迹进行编程，确定机器人的目标操作轨迹，该方法对于被加工工件的加工精度要求很高，同时对工件在工作台上的定位有较高的要求；基于点云的三维视觉的操作轨迹生成方法，如打磨中基于点云的目标轨迹生成方法，即通过3D成像设备，直接获得焊接工件的表面3D点云，通过对点云的算法处理获得机器人目标操作轨迹，该方法基于三维点云的处理算法确定操作的目标轨迹，点云数据本身的离散无序性，远近密度不均以及非结构化等特性，使得生成目标轨迹算法复杂度高，高精度且结构化的轨迹优化困难；基于点云和数字模型的交互式轨迹生成方法，如焊接中通过3D成像设备直接获取焊接工件表面的3D点云，对3D点云和数字模型做配准，将点云和数字模型统一到一个坐标系下并对齐，再通过交互式的方法选取机器人的目标操作轨迹，该方法通过交互式的选择，人工剔除了错误的操作轨迹，可以增加目标轨迹的可靠性，但依然无法解决点云数据本身缺陷带来的高算法复杂度和高精度轨迹生成的难点。综上，目前的轨迹生成方法不能准确的获得待加工对象的操作轨迹，从而影响到对待加工对象操作质量的问题。

为了解决上述技术问题，本申请提供了一种轨迹生成方法、装置、设备及介质，在介绍本申请的具体技术方案之前，先介绍下本申请实施例方案涉及的硬件运行环境。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的计算机设备结构示意图。

如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的轨迹生成装置，并执行本申请实施例提供的轨迹生成方法。

参照图2，基于前述实施例的硬件环境，本申请的实施例提供了一种轨迹生成方法，该方法包括：

S10：对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型。

在具体实施过程中，待加工对象是指等待加工的产品，如需要焊接的零部件，待加工对象的局部图像可以通过控制3D相机位于第一位置拍摄而获得；通过待加工对象的局部图像可以获得待加工对象的局部结构的3D信息数据。其中，3D相机的视野范围有限，精度越高的3D相机视野也更小，因此通常拍摄的范围都只是待加工对象表面的一部分，3D相机获得的数据通常有颜色和深度信息，普遍而言都会有每个像素点p相对于相机坐标系的位姿坐标信息p(x，y，z)。对3D相机获得的待加工对象的局部图像做预处理，并通过网格重建技术(即泊松表面重建的方式)获得局部图像的第一网格模型，将3D相机获取的3D点云数据生成工件表面的三角网格模型，每个三角形的顶点都来自3D点云。

S11：将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域。

在具体实施过程中，待加工对象的数字模型可以是任何CAD类型软件设计出来的工件3D模型，包含工件的所有几何信息与拓扑信息，例如工件上每个点的坐标，每个线段的起止点。生成的第一网格模型的底层是3D相机拍摄的点云做支撑，是真实工件的表面局部信息，而数字模型是理论模型，是虚拟对象，为了建立两者的融合，需要对数字模型做采样，获得数字模型对应的点云模型。然后将第一网格模型底层的点云和数字模型生成的点云放到网格模型坐标系下，并作点云配准ICP，获得从数字模型点云到第一网格模型底层点云的变换T，从而将两个点云对齐融合在一起。最后利用变换T将数字模型变化位姿，从而使虚拟的数字模型和第一网格模型也会对齐，从而实现在网格模型坐标系下虚拟数字模型和实际拍摄工件而得到的第一网格模型两者在空间融合在一起。此时，虚拟模型上代加工的轨迹位置也经变换T统一到网格模型坐标系下，这样就确定了虚拟的数字模型上待加工轨迹在网格模型坐标系下的位置，即真实物理坐标系下的位置，从而可以获得待加工对象的待加工区域的位置信息。

S12：基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得。

在具体实施过程中，待加工区域的三维图像可以通过3D相机位于第二位置拍摄而获得，以步骤S10中获得待加工对象的局部图像的第一位置为基准，3D相机从第一位置到第二位置的路径称为预设路径，这个预设路径可以通过数字模型而获得。从初始拍照位置(步骤S10中的第一位置)直线移动机械臂到代加工轨迹的位置(本步骤中的第二位置)可能会引发碰撞危险，因此需要规划安全可靠的机械臂移动轨迹。将机械臂可达的物理空间按照一定的分辨率划分为3D的立方体网格空间，被数字模型占据的每个空格是不可通过的位置，没有别数字模型占据的空格为可通过的位置，初始拍照位置为开始空格，代加工轨迹的拍照位置为终止网格，通过A*算法或者Dijkstra算法就能找出安全可靠的有效移动轨迹，从而移动到合理的位置(第二位置)对待加工对象进行拍照，从而获得待加工区域的三维图像。

S13：将所述待加工区域的三维图像转换为第二网格模型。

在具体实施过程中，采用与步骤S10中相同的泊松重建方法，对待加工区域的三维图像点云做网格重建，并获得与之对应的第二网格模型。

S14：基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

在具体实施过程中，理论待操作轨迹是指通过待加工对象的数字模型给出的操作轨迹，待加工对象的理论待操作轨迹的特征是指其操作轨迹的一些特定，比如尺寸、角度等。通过待加工对象的理论待操作轨迹的特征和第二网格模型的待加工区域，可以获得位于待加工区域内的操作轨迹。

本实施例中，当需要获得待加工对象的操作轨迹时，先获取待加工对象的局部图像，然后将待加工对象的局部图像处理后再转换为第一网格模型，然后将第一网格模型与待加工对象的数字模型进行融合，融合后再预测出待加工对象的待加工区域的大致位置，然后基于加工区域的大致位置以及从第一位置到第二位置的预设路径，获得待加工区域的三维图像；其中，从第一位置可以获得待加工对象的局部图像，从第二位置可以获得待加工对象的三维图像，然后将待加工区域的三维图像转换为第二网格模型，然后基于理论待操作轨迹的特征和第二网格模型的待加工区域，获得待加工对象的初步操作轨迹，最终将初步操作轨迹进行优化后，得到待加工对象的操作轨迹。即，本申请将待加工对象的局部图像转换为第一网格模型，将包括待加工区域的三维图像转换为第二网格模型，且将局部图像的第一网格模型与待加工对象的数字模型进行融合。由于网格模型本身具有整体性，可以从网格模型整体出发对网格模型的每一个三角形做优化，从而获得全局稳定且位置准确的几何位置。而数字模型可以为网格模型的优化提供基础的约束关系，进一步引导网格模型优化的具体方向；如果只有数字模型，没有网格模型，这显然只有轨迹的理论位置，无法做到轨迹准确；如果只有网格模型，没有数字模型，则网格模型优化的约束性不强，少了很多先验信息，不能做到往轨迹的理论位置做优化，就不能得到准确的操作轨迹。因此，通过该方案能更准确的获得待加工对象的操作轨迹，从而可以提高对待加工对象的操作质量。

为了更准确的获得待加工对象的操作轨迹，在一些实施例中，给出了如下技术方案：在所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之前还包括：根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件；

因此，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤包括：在所述待加工对象的待加工区域满足加工条件的情况下，基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹。

本实施例中，对比分析数字模型给出的待加工对象的理论待操作轨迹的特征与第二网格模型的待加工区域，计算出误差并做结构缺陷自动检测，判断待加工对象的待加工区域是否满足加工条件。以焊接为例，焊接前为保证焊接质量会对待焊接区域做打磨处理，避免切割或预加工剩余的毛刺或局部凸起存在。通过网格模型可以拟合出焊缝两侧的两个平面plane1和plane2，法向量分别为v1和v2，两个面的中心c1和c2。待加工区域平面plane1上面的点p1距离平面plane1的距离d＝(p1-c1).dot(v1)，若d>0，则待加工区域在该位置凸起，若d<0，则待加工区域在该位置凹陷。焊接要求局部凸起的最大高度为H，则焊缝两侧的两个平面上的所有点处均有d大于或等于H时，待加工对象的符合焊接的前提条件，即满足焊接的加工条件。

如果不满足加工条件，则在根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件的步骤之后还包括：在所述待加工对象的待加工区域不满足加工条件的情况下，发送提示信息；其中，所述提示信息包括所述待加工对象的待加工区域的位置误差信息。比如，以焊接为例，若不满足焊接的前提条件，则在可视化交互界面提醒用户待加工对象存在结构缺陷，并以特殊颜色将缺陷位置在虚拟数字模型上的对应位置标注出来，从而实现待加工对象的结构缺陷自动检测及反馈。用户可以从交互界面实时获知缺陷信息，并指定机器人跳过当前待加工轨迹加工下一条轨迹或采取其它行为。

在一些实施例中，给出了如下具体的方案：所述根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件的步骤包括：对比所述第二网格模型的待加工区域与所述数字模型的待加工区域，获得所述第二网格模型的待加工区域与所述数字模型的待加工区域的误差数值；根据误差阈值与所述误差数值的关系，判断所述待加工对象的待加工区域是否满足加工条件。

本实施例中，数字模型上的待加工区域可以理解为虚拟的、标准的待加工区域，而第二网格模型上的待加工区域为以待加工对象的局部图像为基准，通过其三维图像而获得的实际的待加工区域。经过两者相比较就可以知道其误差的大小，即误差数值；而每种待加工对象允许的误差大小不同，可以根据实际需要认为设定，即误差阈值；并通过比较误差阈值与误差数值的关系，即可判断待加工对象的待加工区域是否满足加工条件，比如若误差数值小于误差阈值，则满足加工条件。这样在获得待加工对象的操作轨迹之前先判断下是否满足加工条件，从而可以更准确的获得待加工对象的操作轨迹。

在一些实施例中，给出了如下技术方案，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤包括：先基于所述待加工对象的理论待操作轨迹的特征，获得所述第二网格模型中待加工区域的操作轨迹的特征；然后基于所述待加工区域中操作轨迹的特征，获得所述待加工对象的操作轨迹。

本实施例中，基于待加工对象的数字模型，生成待加工对象的理论待操作轨迹的特征，然后判断第二网格模型中是否有与理论待操作轨迹的特征相同的特征，基于与理论待操作轨迹的特征相同的特征，即可获得待加工对象的操作轨迹。具体的，通常由于待加工对象的预处理加工以及各种实际的原因，实际的待加工对象和理论设计的虚拟数字模型之间总是会有一些差异，无论是尺寸还是形状上都会略有不同，特别是在工件的零部件很多或者工件预处理工序复杂的时候这种差异更为明显。因此需要在虚拟数字模型与网格模型融合之后指定的理论待加工位置附件寻找待加工的实际轨迹位置。更为具体的，根据在交互方式虚拟数字模型上选择的待加工的轨迹，可以从数字模型的拓扑信息中找出与待加工轨迹邻近的曲面以及平面出来。对于每个平面的形状、大小以及相互之间的连接角度做理论计算，即待加工轨迹的特征邻域关联信息。局部网格模型中提取这样的面片关联信息，从中找出与理论值最吻合的交线作为待加工的实际轨迹位置，即待加工对象的操作轨迹。

在一些实施例中，如图3所示，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之后还包括：

S20：对所述待加工对象的操作轨迹邻域的第二网格模型进行平滑处理和网格修复。

在具体实施过程中，待加工对象的操作轨迹邻域是指待加工对象的操作轨迹的附近区域。具体的，对待加工对象的操作轨迹附近的第二网格模型做平滑处理和网格修复，这样降低噪声的影响同时让第二网格模型的错乱网格有序，而待加工对象的操作轨迹在第二网格模型上，因此间接实现对待加工对象的操作轨迹的全局优化。

S21：基于经过平滑处理和网格修复后的所述第二网格模型，提取所述操作轨迹上的轨迹控制点；其中，所述轨迹控制点包括所述操作轨迹上的网格顶点。

在具体实施过程中，在经过平滑处理和网格修复后的第二网格模型的基础上，可以提取待加工对象的操作轨迹上的网格顶点作为轨迹控制点。

S22：基于所述数字模型中的曲线类型和所述轨迹控制点，优化所述待加工对象的操作轨迹；其中，所述曲线包括贝塞尔曲线和B样条曲线。

在具体实施过程中，以数字模型中的曲线类型从轨迹控制点生成对应的曲线，例如数字模型中是贝塞尔曲线，则通过轨迹控制点生成对应的贝塞尔曲线，如果是B样条曲线则生成对应的B样条曲线。如此，可以获得全局优化且高精度的待加工对象的操作轨迹。

本实施例中，通过对基于第二网格模型的操作轨迹做全局优化和高精度优化，可以极大的提高待加工对象的操作轨迹的精度，从而可以进一步提高对待加工对象的操作质量。

在一些实施例中，如图4所示，在所述对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型的步骤之前还包括：

S30：加载待加工对象的数字模型；其中所述数字模型包括所述待加工对象的几何信息和拓扑信息。

在具体实施过程中，以交互式的方式指定操作轨迹及相关操作信息，即程序运行时首先打开一个可视化窗口，如交互式轨迹设置窗口。在窗口中通选择需要加工的工件，比如轮毂，在显示界面中将显示对应的轮毂3D结构。以鼠标点击或单击者触控屏的方式在轮毂上选择需要打磨的轨迹对应的边，并可通过点击拉拽对轨迹做实时柔性的调整，并在左侧出现的窗口中添加对应的专家加工参数，例如打磨角度力度或者选择某种已经设定好专家参数的已有轨迹类型，最后调整交互方式窗口中工件的姿态，确保与实际工件放置在工作台上相对于相机的姿态类似。

S31：调整所述待加工对象在工作台上的位置，以使所述待加工对象在工作台上的位置与所述待加工对象的数字模型的位置相同。

在具体实施过程中，将待加工工件放置在工作台上，放置的姿态与步骤S30中指定的姿态相近，当工件放置在工作台上的位置和步骤S30中在可视化界面中指定的位置接近时，两者相似度更高，更有利于虚拟3D数字模型和相机拍摄的真实成像数据做融合。

S32：基于调整位置后的所述待加工对象，获取所述待加工对象的局部图像。

在具体实施过程中，调整好待加工对象在工作台上的位置后，通过3D相机位于第一位置即可获得待加工对象的局部图像。

本实施例中，在获得待加工对象的局部图像之前，先基于待加工对象的数字模型，调整待加工对象在工作台上的位置，这样可以使待加工对象的实际放置位置与理论放置位置更加接近，从而可以更容易、更准确的获得待加工对象上的操作轨迹。

通过上述方法找到待加工对象的操作轨迹后，将操作轨迹转换到机器人坐标系下并传给机器人控制端。本申请融合数字模型和轨迹区域的网格模型以及轨迹相关的操作信息，可视化交互窗口做可视化效果展示，将轨迹相关区域误差较大或有异常的区域做出预警信息提示。将融合之后的数字模型和初始第一网格模型添加到可视化交互窗口中，并第二网格模型添加到可视化交互窗口中，同时添加虚拟3D数字模型待加工轨迹和经过全局及高精度优化的轨迹到可视化交互窗口中，从而给用户提供一个同时具备全局虚拟模型和局部实际网格模型，以及理论待加工轨迹和实际待加工轨迹的融合交互窗口。对于理论待加工轨迹和实际待加工轨迹差别加大的区域以醒目的颜色标准在交互窗口中，供用户实时参考。综上，本申请采用基于(三维)网格模型的交互式目标轨迹生成方法，基于网格模型有序、均匀且结构化的良好属性，可以有效、精确的提取目标操作轨迹，并能基于整体网格结构对轨迹做高精度算法优化。而交互式的方式可以在保证目标轨迹准确可靠的同时对目标操作轨迹做适当的调整。完成一次上述流程，后续工件只需要以相似姿态摆放在工作台上即可完成焊接轨迹的自动生成，无需人工参与。

在另一实施例中，如图5所示，基于与前述实施例相同的发明思路，本申请的实施例还提供了一种轨迹生成装置，该装置包括：

第一获得模型，用于对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；

第二获得模型，用于将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；

第三获得模型，用于基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；

转换模型，用于将所述待加工区域的三维图像转换为第二网格模型；

第四获得模型，用于基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

需要说明的是，本实施例中轨迹生成装置中各模块是与前述实施例中的轨迹生成方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述轨迹生成方法的实施方式，这里不再赘述。

此外，在一种实施例中，本申请还提供一种计算机设备，所述计算机设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。

此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种轨迹生成方法，其特征在于，所述方法包括：

对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；

将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；

基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；

将所述待加工区域的三维图像转换为第二网格模型；

基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

2.如权利要求1所述的轨迹生成方法，其特征在于，在所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之前，还包括：

根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件；

所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹，包括：

在所述待加工对象的待加工区域满足加工条件的情况下，基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹。

3.如权利要求2所述的轨迹生成方法，其特征在于，所述根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件，包括：

对比所述第二网格模型的待加工区域与所述数字模型的待加工区域，获得所述第二网格模型的待加工区域与所述数字模型的待加工区域的误差数值；

根据误差阈值与所述误差数值的关系，判断所述待加工对象的待加工区域是否满足加工条件。

4.如权利要求2所述的轨迹生成方法，其特征在于，在根据所述第二网格模型的待加工区域与所述数字模型的待加工区域，判断所述待加工对象的待加工区域是否满足加工条件的步骤之后，还包括：

在所述待加工对象的待加工区域不满足加工条件的情况下，发送提示信息；其中，所述提示信息包括所述待加工对象的待加工区域的位置误差信息。

5.如权利要求1所述的轨迹生成方法，其特征在于，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹，包括：

基于所述待加工对象的理论待操作轨迹的特征，获得所述第二网格模型中待加工区域的操作轨迹的特征；

基于所述待加工区域中操作轨迹的特征，获得所述待加工对象的操作轨迹。

6.如权利要求1所述的轨迹生成方法，其特征在于，所述基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹的步骤之后，还包括：

对所述待加工对象的操作轨迹邻域的第二网格模型进行平滑处理和网格修复；

基于经过平滑处理和网格修复后的所述第二网格模型，提取所述操作轨迹上的轨迹控制点；其中，所述轨迹控制点包括所述操作轨迹上的网格顶点；

基于所述数字模型中的曲线类型和所述轨迹控制点，优化所述待加工对象的操作轨迹；其中，所述曲线包括贝塞尔曲线和B样条曲线。

7.如权利要求1-6任一项所述的轨迹生成方法，其特征在于，在所述对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型的步骤之前，还包括：

加载待加工对象的数字模型；其中所述数字模型包括所述待加工对象的几何信息和拓扑信息；

调整所述待加工对象在工作台上的位置，以使所述待加工对象在工作台上的位置与所述待加工对象的数字模型的位置相同；

基于调整位置后的所述待加工对象，获取所述待加工对象的局部图像。

8.一种轨迹生成装置，其特征在于，所述装置包括：

第一获得模型，用于对待加工对象的局部图像进行预处理，以获得所述局部图像的第一网格模型；

第二获得模型，用于将所述第一网格模型与所述待加工对象的数字模型进行融合，以获得所述待加工对象的待加工区域的位置信息；其中，所述数字模型包括所述待加工对象的待加工区域；

第三获得模型，用于基于预设路径和所述待加工区域的位置信息，获得所述待加工区域的三维图像；其中，所述预设路径基于所述数字模型获得；

转换模型，用于将所述待加工区域的三维图像转换为第二网格模型；

第四获得模型，用于基于所述待加工对象的理论待操作轨迹的特征和所述第二网格模型的待加工区域，获得所述待加工对象的操作轨迹；其中，所述待加工对象的理论待操作轨迹的特征基于所述数字模型获得。

9.一种计算机设备，其特征在于，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-7中任一项所述的方法。

Images