CN113198691B - 一种基于3d线激光和ccd的高精度大视野点胶方法及装置 - Google Patents

Abstract

本发明提供一种基于3D线激光和CCD的高精度大视野点胶方法，包括手眼标定；获取待点胶的产品三维信息；获取待点胶的产品二维信息；融合二维信息与三维信息；根据二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。本发明提供的基于3D线激光和CCD的高精度大视野点胶方法，针对无治具、高低起伏、随意排布的产品，可以联合精准定位其XYZ的坐标位置和点胶区域；同时，2D信息与3D信息的融合，无需对每台机器进行像素和3D坐标的标定，排除了标定误差对作业精准度的影响。相应地，本发明还提供一种基于3D线激光和CCD的高精度大视野点胶装置。

Description

一种基于3D线激光和CCD的高精度大视野点胶方法及装置

技术领域

本发明涉及点胶技术领域，具体涉及一种基于3D线激光和CCD的高精度大视野点胶方法及装置。

背景技术

现有技术中的点胶智能控制领域中，大多采用CCD相机进行识别和定位产品，根据CCD相机的识别结果生成控制轨迹的模式。但是CCD定位无法单帧测量成像深度，无法定位产品高度，无法针对产品高度变化生成合理运动轨迹。而且，CCD相机仅能从XY坐标系定位产品，对于无固定治具的产品，Z轴异常放置的情况无法被检出，导致AOI相关功能的失效；此外，3D线激光传感器定位与控制方法对产品的一致性要求高，对于产品或治具具有一定的变形、不一致的情况无法识别出产品，方法适应性较差。

发明内容

针对现有技术的不足之处，本发明的目的在于提供一种基于3D线激光和CCD的高精度大视野点胶方法及装置。

本发明的技术方案概述如下：

一方面，本发明提供一种基于3D线激光和CCD的高精度大视野点胶方法，包括：

手眼标定；包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

获取待点胶的产品三维信息；通过3D线激光传感器的匀速运动获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息；

获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息；

融合二维信息与三维信息；

根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

进一步地，所述3D线激光传感器与机械手之间的标定，包括：

通过校对机械手触及的多点位置在3D线激光传感器中的精确坐标，得到第一线性方程组，求解出机械手多轴坐标系和3D线激光传感器坐标系之间的旋转及尺寸变换矩阵。

进一步地，所述CCD传感器与机械手之间的标定，包括：

通过校对机械手触及的多点位置在CCD传感器中的像素坐标，得到第二线性方程组，求解得出机械手多轴坐标系和CCD传感器的2D坐标系之间的映射矩阵。

进一步地，所述通过3D线激光传感器获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息，包括：

对3D线激光传感器获取的多帧三维数据整合，将XY坐标面投影变换成深度图像；

将所述深度图像按深度层次和边缘特征分离，剥离出待点胶产品的XY有效范围；

在全部的三维数据中筛选出有效范围内的数据，即得到待点胶的产品三维信息；所述待点胶的产品三维信息至少包括三维像素坐标中的3D中心点坐标。

进一步地，所述通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息，包括：

通过CCD传感器获取待点胶产品的彩色信息，识别出每个待点胶产品上的待点胶位置的2D像素坐标。

进一步地，所述融合二维信息与三维信息，包括：

将所有的待点胶位置的2D像素坐标使用二维排序进行整理；

统计所有待点胶产品的3D中心点，根据所有待点胶产品的3D中心点坐标进行二维排序；

统计所述2D像素坐标与所述3D中心点坐标分布范围，将坐标分布范围按产品放置的行列数量均分后得到产品的2D和3D的行列宽度、高度，进而得到2D、3D坐标与产品分布行列号的映射表；

将每个产品的所述2D像素坐标与所述3D中心点坐标统一与产品分布行列号对齐。

进一步地，所述融合二维信息与三维信息，还包括:补全未放置产品的空置区域，排满产品分布行列。

进一步地，根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号，包括：

根据所述产品分布行列号规划出S形执行轨迹；

按照所述S形执行轨迹执行产品分布行列中的每个格内的点胶任务。

进一步地，所述按照所述S形执行轨迹执行产品分布行列中的每个格内的点胶任务，包括：

执行每个格内的点胶任务时，先判断当前序号的产品是否为异常状态；

若异常，则执行下一格；

若正常，则向执行机构发送本次点胶的起点、终点的全局坐标和出胶信号，完成后即可继续下一格点胶。

相应地，本发明还提供了一种基于3D线激光和CCD的高精度大视野点胶装置，包括：

标定模块，用于手眼标定；手眼标定包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

第一获取模块，用于获取待点胶的产品三维信息；通过3D线激光传感器获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息；

第二获取模块，用于获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息；

融合模块，用于融合二维信息与三维信息；

生成模块，用于根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

相比现有技术，本发明的有益效果在于：本发明提供的基于3D线激光和CCD的高精度大视野点胶方法，针对无治具、高低起伏、随意排布的产品，可以联合精准定位其XYZ的坐标位置和点胶区域；同时，2D信息与3D信息的融合，无需对每台机器进行像素和3D坐标的标定，排除了标定误差对作业精准度的影响。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种基于3D线激光和CCD的高精度大视野点胶方法的过程示意图；

图2为本发明的一种基于3D线激光和CCD的高精度大视野点胶方法的流程示意图；

图3为本发明的一种基于3D线激光和CCD的高精度大视野点胶装置的示意图。

附图标记：200、第一获取模块；300、第二获取模块；400、融合模块；500、生成模块。

具体实施方式

下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。

接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

如图1-2所示，本发明的一种基于3D线激光和CCD的高精度大视野点胶方法，包括：

S10、手眼标定；包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

S20、获取待点胶的产品三维信息；通过3D线激光传感器的匀速运动获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息；

S30、获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息；

S40、融合二维信息与三维信息；

S50、根据二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

优选地，3D线激光传感器，采用激光照射物体，集带有线激光的被测物体图像，计算物体上的点在三维坐标系下的坐标。

3D线激光传感器需要跟随机械手匀速运动，使3D线激光传感器的3D结构光匀速扫描产品，以获取连续的多帧三维数据，然后将多帧三维数据合并成一个完整的产品3D数据或信息。

S10中的3D线激光传感器与机械手之间的标定，包括：

S11、通过校对机械手触及的多点位置在3D线激光传感器中的精确坐标，得到第一线性方程组，求解出机械手多轴坐标系和3D线激光传感器坐标系之间的旋转及尺寸变换矩阵。

S10中的CCD传感器与机械手之间的标定，包括：

S12、通过校对机械手触及的多点位置在CCD传感器中的像素坐标，得到第二线性方程组，求解得出机械手多轴坐标系和CCD传感器的2D坐标系之间的映射矩阵。

本发明中，通过3D线激光传感器与机械手之间的标定以及CCD传感器与机械手之间的标定，确保3D线激光传感器需要跟随机械手匀速运动，使3D线激光传感器的3D结构光匀速扫描产品，以获取连续的多帧三维数据；同时3D线激光传感器与CCD传感器的采集视线相交，以保证后续二维信息与三维信息的融合。此外，手眼标定还便于根据3D线激光传感器反馈的三维信息，实时调整机械臂的当前坐标，可采用其中一个标定关系指导机械手运动，另一个标定关系验证机械手的运动。

优选地，S20包括：

S21、对3D线激光传感器获取的多帧三维数据整合，将XY坐标面投影变换成深度图像；

S22、将深度图像按深度层次和边缘特征分离，剥离出待点胶产品的XY有效范围；

S23、在全部的三维数据中筛选出有效范围内的数据，即得到待点胶的产品三维信息；待点胶的产品三维信息至少包括三维像素坐标中的3D中心点坐标。

3D线激光传感器获取连续的多帧三维数据，将多帧三维数据合并成一个完整的产品3D数据或信息，由于深度图像的每个像素点的灰度值可用于表征场景中某一点距离采集装置的远近，之间反应了物品可见表面的几何形状，因此，3D数据或信息经过坐标转换可以转换为深度图像，深度图像经过坐标转换可以计算出3D数据或信息。

本发明将深度图像按深度层次和边缘特征分离，剥离出待点胶产品的XY有效范围，在有效范围内，得到待点胶产品的三维信息，三维信息至少包括待点胶产品在三维像素坐标中的3D中心线的X坐标、Y坐标、Z坐标。具体地，可以由3D线激光传感器获取连续的多帧三维数据，将多帧三维数据合并成一个完整的产品3D数据或信息，形成三维模型，从三维模型中识别出中心点并提取中心点的三维坐标。

具体地，获取中心点坐标的具体步骤包括：利用3D线激光传感器获取连续的多帧三维数据，将多帧三维数据合并成一个完整的产品3D数据；建立3D数据的空间拓扑关系；根据点云数据的空间拓扑关系，提取边界点，并进行阈值分割提取；将提取出的点云，利用最小二乘法计算出中心点。

S30包括：

S31、通过CCD传感器获取待点胶产品的彩色信息，识别出每个待点胶产品上的待点胶位置的2D像素坐标。

本发明依赖CCD传感器获取的高精度彩色信息，采用AI检测算法准确识别出所有待点胶产品上的点胶起点、终点和待点胶位置的2D像素坐标。

S40包括：

S41、将所有的待点胶位置的2D像素坐标使用二维排序进行整理；

S42、统计所有待点胶产品的3D中心点，根据所有待点胶产品的3D中心点坐标进行二维排序；具体地，将3D中心点的XY坐标进行二维排序。

S43、2D和3D排序完成后，统计2D像素坐标与3D中心点坐标分布范围，将坐标分布范围按产品放置的行列数量均分后得到产品2D和3D的行列宽度、高度，进而得到2D、3D坐标与产品分布行列号的映射表；

S44、将每个产品的2D像素坐标与3D中心点坐标统一与产品分布行列号对齐，并得到点胶位置的XYZ坐标。

还包括:S45、补全未放置产品的空置区域，排满产品分布行列。

现有技术中，需要对每个产品与3D点云数据进行映射标定，而一一标定会大大降低点胶效率。而本发明采用二维和三维融合的方式，将每个产品的2D和3D的分布行列一致，从而省去了2D和3D的融合标定，也省去了3D点云数据与每个产品进行一一标定。

且本发明充分利用了CCD传感器的优点，获取得到高精度彩色信息，精确识别出点胶位置，同时，将每个产品的2D像素坐标与3D中心点坐标与产品分布行列对齐之后，可以得到点胶位置的XYZ三个方向的坐标，精确得到点胶位置的高度，以指导出胶时的出胶信号的生成。

具体地，S43中统计2D像素坐标与3D中心点坐标分布范围，将坐标分布范围按产品放置的行列数量均分后得到产品2D和3D的行列宽度、高度，进而得到2D、3D坐标与产品分布行列号的映射表，包括:

S431、统计待点胶产品的二维和三维的X方向坐标范围，将X坐标范围按每行产品的列数均分后获得各列产品的坐标范围；

S432、同理，计算得到待点胶产品的各行坐标范围；

S433、根据每列产品的坐标范围及每行坐标范围，得到2D和3D坐标和产品排布行列号的映射表。

具体地，统计2D像素坐标与3D中心点坐标分布范围，将坐标分布范围按产品的行列数量均分得到产品2D和3D的行列宽度、高度，进而得到2D和3D坐标和产品行列号的映射表。

具体地，S44将每个产品的2D像素坐标与3D中心点坐标统一与产品分布行列对齐，包括:S441、将待点胶产品的二维、三维的XY分布置换为行列号，从而将每个待点胶产品的二维、三维与产品分布行列号对齐。

具体地，S45补全未放置产品的空置区域，排满产品分布行列，具体包括：按行列号补全未放置产品的空置区域，使产品分布行列排满。

具体地，S50包括：

S51、根据产品分布行列号规划出S形执行轨迹；

S52、按照S形执行轨迹执行产品分布行列中的每个格内的点胶任务。

S52包括：

S521、执行每个格内的点胶任务时，先判断当前序号的产品是否为异常状态；

S522、若异常，则执行下一格；

S523、若正常，则向执行机构发送本次点胶的起点、终点的全局坐标和出胶信号，完成后即可继续下一格点胶。

由于本发明按行列号补全未放置产品的空置区域，使产品分布行列排满。因此，在执行点胶任务时，可以先判断产品分布行列中的当前序号的产品是否为异常，若产品分布行列中的当前序号为空置区域，可以很容易判断出产品分布行列中的当前序号的产品为异常。在继续下一格点胶时，无需对下一格上的产品进行重新标定，可直接继续下一格的点胶。

而且，本发明根据2D和3D信息的融合，精确得到所有待点胶产品的精确的点胶位置，精确知晓本次点胶的起点、终点及每个点胶位置的高度，向执行机构发送本次点胶的起点、终点的全局坐标指导点胶路径，同时向执行机构发送点胶位置的高度信息，指导执行机构进行精确的出胶。

此外，本发明还包括AOI检测步骤，利用光学原理和图像处理结束，检测点胶后是否存在缺陷。同时将扫描数据、识别结果及控制参数等实时保存，方便后续追溯。

相应地，如图3所示，本发明还提供了一种基于3D线激光和CCD的高精度大视野点胶装置，包括：

标定模块，用于手眼标定；手眼标定包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

第一获取模块200，用于获取待点胶的产品三维信息；通过3D线激光传感器获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息；

第二获取模块300，用于获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息；

融合模块400，用于融合二维信息与三维信息；

生成模块500，用于根据二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

本发明提供的基于3D线激光和CCD的高精度大视野点胶方法，针对无治具、高低起伏、随意排布的产品，可以联合精准定位其XYZ的坐标位置和点胶区域；同时，2D信息与3D信息的融合，无需对每台机器进行像素和3D坐标的标定，排除了标定误差对作业精准度的影响。在执行点胶任务时，可以先判断产品分布行列中的当前序号的产品是否为异常，若产品分布行列中的当前序号为空置区域，可以很容易判断出产品分布行列中的当前序号的产品为异常。在继续下一格点胶时，无需对下一格上的产品进行重新标定和计算位置，可直接继续下一格的点胶。

此外，装置实施例中的装置与方法实施例基于同样地发明构思。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质包括存储器和处理器，该存储器中存储有至少一条指令和至少一段程序，该至少一条指令和至少一段程序由该处理器加载并执行以实现上述方法实施例提供的基于3D线激光和CCD的高精度大视野点胶方法。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (7)

1.一种基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，包括：

手眼标定；包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

获取待点胶的产品三维信息；通过3D线激光传感器的匀速运动获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息，包括对3D线激光传感器获取的多帧三维数据整合，将XY坐标面投影变换成深度图像；将所述深度图像按深度层次和边缘特征分离，剥离出待点胶产品的XY有效范围；在全部的三维数据中筛选出有效范围内的数据，即得到待点胶的产品三维信息；所述待点胶的产品三维信息至少包括三维像素坐标中的3D中心点坐标；

获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息，包括：通过CCD传感器获取待点胶产品的彩色信息，识别出每个待点胶产品上的待点胶位置的2D像素坐标；

融合二维信息与三维信息；将所有的待点胶位置的2D像素坐标使用二维排序进行整理；统计所有待点胶产品的3D中心点，根据所有待点胶产品的3D中心点坐标进行二维排序；统计所述2D像素坐标与所述3D中心点坐标分布范围，将坐标分布范围按产品放置的行列数量均分后得到产品的2D和3D的行列宽度、高度，进而得到2D、3D坐标与产品分布行列号的映射表；将每个产品的所述2D像素坐标与所述3D中心点坐标统一与产品分布行列号对齐；

根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

2.如权利要求1所述的基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，所述3D线激光传感器与机械手之间的标定，包括：

通过校对机械手触及的多点位置在3D线激光传感器中的精确坐标，得到第一线性方程组，求解出机械手多轴坐标系和3D线激光传感器坐标系之间的旋转及尺寸变换矩阵。

3.如权利要求1所述的基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，所述CCD传感器与机械手之间的标定，包括：

通过校对机械手触及的多点位置在CCD传感器中的像素坐标，得到第二线性方程组，求解得出机械手多轴坐标系和CCD传感器的2D坐标系之间的映射矩阵。

4.如权利要求1所述的基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，所述融合二维信息与三维信息，还包括:补全未放置产品的空置区域，排满产品分布行列。

5.如权利要求1所述的基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号，包括：

根据所述产品分布行列号规划出S形执行轨迹；

按照所述S形执行轨迹执行产品分布行列中的每个格内的点胶任务。

6.如权利要求5所述的基于3D线激光和CCD的高精度大视野点胶方法，其特征在于，所述按照所述S形执行轨迹执行产品分布行列中的每个格内的点胶任务，包括：

执行每个格内的点胶任务时，先判断当前序号的产品是否为异常状态；

若异常，则执行下一格；

若正常，则向执行机构发送本次点胶的起点、终点的全局坐标和出胶信号，完成后即可继续下一格点胶。

7.一种用于实施如权利要求1-6任意一项所述的基于3D线激光和CCD的高精度大视野点胶方法的基于3D线激光和CCD的高精度大视野点胶装置，其特征在于，包括：

标定模块，用于手眼标定；手眼标定包括3D线激光传感器与机械手之间的标定及CCD传感器与机械手之间的标定；

第一获取模块，用于获取待点胶的产品三维信息；通过3D线激光传感器获取多帧三维数据，并对多帧三维数据进行处理，以获取待点胶的产品三维信息；

第二获取模块，用于获取待点胶的产品二维信息；通过CCD传感器对待点胶产品进行识别，得到待点胶的产品二维信息；

融合模块，用于融合二维信息与三维信息；

生成模块，用于根据所述二维信息与三维信息的融合的结果，进行点胶轨迹规划，以及生成出胶信号。

Images