CN114792373B - 一种工业机器人的视觉识别喷涂方法及系统 - Google Patents

Abstract

本申请涉及生产制造的技术领域，尤其是涉及一种工业机器人的视觉识别喷涂方法及系统，包括以下步骤：以参照物为对象制作全角度模板，并提取每个模板的特征信息；获取输送线上当前对象的初始图像，并提取初始图像的特征信息；将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则当前对象为待喷涂对象，该角度的模板为匹配模板；获取所述匹配模板中的喷涂信息，根据喷涂信息生成喷涂指令，根据不同喷涂区域所对应的喷涂指令，控制对应的机械臂执行喷涂操作；本发明能够多角度识别待喷涂当前对象，具有提高识别精度和效率的效果。

Description

一种工业机器人的视觉识别喷涂方法及系统

技术领域

本发明涉及生产制造的技术领域，特别是一种工业机器人的视觉识别喷涂方法及系统。

背景技术

在实际的生产过程中，有需要对物品进行喷涂加工，在喷涂加工过程中，需要先对待喷涂的当前对象进行识别，当识别到相应的物体和角度时才能开始喷涂。现有的识别技术通常采用识别模板来匹配物体，且通常只具备一个或两个模板，当物体位置发生偏移时，只用一两个模板会导致无法识别，或因为识别角度不全的问题导致识别精度较差，无法精确地根据识别的位置对物品进行喷涂，导致喷涂的效果和效率较差。

发明内容

针对上述缺陷，本发明的目的在于提出一种工业机器人的视觉识别喷涂方法及系统，能够多角度识别待喷涂当前对象，具有提高识别精度和效率的效果。

为达此目的，本发明采用以下技术方案：

一种工业机器人的视觉识别喷涂方法，包括以下步骤：

步骤A0：以参照物为对象制作全角度模板，并提取每个模板的特征信息，其中，全角度模板包括360个模板，360个模板分别对应360个角度；

步骤A1：获取输送线上当前对象的初始图像，并提取初始图像的特征信息；

步骤A2：将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则当前对象为待喷涂对象，该角度的模板为匹配模板；

步骤A3：获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息，根据喷涂信息生成每个喷涂区域的至少一种喷涂指令，将对应喷涂区域的喷涂指令分别发送给对应的机械臂；

步骤A4：根据不同喷涂区域所对应的喷涂指令，控制对应的机械臂执行喷涂操作。

优选的，在所述步骤A0中，以参照物为对象制作全角度模板，并提取每个模板的特征信息，具体步骤如下：

步骤A01：获取参照物的多个角度的图像作为模板；

步骤A02：对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

步骤A03：设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

步骤A04：设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

优选的，所述步骤A2包括：设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

优选的，所述步骤A3中，根据匹配的模板获取喷涂信息，包括：

根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

优选的，所述输送线两侧设置有多个导轨，多个导轨沿水平面设置，导轨上均设有多个机械臂，所述机械臂沿导轨水平移动；

在所述步骤A3中，通过所述柔性分割方法对模板的图案进行区域划分，包括对待喷涂区域柔性分割：

步骤1：创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

步骤2：划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

步骤3：在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

步骤4：完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

步骤5：根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性，若可达，转至步骤6，否则，转至步骤7；

步骤6：柔性分割的色块，由所属机械臂一次喷涂；

步骤7：硬分割的色块，按待喷涂区域划分平面划分为两个单元块，由两台机械臂分别喷涂，分割形成的边界不重复喷涂。

一种工业机器人的视觉识别喷涂系统，包括模板制作模块、图像采集模块、图像识别模块、喷涂信息获取模块、喷涂指令生成模块和执行模块；

所述模板制作模块用于以参照物为对象制作全角度模板；

所述图像采集模块用于采集并获取当前对象的初始图像信息；

所述图像识别模块用于接收由模板制作模块输入的各个模板，提取每个模板的特征信息，接收由图像采集模块输入的初始图像，提取初始图像的特征信息，将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则将当前对象确认为待喷涂对象，将该角度的模板输出为匹配模板；

所述喷涂信息获取模块用于获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息；

所述喷涂指令生成模块用于根据喷涂信息生成每个喷涂区域的至少一种喷涂指令；

所述执行模块用于根据不同喷涂区域所对应的喷涂指令，控制机械臂对待喷涂对象执行喷涂操作。

优选的，所述模板制作模块还包括获取子单元、矩阵转换子单元、梯度幅值阈值判断子单元和识别特征数量判断子单元；

所述获取子单元，用于获取参照物的多个角度的图像作为模板；

所述矩阵转换子单元，用于对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

所述梯度幅值阈值判断子单元，用于设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

所述识别特征数量判断子单元，用于设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

优选的，所述图像识别模块包括特征提取子模块和特征匹配子模块；

所述特征提取子模块用于提取模板的特征信息，以及提取由所述图像采集模块采集的当前对象的初始图像的特征信息；

所述特征匹配子模块用于设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

优选的，所述喷涂信息获取模块还用于：根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

优选的，所述喷涂指令生成模块还用于通过所述柔性分割方法对模板的图案进行区域划分：

创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性。

上述技术方案包括以下有益效果：

在本实施例中，制作360个模板图，360个模板图分别对应360°中每一个角度，增加了匹配模板图的数量，使得所述模板图能够覆盖每一个待喷涂的当前对象的摆放角度，每一个摆放角度均能找到对应的一个模板图，使得对于当前对象的每一个角度，均能方便地对应模板进行喷涂作业。

通过特征识别后匹配的模板的喷涂信息对喷涂区域进行分工，使得喷涂机器人的多个机械臂协同作业，可同时对同一个当前对象的不同区域进行喷涂作业，具有提高喷涂效率的优点。

附图说明

图1是本发明中方法的一个实施例流程图；

图2是本发明中系统的一个实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，用于区别描述特征，无顺序之分，无轻重之分。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1至图2描述本发明实施例的一种工业机器人的视觉识别喷涂方法及系统：

一种工业机器人的视觉识别喷涂方法，包括以下步骤：

步骤A0：以参照物为对象制作全角度模板，并提取每个模板的特征信息，其中，全角度模板包括360个模板，360个模板分别对应360个角度；

步骤A1：获取输送线上当前对象的初始图像，并提取初始图像的特征信息；

步骤A2：将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则当前对象为待喷涂对象，该角度的模板为匹配模板；

步骤A3：获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息，根据喷涂信息生成每个喷涂区域的至少一种喷涂指令，将对应喷涂区域的喷涂指令分别发送给对应的机械臂；

步骤A4：根据不同喷涂区域所对应的喷涂指令，控制对应的机械臂执行喷涂操作。

具体的，在现有生产过程中，针对同一输送线上不同类型的物体执行喷涂操作，需先对输送线上的物体进行识别，以确认待喷涂目标，再根据待喷涂目标执行对应的喷涂操作；现有技术中，对输送线上的物体进行识别的方式多采用识别模板进行识别，但识别模板通常只具备一个或两个，当待识别的对象的角度发生偏移时，只用一两个模板进行识别会出现因待识别对象的角度与识别模板的角度匹配不上的问题，从而导致发生这一两个识别模板无法识别当前对象或识别出错的情况，使得本应执行喷涂操作的对象因识别出错而无法被喷涂。

为了解决上述问题，本申请提出一种工业机器人的视觉识别喷涂方法，具体的，包括：

首先采集与输送线上当前对象相对应的参照物的全角度模板，全角度模板包括360个模板，360个模板分别对应360个角度，即对应参照物的每一个角度采集一个模板，一共具有360个模板，之后再在实际生产中对输送线上的对象进行初始图像采集，获取初始图像的特征信息；另一方面，提取每一个模板的特征信息，将每一个模板的特征信息分别与初始图像的特征信息进行匹配识别，查找有无可供匹配的模板；若存在某一角度的模板能够与此对象配对，则对该对象识别成功，可以对该对象进行喷涂。其中，将配对的角度的模板作为匹配模板，提取此匹配模板的喷涂信息，喷涂信息包括模板的图案的颜色和区域坐标信息，根据喷涂信息形成对待喷涂对象的喷涂指令，将喷涂指令发送至多个机械臂，每一机械臂分别对待喷涂对象进行喷涂。

进一步的，在本方案的步骤A3和A4中，所述待喷涂对象至少拥有一个喷涂区域，每个喷涂区域可执行至少一种喷涂指令，所述喷涂指令可被理解为对该喷涂区域内喷涂一种图案或喷涂一种颜色；每个喷涂区域可执行至少一种喷涂指令，即可被理解为该喷涂区域可被喷涂多种图案或多种颜色；进一步的，一个喷涂指令由一个机械臂负责执行，同一机械臂可执行多个喷涂指令，因此同一喷涂区域，可由至少一个机械臂执行至少一种喷涂方式或同一喷涂区域；进一步的，当同一喷涂区域存在多种喷涂指令的情况下，需先设定机械臂执行对应喷涂指令的喷涂顺序。

通过特征识别后匹配的模板的喷涂信息对喷涂区域进行分工，使得喷涂机器人的多个机械臂协同作业，可同时对同一个当前对象的不同区域进行喷涂作业，具有提高喷涂效率的优点。

优选的，在所述步骤A0中，以参照物为对象制作全角度模板，并提取每个模板的特征信息，具体步骤如下：

步骤A01：获取参照物的多个角度的图像作为模板；

步骤A02：对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

步骤A03：设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

步骤A04：设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

具体的，在确认当前对象是否为待喷涂对象前，通常需要选定一个参照的模板，此模板包含有待喷涂对象的特征信息和喷涂信息，喷涂信息包括喷涂的角度方向、待喷涂的图案和颜色等特征，通过选定参照的模板，按照所存储的待喷涂对象的特征信息对当前对象进行识别，判断当前对象是否为待喷涂对象，若是，则获取该选定的模板的喷涂信息，在对当前待喷涂对象进行实际喷涂时，就可以根据选定模板对应的角度方向，按照模板上的图案颜色、种类对当前对象进行喷涂。故此在本实施例中，需要先获得参照物的全角度(即360度)的角度拍摄得到的图像作为模板，提取这360个模板的特征，便于当前对象与模板的特征匹配。

具体的，制作360个模板图，360个模板图分别对应360°中每一个角度，增加了匹配模板图的数量，使得所述模板图能够覆盖每一个待喷涂的当前对象的摆放角度，每一个摆放角度均能找到对应的一个模板图，使得对于当前对象的每一个角度，均能方便地对应模板进行喷涂作业。

具体的，对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化的过程如下：

通过sobel计算梯度图像的梯度，若模板图为三通道图像，则由X和Y方向的梯度求平方和非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，取领域多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

为x位置梯度值，{R,G,B}为R通道、G通道、B通道。

在梯度量化完毕之后，对梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外的像素点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至所述存储器；若否，则判断识别特征在距离数量阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离数量阈值内的识别特征进行剔除，若不存在，则将该识别特征保存至所述存储器。

优选的，所述步骤A2包括：设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

具体的，在所述步骤A1中，对采集到的当前对象的初始图像信息进行特征提取，具体步骤如下：对当前对象的图像信息进行梯度提取和量化，创建两层金字塔，分别对每层金字塔进行梯度扩散，得到对应当前对象图像的扩散梯度矩阵图；计算方向响应矩阵图，获取每一层金字塔的线性内存数据容器。

具体的，对当前对象的图像进行梯度提取和量化，过程大致和上述对于模板的梯度量化训练过程一致。创建两层金字塔的线性内存数据容器，遍历两层金字塔，对每一层金字塔的内部处理流程具体为：

获取金字塔的梯度扩散平移数值大小，获取第一层金字塔线性内存数据容器；

对当前对象的图像量化梯度进行4*4的范围内按位平移，得到梯度扩散的当前对象图像的扩散梯度矩阵图；

创建对应8个方向的8个响应梯度矩阵图，构成一个list数据容器；为了满足MIPP并行计算，将8个方向分为前四个方向和后四个方向，并分别创建梯度方向矩阵；通过与操作，将当前对象图像的梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图；通过事先计算好的8个方向的各种组合的查找表，表元素一共有8*(16+16)个，得到每部分角度与当前角度的最大相似度，然后取前后两部分中的最大值，对每个像素遍历，得到某个方向的一张相似度响应矩阵图，即8个方向，就有8个相似度响应矩阵图。

对于每层金字塔，创建8个相似度矩阵数据容器，将8个相似度矩阵图转成16阶或64阶的方式进行线性化存储在连续的内存中，方便后续匹配的访问速度；即转化成8个16阶或64阶的线性相似度响应图；将采集的当前对象图像分为两层金字塔，分别通过梯度扩散，计算方向响应矩阵图，存入线性内存，得到两个8方向的线性内存。

进一步的，在所述步骤A2中，根据模板的特征信息和当前对象的初始图像的特征信息，将当前对象的特征与多个模板的特征进行特征匹配，具体步骤如下：

利用相似度匹配方法对模板图像特征与当前对象图像特征进行匹配：

根据所述模板的特征点集合信息找到当前对象图像的线性内存访问入口，根据所述识别特征与所述响应矩阵图，通过MIPP累加计算相应位置的相似度，得到匹配相似度矩阵；

迭代计算匹配相似度矩阵，将匹配相似度矩阵转换成100分制，且设置匹配得分阈值，通过对多个模板分别进行迭代处理，找出匹配度分数最高且超出匹配得分阈值的模板，将此模板作为当前对象图像的匹配模板。

具体的，取一个模板的两层金字塔对应的特征相关数据，取当前对象图像的底层金字塔8个方向的相似度矩阵图，根据模板特征点信息找到对应方向的线性内存访问入口，通过计算得到的模板位置范围信息迭代循环，通过MIPP累加计算相应位置的相似度，得到一个第二层金字塔对应的模板与当前对象图像特征点方向的相对应相似度响应矩阵图的匹配相似度矩阵；

通过对模板的所有特征点信息，得到所有该模板的MIPP累加匹配相似度矩阵，即模板第二层金字塔匹配相似度矩阵；

迭代该相似度矩阵，将该相似度矩阵内所有元素转换成100制，根据设置的相似度分数阈值，选取大于相似度分数阈值的点的位置和分数等信息，存入相应数据容器。

根据模板第二层金字塔选取的点位置等信息以及模板第一层模板的特征点信息，选取第一层当前对象图像的8个方向的某个方向的线性相似度矩阵图，并找到第一层当前对象图像的矩阵图的某个方向的线性内存访问入口，由于受SIMD限制，选16*16，计算相似度矩阵。将该相似度矩阵转换成100分制，并找出分数最高的位置信息，同时更新底层金字塔对应的匹配信息。如此迭代循环，得到优化后的匹配位置和分数等信息。根据设置匹配得分阈值，删选掉一些得分低于阈值的优化后的匹配位置和分数信息结构数据。

按照此流程，完成360个模板的迭代处理，得到一系列的模板匹配信息。最后对一系列的匹配到的一系列模板数据信息按照分数排序，并删除掉重复匹配到的模板位置和分数信息，得到最终的一系列模板位置和分数等信息，此时基本完成了模板的匹配。

离线计算8个相似度梯度方向的查找表公式：

其中，i是量化方向的索引，L是各方向的集合，这些方向的集合是出现在梯度方向i的一个邻域内的，以整数表示，以作为查找表的索引。

相似度响应矩阵图计算公式：

相似度计算公式：

计算c+r位置处的相似度，

表示模板；

输入图像。

优选的，所述步骤A3中，根据匹配的模板获取喷涂信息，包括：

根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

优选的，所述输送线两侧设置有多个导轨，多个导轨沿水平面设置，导轨上均设有多个机械臂，所述机械臂沿导轨水平移动；

在所述步骤A3中，通过所述柔性分割方法对模板的图案进行区域划分，包括对待喷涂区域柔性分割：

步骤1：创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

步骤2：划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

步骤3：在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

步骤4：完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

步骤5：根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性，若可达，转至步骤6，否则，转至步骤7；

步骤6：柔性分割的色块，由所属机械臂一次喷涂；

步骤7：硬分割的色块，按待喷涂区域划分平面划分为两个单元块，由两台机械臂分别喷涂，分割形成的边界不重复喷涂。

具体的，在本实施例中，导轨设有两个，两个导轨间隔一定距离平行固定于地面，两台机械臂分别安装于两个导轨上，可沿导轨移动，待喷涂当前对象放置于两个导轨正中间位置。两台机械臂可在导轨上移动位置配合完成对喷涂目标的喷涂工作。

步骤4中完善最远路径点的位姿(即位置和姿态)信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端执行器(喷枪)喷涂该点时的方位姿态(Rx,Ry,Rz)，路径点的位姿需保证机械臂喷枪在喷涂作业时始终垂直于喷涂目标表面，并按照事先规划好的喷涂方向完成喷涂作业；

步骤5中机械臂逆运动学算法是已知机械臂坐标位姿、机械臂各构件尺寸和目标点位姿信息，计算机械臂末端执行器(喷枪)与目标点位姿重合时机械臂各关节的转角信息，若有解且各关节转角均在机械臂关节限制范围内，则机械臂对该目标点为可达，否则为不可达；机械臂可在导轨上沿X轴移动，可将机械臂停在最远路径点一侧较近的位置，通过机械臂逆运动学算法判断机械臂在该位置对最远路径点的可达性(考虑机械臂末端的喷枪尺寸及枪距)，若不可达，则使机械臂沿导轨朝着远离最远路径点的方向移动较小距离后再判断可达性，循环此操作直到可达为止，若机械臂超出导轨限制位置仍未找到可达位置，则认为机械臂对最远路径点不可达，转至步骤7；若可达，转至步骤6；

步骤6，柔性分割的色块，由所属机械臂一次喷涂；

步骤7，硬分割的色块，按待喷涂区域划分平面划分为两个单元块，由两台机械臂分别喷涂，分割形成的边界不重复喷涂。

进一步的，在所述步骤A4中，运用多个机械臂对当前对象进行喷涂，具体操作为：对于不相邻的区域，机械臂同时喷涂；当区域相邻时，导致两个机械臂行动会相互干扰时，则只调用其中一个机械臂先进行喷涂；相邻的其中一个区域的机械臂一次喷涂完毕后，摄像头采集当前对象的图像，判断机械臂是否喷涂出界，若是，调用清除装置进行擦除，再进行相邻区域的喷涂；摄像头若观测到机械臂喷涂不到位，则继续对未喷涂到位的区域进行喷涂。

一种工业机器人的视觉识别喷涂系统，包括模板制作模块、图像采集模块、图像识别模块、喷涂信息获取模块、喷涂指令生成模块和执行模块；

所述模板制作模块用于以参照物为对象制作全角度模板；

所述图像采集模块用于采集并获取当前对象的初始图像信息；

所述图像识别模块用于接收由模板制作模块输入的各个模板，提取每个模板的特征信息，接收由图像采集模块输入的初始图像，提取初始图像的特征信息，将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则将当前对象确认为待喷涂对象，将该角度的模板输出为匹配模板；

所述喷涂信息获取模块用于获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息；

所述喷涂指令生成模块用于根据喷涂信息生成每个喷涂区域的至少一种喷涂指令；

所述执行模块用于根据不同喷涂区域所对应的喷涂指令，控制机械臂对待喷涂对象执行喷涂操作。

具体的，所述图像采集模块包括摄像头；图像采集模块采集到当前对象和参照物的图像信息后，将图像信息传至图像识别模块，图像识别模块对采集到的图像信息进行特征提取等处理，并且对模板也进行特征提取等处理，根据当前对象的图像信息和模板的图像信息，进行特征匹配，选出匹配的模板信息；喷涂信息获取模块提取匹配模板的喷涂信息，发送至喷涂指令生成模块，喷涂指令生成模块生成针对不同待喷涂区域的喷涂指令，并向执行模块发送指令信号，执行模块的机械臂对当前对象进行实际喷涂操作。

具体的，所述执行模块包括机械臂及设于机械臂的喷枪、压缩气瓶、油漆输送管和油漆泵；喷枪设于机械臂的末端，用于对准当前对象并进行喷涂；压缩气瓶、油漆输送管和油漆泵设于机械臂上，油漆泵用于储存喷涂用的颜料，油漆输送管连通油漆泵与喷枪，压缩气瓶用于将油漆泵内的颜料通过油漆输送管提取至喷枪喷出。当机械臂接收到喷涂的信号后，压缩气瓶启动，将油漆泵内的颜料通过油漆输送管提取至喷枪，喷枪喷出颜料至当前对象的对应位置上。

具体的，喷涂机器人用于生产制造过程中的喷涂作业，图像识别模块可以为图像处理器；摄像头接收到当前对象的图像信息后，将图像信息传递至图像处理器进行处理，图像处理器对当前对象图像进行特征提取，并与模板的特征进行匹配，若匹配，则将结果依次传递至喷涂信息获取模块和喷涂指令生成模块，喷涂指令生成模块发送指令至机械臂，对当前对象进行喷涂，其中，喷涂的指令信号包括已经匹配对应模板的喷涂区域和选取的喷涂颜色。在本实施例中，喷涂机器人上的两个机械臂为一组共同对同一当前对象进行喷涂，具有提高喷涂效率的作用。

优选的，所述模板制作模块还包括获取子单元、矩阵转换子单元、梯度幅值阈值判断子单元和识别特征数量判断子单元；

所述获取子单元，用于获取参照物的多个角度的图像作为模板；

所述矩阵转换子单元，用于对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

所述梯度幅值阈值判断子单元，用于设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

所述识别特征数量判断子单元，用于设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

优选的，所述图像识别模块包括特征提取子模块和特征匹配子模块；

所述特征提取子模块用于提取模板的特征信息，以及提取由所述图像采集模块采集的当前对象的初始图像的特征信息；

所述特征匹配子模块用于设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

优选的，所述喷涂信息获取模块还用于：根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

优选的，所述喷涂指令生成模块还用于通过所述柔性分割方法对模板的图案进行区域划分：

创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性。根据本发明实施例的一种工业机器人的视觉识别喷涂方法及系统的其他构成等以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。

上述一种工业机器人的视觉识别喷涂系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备的存储器中，以便于处理器调用执行以上各模块对应的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。

Claims (8)

1.一种工业机器人的视觉识别喷涂方法，其特征在于：包括以下步骤：

步骤A0：以参照物为对象制作全角度模板，并提取每个模板的特征信息，其中，全角度模板包括360个模板，360个模板分别对应360个角度；

步骤A1：获取输送线上当前对象的初始图像，并提取初始图像的特征信息；

步骤A2：将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则当前对象为待喷涂对象，该角度的模板为匹配模板；

步骤A3：获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息，根据喷涂信息生成每个喷涂区域的至少一种喷涂指令，将对应喷涂区域的喷涂指令分别发送给对应的机械臂；

步骤A4：根据不同喷涂区域所对应的喷涂指令，控制对应的机械臂执行喷涂操作；

在所述步骤A0中，以参照物为对象制作全角度模板，并提取每个模板的特征信息，具体步骤如下：

步骤A01：获取参照物的多个角度的图像作为模板；

步骤A02：对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

步骤A03：设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

步骤A04：设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

2.根据权利要求1所述的一种工业机器人的视觉识别喷涂方法，其特征在于：所述步骤A2包括：设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

3.根据权利要求2所述的一种工业机器人的视觉识别喷涂方法，其特征在于：所述步骤A3中，根据匹配的模板获取喷涂信息，包括：

根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

4.根据权利要求3所述的一种工业机器人的视觉识别喷涂方法，其特征在于：所述输送线两侧设置有多个导轨，多个导轨沿水平面设置，导轨上均设有多个机械臂，所述机械臂沿导轨水平移动；

在所述步骤A3中，通过所述柔性分割方法对模板的图案进行区域划分，包括对待喷涂区域柔性分割：

步骤1：创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

步骤2：划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

步骤3：在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

步骤4：完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

步骤5：根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性，若可达，转至步骤6，否则，转至步骤7；

步骤6：柔性分割的色块，由所属机械臂一次喷涂；

步骤7：硬分割的色块，按待喷涂区域划分平面划分为两个单元块，由两台机械臂分别喷涂，分割形成的边界不重复喷涂。

5.一种工业机器人的视觉识别喷涂系统，其特征在于：包括模板制作模块、图像采集模块、图像识别模块、喷涂信息获取模块、喷涂指令生成模块和执行模块；

所述模板制作模块用于以参照物为对象制作全角度模板，并提取每个模板的特征信息，其中，全角度模板包括360个模板，360个模板分别对应360个角度；

所述图像采集模块用于采集并获取当前对象的初始图像信息；

所述图像识别模块用于接收由模板制作模块输入的各个模板，提取每个模板的特征信息，接收由图像采集模块输入的初始图像，提取初始图像的特征信息，将初始图像的特征信息与全角度模板的特征信息进行匹配识别，判断是否存在某一角度的模板与所述初始图像相互匹配，若是，则将当前对象确认为待喷涂对象，将该角度的模板输出为匹配模板；

所述喷涂信息获取模块用于获取所述匹配模板中对应待喷涂对象的至少一个喷涂区域的喷涂信息；

所述喷涂指令生成模块用于根据喷涂信息生成每个喷涂区域的至少一种喷涂指令；

所述执行模块用于根据不同喷涂区域所对应的喷涂指令，控制机械臂对待喷涂对象执行喷涂操作；

所述模板制作模块还包括获取子单元、矩阵转换子单元、梯度幅值阈值判断子单元和识别特征数量判断子单元；

所述获取子单元，用于获取参照物的多个角度的图像作为模板；

所述矩阵转换子单元，用于对每一个所述模板进行第一层金字塔梯度量化以及第二层金字塔梯度量化，得到对应每一个模板的角度图像矩阵，并将角度图像矩阵转换成梯度幅值图像矩阵；

所述梯度幅值阈值判断子单元，用于设定梯度幅值阈值，对梯度幅值图像矩阵进行遍历，找出梯度幅值图像矩阵中的最大梯度幅值的像素点，判断最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

所述识别特征数量判断子单元，用于设定数量阈值，获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征点集合中并保存至存储器。

6.根据权利要求5所述的一种工业机器人的视觉识别喷涂系统，其特征在于：所述图像识别模块包括特征提取子模块和特征匹配子模块；

所述特征提取子模块用于提取模板的特征信息，以及提取由所述图像采集模块采集的当前对象的初始图像的特征信息；

所述特征匹配子模块用于设定阈值，根据模板的特征信息和当前对象的特征信息，将当前对象的特征与上述每个模板的特征进行特征匹配，并进行分数计算，当某一模板的分数达到阈值时，则该模板与所述初始图像相互匹配，该模板为匹配模板，当前对象为待喷涂对象。

7.根据权利要求6所述的一种工业机器人的视觉识别喷涂系统，其特征在于：所述喷涂信息获取模块还用于：根据模板的特征信息获取匹配的模板的图案的颜色和区域坐标信息；

通过柔性分割方法，基于图案的色块和边界划分不同的区域，记录区域的坐标信息和此区域的颜色，作为对应的喷涂信息，生成对应的喷涂方案，再根据喷涂方案对喷涂作业过程进行分配；

按照所述模板的图案的区域坐标信息和区域对应的颜色，对当前对象的图像进行区域划分，将区域颜色与对应涂料颜色的机械臂配对，得到对应不同区域的喷涂指令，将不同的喷涂指令传达至不同的机械臂进行喷涂作业。

8.根据权利要求7所述的一种工业机器人的视觉识别喷涂系统，其特征在于：所述喷涂指令生成模块还用于通过所述柔性分割方法对模板的图案进行区域划分：

创建经过待喷涂当前对象中心点且平行于导轨水平面的平面作为待喷涂区域划分平面，计算各色块是否与待喷涂区域划分平面存在交点，确定跨区色块；

划分待喷涂区域时，对横跨两个待喷涂区域的色块，先计算色块边界路径点的坐标平均值，得到色块中心点坐标，通过判断色块中心点坐标位于待喷涂区域划分平面的方位以确定跨区色块中心点所属机械臂；

在跨区色块的边界路径点集合中搜索距离所属机械臂所在导轨垂直距离最远的路径点作为最远路径点；

完善最远路径点的位置和姿态信息，作为位姿信息，包括该路径点的空间坐标值(X,Y,Z)以及机械臂末端的喷枪喷涂该点时的方位姿态(Rx,Ry,Rz)；

根据最远路径点的位姿信息优化调整机械臂在导轨上的位置，通过机械臂逆运动学算法判断机械臂对最远路径点的可达性。

Images