CN114800508A - 一种工业机器人的抓取控制系统及方法 - Google Patents

Abstract

本发明的目的在于提出一种工业机器人的抓取控制系统及方法，工业机器人设置有机械臂，机械臂与摄像设备电联接；摄像设备包括信息获取模块以及发送模块；机械臂包括接收模块、信息处理模块以及抓取判断模块；采集流水线上的商品信息图片；发送模块用于将商品信息图片发送给接收模块；信息处理模块用于将接收模块接收的商品信息图片与全角度模板图进行匹配，其中全角度模板图设置有360个不同角度的模板图；抓取判断模块用于根据偏移角度旋转机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作。在本发明中南识别到目标商品所在的偏移角度，旋转机械臂的夹手使夹持方向与偏移角度一致，使夹手牢固地夹持目标商品。

Description

一种工业机器人的抓取控制系统及方法

技术领域

本发明涉及机械臂控制技术领域，特别是一种工业机器人的抓取控制系统及方法。

背景技术

随着机械臂技术的日新月异与工业机械臂的不断发展，将机械臂投入到工业生产中已经基本实现了，但是在复杂的生产环境中使用机械臂对目标部件进行抓取还是一项难以攻克的难题。特别是在码垛的生产流水线中，在流水线上存在有众多不同的商品，不同的机械臂需要抓取不同的商品将其投放在相应的容器内进行码垛，但是在复杂的环境的流水线中，机械臂需要定位与识别的目标众多，而且当目标发生偏移或旋转时，机械臂则难以所需抓取的目标进行精准的识别。导致在流水线的码垛中无法使用工业机械臂执行抓取的工作。

发明内容

针对上述缺陷，本发明的目的在于提出一种工业机器人的抓取控制系统及方法，使机械臂能够有效牢固的抓紧目标商品。

为达此目的，本发明采用以下技术方案：一种工业机器人的抓取控制系统，包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接；

所述摄像设备包括信息获取模块以及发送模块；

所述机械臂包括接收模块、信息处理模块以及抓取判断模块；

所述信息获取模块用于采集流水线上的商品信息图片；

所述发送模块用于将所述商品信息图片发送给所述接收模块；

所述接收模块用于接收所述商品信息图片；

所述信息处理模块用于将所述接收模块接收的所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，其中所述全角度模板图设置有360个不同角度的模板图；

所述抓取判断模块用于根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作。

优选的，所述信息处理模块包括目标提取子模块、匹配子模块以及标记子模块；

所述目标提取子模块用于使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

所述标记子模块用于对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合。

优选的，所述匹配子模块还包括模板制作单元、识别特征提取单元以及存储单元；

所述模板制作单元用于制作全角度模板图中的360个模板图，其中每一个模板图对应一个不同的整数角度；

所述识别特征提取单元包括梯度量化子单元以及提起子单元；

所述梯度量化子单元用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

所述提起子单元用于以当前角度为表列获取所述识别特征，并进行保存；

所述存储单元用于存储不同角度表列中的所有识别特征。

优选的，所述匹配子模块还包括框体处理单元以及角度计算单元；

所述框体处理单元包括：金字塔线性内存数据容器处理子单元、平移子单元与相似度响应矩阵图获取子单元；

其中所述金字塔线性内存数据容器处理子单元用于对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

所述平移子单元用于对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

所述相似度响应矩阵图获取子单元用于通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

所述角度计算单元包括调用子单元以及相似度计算子单元；

所述调用子单元用于调用所述存储单元中的两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

相似度计算子单元用于对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

优选的，所述模板制作单元还包括更新子单元；

当所述框体内的内容被识别为目标商品后，所述更新子单元用于获取所述框体，并将当前框体内的内容制作为模板图。

优选的，抓取判断模块还包括转动控制子模块，所述转动控制子模块与机械臂的转动单元连接，所述转动控制子模块根据所述偏移角度控制所述转动单元转动偏移角度数值一样的角度。

一种工业机器人的抓取控制方法，应用于上述一种工业机器人的抓取控制系统，其特征在于，所述抓取控制系统包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接，所述方法包括以下步骤：

摄像设备采集水线上的商品信息图片，并将所述商品图片信息发送给所述机械臂；

所述机械臂接收所述商品信息图片，并将所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作；

其中所述全角度模板设置有360个不同角度的模板图。

优选的，所述全角度模板图的匹配过程如下：

A1：使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

A2：使用全角度模板图对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

A3：对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合；

其中所述A2中具体步骤如下：

对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

其中具有8个相似度方向的查找表的查找方式如下：

其中i是量化方向的索引，L是扩散梯度矩阵图中一个各方向的集合，l为扩散梯度矩阵图的方向；

调用两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

优选的，在执行A2前还需执行以下步骤：

制作全角度模板中的360个模板图，其中每一个模板图对应一个不同的整数角度；

对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

以当前角度为表列获取所述识别特征，并进行保存；

存储不同角度表列中的所有识别特征；

其中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：

通过sobel计算梯度图像的梯度；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域中取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

为x位置梯度值，{R,G,B}为R通道、G通道、B通道，，ori()为梯度方向；

特征提取的步骤如下：

对梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存，若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存。

在一个实施例中，当所述框体内的内容被识别为目标商品后，获取所述框体，并将当前框体内的内容制作为模板图。

上述技术方案中的一个技术方案具有如下优点或有益效果：1.制作360个不同旋转角度的模板图，能够有效覆盖较多在真实情况下待目标商品所处在的状态，通过增加识别的模板数量来提高识别的精准，然后识别出来后能够得到目标商品所在的偏移角度，旋转机械臂的夹手使夹持方向与偏移角度一致，使夹手牢固地夹持目标商品。

2.对于商品信息图片的处理都设置有机械臂上，能够避免额外处理器的设置，既能够减轻处理器的额外购置、使用，降低运行成本，而且安装方便，只需要将所述发送模块与所述接收模块进行简单的图像传输协议即可使用本申请所提出的控制系统，减少了使用前的安装步骤，大大减少了使用前安装时间成本。

附图说明

图1是本发明的一个实施例的结构示意图。

图2是本发明的一个实施例中机械臂的结构示意图。

图3是本发明的一个实施例中信息处理模块的结构示意图。

图4是本发明的一个实施例中匹配子模块的结构示意图。

图5是本发明方法中的一个实施例的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1～5所示，一种工业机器人的抓取控制系统，包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接；

所述摄像设备包括信息获取模块以及发送模块；

所述机械臂包括接收模块、信息处理模块以及抓取判断模块；

所述信息获取模块用于采集流水线上的商品信息图片；

所述发送模块用于将所述商品信息图片发送给所述接收模块；

所述接收模块用于接收所述商品信息图片；

所述信息处理模块用于将所述接收模块接收的所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，其中所述全角度模板图设置有360个不同角度的模板图；

所述抓取判断模块用于根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作。

在商品码垛的流水线中，商品在流水线上的运输速度相对较慢，所述摄像模块中所述信息获取模块可以为摄像头，通过所述信息获取模块可以清晰的拍摄到流水线上的商品信息；并将获取后的商品信息逐帧通过所述发送模块发送至所述机械臂上。所述机械臂设置有接收模块，所述接收模块与所述发送模块电联接，能够接收所述发送模块传输的商品信息图片。随后将接收到的商品信息图片发送给所述信息处理模块，所述信息处理模块设置有识别所使用的模板图，能够通过所述模板图识别出商品信息图片中是否存在有需要夹取起来码垛的目标商品，还能识别出目标商品在流水线上的偏移角度。当判断有目标商品后，将目标商品以及目标商品的偏移角度发送给所述抓取判断模块，所述抓取判断模块会根据偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，如图2箭头方向所示为机械臂夹手的夹持角度方向，当所述夹持角度方向与偏移角度方向一致时，所述机械臂的夹手能够有效夹取到目标商品，并将其移动至合适的码垛区域。避免因目标商品发生偏转而无法被识别或者应目标商品无法被机械臂有效的夹取起来。

值得一提的是，在本申请中，对于商品信息图片的处理都设置有机械臂上，能够避免额外处理器的设置，既能够减轻处理器的额外购置、使用，降低运行成本，而且安装方便，只需要将所述发送模块与所述接收模块进行简单的图像传输协议即可使用本申请所提出的控制系统，减少了使用前的安装步骤，大大减少了使用前安装时间成本。

在一个实施例中，通过所述信息处理模块获取到目标零件的偏移角度为29°，当偏移角度超出25°时就会影响后续码垛，所述抓取判断模块判断所述目标零件需要被抓取，随后使机械臂夹手旋转29°，使得所述机械臂夹手的夹持角度与目标零件的偏移角度一致，在夹手夹持目标零件时能够牢固的夹持住所述目标零件，然后将其搬运出流水线。当然这些能够影响码垛目标商品的偏移角度可以是在多次试验中得出，也可以通过模拟环境的实验模型模拟得出来。

优选的，所述信息处理模块包括目标提取子模块、匹配子模块以及标记子模块；

所述目标提取子模块用于使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

所述标记子模块用于对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合。

若直接使所述匹配子模块对商品信息图片进行匹配识别的话，有可能被流水线上的履带干扰，因为在某些履带上会存在有凸起，以方便物件的摆放。这些凸起会增加所述匹配子模块的识别数量，影响处理速度。为此在本本申请中采用了现有的One-Stage算法对图像信息进行提取，其中所述One-Stage算法是通过该条流水线的虚拟模型进行训练得出One-Stage算法的训练结果，能够识别流水线上物体，通过One-Stage算法获取流水线上商品的框体。在此处可以对框体的大小或者形状进行限定。在一个实施例中履带上的凸起是沿履带的宽度方向延伸设置的，只需要长度接近履带宽度大小的宽体进行去除，即可减少匹配子模块的识别数量。然后再通过匹配子模块对框体进行匹配，判断当前框体内的内容是否为目标商品并获取目标商品的偏转角度。然后在对框体进行标记，在标记的过程中会采用两种不同的标记方式进行标记，其中一种标记方式是用于标记目标商品所在的框体，另一标记方式是用于标记流水线上的其他商品。例如：通过所述匹配子模块匹配识别后会识别出来流水线上的目标商品，并对其框体进行标记，其中对流水线上的目标商品的框体标记为识别顺序+偏移角度的组合，而剩下没有被识别出来的框体则为其他商品所对应的框体，该类框体则用希腊字母+数字的组合或者不对框体进行标记。在后期使用是可以直接追踪识别顺序+偏移角度组合的框体，实现目标商品的追踪。

优选的，所述匹配子模块还包括模板制作单元、识别特征提取单元以及存储单元；

所述模板制作单元用于制作全角度模板图中的360个模板图，其中每一个模板图对应一个不同的整数角度；

所述识别特征提取单元包括梯度量化子单元以及提起子单元；

所述梯度量化子单元用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

所述提起子单元用于以当前角度为表列获取所述识别特征，并进行保存；

所述存储单元用于存储不同角度表列中的所有识别特征。

由于目标商品在流水线上随意的摆放，其摆放的角度会影响到所述匹配子模块对其的识别效果。有可能存在某个摆放角度，使所述匹配子模块无法对其进行识别，导致目标商品被标记为其他商品。为此，在本申请的匹配子模块中包括了模板制作单元，在所述模板制作单元中制作了360个模板图，360个所述模板图分别对应360°中每一个角度，增加了匹配模板图的数量，使得所述模板图能够覆盖每一个目标商品的摆放角度，避免因摆放角度的问题而影响到所述匹配子模块对目标商品的识别。

所述梯度量化子单元能够对模板图进行梯度量化，更好得获取模板图中的识别特征。在一个是实施例中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：

通过sobel计算梯度图像的梯度，在一个实施例中所述模板图为三通道图像，由X和Y方向的梯度求平方和非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域中取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

为x位置梯度值，{R,G,B}为R通道、G通道、B通道，ori()为梯度方向。

在进行完梯度量化后，所述模板图中的识别特征在像素点数值上与其他像素点有明显的区别，为此，本申请中对于识别特征的过程如下：梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存至所述存储单元；若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存至所述存储单元。

在存储单元内的识别特征会以角度作为每一组存储识别特征的分组。在匹配子模块识别的过程中，会调用所述存储单元内的识别特征，以每一组的识别特征与所述商品信息图片上的框体进行识别匹配。

优选的，所述匹配子模块还包括框体处理单元以及角度计算单元；

所述框体处理单元包括：金字塔线性内存数据容器处理子单元、平移子单元与相似度响应矩阵图获取子单元；

其中所述金字塔线性内存数据容器处理子单元用于对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

所述平移子单元用于对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

所述相似度响应矩阵图获取子单元用于通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

其中具有8个相似度方向的查找表的查找方式如下：

其中i是量化方向的索引，L是扩散梯度矩阵图中一个各方向的集合，l为扩散梯度矩阵图的方向；

所述角度计算单元包括调用子单元以及相似度计算子单元；

所述调用子单元用于调用所述存储单元中的两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

从所述存储单元中获取第一个模板图的两层金字塔对应的识别特征的数据，同时获取框体第二层金字塔线性内存数据容器内8个方向的相似度响应矩阵图，根据第二层金字塔识别特征的信息找到对应方向的线性内存数据容器的访问入口，通过计算得到的模板图位置范围信息迭代循环以及MIPP累加计算相应位置的相似度，得到第一个模板图第二层金字塔单一识别特征的匹配相似度矩阵，遍历第一个模板图第二层金字塔所有识别特征，得到第二层金字塔匹配相似度矩阵数据集，再将匹配相似度矩阵数据集内的数据转化为100进制，获得每一个匹配相似度矩阵的得分，将得分数小于阈值的匹配相似度矩阵去除。

相似度计算子单元用于对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

将所述调用子单元留下第二层金字塔的识别特征的位置选取在第一层金字塔所对应的识别特征位置，选取第一层金字塔目标检测图的8个方向的某个方向的线性相似度矩阵图，并找到第一层金字塔线性内存数据容器内8个方向的相似度响应矩阵图，根据第一层金字塔识别特征的信息找到对应方向的线性内存数据容器的访问入口，通过计算得到的模板图位置范围信息迭代循环以及MIPP累加计算相应位置的相似度，得到第一个模板图第一层金字塔单一识别特征的匹配相似度矩阵，遍历第一个模板图第一层金字塔所有识别特征，得到第一层金字塔匹配相似度矩阵数据集，再将匹配相似度矩阵数据集内的数据转化为100进制，获得每一个匹配相似度矩阵的得分，综合模板图第一层金字塔和第二层金字塔识别特征的得分，记为匹配得分；

其中，匹配得分的计算方式如下：

其中，L为框体，T表示模板图，c是模板图中识别特征的位置，P代表的是以c为中心的领域，o为框体中识别特征的位置，r为框体识别特征与模板图识别特征对比后的偏移位置，Sori()表示梯度幅值。

在本申请中的实施例中，通过获取模板图中识别特征来计算框体与模板图相似度的得分，即匹配得分。当匹配得分大于阈值时，说明框体的内容为目标商品。每个零部件都有被抓取的位置，而为了方便后续工作时对工件进行抓取，需要对目标商品进行定位。判断目标商品当前偏移角度。而目标商品所在的偏移角度有可能并非在为整数的角度，例如在36.7度等等，为了方便对目标图像进行定位，会选取模板图得分最高的模板图所在的角度作为零部件的角度，来帮助机器臂的抓手对目标商品进行抓取。

优选的，所述模板制作单元还包括更新子单元；

当所述框体内的内容被识别为目标商品后，所述更新子单元用于获取所述框体，并将当前框体内的内容制作为模板图。

获取当目标商品，将当前目标商品进行保存，制作为作模板图并获取该模板图的旋转角度。增加了模板图的数量，进一步提高提高机械臂在抓取以及识别的精准度。

优选的，抓取判断模块还包括转动控制子模块，所述转动控制子模块与机械臂的转动单元连接，所述转动控制子模块根据所述偏移角度控制所述转动单元转动偏移角度数值一样的角度。

如图2所示，A处为机械臂的转动单元，用于控制夹手的旋转，所述转动控制子模块在接收到偏移角度后，会根据所述偏移角度使转动单元转动到相应的角度，使得所述机械臂的夹手的夹持角度方向与目标商品的偏移角度方向一致，便于所述机械臂夹紧目标商品。

一种工业机器人的抓取控制方法，应用于上述一种工业机器人的抓取控制系统，所述抓取控制系统包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接，所述方法包括以下步骤：

摄像设备采集水线上的商品信息图片，并将所述商品图片信息发送给所述机械臂；

所述机械臂接收所述商品信息图片，并将所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作；

其中所述全角度模板设置有360个不同角度的模板图。

优选的，所述全角度模板图的匹配过程如下：

A1：使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

A2：使用全角度模板图对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

A3：对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合；

其中所述A2中具体步骤如下：

对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

其中具有8个相似度方向的查找表的查找方式如下：

其中i是量化方向的索引，L是扩散梯度矩阵图中一个各方向的集合，l为扩散梯度矩阵图的方向；

调用两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

优选的，在执行A2前还需执行以下步骤：

制作全角度模板中的360个模板图，其中每一个模板图对应一个不同的整数角度；

对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

以当前角度为表列获取所述识别特征，并进行保存；

存储不同角度表列中的所有识别特征；

其中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：

通过sobel计算梯度图像的梯度；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域中取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

为x位置梯度值，{R,G,B}为R通道、G通道、B通道；

特征提取的步骤如下：

对梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存，若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存。

在一个实施例中，当所述框体内的内容被识别为目标商品后，获取所述框体，并将当前框体内的内容制作为模板图。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种工业机器人的抓取控制系统，其特征在于，包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接；

所述摄像设备包括信息获取模块以及发送模块；

所述机械臂包括接收模块、信息处理模块以及抓取判断模块；

所述信息获取模块用于采集流水线上的商品信息图片；

所述发送模块用于将所述商品信息图片发送给所述接收模块；

所述接收模块用于接收所述商品信息图片；

所述信息处理模块用于将所述接收模块接收的所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，其中所述全角度模板图设置有360个不同角度的模板图；

所述抓取判断模块用于根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作。

2.根据权利要求1所述一种工业机器人的抓取控制系统，其特征在于，所述信息处理模块包括目标提取子模块、匹配子模块以及标记子模块；

所述目标提取子模块用于使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

所述标记子模块用于对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合。

3.根据权利要求2所述的一种工业机器人的抓取控制系统，其特征在于，所述匹配子模块还包括模板制作单元、识别特征提取单元以及存储单元；

所述模板制作单元用于制作全角度模板图中的360个模板图，其中每一个模板图对应一个不同的整数角度；

所述识别特征提取单元包括梯度量化子单元以及提起子单元；

所述梯度量化子单元用于对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

所述提起子单元用于以当前角度为表列获取所述识别特征，并进行保存；

所述存储单元用于存储不同角度表列中的所有识别特征。

4.根据权利要求2所述的一种工业机器人的抓取控制系统，其特征在于，

所述匹配子模块还包括框体处理单元以及角度计算单元；

所述框体处理单元包括：金字塔线性内存数据容器处理子单元、平移子单元与相似度响应矩阵图获取子单元；

其中所述金字塔线性内存数据容器处理子单元用于对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

所述平移子单元用于对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

所述相似度响应矩阵图获取子单元用于通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

所述角度计算单元包括调用子单元以及相似度计算子单元；

所述调用子单元用于调用所述存储单元中的两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

相似度计算子单元用于对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

5.根据权利要求2所述的一种工业机器人的抓取控制系统，其特征在于，所述模板制作单元还包括更新子单元；

当所述框体内的内容被识别为目标商品后，所述更新子单元用于获取所述框体，并将当前框体内的内容制作为模板图。

6.根据权利要求1所述的一种工业机器人的抓取控制系统，其特征在于，抓取判断模块还包括转动控制子模块，所述转动控制子模块与机械臂的转动单元连接，所述转动控制子模块根据所述偏移角度控制所述转动单元转动偏移角度数值一样的角度。

7.一种工业机器人的抓取控制方法，应用权利要求1～6所述一种工业机器人的抓取控制系统，其特征在于，所述抓取控制系统包括工业机器人，所述工业机器人设置有机械臂，所述机械臂与摄像设备电联接，所述方法包括以下步骤：

摄像设备采集水线上的商品信息图片，并将所述商品图片信息发送给所述机械臂；

所述机械臂接收所述商品信息图片，并将所述商品信息图片与全角度模板图进行匹配，分析出当前流水线中是否存在令机械臂动作执行的目标商品，并获取目标商标的偏移角度，根据所述偏移角度旋转所述机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作；

其中所述全角度模板设置有360个不同角度的模板图。

8.根据权利要求7所述的一种工业机器人的抓取控制方法，其特征在于，所述全角度模板图的匹配过程如下：

A1：使用One-Stage算法对商品信息图片进行识别框体提取，将流水线上的物体以框体的方式展现；

A2：使用全角度模板图对框体内的物体进行匹配识别，判断当前商品信息图片中是否存在有目标零件，若存在则获取目标商品的偏移角度；

A3：对目标商品的框体进行符号标记，所述符号标记方法为识别顺序以及偏移角度的配合；

其中所述A2中具体步骤如下：

对框体进行梯度提取和量化，创建两层金字塔线性内存数据容器，将测试图像线遍历两层金字塔的数据；

其中遍历金字塔具体过程为：获取目标梯度扩散平移数值大小，获取得到金字塔线性内存数据容器；

对框体量化梯度进行4*4的范围内按位平移，得到的16张图逐像素做或操作，得到梯度扩散的框体的扩散梯度矩阵图；

通过与操作，将框体的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图，通过预设的查找表，找出各个梯度矩阵图角度与查找表中各个角度的最大相似度，其中所述查找表为预先计算好的8个方向的各种组合的表；

得到某方向的相似度响应矩阵图，由于所述扩散梯度矩阵图有8个方向，故获取8个相似度响应矩阵图，将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内；

其中具有8个相似度方向的查找表的查找方式如下：

其中i是量化方向的索引，L是扩散梯度矩阵图中一个各方向的集合，l为扩散梯度矩阵图的方向；

调用两层金字塔，并根据8个相似度响应矩阵图，找到两层金字塔的线性内存的访问入口，获取每一个角度应的识别特征；

对框体以及识别特征进行匹配，获取框体与每一个角度的识别特征的匹配得分，判断最高的匹配得分是否大于阈值，若大于，则判所述框体的内容为目标商品，获取最高的匹配得分对应的角度作为当前目标商品的偏移角度。

9.根据权利要求8所述的一种工业机器人的抓取控制方法，其特征在于，在执行A2前还需执行以下步骤：

制作全角度模板中的360个模板图，其中每一个模板图对应一个不同的整数角度；

对360个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得360个模板图分别对应的识别特征；

以当前角度为表列获取所述识别特征，并进行保存；

存储不同角度表列中的所有识别特征；

其中，所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下：

通过sobel计算梯度图像的梯度；

由X和Y方向的梯度图像矩阵得到角度图像矩阵；

角度图像矩阵范围从0-360度量化成1-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，在像素领域中取多于5个相同方向，并对该方向进行赋值，并对索引进行00000001～10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

x代表位置，

为x位置梯度值，{R,G,B}为R通道、G通道、B通道，ori()为梯度方向；

特征提取的步骤如下：

对梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存，若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存。

10.根据权利要求9所述的一种工业机器人的抓取控制方法，其特征在于，当所述框体内的内容被识别为目标商品后，获取所述框体，并将当前框体内的内容制作为模板图。

Images