CN114751153B - 一种全角度的多模板码垛系统 - Google Patents

Abstract

本发明公开了一种全角度的多模板码垛系统，包括机械臂和输送线，机械臂包括：采集单元用于采集输送线上的物体位置；第一识别单元用于识别物体是否为目标对象，根据物体位置生成机械臂的控制指令并发给控制单元；第二识别单元用于识别垛堆信息后生成识别结果并发送至控制单元；控制单元用于接收第一识别单元发出的控制指令，并根据控制指令调整机械臂的动作，同时接收第二识别单元的识别结果，分析是否继续进行码垛。本申请旨在提供一种全角度的多模板码垛系统，通过第一识别单元判断物品的位置信息，实时调整机械臂的动作完成精准的抓取工作，同时配合第二识别单元识别垛堆的实际情况，判断是否继续进行码垛工作。

Description

一种全角度的多模板码垛系统

技术领域

本发明涉及码垛技术领域，尤其涉及一种全角度的多模板码垛系统。

背景技术

随着科技的发展，人们的生活节奏也逐渐加快，许多企业都开始使用高效率的机器进行工作，将机械臂投入到生产线中，对输送的物品进行抓取码垛后整理装车，已成为常用的工业运输技术手段。

在自动码垛系统中，通常是将机械臂与具有识别逻辑功能的摄像设备进行连接，当摄像设备识别出物品后，将物品的位置发送至机械臂控制端，机械臂控制端驱动机械臂移动抓取物品。

而机械臂在工作时，一般是通过预先烧录的程序对机械臂进行控制，当机械臂接收到抓取指令时，通过程序设置的参数移动至预设位置后抓取物品，这个控制过程较为死板，机械臂无法根据实际输送过程发生的变动进行调整，导致输送错误。例如，在输送线工作时，因电压或电机运行等因素，会造成输送速度的波动，当输送线出现速度波动时，机械臂仍然按照预设的参数进行运作，这样势必会造成抓取结果错误或出现漏抓等情况，影响了生产效率。

发明内容

本发明的目的在于提出一种全角度的多模板码垛系统，通过第一识别单元判断物品的位置信息，实时调整机械臂的动作完成精准的抓取工作，同时配合第二识别单元识别垛堆的实际情况，判断是否继续进行码垛工作。

为达此目的，本发明采用以下技术方案：一种全角度的多模板码垛系统，包括机械臂和输送线，所述机械臂与所述输送线通讯连接；所述机械臂包括采集单元、第一识别单元、第二识别单元和控制单元；

所述采集单元设置在所述机械臂的前端，所述采集单元与所述输送线相对，所述采集单元用于采集所述输送线上的物体位置，并将采集的物体位置发送至所述第一识别单元；

所述第一识别单元设置在所述机械臂上，所述第一识别单元用于识别物体是否为目标对象，如是，则触发所述采集单元实时采集物体位置，根据接收的物体位置生成所述机械臂的移动轨迹和抓取动作，将移动轨迹、抓取动作和物体位置信息整合成控制指令，最后将控制指令发给所述控制单元；

所述第二识别单元设置在所述机械臂的前端，所述第二识别单元与码垛位置相对，所述第二识别单元用于识别垛堆信息后生成识别结果，并将识别结果发送至所述控制单元；

所述控制单元设置在所述机械臂上，所述控制单元用于接收第一识别单元发出的控制指令，并解析控制指令，根据解析结果调整所述机械臂的移动轨迹和抓取动作，同时接收所述第二识别单元的识别结果，分析是否继续进行码垛。

优选的，所述采集单元包括摄像头模块，所述摄像头模块以固定的周期对所述输送线的物品进行拍摄，获得物品的图像信息，并将图像信息发送至所述第一识别单元。

优选的，所述第一识别单元包括模板库模块、识别处理模块和存储模块；

所述模板库模块用于存储模板信息，所述模板信息包括多个角度的模板图；

所述识别处理模块用于提取图像信息中物品的特征信息，并与模板库模块进行匹配，根据匹配结果识别图像信息是否为目标对象；

所述存储模块用于存储图像信息中物品的特征信息。

优选的，所述模板信息包括360/n个模板图，n＝1，2，3，…，n，n小于10，n为正整数；所述模板图对应各个模板中物品的不同摆放角度。

优选的，所述识别处理模块包括追踪子模块和匹配子模块；所述追踪子模块使用One-Stage算法对图像信息进行识别框体提取，将所述输送线上的物体以框体的方式展现；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前的图像信息中是否存在有目标零件，若存在有目标零件，则将目标零件所在的框体与模板库模块中的模板图进行匹配，若匹配结果相符，则将当前的框体内的物体的特征信息存储至所述存储模块。

优选的，所述匹配子模块包括梯度量化次级模块和提取次级模块；

所述梯度量化次级模块用于对采集的物体的图像信息进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得图像信息对应的识别特征；

所述提取次级模块用于以当前角度为表列获取识别特征，并保存至所述存储模块。

优选的，所述第二识别单元包括摄像模块和特征处理模块；所述摄像模块用于采集垛堆的实时工作的图像；所述特征处理模块使用One-Stage算法对垛堆的实时工作图像进行识别轮廓提取，根据轮廓信息生成识别结果，并将识别结果发送至所述控制单元；

在识别出垛堆的框体时，所述特征处理模块根据识别的轮廓相对于采集的图像中的位置，转化成对应的垛堆坐标系，以摄像模块采集的图像左下角为原点，以图像的宽度方向为x轴，图像的高度方向为y轴，则识别的轮廓沿x轴和y轴方向分布，摄像模块采集的图像中，物品的轮廓包括最左端点的坐标、最右端点的坐标、最上端点的坐标以及最下端点的坐标；

识别结果包括最左端点的坐标与最右端点的坐标之间的关系以及最上端点的坐标与最下端点的坐标之间的关系。

优选的，所述第二识别单元还包括超声波避障模块；所述超声波避障模块用于识别发出的超声波是否发生反弹，如果发生反弹，则根据反弹的超声波信号确定障碍物的位置，将障碍物的位置生成反馈信号，并将反馈信号发送至所述控制单元；所述控制单元在接收到超声波避障模块的反馈信号后，根据反馈信号重新规划机械臂的移动路径，并驱动所述机械臂躲避所述输送线上的障碍物。

优选的，所述控制单元包括信息接收模块和指令发送模块，所述信息接收模块用于接收所述第一识别单元的识别结果以及接收所述第二识别单元的识别结果，根据第一识别单元的识别结果生成第一控制指令，根据第二识别单元的识别结果生成第二控制指令，通过指令发送模块将第一控制指令和第二控制指令分别发送给所述机械臂，所述机械臂接收到第一控制指令和第二控制指令后进行对应的移动或抓取或避障动作。

本发明的一个技术方案的有益效果：输送线在运输物品时，机械臂通过采集单元采集物品的图像信息，通过第一识别单元判断物品是否为目标对象，若是目标对象，采集单元对物品进行实时跟踪采集，采集单元将跟踪采集的图像信息发送至第一识别单元，第一识别单元将图像信息进行处理，并根据物体位置生成机械臂的移动轨迹和抓取动作控制指令，并将控制指令发送至控制单元，控制单元根据第一识别单元发送的控制指令，驱动机械臂进行移动和抓取动作。在机械臂移动时，采集单元实时工作，跟踪物品的位置，当物品位置产生变化时，采集单元、第一识别单元和控制单元工作配合调整机械臂的移动路径，避免物品移动后，机械臂无法准确抓取的情况发生。通过实时跟踪物品的移动，无需停止输送线，也能够避免输送线输送速度不均匀带来的影响，提高机械臂的抓取工作效率。

在码垛时，机械臂是通过预设的程序进行码垛，将一定数量的物品码垛成堆后，机械臂移动工位或将堆垛完成的物品移开，然后重新开始码垛工作，在这个过程中，机械臂的移动产生的振动或摆放物品产生的振动，均可能使垛堆产生一定的偏差，这个偏差随着码垛工作的进行而被放大，最终影响垛堆的稳定。而本申请通过第二识别单元对垛堆的信息进行采集，分析出垛堆是否适合继续进行堆垛，当码垛出现的偏差达到一定程度，如码垛偏差超过1/3个物体的宽度时，控制单元停止机械臂的工作，并发出提醒通知工作人员。

附图说明

图1是本发明一个实施例的结构示意图；

图2是本发明一个实施例系统的连接示意图；

图3是本发明一个实施例系统采集单元的连接示意图；

图4是本发明一个实施例系统第一识别单元的连接示意图；

图5是本发明一个实施例系统第二识别单元的连接示意图；

图6是本发明一个实施例系统控制单元的连接示意图。

其中：机械臂1、输送线2；

采集单元11、摄像头模块111；

第一识别单元12、模板库模块121、识别处理模块122、追踪子模块1221、匹配子模块1222、梯度量化次级模块12221、提取次级模块12222、存储模块123；

第二识别单元13、摄像模块131、特征处理模块132、超声波避障模块133；

控制单元14、信息接收模块141、指令发送模块142。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参阅图1至图6所示，一种全角度的多模板码垛系统，包括机械臂1和输送线2，所述机械臂1与所述输送线2通讯连接；所述机械臂1包括采集单元11、第一识别单元12、第二识别单元13和控制单元14；

所述采集单元11设置在所述机械臂1的前端，所述采集单元11与所述输送线2相对，所述采集单元11用于采集所述输送线2上的物体位置，并将采集的物体位置发送至所述第一识别单元12；

所述第一识别单元12设置在所述机械臂1上，所述第一识别单元12用于识别物体是否为目标对象，如是，则触发所述采集单元11实时采集物体位置，根据接收的物体位置生成所述机械臂1的移动轨迹和抓取动作，将移动轨迹、抓取动作和物体位置信息整合成控制指令，最后将控制指令发给所述控制单元14；

所述第二识别单元13设置在所述机械臂1的前端，所述第二识别单元13与码垛位置相对，所述第二识别单元13用于识别垛堆信息后生成识别结果，并将识别结果发送至所述控制单元14；

所述控制单元14设置在所述机械臂1上，所述控制单元14用于接收第一识别单元12发出的控制指令，并解析控制指令，根据解析结果调整所述机械臂1的移动轨迹和抓取动作，同时接收所述第二识别单元13的识别结果，分析是否继续进行码垛。

机械臂1在工作时，一般是通过预先烧录的程序对机械臂1进行控制，当机械臂1接收到抓取指令时，通过程序设置的参数移动至预设位置后，进行物品的抓取，这个控制过程较为死板。因为输送线2在输送时，因电压或电机运行等因素，会造成输送速度的波动，当出现速度波动时，机械臂1仍然按照预设的参数进行运作，这样势必会造成抓取结果错误或出现漏抓等情况，影响了生产效率。为了解决这种问题，一般是在机械臂1移动之前，停止输送线2的工作，使物品静止，方便机械臂1的抓取，但是，这种方式需要频繁的开启和关闭输送线2，不利于节省能耗，同时，还降低了机械臂1的抓取效率。

为解决上述问题，在本实施例中，输送线2在运输物品时，机械臂1通过采集单元11采集物品的图像信息，通过第一识别单元12判断物品是否为目标对象，若是目标对象，采集单元11对物品进行实时跟踪采集，采集单元11将跟踪采集的图像信息发送至第一识别单元12，第一识别单元12将图像信息进行处理，并根据物体位置生成机械臂1的移动轨迹和抓取动作控制指令，并将控制指令发送至控制单元14，控制单元14根据第一识别单元12发送的控制指令，驱动机械臂1进行移动和抓取动作。在机械臂1移动时，采集单元11实时工作，跟踪物品的位置，当物品位置产生变化时，采集单元11、第一识别单元12和控制单元14工作配合调整机械臂1的移动路径，避免物品移动后，机械臂1无法准确抓取的情况发生。通过实时跟踪物品的移动，无需停止输送线2，也能够避免输送线2输送速度不均匀带来的影响，提高机械臂1的抓取工作效率。

在码垛时，机械臂1是通过预设的程序进行码垛，将一定数量的物品码垛成堆后，机械臂1移动工位或将堆垛完成的物品移开，然后重新开始码垛工作，在这个过程中，机械臂1的移动产生的振动或摆放物品产生的振动，均可能使垛堆产生一定的偏差，这个偏差随着码垛工作的进行而被放大，最终影响垛堆的稳定。而本申请通过第二识别单元13对垛堆的信息进行采集，分析出垛堆是否适合继续进行堆垛，当码垛出现的偏差达到一定程度时，控制单元14停止机械臂1的工作，并发出提醒通知工作人员。

机械臂1的移动轨迹指的是机械臂1在移动过程中，机械手臂主体结构的移动轨迹，具体包括机械手臂的上下左右前后移动；抓取动作指的是机械臂1的末端在夹取物品时的动作，具体包括机械臂1末端的收合和打开动作，分别实现抓取物品和释放物品。

具体地，所述采集单元11包括摄像头模块111，所述摄像头模块111以固定的周期对所述输送线2的物品进行拍摄，获得物品的图像信息，并将图像信息发送至所述第一识别单元12。

摄像头模块111在进行采集信息时，如果使用不间断的采集图像模式，需要进行大量数据的运算处理，会一直占用后端内存，可能存在运行内存过载的情况，影响了后端运算处理时间，在本申请中，通过摄像头模块111以固定的周期对输送线2上的物品图像信息进行采集，减少了摄像头模块111的工作频率。同时将摄像头模块111设置在机械臂1上，在机械臂1移动时，摄像头模块111也能够对输送线2上的物品进行跟踪。在固定的周期内采集图像信息，降低后端的运算处理负担，同时还能够在移动时进行调整，避免物品的漏抓。

优选的，所述第一识别单元12包括模板库模块121、识别处理模块122和存储模块123；

所述模板库模块121用于存储模板信息，所述模板信息包括多个角度的模板图；

所述识别处理模块122用于提取图像信息中物品的特征信息，并与模板库模块121进行匹配，根据匹配结果识别图像信息是否为目标对象；

所述存储模块123用于存储图像信息中物品的特征信息。

同时，所述模板信息包括360/n个模板图，n＝1，2，3，…，n，n小于10，n为正整数；所述模板图对应各个模板中物品的不同摆放角度。

输送线2上的物品摆放时，可能存在一定的旋转角度，因此，在识别时，鉴于物品存在各种旋转角度的可能，因此，建立360°/n个模板图作为模板库，n取值为大于0的正整数，根据实际输送物品的尺寸可适当调节n的取值。在本实施例中，对于一般物品，为了使模板图的数据库足够大，将n取值为1，因此对应物品存有360个模板图作为比较对象。对于模板图的制作，因系统匹配算法的需要，对每个模板图实际上进行了一次降采样，即就是第一次特征提取是原模板图像进行特征提取；第二次特征提取是针对的模板降采样的图像，即就是将模板图像在每个维度都缩小2倍。首先，获取一张目标训练图像，即模板；然后编程实现旋转单位为1度，即可得到360连续角度的模板，若旋转单位为2度，就是180个模板。不管是第一次还是第二次模板特征提取，都是编程算法实现的。提取360个模板特征，上位机运行时间大概需要2-3s。模板特征提取要设置阈值参数，用在模板图像量化算法和模板特征提取算法中。在程序设计上基本采用了opencv开源接口，不需要复杂的计算。

本申请中，所述识别处理模块122包括追踪子模块1221和匹配子模块1222；所述追踪子模块1221使用One-Stage算法对图像信息进行识别框体提取，将所述输送线2上的物体以框体的方式展现；

所述匹配子模块1222用于对框体内的物体进行匹配识别，判断当前的图像信息中是否存在有目标零件，若存在有目标零件，则将目标零件所在的框体与模板库模块121中的模板图进行匹配，若匹配结果相符，则将当前的框体内的物体的特征信息存储至所述存储模块123。

优选的，所述匹配子模块1222包括梯度量化次级模块12221和提取次级模块12222；

所述梯度量化次级模块12221用于对采集的物体的图像信息进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得图像信息对应的识别特征；

所述提取次级模块12222用于以当前角度为表列获取识别特征，并保存至所述存储模块123。

梯度量化次级模块12221的实现梯度量化的过程为四步骤：

1、首先做内核大小为7高斯模糊；

2、通过sobel计算梯度，对于三通道图像，由X和Y方向的梯度求平方和的非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；

3、由X和Y方向的梯度图像矩阵得到角度图像矩阵；

4、角度图像矩阵范围0-360度量化成0-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，取领域多于5个相同方向，并赋值给对应方向，最后对索引进行00000001～10000000的移位编码。

其中所述梯度幅值最大值图像矩阵计算公式如下：

其中x代表位置，

为x位置梯度值，{R,G,B}为三色通道，R通道、G通道、B通道，ori()为梯度方向。

在进行完梯度量化后，模板图中的识别特征在像素点数值上与其他像素点有明显的区别，为此，本申请中对于识别特征的过程如下：梯度幅值最大值图像矩阵进行遍历，找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点，若在领域中找出最大梯度幅值的像素点，则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零；

判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值，若是，则将该像素点标记为识别特征；

获取所有识别特征的数量，判断所有识别特征的数量是否大于数量阈值，若是，则将所有识别特征加入到特征合集中并保存至所述配置文件；若否，则判断识别特征在距离阈值的范围内是否存在至少另一识别特征，若存在，则对该识别特征以及距离阈值内的识别特征进行剔除，若不存在，则将该识别特征保存至所述存储模块。

在存储模块内的识别特征会以角度作为每一组存储识别特征的分组。在匹配子模块识别的过程中，会调用所述存储模块内的识别特征，以每一组的识别特征与所述第一图片上的框体进行识别匹配。在本申请中会通过相似度的计算方式来计算第一图片中是否存在有的运输零件，

其中在本申请的相似度计算公式如下：

其中，L为第一图像中的框体，T表示模板图，c是模板图在输入的识别特征的位置，P代表的是以c为中心的领域，r为偏移位置，Sori()表示梯度幅值；

分别对360个模板图中的识别特征进行相似度计算后，得到360个相似度得分，找出360个相似度得分最大的数值，并判断该数值是否大于阈值，若大于阈值，则说明该输入框体中的内容为运输零件，反之则说明，所述框体内的内容为目标零件。

同时，所述第二识别单元13包括摄像模块131和特征处理模块132；所述摄像模块131用于采集垛堆的实时工作的图像；所述特征处理模块132使用One-Stage算法对垛堆的实时工作图像进行识别轮廓提取，根据轮廓信息生成识别结果，并将识别结果发送至所述控制单元14；

在识别出垛堆的框体时，所述特征处理模块132根据识别的轮廓相对于采集的图像中的位置，转化成对应的垛堆坐标系，以摄像模块131采集的图像左下角为原点，以图像的宽度方向为x轴，图像的高度方向为y轴，则识别的轮廓沿x轴和y轴方向分布，摄像模块131采集的图像中，物品的轮廓包括最左端点的坐标、最右端点的坐标、最上端点的坐标以及最下端点的坐标；

识别结果包括最左端点的坐标与最右端点的坐标之间的关系以及最上端点的坐标与最下端点的坐标之间的关系。

在机械臂1码垛时，第二识别单元13工作，以固定的周期或预设的固定距离，间隔采集垛堆的实时工作图像。当机械臂1摆放第一层垛堆时，物品的偏差较小，产生的影响也较小。随着垛堆层数的增多，如果在前面的层数中，均出现一定幅度的偏差，在后面的层数中，物品的偏差会被放大，不利于垛堆的码放，继续码垛的话，可能造成垛堆的倒塌，存在一定的安全隐患。

通过摄像模块131采集垛堆的图像后，将图像发送至特征处理模块132进行轮廓提取。当接收垛堆信息中，识别出垛堆的轮廓时，控制单元14根据识别的轮廓相对于采集的图像中的位置，将轮廓转化成在对应的垛堆坐标系占据的位置，图像中垛堆的轮廓会沿坐标系的x轴和y轴方向占据一定的面积，此时根据面积的x轴坐标和y轴坐标，即可识别出垛堆的轮廓的宽度和高度。由于物品的尺寸是已知且固定的数值，通过平时累计的码垛情况，可得知垛堆在多少层以上容易出现偏移的情况，因此，只需要在对应的层数或后面更高的层数，进行识别判断，即可根据识别垛堆的轮廓，判断垛堆是否发生严重的偏移，是否需要停止码垛工作。

垛堆的轮廓的x轴方向中，将最左端点的坐标的横坐标x1和最右端点的坐标的横坐标x2的两个x值进行作差，作为识别结果中最左端点的坐标与最右端点的坐标之间的关系，发送至控制单元14中，控制单元14将两个x值的差值与代表码垛偏差的预设值d作比较，控制单元14通过比较结果，判断垛堆在x轴方向是否发生严重的偏移。

具体地，预设值d为1/3至1/2个物品的宽度，当最左端点的坐标x1和最右端点的坐标x2的差值超过预设值d时，代表此时垛堆的最大宽度超过了1/3至1/2个物品的宽度，控制单元14判断为出现较大的位置偏差，控制单元14输出指令停止机械臂1的码垛工作，并发出警报通知工作人员。当最左端点的坐标x1和最右端点的坐标x2的差值小于或等于预设值d时，控制单元14判断垛堆的偏差处于误差范围内，可继续进行码垛。预设值d的设置范围可根据实际物品的尺寸进行调整，也可以在实际多次码垛过程，同一层垛堆的码垛偏差的平均范围进行设置。

垛堆的轮廓的y轴方向中，将最上端点的坐标的纵坐标y1和最下端点的坐标的纵坐标y2的两个y值进行作差，作为识别结果中最上端点的坐标与最下端点的坐标之间的关系，发送至控制单元14中，控制单元14将两个y值的差值与单一层码垛的固定高度值h作除，控制单元14通过作除结果，判断垛堆在y轴方向的层数。

单一层码垛的固定高度值h为物品的高度值，为已知的确定数值；当两个y值的差值除以单一层码垛的固定高度值h为正整数结果时，控制单元14根据整除的结果判断当前垛堆的层数，如整除结果为1时，当前垛堆层数为1层。在整除结果小于或等于3时，判断当前的堆垛层数低于3层，垛堆较为稳定，不需要考虑垛堆是否产生较大的偏差，控制单元14不需要进行x轴方向的判断，减少了系统的计算量和工作量。当整除结果大于3时，控制单元14判断垛堆的层数大于3层，需要结合垛堆的轮廓的x轴方向的关系，判断垛堆的宽度是否发生较大偏差，若发生较大偏差，则不适合继续码垛。

根据识别垛堆的轮廓能够判断当前垛堆的层数，当采集的图像的垛堆层数较低时，此时不对图像进一步处理，减少了系统的计算量和工作量。当采集的图像的垛堆层数较高时，特征处理模块132对采集的图像轮廓的宽度进行识别判断，若发现图像轮廓的宽度大于预设值时，即代表此时物品的偏差较大，不适合继续进行码垛，系统可发出通知提醒工作人员，或者也可以通过机械臂1对码垛上的物品重新进行位置调整。

具体地，所述第二识别单元13还包括超声波避障模块133；所述超声波避障模块133用于识别发出的超声波是否发生反弹，如果发生反弹，则根据反弹的超声波信号确定障碍物的位置，将障碍物的位置生成反馈信号，并将反馈信号发送至所述控制单元14；所述控制单元14在接收到超声波避障模块133的反馈信号后，根据反馈信号重新规划机械臂1的移动路径，并驱动所述机械臂1躲避所述输送线2上的障碍物。

在机械臂1移动过程中，移动路径上可能存在障碍物，例如输送线2或者其它机架，机械臂1没有执行规避动作的话，容易碰撞损坏设备，因此，设置超声波避障模块133在机械臂1移动的同时发送超声波并接收反弹的超声波，通过超声波在传递时是否发生反弹，以及发生反弹后，接收的反弹超声波，可以判断机械臂1的移动路径是否有存在障碍。当移动路径存在障碍时，超声波避障模块133发出信号给控制单元14，控制单元14发出控制指令调节机械臂1的执行路径，从而避开障碍物。

优选的，所述控制单元14包括信息接收模块141和指令发送模块142，所述信息接收模块141用于接收所述第一识别单元12的识别结果以及接收所述第二识别单元13的识别结果，根据第一识别单元12的识别结果生成第一控制指令，根据第二识别单元13的识别结果生成第二控制指令，通过指令发送模块142将第一控制指令和第二控制指令分别发送给所述机械臂1，所述机械臂1接收到第一控制指令和第二控制指令后进行对应的移动或抓取或避障动作。

当接收物品的特征信息中，能够识别出物品的框体时，控制单元14根据识别的框体相对于采集的图像中的位置，转化成对应的物品坐标系，以图片的左下角为原点作为例子，以图像的宽度方向为x轴，图像的高度方向为y轴，图像中物品的框体会沿x轴和y轴方向占据一定的面积，以该面积的最大宽度和最大高度作为物品的轮廓进行转换，将轮廓所在的坐标集合转化为机械臂1的移动和抓取目标并生成驱动机械臂1移动和抓取的指令，机械臂1根据移动和抓取的指令进行工作。

当接收垛堆信息中，识别出垛堆的框体时，控制单元14根据识别的框体相对于采集的图像中的位置，转化成对应的垛堆坐标系，以图片的左下角为原点作为例子，以图像的宽度方向为x轴，图像的高度方向为y轴，图像中垛堆的框体会沿x轴和y轴方向占据一定的面积，当垛堆的框体的x轴方向的两个坐标值的最大差值超出预设数值时，控制单元14判断此时该层数的垛堆存在较大的位置偏差，停止机械臂1的码垛工作，并发出警报通知工作人员。

在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (5)

1.一种全角度的多模板码垛系统，其特征在于，包括机械臂和输送线，所述机械臂与所述输送线通讯连接；所述机械臂包括采集单元、第一识别单元、第二识别单元和控制单元；

所述采集单元设置在所述机械臂的前端，所述采集单元与所述输送线相对，所述采集单元用于采集所述输送线上的物体位置，并将采集的物体位置发送至所述第一识别单元；

所述第一识别单元设置在所述机械臂上，所述第一识别单元用于识别物体是否为目标对象，如是，则触发所述采集单元实时采集物体位置，根据接收的物体位置生成所述机械臂的移动轨迹和抓取动作，将移动轨迹、抓取动作和物体位置信息整合成控制指令，最后将控制指令发给所述控制单元；

所述第二识别单元设置在所述机械臂的前端，所述第二识别单元与码垛位置相对，所述第二识别单元用于识别垛堆信息后生成识别结果，并将识别结果发送至所述控制单元；

所述控制单元设置在所述机械臂上，所述控制单元用于接收第一识别单元发出的控制指令，并解析控制指令，根据解析结果调整所述机械臂的移动轨迹和抓取动作，同时接收所述第二识别单元的识别结果，分析是否继续进行码垛；

所述采集单元包括摄像头模块，所述摄像头模块以固定的周期对所述输送线的物品进行拍摄，获得物品的图像信息，并将图像信息发送至所述第一识别单元；

所述第一识别单元包括模板库模块、识别处理模块和存储模块；

所述模板库模块用于存储模板信息，所述模板信息包括多个角度的模板图；

所述识别处理模块用于提取图像信息中物品的特征信息，并与模板库模块进行匹配，根据匹配结果识别图像信息是否为目标对象；

所述存储模块用于存储图像信息中物品的特征信息；

所述模板信息包括360/n个模板图，n=1，2，3，…，n，n小于10，n为正整数；所述模板图对应各个模板中物品的不同摆放角度；

所述识别处理模块包括匹配子模块；

所述匹配子模块用于对框体内的物体进行匹配识别，判断当前的图像信息中是否存在有目标零件，若存在有目标零件，则将目标零件所在的框体与模板库模块中的模板图进行匹配，若匹配结果相符，则将当前的框体内的物体的特征信息存储至所述存储模块

所述匹配子模块包括梯度量化次级模块和提取次级模块；

所述梯度量化次级模块用于对采集的物体的图像信息进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化，获得图像信息对应的识别特征；

所述提取次级模块用于以当前角度为表列获取识别特征，并保存至所述存储模块；

梯度量化次级模块实现梯度量化，包括下述四步骤：

步骤A：首先做内核大小为7高斯模糊；

步骤B：通过sobel计算梯度，对于三通道图像，由X和Y方向的梯度求平方和的非最大抑制算法提取出单通道梯度幅值最大值图像矩阵；

步骤C：由X和Y方向的梯度图像矩阵得到角度图像矩阵；

步骤D：角度图像矩阵范围0-360度量化成0-15的整数，再继续对7取余数进行8个方向量化，取幅度图像矩阵中大于阈值的像素，然后取该像素领域3*3对应的量化图像矩阵，构成直方图，取领域多于5个相同方向，并赋值给对应方向，最后对索引进行00000001~10000000的移位编码；

其中所述梯度幅值最大值图像矩阵计算公式如下：

；

；

其中x代表位置，

为x位置梯度值， {R,G,B}为三色通道，R通道、G通道、B通道，ori（）为梯度方向。

2.根据权利要求1所述的一种全角度的多模板码垛系统，其特征在于，所述识别处理模块包括追踪子模块；

所述追踪子模块使用One-Stage算法对图像信息进行识别框体提取，将所述输送线上的物体以框体的方式展现。

3.根据权利要求1所述的一种全角度的多模板码垛系统，其特征在于，所述第二识别单元包括摄像模块和特征处理模块；所述摄像模块用于采集垛堆的实时工作的图像；所述特征处理模块使用One-Stage算法对垛堆的实时工作图像进行识别轮廓提取，根据轮廓信息生成识别结果，并将识别结果发送至所述控制单元；

在识别出垛堆的框体时，所述特征处理模块根据识别的轮廓相对于采集的图像中的位置，转化成对应的垛堆坐标系，以摄像模块采集的图像左下角为原点，以图像的宽度方向为x轴，图像的高度方向为y轴，则识别的轮廓沿x轴和y轴方向分布，摄像模块采集的图像中，物品的轮廓包括最左端点的坐标、最右端点的坐标、最上端点的坐标以及最下端点的坐标；

识别结果包括最左端点的坐标与最右端点的坐标之间的关系以及最上端点的坐标与最下端点的坐标之间的关系。

4.根据权利要求3所述的一种全角度的多模板码垛系统，其特征在于，所述第二识别单元还包括超声波避障模块；所述超声波避障模块用于识别发出的超声波是否发生反弹，如果发生反弹，则根据反弹的超声波信号确定障碍物的位置，将障碍物的位置生成反馈信号，并将反馈信号发送至所述控制单元；所述控制单元在接收到超声波避障模块的反馈信号后，根据反馈信号重新规划机械臂的移动路径，并驱动所述机械臂躲避所述输送线上的障碍物。

5.根据权利要求1所述的一种全角度的多模板码垛系统，其特征在于，所述控制单元包括信息接收模块和指令发送模块，所述信息接收模块用于接收所述第一识别单元的识别结果以及接收所述第二识别单元的识别结果，根据第一识别单元的识别结果生成第一控制指令，根据第二识别单元的识别结果生成第二控制指令，通过指令发送模块将第一控制指令和第二控制指令分别发送给所述机械臂，所述机械臂接收到第一控制指令和第二控制指令后进行对应的移动或抓取或避障动作。

Images