CN117163380A - 基于机器视觉的自动抓取系统、方法、装置以及包装面点 - Google Patents

Abstract

本发明属于面点自动化生产技术领域，具体涉及基于机器视觉的自动抓取系统、方法、装置以及包装面点，系统包括：分拣输送带；包装输送带，若干条上述包装输送带分别在所述分拣输送带的两侧；第一视觉检测模块，设置于所述分拣输送带上方，用于获取图像数据；机械手模块，设置于所述分拣输送带上方；控制模块，获取所述图像数据生成动作指令并发送至所述机械手模块，所述机械手模块执行所述动作指令将所述待分拣物品抓取并分配至所述包装容器内。本发明使得机械手模块抓取过程的协调程度更好，从而提升分拣包装的效率；可以根据实时批次的待分拣物品上料情况对机械手的抓取范围和包装容器的输送进行调整，有效避免出现包装容器空置的情况。

Description

基于机器视觉的自动抓取系统、方法、装置以及包装面点

技术领域

本发明属于面点自动化生产技术领域，具体涉及基于机器视觉的自动抓取系统、方法、装置以及包装面点。

背景技术

目前的面点加工生产线，一般采用自动化生产线进行加工生产，在进行面点的分拣包装时，通常在面点输送带上设置多个机械手进行识别抓取，通过多个机械手重复对料盘上的面点进行识别抓取，从而完成全部面点的抓取和分拣。但是每个机械手只是依靠自身传感器进行面点的识别夹取和分拣，导致机械手识别夹取面点的时间长，影响生产面点分拣包装的效率，并且无法根据实时批次的面点上料情况对机械手的抓取范围和包装容器的输送进行调整，容易出现包装容器空置的情况。

发明内容

为了克服现有技术的不足，本发明提供具有基于机器视觉的自动抓取系统，以解决现有技术的无法根据实时批次的面点上料情况对机械手的抓取范围和包装容器的输送进行调整，容易出现包装容器空置的问题。

本发明其中一方案提供了一种基于机器视觉的自动抓取系统，包括：

分拣输送带，用于输送承载有待分拣物品的托盘；

包装输送带，设置有若干条，且若干条上述包装输送带分别在所述分拣输送带的两侧，用于输送包装容器；

第一视觉检测模块，设置于所述分拣输送带上方，且所述第一视觉检测模块的识别范围覆盖所述分拣输送带的上料区域，用于获取若干个待分拣物品在所述托盘的图像数据；

机械手模块，设置有若干个，若干个所述机械手模块设置于所述分拣输送带上方；

控制模块，与所述第一视觉检测模块、所述机械手模块通讯连接；

其中，所述控制模块获取所述图像数据生成动作指令并发送至所述机械手模块，所述机械手模块执行所述动作指令将所述待分拣物品抓取并分配至所述包装容器内。

在本方案中，第一视觉检测模块与机械手模块分开设置，降低了机械手模块的识别性能需求，只需要在第一视觉检测模块和控制模块配置处理器用于处理数据或输出动作指令，降低了设置多个机械手模块时的设备成本，同时，通过统一规划进行抓取，使得抓取过程的协调程度更好，避免待分拣物品的漏抓或者包装容器的空置，从而提升分拣包装的效率；通过第一视觉检测模块在待分拣物品的托盘进入分拣输送带的上料区域时进行拍摄，以获取若干个待分拣物品在托盘上的图像数据，并将图像数据导入控制模块，由控制模块分析获取每一待分拣物品的位置坐标信息，并基于位置坐标信息生成动作指令输送至机械手模块，机械手模块执行动作指令时即可完成将待分拣物品从分拣输送带抓取到包装输送带上的包装容器内的动作指令；

具体的，动作指令是控制模块基于分拣输送带、包装输送带、机械手模块的运行速度经过位移补偿计算后得到的移动指令以及抓取触发指令，结合本方案中整体识别并同一调控的方法，可以根据实时批次的待分拣物品上料情况对机械手的抓取范围和包装容器的输送进行调整，有效避免出现包装容器空置的情况。

在本发明其中一个优选方案中，包装落料模块，设置于所述包装输送带的上料区域的上方，用于向所述包装输送带供给包装容器；所述包装落料模块与所述控制模块通讯连接；

和/或，所述控制模块与所述包装输送带的控制器通讯连接。

在本方案中，包装落料模块与控制模块通讯连接后，控制模块可根据实时的待分拣物品的上料数量，调整包装落料模块的落料频率，放置包装容器供大于求导致的空托现象，减少物料的浪费；

以及控制模块与包装输送带的控制器通讯连接后，控制模块可根据实时的待分拣物品的上料数量，暂停部分包装输送带的包装容器输送，将待分拣物品分拣至剩余未暂停的包装输送带的包装容器内，从而减少不必要的能源浪费，并且避免了空托现象。

在本发明其中一个优选方案中，所述系统还包括第二视觉检测模块，所述第二视觉检测模块设置于所述第一视觉检测模块的两侧，且所述第二视觉检测模块的识别范围覆盖所述包装输送带的上料区域，用于获取所述包装输送带上的所述包装容器的位置数据。

在本方案中，第二视觉检测模块覆盖所述包装输送带的上料区域，用于获取所述包装输送带上的所述包装容器的位置数据，通过结合所述包装容器的位置数据以及实时的包装输送带的输送速度，便于通过补偿计算得到包装容器在任意时刻的位置，便于精确地将待分拣物品转移至包装容器内。

在本发明其中一个优选方案中，所述第一视觉检测模块包括拍摄组件以及图像处理模型，所述图像处理模型用于处理所述拍摄组件拍摄的图像；所述图像处理模型包括降噪模型、边缘检测模型；

所述降噪模型基于均值滤波算法、高斯滤波算法、双边滤波算法或小波降噪算法中的至少一种算法构建；

边缘检测模型基于Roberts算子、Sobel算子、Prewitt算子或Canny边缘检测中的至少一种算法构建。

在本方案中，均值滤波算法、高斯滤波算法、双边滤波算法或小波降噪算法均用于减少图像中的噪声和干扰，通过选择其中的一种或多种组合使用，减少由于环境光线或设备因素导致的图像噪声，同时最大限度地减少原始特征的损失，提高信噪比，便于后续对图像进行分析识别；

以及，Roberts算子、Sobel算子、Prewitt算子以及Canny边缘检测算法均为用于计算图像中的边缘梯度的算法，它通过对图像进行一阶微分来计算垂直和水平方向上的边缘强度，通过选择其中的一种或多种组合使用，可用于精确识别待分拣物品的边缘以及托盘边缘。

在本发明其中一个优选方案中，所述控制模块还包括效率评估模型，所述效率评估模型获取所述机械手模块的预设抓取效率以及所述包装输送带的预设输送效率；

所述效率评估模型基于所述图像数据计算所述机械手模块的实时抓取效率，若所述机械手模块的实时抓取效率低于预设抓取效率，所述效率评估模型输出第一调控指令，所述机械手模块执行第一调控指令以暂停抓取作业；

所述效率评估模型基于所述图像数据计算所述包装输送带的实时输送数量，若所述包装输送带的实时输送数量低于预设输送数量，所述效率评估模型输出第二调控指令，所述包装输送带执行第二调控指令以减少包装容器的输出数量。

在本方案中，当待分拣物品的上料数量低于机械手的抓取效率时，多个机械手进行抓取时，容易导致单个机械手的抓取数量降低，因此通过第一调控指令使得部分机械手以暂停抓取作业，可以节省机械手运行能源消耗。

以及所述包装输送带执行第二调控指令以减少包装容器的输出数量后，可以同时令所述机械手模块调整待分拣物品的放置位置，将其摆放至分拣输送带一侧的包装输送带。

在本发明其中一个优选方案中，所述控制模块还包括分拣区域划分模型，所述分拣区域划分模型对料盘上的待分拣物品进行坐标点标记，获得所述待分拣物品的坐标点信息，所述分拣区域划分模型根据所述待分拣物品的坐标点信息在所述托盘上划分若干个分拣区域，并将所述分拣区域与相邻的所述包装输送带匹配。

在本方案中，通过划分若干个分拣区域，令机械手模块对应分拣某一单独对应的分拣区域内的待分拣物品，可以避免多个机械手模块在分拣过程中相互影响。

在本发明其中一个优选方案中，所述机械手模块包括抓手组件、位移组件以及机械手控制器，所述机械手控制器与所述抓手组件、所述位移组件电性连接，所述抓手组件通过所述位移组件于所述分拣输送带与所述包装输送带之间移动。

在本发明其中一个优选方案中，所述位移组件还包括旋转组件，所述旋转组件可沿一旋转轴转动，所述抓手组件与所述旋转组件传动连接，所述旋转组件用于调整所述抓手组件的抓取姿态。

在本方案中，所述旋转组件用于调整所述抓手组件的抓取姿态，具体是在所述位移组件根据所述动作指令移动至包装输送带的待分拣物品上方时，所述旋转组件根据图像数据中识别得到的待分拣物品的姿态数据，做出相应的旋转角度补偿，从而带动所述抓手组件旋转至补偿角度，令所述机械手以补偿姿态抓取所述待分拣物品，所述机械手回正至预设姿态，使所述待分拣物品以预定姿态装入所述包装容器。从而确保抓取至包装容器内的待分拣物品均为预定姿态，便于后续的包装流程，并且令待分拣物品的排列更加规范整齐，提升美观性。

在本发明其中一个优选方案中还指出了一种基于机器视觉的自动抓取方法，可用于上述多个方案中任意一个的基于机器视觉的自动抓取系统，包括：

获取若干个待分拣物品在托盘内的图像数据；

对所述图像数据进行去噪、边缘检测，输出为预处理数据；

基于所述预处理数据，提取若干个所述待分拣物品的位置特征数据，输出为位置信息；

将所述位置信息输入路径规划模型，生成动作指令；

通过机械手执行所述动作指令，分别抓取若干个所述待分拣物品至包装容器。

在本方案中，通过统一规划进行抓取，使得抓取过程的协调程度更好，避免待分拣物品的漏抓或者包装容器的空置，从而提升分拣包装的效率；结合基于机器视觉的自动抓取系统可知，通过第一视觉检测模块在待分拣物品的托盘进入分拣输送带的上料区域时进行拍摄，以获取若干个待分拣物品在托盘上的图像数据，并将图像数据导入控制模块，由控制模块分析获取每一待分拣物品的位置坐标信息，并基于位置坐标信息生成动作指令输送至机械手模块，机械手模块执行动作指令时即可完成将待分拣物品从分拣输送带抓取到包装输送带上的包装容器内的动作指令；

具体的，动作指令是控制模块基于分拣输送带、包装输送带、机械手模块的运行速度经过位移补偿计算后得到的移动指令以及抓取触发指令，结合本方案中整体识别并同一调控的方法，可以根据实时批次的待分拣物品上料情况对机械手的抓取范围和包装容器的输送进行调整，有效避免出现包装容器空置的情况。

在本发明其中一个优选方案中，所述方法还包括调整所述机械手的抓取姿态，具体方法包括：

基于所述预处理数据，提取所述待分拣物品的姿态信息；

将所述姿态信息输入姿态补偿模型，生成姿态调整指令；

通过所述机械手执行所述姿态调整指令，所述机械手以补偿姿态抓取所述待分拣物品；

所述机械手回正至预设姿态，使所述待分拣物品以预定姿态装入所述包装容器。

在本发明其中一个优选方案中还指出了一种基于机器视觉的自动抓取装置，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器上存储有可被至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器在执行时能够实现如上述多个方案中任意一个的基于机器视觉的自动抓取方法。

在本发明其中一个优选方案中还指出了一种包装面点，由上述多个方案中任意一个所述的基于机器视觉的自动抓取系统抓取并运输至包装车间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1表示本发明其中一实施例的基于机器视觉的自动抓取系统的结构示意图；

图2表示本发明其中一实施例的基于机器视觉的自动抓取方法的流程示意图；

图3表示本发明另一实施例的基于机器视觉的自动抓取方法的流程示意图；

图4表示本发明其中一实施例的基于机器视觉的自动抓取装置的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

在本发明的实施例中，待分拣物品可选择为不同规格的月饼或冷冻面点。面点和月饼是中国传统食品中的两种不同类型的点心。面点是指以面粉为主要原料制作而成的食品，如饺子、包子、馒头等。而月饼是一种特殊的中秋节食品，通常由皮和馅料组成，皮有多种类型，如传统的广式月饼皮、苏式月饼皮等，馅料也有各种各样的口味，如莲蓉、豆沙、五仁等。

以及，当待包装物品为月饼或冷冻面点，包装容器优选为半开口的饼托或者面包托。

请参照图1，本发明其中一实施例提供了一种基于机器视觉的自动抓取系统100，包括：

分拣输送带110，用于输送承载有待分拣物品的托盘；

包装输送带120，设置有若干条，且若干条包装输送带120分别在所述分拣输送带110的两侧，用于输送包装容器；

第一视觉检测模块130，设置于所述分拣输送带110上方，且所述第一视觉检测模块130的识别范围覆盖所述分拣输送带110的上料区域，用于获取若干个待分拣物品在所述托盘的图像数据；

机械手模块140，设置有若干个，若干个所述机械手模块140设置于所述分拣输送带110上方；

控制模块150，与所述第一视觉检测模块130、所述机械手模块140通讯连接；

其中，所述控制模块150获取所述图像数据生成动作指令并发送至所述机械手模块140，所述机械手模块140执行所述动作指令将所述待分拣物品抓取并分配至所述包装容器内。

在本实施例中，第一视觉检测模块130与机械手模块140分开设置，降低了机械手模块140的识别性能需求，只需要在第一视觉检测模块130和控制模块150配置处理器用于处理数据或输出动作指令，降低了设置多个机械手模块140时的设备成本，同时，通过统一规划进行抓取，使得抓取过程的协调程度更好，避免待分拣物品的漏抓或者包装容器的空置，从而提升分拣包装的效率；通过第一视觉检测模块130在待分拣物品的托盘进入分拣输送带110的上料区域时进行拍摄，以获取若干个待分拣物品在托盘上的图像数据，并将图像数据导入控制模块150，由控制模块150分析获取每一待分拣物品的位置坐标信息，并基于位置坐标信息生成动作指令输送至机械手模块140，机械手模块140执行动作指令时即可完成将待分拣物品从分拣输送带110抓取到包装输送带120上的包装容器内的动作指令；

具体的，动作指令是控制模块150基于分拣输送带110、包装输送带120、机械手模块140的运行速度经过位移补偿计算后得到的移动指令以及抓取触发指令，结合本实施例中整体识别并同一调控的方法，可以根据实时批次的待分拣物品上料情况对机械手的抓取范围和包装容器的输送进行调整，有效避免出现包装容器空置的情况。

在本发明其中一个优选实施例中，所述系统还包括第一传感器、若干个第二传感器，所述第一传感器设置于所述分拣输送带110下方，用于获取所述分拣输送带110的传输速度；所述第二传感器设置于所述包装输送带120的下方，用于获取所述包装输送带120的传输速度。

在本实施例中，所述第一传感器的记录数据与所述第二传感器的记录数据基于时间码(Timecode)技术来实现设备之间的时间同步，便于标记和同步所述分拣输送带110与若干条包装输送带120的速度信息，避免由于记录时间不同步导致的数据偏差，确保待分拣物品在所述分拣输送带110的位移距离、包装容器在所述包装输送带120上的位移距离的计算配合更加精确，提高抓取动作的效率和准确性，避免长时间运行导致的偏差。

在本发明其中一个优选实施例中，所述第一传感器、所述第二传感器均与所述控制模块150通讯连接；所述控制模块150基于所述分拣输送带110的传输速度、所述包装输送带120的传输速度以及所述图像数据生成抓取轨迹，并输出为动作指令。

在本实施例中，将所述第一传感器、所述第二传感器与所述控制模块150通讯连接后，所述控制模块150可基于实时获取的分拣输送带110的传输速度计算待分拣物品的实际位移距离、可基于实时获取的包装输送带120的传输速度计算包装容器的实际位移距离，使得机械手在从初始位置移动至待分拣物品的坐标位置抓取动作、将待分拣物品抓取到对应包装容器的放置动作更加精确。

在本发明其中一个优选实施例中，包装落料模块160，设置于所述包装输送带120的上料区域的上方，用于向所述包装输送带120供给包装容器；所述包装落料模块160与所述控制模块150通讯连接；

和/或，所述控制模块150与所述包装输送带120的控制器通讯连接。

在本实施例中，包装落料模块160与控制模块150通讯连接后，控制模块150可根据实时的待分拣物品的上料数量，调整包装落料模块160的落料频率，放置包装容器供大于求导致的空托现象，减少物料的浪费；

以及控制模块150与包装输送带120的控制器通讯连接后，控制模块150可根据实时的待分拣物品的上料数量，暂停部分包装输送带120的包装容器输送，将待分拣物品分拣至剩余未暂停的包装输送带120的包装容器内，从而减少不必要的能源浪费，并且避免了空托现象。

在本发明其中一个优选实施例中，所述系统还包括第二视觉检测模块170，所述第二视觉检测模块170设置于所述第一视觉检测模块130的两侧，且所述第二视觉检测模块170的识别范围覆盖所述包装输送带120的上料区域，用于获取所述包装输送带120上的所述包装容器的位置数据。

在本实施例中，第二视觉检测模块170覆盖所述包装输送带120的上料区域，用于获取所述包装输送带120上的所述包装容器的位置数据，通过结合所述包装容器的位置数据以及实时的包装输送带120的输送速度，便于通过补偿计算得到包装容器在任意时刻的位置，便于精确地将待分拣物品转移至包装容器内。

在本发明其中一个优选实施例中，所述第一视觉检测模块130包括拍摄组件以及图像处理模型，所述图像处理模型用于处理所述拍摄组件拍摄的图像；所述图像处理模型包括降噪模型、边缘检测模型；

所述降噪模型基于均值滤波算法、高斯滤波算法、双边滤波算法或小波降噪算法中的至少一种算法构建；

边缘检测模型基于Roberts算子、Sobel算子、Prewitt算子或Canny边缘检测中的至少一种算法构建。

在本实施例中，均值滤波算法、高斯滤波算法、双边滤波算法或小波降噪算法均用于减少图像中的噪声和干扰，通过选择其中的一种或多种组合使用，可用于

以及，Roberts算子、Sobel算子、Prewitt算子以及Canny边缘检测算法均为用于计算图像中的边缘梯度的算法，它通过对图像进行一阶微分来计算垂直和水平方向上的边缘强度，通过选择其中的一种或多种组合使用，可用于精确识别待分拣物品的边缘以及托盘边缘。

在本发明其中一个优选实施例中，所述控制模块150还包括效率评估模型，所述效率评估模型获取所述机械手模块140的预设抓取效率以及所述包装输送带120的预设输送效率；

所述效率评估模型基于所述图像数据计算所述机械手模块140的实时抓取效率，若所述机械手模块140的实时抓取效率低于预设抓取效率，所述效率评估模型输出第一调控指令，所述机械手模块140执行第一调控指令以暂停抓取作业；

所述效率评估模型基于所述图像数据计算所述包装输送带120的实时输送数量，若所述包装输送带120的实时输送数量低于预设输送数量，所述效率评估模型输出第二调控指令，所述包装输送带120执行第二调控指令以减少包装容器的输出数量。

在本实施例中，当待分拣物品的上料数量低于机械手的抓取效率时，多个机械手进行抓取时，容易导致单个机械手的抓取数量降低，因此通过第一调控指令使得部分机械手以暂停抓取作业，可以节省机械手运行能源消耗。

以及所述包装输送带120执行第二调控指令以减少包装容器的输出数量后，可以同时令所述机械手模块140调整待分拣物品的放置位置，将其摆放至分拣输送带110一侧的包装输送带120。

在本发明其中一个优选实施例中，所述控制模块150还包括分拣区域划分模型，所述分拣区域划分模型对料盘上的待分拣物品进行坐标点标记，获得所述待分拣物品的坐标点信息，所述分拣区域划分模型根据所述待分拣物品的坐标点信息在所述托盘上划分若干个分拣区域，并将所述分拣区域与相邻的所述包装输送带120匹配。

在本实施例中，通过划分若干个分拣区域，令机械手模块140对应分拣某一单独对应的分拣区域内的待分拣物品，可以避免多个机械手模块140在分拣过程中相互影响。

在本发明其中一个优选实施例中，所述机械手模块140包括抓手组件、位移组件以及机械手控制器，所述机械手控制器与所述抓手组件、所述位移组件电性连接，所述抓手组件通过所述位移组件于所述分拣输送带110与所述包装输送带120之间移动。

在本发明其中一个优选实施例中，所述位移组件还包括旋转组件，所述旋转组件可沿一旋转轴转动，所述抓手组件与所述旋转组件传动连接，所述旋转组件用于调整所述抓手组件的抓取姿态。

在本实施例中，所述旋转组件用于调整所述抓手组件的抓取姿态，具体是在所述位移组件根据所述动作指令移动至包装输送带120的待分拣物品上方时，所述旋转组件根据图像数据中识别得到的待分拣物品的姿态数据，做出相应的旋转角度补偿，从而带动所述抓手组件旋转至补偿角度，令所述机械手以补偿姿态抓取所述待分拣物品，所述机械手回正至预设姿态，使所述待分拣物品以预定姿态装入所述包装容器。从而确保抓取至包装容器内的待分拣物品均为预定姿态，便于后续的包装流程，并且令待分拣物品的排列更加规范整齐，提升美观性。

在本发明其中一个优选实施例中还指出了一种基于机器视觉的自动抓取方法，可用于上述多个实施例中任意一个的基于机器视觉的自动抓取系统100，包括：

S10、获取若干个待分拣物品在托盘内的图像数据；

S20、对所述图像数据进行去噪、边缘检测，输出为预处理数据；

S30、基于所述预处理数据，提取若干个所述待分拣物品的位置特征数据，输出为位置信息；

S40、将所述位置信息输入路径规划模型，生成动作指令；

S50、通过机械手执行所述动作指令，分别抓取若干个所述待分拣物品至包装容器。

在本实施例中，通过统一规划进行抓取，使得抓取过程的协调程度更好，避免待分拣物品的漏抓或者包装容器的空置，从而提升分拣包装的效率；结合基于机器视觉的自动抓取系统100可知，通过第一视觉检测模块130在待分拣物品的托盘进入分拣输送带110的上料区域时进行拍摄，以获取若干个待分拣物品在托盘上的图像数据，并将图像数据导入控制模块150，由控制模块150分析获取每一待分拣物品的位置坐标信息，并基于位置坐标信息生成动作指令输送至机械手模块140，机械手模块140执行动作指令时即可完成将待分拣物品从分拣输送带110抓取到包装输送带120上的包装容器内的动作指令；

具体的，动作指令是控制模块150基于分拣输送带110、包装输送带120、机械手模块140的运行速度经过位移补偿计算后得到的移动指令以及抓取触发指令，结合本实施例中整体识别并同一调控的方法，可以根据实时批次的待分拣物品上料情况对机械手的抓取范围和包装容器的输送进行调整，有效避免出现包装容器空置的情况。

在本实施例中，路径规划模型基于贪婪算法构建；其中，贪婪算法的核心思想是每次选择局部最优解，即选择与当前位置最近的目标，通过迭代这个过程，机器人可以逐步地移动并分拣所有目标。

在本实施的应用场景中，基于预处理数据获取托盘上的所有待分拣物品的坐标点信息，并将机械手模块的当前位置作为起始点，计算起始点与每个未抓取的待分拣物品之间的距离，并找到距离最近的待分拣物品，将机械手模块移动到距离最近的待分拣物品的坐标点进行抓取分拣动作，再将机械手模块的当前位置更新为刚刚分拣的待分拣物品的坐标点，重复上述找到最相近的待分拣物体并抓取的过程，直至所有待分拣物品都被抓取分拣。

在其中一个实施例中，控制模块150包括不良品分类模型，基于机械视觉执行不定量的分拣任务时，同时实现不良品的筛选可以采取以下方法：

利用机器学习或深度学习方法，建立一个不良品分类模型，通过待分拣物品的图像数据训练该模型，使其能够识别和分类不良品，区分它们与正常品的差异，如温度异常、形状缺陷或色差等。以及根据不良品的特征，设定合适的阈值来判断是否为不良品。通过在视觉系统中设置合理的参数和算法，从检测到的目标中筛选出可能是不良品的产品。利用机器学习方法，结合历史数据和特征工程，建立一个不良品识别模型，通过对不良品的特征进行学习和分类，实现对不良品的准确识别和筛选。将分拣和筛选操作结合，在机械视觉系统中同时进行，通过合理的抓取顺序和路径规划，将待分拣物品中不良品分离出来。进一步的，在自动分拣过程中，可以引入人工复检环节，对可能存在疑问的产品进行人工判断和确认，提高筛选的准确性和可靠性。

请参照图3，在本发明其中一个优选实施例中，所述方法还包括调整所述机械手的抓取姿态，具体方法包括：

S51、基于所述预处理数据，提取所述待分拣物品的姿态信息；

S52、将所述姿态信息输入姿态补偿模型，生成姿态调整指令；

S53、通过所述机械手执行所述姿态调整指令，所述机械手以补偿姿态抓取所述待分拣物品；

S54、所述机械手回正至预设姿态，使所述待分拣物品以预定姿态装入所述包装容器。

在本实施例中，姿态补偿模型对所述姿态信息进行特征识别(如轮廓分析或文本识别)，获取待分拣物体的特征(如图案的图形方向、文本的水平或垂直方向)，再将提取到的特征与预先定义的特征进行匹配，以找到图像中的特征与预先定义的参考特征之间的对应关系；根据特征匹配结果，计算物体的旋转角度姿态并得到与参考特征的旋转角度差，生成适当的补偿指令(如基于旋转角度差在抓取前旋转所述机械手)。请参照图4，本发明其中一实施例提供了一种控制设备200，包括：

至少一个处理器210；以及，与所述至少一个处理器210通信连接的存储器220；其中，所述存储器220上存储有可被至少一个处理器210执行的指令，所述指令被所述至少一个处理器210执行，以使所述至少一个处理器210在执行时能实现上述基于机器视觉的自动抓取方法。在本实施例中，所述存储器220上存储有计算机程序240。所述处理器210和所述存储器220通过通讯总线230连接。

在本发明其中一个优选实施例中还指出了一种包装面点，由上述多个实施例中任意一个所述的基于机器视觉的自动抓取系统100抓取并运输至包装车间。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (12)

1.一种基于机器视觉的自动抓取系统，其特征在于，包括：

分拣输送带，用于输送承载有待分拣物品的托盘；

包装输送带，设置有若干条，且若干条上述包装输送带分别在所述分拣输送带的两侧，用于输送包装容器；

第一视觉检测模块，设置于所述分拣输送带上方，且所述第一视觉检测模块的识别范围覆盖所述分拣输送带的上料区域，用于获取若干个待分拣物品在所述托盘的图像数据；

机械手模块，设置有若干个，若干个所述机械手模块设置于所述分拣输送带上方；

控制模块，与所述第一视觉检测模块、所述机械手模块通讯连接；

其中，所述控制模块获取所述图像数据生成动作指令并发送至所述机械手模块，所述机械手模块执行所述动作指令将所述待分拣物品抓取并分配至所述包装容器内。

2.如权利要求1所述的基于机器视觉的自动抓取系统，其特征在于，包装落料模块，设置于所述包装输送带的上料区域的上方，用于向所述包装输送带供给包装容器；所述包装落料模块与所述控制模块通讯连接；

和/或，所述控制模块与所述包装输送带的控制器通讯连接。

3.如权利要求2所述的基于机器视觉的自动抓取系统，其特征在于，还包括第二视觉检测模块，所述第二视觉检测模块设置于所述第一视觉检测模块的两侧，且所述第二视觉检测模块的识别范围覆盖所述包装输送带的上料区域，用于获取所述包装输送带上的所述包装容器的位置数据。

4.如权利要求1所述的基于机器视觉的自动抓取系统，其特征在于，所述第一视觉检测模块包括拍摄组件以及图像处理模型，所述图像处理模型用于处理所述拍摄组件拍摄的图像；所述图像处理模型包括降噪模型、边缘检测模型；

所述降噪模型基于均值滤波算法、高斯滤波算法、双边滤波算法或小波降噪算法中的至少一种算法构建；

边缘检测模型基于Roberts算子、Sobel算子、Prewitt算子或Canny边缘检测中的至少一种算法构建。

5.如权利要求1所述的基于机器视觉的自动抓取系统，其特征在于，所述控制模块还包括效率评估模型，所述效率评估模型获取所述机械手模块的预设抓取效率以及所述包装输送带的预设输送效率；

所述效率评估模型基于所述图像数据计算所述机械手模块的实时抓取效率，若所述机械手模块的实时抓取效率低于预设抓取效率，所述效率评估模型输出第一调控指令，所述机械手模块执行第一调控指令以暂停抓取作业；

所述效率评估模型基于所述图像数据计算所述包装输送带的实时输送数量，若所述包装输送带的实时输送数量低于预设输送数量，所述效率评估模型输出第二调控指令，所述包装输送带执行第二调控指令以减少包装容器的输出数量。

6.如权利要求5所述的基于机器视觉的自动抓取系统，其特征在于，所述控制模块还包括分拣区域划分模型，所述分拣区域划分模型对料盘上的待分拣物品进行坐标点标记，获得所述待分拣物品的坐标点信息，所述分拣区域划分模型根据所述待分拣物品的坐标点信息在所述托盘上划分若干个分拣区域，并将所述分拣区域与相邻的所述包装输送带匹配。

7.如权利要求1所述的基于机器视觉的自动抓取系统，其特征在于，所述机械手模块包括抓手组件、位移组件以及机械手控制器，所述机械手控制器与所述抓手组件、所述位移组件电性连接，所述抓手组件通过所述位移组件于所述分拣输送带与所述包装输送带之间移动。

8.如权利要求7所述的基于机器视觉的自动抓取系统，其特征在于，所述位移组件还包括旋转组件，所述旋转组件可沿一旋转轴转动，所述抓手组件与所述旋转组件传动连接，所述旋转组件用于调整所述抓手组件的抓取姿态。

9.一种基于机器视觉的自动抓取方法，其特征在于，可用于权利要求1-8任意一项的基于机器视觉的自动抓取系统，包括：

获取若干个待分拣物品在托盘内的图像数据；

对所述图像数据进行去噪、边缘检测，输出为预处理数据；

基于所述预处理数据，提取若干个所述待分拣物品的位置特征数据，输出为位置信息；

将所述位置信息输入路径规划模型，生成动作指令；

通过机械手执行所述动作指令，分别抓取若干个所述待分拣物品至包装容器。

10.如权利要求9所述的基于机器视觉的自动抓取方法，其特征在于，所述方法还包括调整所述机械手的抓取姿态，具体方法包括：

基于所述预处理数据，提取所述待分拣物品的姿态信息；

将所述姿态信息输入姿态补偿模型，生成姿态调整指令；

通过所述机械手执行所述姿态调整指令，所述机械手以补偿姿态抓取所述待分拣物品；

所述机械手回正至预设姿态，使所述待分拣物品以预定姿态装入所述包装容器。

11.一种基于机器视觉的自动抓取装置，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器上存储有可被至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器在执行时能够实现如权利要求9或10的基于机器视觉的自动抓取方法。

12.一种包装面点，其特征在于，由权利要求1-8任意一项的基于机器视觉的自动抓取系统抓取并运输至包装车间。