CN113910237A - 多夹具的机械臂无序夹取方法及系统 - Google Patents

Abstract

本发明提供一种多夹具的机械臂无序夹取方法及系统，其中，系统包括：监测模块，用于当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；确定模块，用于将所述运动状态信息转换成空间坐标信息，基于所述空间坐标信息，确定所述第一物体对应的点云数据；轨迹分析模块，用于基于所述点云数据，确定所述第一物体的运动轨迹；夹取模块，用于通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂夹具进行相应夹取。本发明可以代替人眼对目标物体进行测量判断，获取目标物体的运动轨迹，提高机器人生产的自动化程度。

Description

多夹具的机械臂无序夹取方法及系统

技术领域

本发明涉及机器人控制技术领域，特别涉及一种多夹具的机械臂无序夹取方法及系统。

背景技术

目前，随着工业生产的迅猛发展，经常存在物体堆积、杂乱无序放置的情况，而采用传统的机器人夹取或分拣方法，往往存在识别物体信息不准确，夹取或分拣成功率低的问题，对于图像特征不明显和堆放的目标物体来说，传统的二维图像无法识别单个的物体，严重影响机器人作业过程的效率和增大了企业成本，运行速度慢，且全程需要操作人员操作，无法满足现代化大批量生产的需求。

发明内容

本发明的目的在于提供一种多夹具的机械臂无序夹取方法及系统，用以解决上述提出的技术问题。

为实现上述目的，本发明提供如下技术方案：多夹具的机械臂无序夹取系统，包括：

监测模块，用于当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

确定模块，用于将所述运动状态信息转换成空间坐标信息，基于所述空间坐标信息，确定所述第一物体对应的点云数据；

轨迹分析模块，用于基于所述点云数据，确定所述第一物体的运动轨迹；

夹取模块，用于通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

优选的，所述轨迹分析模块还用于执行如下操作：获取所述待夹取物体组中各个第一物体的物体位置；获取预设的夹取放置位置；基于所述物体位置和所述夹取放置位置，规划所述机械臂中各个第一夹具的运动轨迹。

优选的，所述监测模块还执行如下操作：获取所述待夹取物体组中各个第一物体的物体类别；

基于预设的类别-形状大小库，确定所述物体类别对应的形状大小；

基于预设的形状大小-夹取角度库，确定所述形状大小对应的夹取角度；

控制需要对所述第一物体进行夹取的第一夹具调整至对应所述夹取角度。

优选的，所述夹取模块执行如下操作：获取所述第一夹具的第一夹取任务；

将所述第一夹具的第一夹取任务按照第一夹具的夹取时间进行时序先后排序，获取排列数据；

确定每个时间点下所述机械臂的各个第一夹具之间是否存在第一冲突；

若存在，对所述第一冲突所涉及到的第一夹取任务按照对应的时间节点进行重新排序；

否则，获取第一夹具在下一时间点的第二夹取任务，并基于所述第二运动信息确定所述机械臂中各个第一夹具之间是否存在第二冲突；

若存在，对所述第二冲突涉及到的第二夹取任务按照对应的时间节点进行重新排序；

所述夹取模块执行还包括如下操作：

根据所述排序数据，构建第一夹具的运动顺序表；

构建所述第一夹具上的目标检测灯的闪烁顺序表；

判断机械臂的第一夹具的运动情况是否与对应所述目标检测灯的第一闪烁情况一致；

若不一致，则重新对所述运动顺序表以及闪烁顺序表进行时间对齐处理；

获取所述目标检测灯的第二闪烁情况，基于所述第二闪烁情况，判断所述机械臂的第一夹具是否处于正常工作状态；

当机械臂上第一夹具在夹取对应所述第一物体的夹取过程中未处于正常工作状态时，控制对应所述目标检测灯进行持续闪烁；

当对应所述目标检测灯持续闪烁的闪烁时长超过预设的时长阈值时，对相应所述第一夹具进行故障分析，获取故障原因；

基于预设的故障分析处理库，确定所述故障原因对应的解决方案；

基于所述解决方案，进行故障处理。

优选的，检查模块，用于当所述待夹取物体组进入待夹取的传输带之前，对所述待夹取的传输带的轨道的各个连接位置进行检查，基于检查结果，对所述第一物体的运动轨迹进行修正，并对所述轨道的传输运动位置进行修正；

所述检查模块执行如下操作：

获取所述待夹取的传输带的轨道的平面检测图；

判断所述平面检测图上所述轨道的各个连接位置是否存在位置偏移；

若存在，则对所述平面检测图中所述连接位置的偏移距离进行第一测量，得到第一测量结果；

根据所述第一测量结果与预设的偏移距离阈值进行对比，判断所述偏移是否影响所述待夹取物体组第一物体的运动轨迹或所述轨道的运行；

若影响所述待夹取物体组第一物体的运动轨迹，则根据所述第一测量结果，从预设的物体运动轨迹修正数据库中，匹配影响所述待夹取物体组第一物体对应的物体运动第一轨迹修正等级；

从所述第一修正等级对应的第一等级修正地址中提取第一修正方案；

基于所述第一修正方案，对所述待夹取物体组第一物体的运动轨迹进行修正；

若不影响，则进行第一提醒；

若影响所述轨道的运行，则对所述平面检测图中所述连接位置的偏移距离进行第二测量，得到第二测量结果，根据所述第二测量结果，从预设的轨道传输运动修正数据库中，匹配影响所述轨道的运行对应的第二传输带轨道运动修正等级；

从所述第二传输带轨道运动修正等级对应的第二等级修正地址中提取第二修正方案；

基于第二所述修正方案，对所述传输带的轨道的运行进行修正；

若不影响，则进行第二提醒。

优选的，补偿模块，用于当机械臂的第一夹具夹取对应所述第一物体的夹取过程中，对所述第一物体被夹取的实际夹取点进行位置补偿；

所述补偿模块执行如下操作：

将所述RGB-D深度相机与所述机械臂搭建手眼系统；

通过RGB-D深度相机摄像头获取所述待夹取物体组中第一物体的第一深度图像；

基于所述第一物体的第一深度图像，确定所述第一物体的所述物体位置在所述深度相机坐标系内的三维坐标；

基于所述三维坐标，控制机械臂的对应所述第一夹具对所述第一物体进行夹取；

基于RGB-D深度相机获取对所述第一物体进行夹取后的第二深度图像；

基于所述第一物体的第二深度图像，确定所述第一物体在被夹取后，确定通过第一物体被夹取的实际夹取点的中心线与通过所述第一夹具的工具中心点的中垂线之间的角度信息；

基于所述角度信息，确定所述通过第一物体被夹取的实际夹取点的中心线与所述通过第一物体的预设夹取点的中心线在第一物体坐标系内的偏差信息；

基于预设的偏差补偿数据库，确定所述偏差信息对应的补偿数据；

基于所述补偿数据，对所述实际夹取点进行偏差补偿，同时，基于对机械臂的控制，对对应夹具夹取的位置进行微调。

优选的，掉落检测模块，用于当所述机械臂中的第一夹具夹取对应所述第一物体后，对所述第一物体进行掉落检测，并进行相应预警处理；

所述掉落检测模块执行如下操作：

获取所述第一夹具夹取对应所述第一物体后的运动状态信息；

对所述运动状态信息进行特征提取，获得多个第一特征；

获取预设的夹具风险运动特征库，将所述第一特征与所述夹具风险运动特征库中的第一夹具风险运动特征进行匹配，若匹配符合，将匹配符合的第一夹具风险运动特征作为第二夹具风险运动特征；

查询预设的夹具风险运动特征-风险值库，确定所述第二夹具风险运动特征对应的风险值；

汇总所述风险值，获得风险值和；

若所述风险值和大于等于预设的风险值和阈值，监测所述第一夹具夹取的所述第一物体的物体状态信息；

对所述物体状态信息进行特征提取，获得多个第二特征；

获取预设的掉落特征库，将所述第二特征与所述掉落特征库中的掉落特征进行匹配，若匹配符合，基于预设的物体类型-材料库，确定所述第一夹具夹取的所述第一物体的所述物体类别对应的材料，获取所述材料对应的最大收紧力度，控制所述第一夹具收紧至所述最大收紧力度；

其中，获取所述材料对应的最大收紧力度，包括：

获取所述材料对应的最大收紧力度测试记录，所述最大收紧力度测试记录包括：多个第一记录项；

获取所述第一记录项的提供方信息，所述提供方信息包括：至少一个提供方；

获取所述提供方的信用度和价值度，基于所述信用度和价值度计算所述第一记录项的评价指数；

若所述评价指数大于等于预设的评价指数阈值，将对应所述第一记录项作为第二记录项；

获取预设的记录分析模型，将全部所述第二记录项输入所述记录分析模型，获得最大收紧力度；

获取所述记录分析模型对全部所述第二记录项进行记录分析的分析过程；

对所述分析过程进行过程分析并拆解，获得多个第一过程；

对所述第一过程进行特征提取，获得多个第三特征；

获取预设的分析错误特征库，将所述第三特征与所述分析错误特征库中的第一分析错误特征进行匹配，若匹配符合，将匹配符合的第一分析错误特征作为第二分析错误特征，同时，将对应所述第一过程作为第二过程；

查询预设的分析错误特征-影响过程库，确定所述第二分析错误特征影响的影响过程和对应第一影响值；

确定所述第一过程中除所述第二过程外是否存在所述影响过程，若是，将对应所述第一影响值作为第二影响值；

汇总所述第二影响值，获得影响值和；

若所述影响值和大于等于预设的影响值和阈值，将所述第二记录项输入所述记录分析模型获得的最大收紧力度进行作废处理，同时，将所述第二记录项发送至预设的人工分析组，进行人工分析，获取所述人工分析组回复的对应于所述材料的最大收紧力度。

优选的，定位模块，用于对所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体进行定位；

所述定位模块执行如下操作，包括：

将所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体作为第二物体；

获取所述第二物体的第三深度图像；

从所述第三深度图像中提取所述第二物体的点云数据，对所述点云数据进行点云分割，获得点云分割结果；

提取所述点云分割结果中SIFT关键点，同时，对所述SIFT关键点进行三维特征描述，获得三维特征描述结果；

采用ICP算法，对所述三维特征描述结果进行点云匹配处理；

基于点云匹配结果，对所述第二物体进行定位。

优选的，构建夹取对策数据库，用于基于所述机械臂中的第一夹具的历史夹取数据，对所述第一夹具的错误数据进行统计，并进行相应的预处理；

所述构建夹取对策数据库执行如下操作：

获取所述第一夹具的历史夹取数据集，所述历史夹取数据集包括：所述第一夹具历史上的夹取次数以及夹取情况；

建立时间轴，将所述历史夹取数据集内的多组数据在时间轴上展开，获得多个时间段对应的多个第一数据组；

设定第一测试事件，所述第一测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后预设的第一时间范围内夹取到所述第一物体；

获取预设的夹具测试对策库，将所述第一测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第一测试事件对应的第一应对策略组，基于第一测试事件，对所述第一应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第一测试事件进行匹配，得到第一事件匹配对；

判断所述第一数据组中是否出现所述第一测试事件，若是，确定所述时间轴上对应所述第一数据组后预设第二时间范围内的多个所述第一数据组，并作为第二数据组；

设定所述第二测试事件，所述第二测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后在预设的第二时间范围内是否未能将所述第一物体夹取到所述夹取放置位置；

获取预设的夹具测试对策库，将所述第二测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第二测试事件对应的第二应对策略组，基于第二测试事件，对所述第二应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第二测试事件进行匹配，得到第二事件匹配对；

将所述第一事件匹配对以及所述第二事件匹配对作为重要测试项；

获取预设的空白数据库，将所述重要测试项与对应所述机械臂夹具进行关联后存入所述空白数据库；

当需要存入所述空白数据库的所述重要测试项均与对应所述机械臂夹具进行关联后存入所述空白数据库时，将所述空白数据库作为夹取对策数据库，完成建立。

本发明还提供如下技术方案，多夹具的机械臂无序夹取方法，包括：

步骤1:当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

步骤2:将所述运动状态信息转换成空间坐标信息，基于所述坐标信息，确定所述物体对应的点云数据；

步骤3:基于所述点云数据，确定所述第一物体的运动轨迹；

步骤4：通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

与现有技术相比，本发明的有益效果是：

1、通过对运动状态进行监测计算，能够准确的获取到物体的点云数据，并基于点云数据分析出物体的运动轨迹，进一步通过蒙特卡洛树搜索分析方法进行最优夹取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体夹取的任务，通过RGB-D深度相机，可以准确识别单个的物体的三维图像，可以提高机械臂的多个夹具作业过程的效率，运行速度快，进一步减轻了企业的运行成本，并进一步减轻人工操作。

2、基于对待夹取物体组中各个物体对应的物体信息、夹取放置位置信息进行获取，能够确保夹具在工作过程中工作的连贯性，提高了整个工作的实用性以及准确性。

3、通过对待夹取的传输带轨道继续正常工作情况下，对待夹取的传输带轨道连接处的偏移距离或位移距离进行判断，便于在不影响机械臂夹取的前提下，对待夹取物体组进行轨迹修正，从而保证工作能够正常进行，以适应机械臂多个夹具所处的复杂环境，以此提高了机械臂夹具无序夹取的精确度。

4、通过图像获取模块获取三维姿态信息，能够确保对其夹取点计算的准确性，通过识别模块，能够确保在夹取过程中的准确性以及安全性，防止物体脱落，通过补偿模块，能够及时对夹取有偏差的物体进行调整，确保了物体在被夹取过程中的安全性，进而保证了可以高效的处理多物体夹取的任务，并进一步减轻人工操作。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为多夹具的机械臂无序夹取系统的示意图；

图2为多夹具的机械臂无序夹取系统的构建夹取对策数据库的示意图；

图3为多夹具的机械臂无序夹取方法的方法步骤图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种多夹具的机械臂无序夹取系统，如图1所示，包括：

监测模块1，用于当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

确定模块2，用于将所述运动状态信息转换成空间坐标信息，基于所述空间坐标信息，确定所述第一物体对应的点云数据；

轨迹分析模块3，用于基于所述点云数据，确定所述第一物体的运动轨迹；

夹取模块4，用于通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

该实施例中，将所述运动状态信息转换成空间坐标信息，是将RGB-D深度相机对准物体中心，并对监测到的运动信息进行标定，构造出计算距离的模型，通过单目测距原理和相似三角形原理进行坐标转换。

该实施例中，计算所述物体对应的点云数据，是通过获取第一物体得到的多组空间坐标信息，在三维坐标系统中的组成的一组坐标向量的集合。

该实施例中，对所述待夹取物体组的当前运动状态信息进行动态监测，指的是当待夹取物体组从未进入待夹取的传输带之前直到到达物体夹取放置位置的整个运动状态的动态监测情况。

该实施例中，蒙特卡洛树搜索分析方法，是通过确定与物体的预设夹取放置位置相匹配的夹具，获得第一夹取匹配对；以第一夹取匹配对为根节点，向作为子节点的剩余所述夹取匹配对进行邻接节点逐层扩展，直到树的叶节点，得到基于所述根节点和扩展的邻接节点所构成的蒙特卡洛树；基于构成后的蒙特卡洛树中的根节点至叶子节点各自对应的夹取匹配对，确定物体和夹具间相互匹配的匹配夹取方式。

上述技术方案的工作原理及有益效果为：监测模块通过设置在机械臂上的RGB-D深度相机，对待夹取物体组中各个第一物体的运动状态进行监测，获取到待夹取物体组中各个第一物体在被夹取前的运动状态信息，通过确定模块将所述运动状态信息转换成空间坐标信息，将RGB-D深度相机对准物体中心，并对监测到的运动信息进行标定，构造出计算距离的模型，通过单目测距原理和相似三角形原理进行坐标转换，获取到待夹取物体组中各个第一物体对应的点云数据，基于点云数据，通过轨迹分析模块获取到待夹取物体组中各个第一物体的运动轨迹，基于待夹取物体组中各个第一物体的运动轨迹，最后通过蒙特卡洛树搜索分析方法，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制机械臂的各个第一夹具进行相应夹取。

通过对运动状态进行监测计算，能够准确的获取到物体的点云数据，并基于点云数据分析出物体的运动轨迹，进一步通过蒙特卡洛树搜索分析方法进行最优夹取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体夹取的任务，通过RGB-D深度相机，可以准确识别单个的物体的三维图像，可以提高机械臂的多个夹具作业过程的效率，运行速度快，进一步减轻了企业的运行成本，并进一步减轻人工操作。

实施例2：

基于实施例1的基础上，所述轨迹分析模块还用于执行如下操作：

获取所述待夹取物体组中各个第一物体的物体位置；

获取预设的夹取放置位置；

基于所述物体位置和所述夹取放置位置，规划所述机械臂中各个第一夹具的运动轨迹。

该实施例中，夹取放置位置，指的是待夹取物体组中各个物体提前设置好的夹取后的放置地点。

上述技术方案的工作原理及有益效果为：通过获取得到的待夹取物体组中各个第一物体的物体位置以及预设的夹取放置位置，能够对机械臂中各个第一夹具的运动轨迹进行更准确详细的规划。

基于对待夹取物体组中各个第一物体对应的物体位置、预设的夹取放置位置进行获取，能够确保夹具在工作过程中工作的连贯性，提高了整个工作的实用性以及准确性。

实施例3：基于实施例1的基础上，所述监测模块还执行如下操作：

获取所述待夹取物体组中各个第一物体的物体类别；

基于预设的类别-形状大小库，确定所述物体类别对应的形状大小；

基于预设的形状大小-夹取角度库，确定所述形状大小对应的夹取角度；

控制需要对所述第一物体进行夹取的第一夹具调整至对应所述夹取角度。

该实施例中，通过用户事先输入来获取所述待夹取物体组中各个第一物体的物体类别。

该实施例中，预设的类别-形状大小库是提前设定好的，基于用户事先输入的物体类别，将所述物体类别存入类别-形状大小库中，获取得到物体的形状大小。

该实施例中，预设的形状大小-夹取角度库是提前设定好的，基于获取得到的物体形状大小，将所述物体形状大小存入形状大小-夹取角度库，获取物体对应的夹取角度。

该实施例中，夹具指的是安装在机械臂上的机械抓手，用于夹取物体。

上述技术方案的工作原理及有益效果为：通过用户事先输入来获取待夹取物体组中各个第一物体的物体类别，并基于提前设定好的类别-形状大小库，将所述物体类别存入类别-形状大小库中，获取得到物体的形状大小，进一步基于预设的形状大小-夹取角度库，将物体形状大小存入形状大小-夹取角度库，获取物体对应的夹取角度，最后控制第一夹具调整至对应的夹取角度对第一物体进行夹取。

对待夹取物体组中的每个物体类别进行提前输入，确保对物体在识别形状的过程中的准确性，确保了夹取的准确快速，进一步提高了夹取的效率；基于物体的形状大小，控制机械臂的第一夹具进行角度调整，能够确保夹具夹取过程中准确无误的夹取到物体，进而提高了整体的工作速度和效率，提高了整体的实用性。

实施例4：

基于实施例1的基础上，所述夹取模块执行如下操作：

获取所述第一夹具的第一夹取任务；

将所述第一夹具的第一夹取任务按照第一夹具的夹取时间进行时序先后排序，获取排列数据；

确定每个时间点下所述机械臂的各个第一夹具之间是否存在第一冲突；

若存在，对所述第一冲突所涉及到的第一夹取任务按照对应的时间节点进行重新排序；

否则，获取第一夹具在下一时间点的第二夹取任务，并基于所述第二运动信息确定所述机械臂中各个第一夹具之间是否存在第二冲突；

若存在，对所述第二冲突涉及到的第二夹取任务按照对应的时间节点进行重新排序；

所述夹取模块执行还包括如下操作：

根据所述排序数据，构建第一夹具的运动顺序表；

构建所述第一夹具上的目标检测灯的闪烁顺序表；

判断机械臂的第一夹具的运动情况是否与对应所述目标检测灯的第一闪烁情况一致；

若不一致，则重新对所述运动顺序表以及闪烁顺序表进行时间对齐处理；

获取所述目标检测灯的第二闪烁情况，基于所述第二闪烁情况，判断所述机械臂的第一夹具是否处于正常工作状态；

当机械臂上第一夹具在夹取对应所述第一物体的夹取过程中未处于正常工作状态时，控制对应所述目标检测灯进行持续闪烁；

当对应所述目标检测灯持续闪烁的闪烁时长超过预设的时长阈值时，对相应所述第一夹具进行故障分析，获取故障原因；

基于预设的故障分析处理库，确定所述故障原因对应的解决方案；

基于所述解决方案，进行故障处理。

该实施例中，故障分析处理库，是提前设定好的，包含各种有可能出现的故障原因所对应的解决方案，例如：故障原因为a夹具出现卡顿，无法进行正常工作，解决方案为停止a夹具的工作，并提供b夹具继续进行a夹具的夹取工作，避免了传输带物体堆积的情况。

该实施例中，第一运动信息指的是，第一夹具进行的第一次夹取任务。

该实施例中，第二运动信息指的是，第一夹具在完成第一次夹取之后，返回原位置，进行的第二次夹取任务。

该实施例中，将每个夹具的第一运动信息按照同轴时间进行依次排序，是为了确保机械臂的不同夹具在工作过程中避免对同一个物体进行夹取。

该实施例中，运动情况指的是第一夹具在进行夹取任务过程中的工作情况。

该实施例中，时间对齐处理指的是通过用户在时间管理器上将夹具的运动顺序表和目标检测灯的闪烁顺序表进行相对应的对齐处理，目的是确保夹具在运动时的时间和目标检测灯的闪烁时间相一致。

该实施例中，获取所述目标检测灯的闪烁情况，基于所述闪烁情况，判断所述机械臂的第一夹具是否处于正常工作状态的判断依据是，通过用户前期对夹具的工作情况以及目标检测灯进行设置，确保夹具在无法正常工作的情况下，使其对应的目标检测灯进行持续闪烁。

该实施例中，检测灯持续闪烁代表机械臂的第一夹具出现了故障。

上述技术方案的工作原理及有益效果为：通过蒙特卡洛树，将所述第一物体的夹取放置位置与相匹配的第一夹具形成夹取匹配对；获取第一夹具进行的第一次夹取任务，基于第一次夹取任务对第一夹具按照夹取时间进行依次排序，获取夹具的排列数据；基于排列数据，确定每个时间点下的各个第一夹具之间是否存在第一冲突；若存在，对第一冲突所涉及到的第一夹具按照不同的时间节点进行重新排序；否则，获取第一夹具在完成第一次夹取之后，返回原位置，进行第二次夹取任务；判断第二次夹取任务中的各个第一夹具之间是否存在第二冲突；若存在，对所述第二冲突涉及到的第一夹具按照不同的时间节点进行重新排序；通过构建第一夹具的运动顺序表以及构建第一夹具上的目标检测灯的闪烁顺序表，进一步构建运动-灯光闪烁转换模型；进而判断机械臂的第一夹具在进行夹取任务过程中的工作情况是否与对应所述目标检测灯一致；若不一致，则基于所述运动-灯光闪烁转换模型，通过用户在时间管理器上将夹具的运动顺序表和目标检测灯的闪烁顺序表进行相对应的对齐处理，确保夹具在运动时的时间和目标检测灯的闪烁时间相一致；通过用户前期对夹具的工作情况以及目标检测灯进行设置，确保夹具在无法正常工作的情况下，使其对应的目标检测灯进行持续闪烁，基于所述闪烁情况，判断所述机械臂的第一夹具是否处于正常工作状态；当机械臂上第一夹具在夹取对应所述第一物体的夹取过程中未处于正常工作状态时，所述目标检测灯进行持续闪烁；当所述目标检测灯持续闪烁的闪烁时长超过预设的时长阈值时，对相应所述第一夹具进行故障分析，获取故障原因；基于预设的故障分析处理库，确定所述故障原因对应的解决方案；基于所述解决方案，进行故障处理。

通过蒙特卡洛树的分析，可以快速的获取到第一物体的夹取放置位置与相匹配的第一夹具，并形成夹取匹配对，通过对夹具进行排序，确定每个夹具的工作顺序，从而实现对物体进行夹取过程中的顺序性，避免了夹取过程中的冲突情况，提高了整体的实用性，加强了夹具夹取过程中整体的安全性；通过构建夹具的运动顺序表以及目标检测灯的闪烁序列表，能够确保夹具和目标检测灯的运动顺序，进一步通过构建运动-灯光闪烁转换模型，能够确保两者的同步运行，目标检测灯的闪烁能够直观的观察到夹具的运行，进一步能够确保夹具是否处于正常工作状态，提高了夹取的安全可靠性。

实施例5：

基于实施例1的基础上，检查模块，用于当所述待夹取物体组进入待夹取的传输带之前，对所述待夹取的传输带的轨道的各个连接位置进行检查，基于检查结果，对所述第一物体的运动轨迹进行修正，并对所述轨道的传输运动位置进行修正；

所述检查模块执行如下操作：

获取所述待夹取的传输带的轨道的平面检测图；

判断所述平面检测图上所述轨道的各个连接位置是否存在位置偏移；

若存在，则对所述平面检测图中所述连接位置的偏移距离进行第一测量，得到第一测量结果；

根据所述第一测量结果与预设的偏移距离阈值进行对比，判断所述偏移是否影响所述待夹取物体组第一物体的运动轨迹或所述轨道的运行；

若影响所述待夹取物体组第一物体的运动轨迹，则根据所述第一测量结果，从预设的物体运动轨迹修正数据库中，匹配影响所述待夹取物体组第一物体对应的物体运动第一轨迹修正等级；

从所述第一修正等级对应的第一等级修正地址中提取第一修正方案；

基于所述第一修正方案，对所述待夹取物体组第一物体的运动轨迹进行修正；

若不影响，则进行第一提醒；

若影响所述轨道的运行，则对所述平面检测图中所述连接位置的偏移距离进行第二测量，得到第二测量结果，根据所述第二测量结果，从预设的轨道传输运动修正数据库中，匹配影响所述轨道的运行对应的第二传输带轨道运动修正等级；

从所述第二传输带轨道运动修正等级对应的第二等级修正地址中提取第二修正方案；

基于第二所述修正方案，对所述传输带的轨道的运行进行修正；

若不影响，则进行第二提醒。

该实施例中，通过RGB-D深度相机拍摄到传输带连接位置的3D图像，分别构建连接位置的水平平面检测图以及垂直平面检测图，RGB-D深度相机在拍摄过程中可进行360°旋转，保证获取到全方位的拍摄结果。

该实施例中，修正数据库，是提前设置好的，针对不同的偏移或位移距离，有对应的修正方案。

该实施例中，匹配对应的物体运动轨迹修正等级，是为了避免在修正过程中出现左右或是上下的偏差，确保修正结果准确。

该实施例中，对所述待夹取的传输带进行检查，是为了待抓取物体组中各个物体按照预设的轨迹路线进行移动。

该实施例中，第一提醒和第二提醒，指的是产生声光报警提醒，其中，第一提醒声音为间歇式，第二提醒声音为连续式。

该实施例中，基于第二所述修正方案，对所述传输带的轨道的运行进行修正，例如，传输带轨道可能会出现因连接位置处凹下使轨道倾斜或因连接位置凸起使物体无法正常进入轨道，基于第二测量结果，获取连接位置处凹下或凸起时对传输带轨道的第二修正方案，控制所述传输带的轨道按照相应的修正方案进行调整，确保物体可以平稳进入传输带上。

上述技术方案的工作原理及有益效果为：当待夹取物体组进入待夹取的传输带之前，通过检查模块对传输带的各个连接位置进行检查，基于检查结果，通过RGB-D深度相机拍摄到的传输带连接位置的3D图像，分别构建连接位置的水平平面检测图以及垂直平面检测图，通过对平面检测图上所述连接位置的距离位移进行数据测量，判断所述连接位置是否存在偏移，若存在，获取对应所述连接位置的偏移方式；根据偏移方式，对偏移距离进行测量，根据测量结果与预设的偏移距离阈值进行对比，判断偏移距离是否影响所述待夹取物体组第一物体的运动轨迹；若影响，则根据测量结果，从预设的物体运动轨迹修正数据库中，匹配对应的物体运动轨迹修正等级，并从修正等级对应的等级修正地址中提取修正方案，基于所述修正方案，对所述待夹取物体组第一物体的运动轨迹进行修正；若不影响，则进行声光报警提醒，并按照所述待夹取物体组第一物体的原始运动轨迹进行运动或工作。

通过对待夹取的传输带继续正常工作情况下，对待夹取的传输带轨道连接处的偏移距离或位移距离进行判断，便于在不影响机械臂夹取的前提下，对待夹取物体组进行轨迹修正，从而保证工作能够正常进行，以适应机械臂多个夹具所处的复杂环境，以此提高了机械臂夹具无序夹取的精确度；通过对待夹取的传输带连接处的分析，能够确保待抓取物体组在进入待夹取的传输带时，保持预设的运动速度以及路线，通过进行提醒，能够及时发现待夹取的传输带轨道连接处的问题所在，避免出现意外，进一步提高了整体的安全性以及可靠性。

实施例6：

基于实施例1的基础上，补偿模块，用于当机械臂的第一夹具夹取对应所述第一物体的夹取过程中，对所述第一物体被夹取的实际夹取点进行位置补偿；

所述补偿模块执行如下操作：

将所述RGB-D深度相机与所述机械臂搭建手眼系统；

通过RGB-D深度相机摄像头获取所述待夹取物体组中第一物体的第一深度图像；

基于所述第一物体的第一深度图像，确定所述第一物体的所述物体位置在所述深度相机坐标系内的三维坐标；

基于所述三维坐标，控制机械臂的对应所述第一夹具对所述第一物体进行夹取；

基于RGB-D深度相机获取对所述第一物体进行夹取后的第二深度图像；

基于所述第一物体的第二深度图像，确定所述第一物体在被夹取后，确定通过第一物体被夹取的实际夹取点的中心线与通过所述第一夹具的工具中心点的中垂线之间的角度信息；

基于所述角度信息，确定所述通过第一物体被夹取的实际夹取点的中心线与所述通过第一物体的预设夹取点的中心线在第一物体坐标系内的偏差信息；

基于预设的偏差补偿数据库，确定所述偏差信息对应的补偿数据；

基于所述补偿数据，对所述实际夹取点进行偏差补偿，同时，基于对机械臂的控制，对对应夹具夹取的位置进行微调。

该实施例中，偏差补偿数据库是提前设定好的，基于有可能出现的偏差信息，所设定的对应的补偿数据。

该实施例中，手眼系统指的是一种机器人视觉系统，可以进行物体识别、测量和控制。

该实施例中，角度信息指的是所述目标物体在被夹取时与夹具之间所出现的角度。

该实施例中，实际夹取点指的是，夹具对应的夹取过程中夹具的爪用力的中心点所对应在物体上的中心点。

该实施例中，第一物体坐标系，指的是用户提前构造的标准空间坐标系。

该实施例中，第一深度图像，指的是待夹取物体组在待夹取的传输带上，采集到的图像信息。

该实施例中，第二深度图像，指的是采集的第一深度图像包含的物体信息，被夹取后，对其采集的图像信息。

上述技术方案的工作原理及有益效果为：通过RGB-D深度相机与机械臂搭建的手眼系统，获取待夹取物体组中各个第一物体的第一深度图像，基于第一深度图像，确定各个第一物体的预设夹取点在所述深度相机坐标系内的三维坐标，基于三维坐标，控制机械臂夹具对所述目标物体进行夹取；基于RGB-D深度相机获取对所述各个第一物体进行夹取后的第二深度图像；根据第二深度图像识别物体在被夹取时所出现的角度，基于角度信息，确定所述各个第一物体的实际夹取点与所述预设夹取点在第一物体坐标系内的偏差信息；基于预设的偏差补偿数据库，确定所述偏差信息对应的补偿数据；基于所述补偿数据，对所述实际夹取点进行偏差补偿，同时，控制对应夹具夹取的位置进行微调。

通过构建手眼系统，可以精确的识别到物体的深度信息，通过获取物体的第一深度图像，能够准确的获取到第一物体的预设夹取点的三维坐标，保证夹具能够精准的夹取到第一物体并保证不会脱落，通过获取物体的第二审的图像，能够及时的发现夹具对物体的实际夹取点与所述预设夹取点的偏差，并给出偏差补偿建议，对夹取位置进行调整，确保了夹具在夹取过程中的可靠性及安全性。

实施例7：

基于实施例3的基础上，掉落检测模块，用于当所述机械臂中的第一夹具夹取对应所述第一物体后，对所述第一物体进行掉落检测，并进行相应预警处理；

所述掉落检测模块执行如下操作：

获取所述第一夹具夹取对应所述第一物体后的运动状态信息；

对所述运动状态信息进行特征提取，获得多个第一特征；

获取预设的夹具风险运动特征库，将所述第一特征与所述夹具风险运动特征库中的第一夹具风险运动特征进行匹配，若匹配符合，将匹配符合的第一夹具风险运动特征作为第二夹具风险运动特征；

查询预设的夹具风险运动特征-风险值库，确定所述第二夹具风险运动特征对应的风险值；

汇总所述风险值，获得风险值和；

若所述风险值和大于等于预设的风险值和阈值，监测所述第一夹具夹取的所述第一物体的物体状态信息；

对所述物体状态信息进行特征提取，获得多个第二特征；

获取预设的掉落特征库，将所述第二特征与所述掉落特征库中的掉落特征进行匹配，若匹配符合，基于预设的物体类型-材料库，确定所述第一夹具夹取的所述第一物体的所述物体类别对应的材料，获取所述材料对应的最大收紧力度，控制所述第一夹具收紧至所述最大收紧力度；

其中，获取所述材料对应的最大收紧力度，包括：

获取所述材料对应的最大收紧力度测试记录，所述最大收紧力度测试记录包括：多个第一记录项；

获取所述第一记录项的提供方信息，所述提供方信息包括：至少一个提供方；

获取所述提供方的信用度和价值度，基于所述信用度和价值度计算所述第一记录项的评价指数，计算公式如下：

其中，γ为所述评价指数，μ₁和μ₂为预设的权重值，α_i为所述提供方信息中第i个提供方的信用度，β_i为所述提供方信息中第i个提供方的价值度，n为所述提供方信息中提供方的总数目；

若所述评价指数大于等于预设的评价指数阈值，将对应所述第一记录项作为第二记录项；

获取预设的记录分析模型，将全部所述第二记录项输入所述记录分析模型，获得最大收紧力度；

获取所述记录分析模型对全部所述第二记录项进行记录分析的分析过程；

对所述分析过程进行过程分析并拆解，获得多个第一过程；

对所述第一过程进行特征提取，获得多个第三特征；

获取预设的分析错误特征库，将所述第三特征与所述分析错误特征库中的第一分析错误特征进行匹配，若匹配符合，将匹配符合的第一分析错误特征作为第二分析错误特征，同时，将对应所述第一过程作为第二过程；

查询预设的分析错误特征-影响过程库，确定所述第二分析错误特征影响的影响过程和对应第一影响值；

确定所述第一过程中除所述第二过程外是否存在所述影响过程，若是，将对应所述第一影响值作为第二影响值；

汇总所述第二影响值，获得影响值和；

若所述影响值和大于等于预设的影响值和阈值，将所述第二记录项输入所述记录分析模型获得的最大收紧力度进行作废处理，同时，将所述第二记录项发送至预设的人工分析组，进行人工分析，获取所述人工分析组回复的对应于所述材料的最大收紧力度。

该实施例中，夹具风险运动特征库具体为是夹具夹取物体后，容易造成物体掉落的夹具运动特征。

该实施例中，夹具风险运动特征-风险值库，表示为夹具夹取物体后，容易造成物体掉落的夹具运动特征所对应的物体掉落的风险值大小。

该实施例中，风险值越大，夹具运动特征越容易造成物体掉落。

该实施例中，掉落特征库具体为物体掉落时，所表现出的掉落特征集合。

该实施例中，类型-材料库，是提前设定好的，基于用户事先输入的物体类别，将所述物体类别存入类型-材料库中，获取得到物体的材料。

该实施例中，信用度为基于该提供方历史提供的测试记录的总体真实程度确定。

该实施例中，价值度为基于该提供方历史提供的测试记录对我方有利的总体程度确定。

该实施例中，记录分析模型，是利用机器学习算法对大量人工对不同材料物体进行分析的记录进行学习后生成的模型，该模型可以基于不同的物体材料获得最大的收紧力度。

该实施例中，汇总所述第二影响值，所述汇总为对第二影响值进行求和计算。

该实施例中，分析错误特征库是为了分析夹具在夹取过程中不规范的过程特征。

该实施例中，分析错误特征-影响过程库中的影响过程就是模型分析不规范的过程。

该实施例中，第一影响值越大，影响过程的影响越大。

该实施例中，基于获取所述材料对应的最大收紧力度，确认所述第一物体的材料以及形状大小适合的最大抓力，基于所述最大抓力，调节所述第一夹具的抓力，是为了根据物体的材料以及形状大小确定最佳抓力，防止损伤物体。

上述技术方案的工作原理及有益效果为：通过获取所述第一物体后的运动状态信息并进行特征提取，获得多个第一特征；基于预设的夹具风险运动特征库，将所述第一特征与所述夹具风险运动特征库中的第一夹具风险运动特征进行匹配，并将匹配符合的第一夹具风险运动特征作为第二夹具风险运动特征；通过查询预设的夹具风险运动特征-风险值库，确定所述第二夹具风险运动特征对应的风险值；并进一步汇总所述风险值，获得风险值和；判断所述风险值和大于等于预设的风险值和阈值，监测所述第一夹具夹取的所述第一物体的物体状态信息；对所述物体状态信息进行特征提取，获得多个第二特征；基于预设的掉落特征库，将所述第二特征与所述掉落特征库中的掉落特征进行匹配，同时，基于预设的物体类型-材料库，确定所述第一物体的所述物体类别对应的材料，获取所述材料对应的最大收紧力度，控制所述第一夹具收紧至所述最大收紧力度。

通过掉落检测模块的设置，能够确保机械臂夹具在运动过程中，对机械臂夹具的运动进行监测，以及基于对第二物体的材料和形状大小进行大数据分析，确保能够及时对第二夹具的抓力进行调整，避免了在调整抓力过程中对第二物体的损伤，进一步保证了整个夹取过程的安全性和可靠性，提高了夹取效率。

实施例8：

基于实施例1的基础上，定位模块，用于对所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体进行定位；

所述定位模块执行如下操作，包括：

将所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体作为第二物体；

获取所述第二物体的第三深度图像；

从所述第三深度图像中提取所述第二物体的点云数据，对所述点云数据进行点云分割，获得点云分割结果；

提取所述点云分割结果中SIFT关键点，同时，对所述SIFT关键点进行三维特征描述，获得三维特征描述结果；

采用ICP算法，对所述三维特征描述结果进行点云匹配处理；

基于点云匹配结果，对所述第二物体进行定位。

该实施例中，非固定路径物体，指的是用户没有提前对该物体进行夹取放置位置的设置，故该物体在被夹取传输过程中，路径轨迹无法进行一次性准确判断。

该实施例中，点云分割目的是提取点云中的不同点，从而实现突出重点，单独处理的目的。

该实施例中，SIFT关键点指的是一种计算机视觉的算法，它用来侦测与描述图像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。

该实施例中，经过ICP算法的点云匹配，其精确度不高，所以先通过ICP算法的粗测量进行匹配。

上述技术方案的工作原理及有益效果为：通过获取路径轨迹无法进行一次性准确判断的物体的第三深度图像，从所述第三深度图像中提取所述第二物体的点云数据，对所述非固定路径物体的点云数据进行点云分割；基于点云分割结果，提取所述非固定路径物体点云分割后的SIFT关键点，同时，对所述SIFT关键点进行三维特征描述；基于所述三维特征描述结果，采用ICP算法基于点特征方式进行点云匹配，将所述目标点云与预设的模板点云进行匹配，基于匹配结果，获取所述第二物体的精确定位结果。

通过对非固定路径物体的第三深度图像的点运输机进行分割并获取关键点，可以进一步精确的获取到非固定路径物体的特征，通过ICP算法的测量匹配，能够准确的对非固定路径物体进行定位，并确定其运动路径，进一步可以使第三夹具进行夹取任务，确保了整个工作流程的连贯性与安全性。

实施例9：

基于实施例1的基础上，如图2所示，包括：

构建夹取对策数据库，用于基于所述机械臂中的第一夹具的历史夹取数据，对所述第一夹具的错误数据进行统计，并进行相应的预处理；

所述构建夹取对策数据库执行如下操作：

获取所述第一夹具的历史夹取数据集，所述历史夹取数据集包括：所述第一夹具历史上的夹取次数以及夹取情况；

建立时间轴，将所述历史夹取数据集内的多组数据在时间轴上展开，获得多个时间段对应的多个第一数据组；

设定第一测试事件，所述第一测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后预设的第一时间范围内夹取到所述第一物体；

获取预设的夹具测试对策库，将所述第一测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第一测试事件对应的第一应对策略组，基于第一测试事件，对所述第一应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第一测试事件进行匹配，得到第一事件匹配对；

判断所述第一数据组中是否出现所述第一测试事件，若是，确定所述时间轴上对应所述第一数据组后预设第二时间范围内的多个所述第一数据组，并作为第二数据组；

设定所述第二测试事件，所述第二测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后在预设的第二时间范围内是否未能将所述第一物体夹取到所述夹取放置位置；

获取预设的夹具测试对策库，将所述第二测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第二测试事件对应的第二应对策略组，基于第二测试事件，对所述第二应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第二测试事件进行匹配，得到第二事件匹配对；

将所述第一事件匹配对以及所述第二事件匹配对作为重要测试项；

获取预设的空白数据库，将所述重要测试项与对应所述机械臂夹具进行关联后存入所述空白数据库；

当需要存入所述空白数据库的所述重要测试项均与对应所述机械臂夹具进行关联后存入所述空白数据库时，将所述空白数据库作为夹取对策数据库，完成建立。

该实施例中，建立时间轴，是为了能够更加清晰明了的获取历史夹取数据集的数据。

该实施例中，夹具测试对策库，是提前设定好的，为了能够针对测试事件，得到对应的应对策略组。

该实施例中，第一测试事件和第二测试事件，指的是在历史夹取数据集中出现的错误夹取事件。

该实施例中，测试结果分析库，是为了能够分析得到多个测试结果的完成程度，选取出最优的应对策略。

上述技术方案的工作原理及有益效果为：通过获取第一夹具的历史夹取数据集，建立时间轴，将所述历史夹取数据集内的多组数据在时间轴上展开，获得多个时间段对应的多个第一数据组；基于第一数据组，设定第一测试事件，获取预设的夹具测试对策库，将第一测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第一测试事件对应的第一应对策略组，对所述第一应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第一测试事件进行匹配，得到第一事件匹配对；基于第二数据组，设定所述第二测试事件，将所述第二测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第二测试事件对应的第二应对策略组，对第二应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第二测试事件进行匹配，得到第二事件匹配对；将所述第一事件匹配对以及所述第二事件匹配对作为重要测试项；将重要测试项与对应所述机械臂夹具进行关联后存入所述空白数据库。

通过建立时间轴，可以对历史夹取数据进行统计并展开，获取到多个时间下的夹取次数以及夹取情况，并基于数据组，建立测试事件，基于测试事件，获取相对应的对应策略，当夹具出现夹取错误时，对夹具和物体均产生影响，通过构建夹取对策数据库以及相应的夹具测试对策库，可以有效的防止或降低夹具夹取过程中的错误率。

实施例10：

本发明还提供一种多夹具的机械臂无序夹取方法，如图3所示，包括：

步骤1:当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

步骤2:将所述运动状态信息转换成空间坐标信息，基于所述坐标信息，确定所述物体对应的点云数据；

步骤3:基于所述点云数据，确定所述第一物体的运动轨迹；

步骤4：通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

上述技术方案的工作原理及有益效果为：步骤1通过设置在机械臂上的RGB-D深度相机，对第一物体的运动状态进行监测，获取到待夹取物体组中各个第一物体的运动状态信息，通过步骤2将所述运动状态信息转换成空间坐标信息，是将RGB-D深度相机对准物体中心，并对监测到的运动信息进行标定，构造出计算距离的模型，通过单目测距原理和相似三角形原理进行坐标转换，获取到第一物体对应的点云数据，基于点云数据，通过步骤3获取到第一物体的运动轨迹，基于第一物体的运动轨迹，通过步骤4的蒙特卡洛树搜索分析方法，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

通过对运动状态进行监测计算，能够准确的获取到物体的点云数据，并基于点云数据分析出物体的运动轨迹，进一步通过蒙特卡洛树搜索分析方法进行最优夹取顺序的选取，可以在较短时间内求得较优解，从而可以高效的处理多物体夹取的任务，并进一步减轻人工操作。

实施例11：

基于实施例8的基础上，基于所述点云数据，控制机械臂夹具对所述非固定路径物体进行夹取，包括：

计算目标物体在任意一处的姿态预估值坐标：

其中，(x,y,z)为所述第二物体的姿态预估值坐标，R为基于第三深度图像获取所述第二物体当前所在位置的姿态矩阵，N_R为所述第二物体所在位置的三维点云的总数目，pⁱ为预设的模板点云上的第i个三维点云，

为所述第二物体所在位置的三维点云中与预设的模板点云的第i个三维点云最近的三维点云，t为所述第二物体在预设的空间直角坐标系中当前所在的位置，d为所述第二物体当前所在位置与指定夹取位置之间的距离，exp为以自然常数e为底的指数函数；

基于所述姿态预估值坐标，计算当前姿态下的三维模型点云坐标：

其中，(x_s,y_s,z_s)为所述第二物体通过第三深度图像获取的当前姿态下的三维模型点云坐标，x_j，y_j，z_j为RGB-D深度相机光轴上所述第二物体的图像坐标值，n_j为所述预设的模板点云上的深度值，T为转置符号，f为相机系统的焦距；

基于所述三维模型点云坐标，计算所述第二物体的最佳夹取点到RGB-D深度相机的距离：

其中，

为所述目标物体的最佳夹取点到RGB-D深度相机的距离，

所述三维模型点云坐标到RGB-D深度相机的距离，f为RGB-D深度相机的焦距，b为RGB-D深度相机到所述夹取放置位置之间的直线距离，d为所述第二物体当前所在位置与指定夹取位置之间的距离；

基于所述第二物体在任意一处的姿态预估值，计算出所述第二物体的最佳夹取点，控制机械臂的夹具对所述第二物体进行准确夹取。

该实施例中，计算所述目标物体的最佳夹取点到RGB-D深度相机的距离，是为了算出最佳夹取点到设置在机械臂上的RGB-D深度相机的距离，进而知道最佳夹取点到机械臂的距离。

该实施例中，相机上通过镜头中心与镜面垂直的线叫光轴，这条光轴就是相机的光轴。

该实施例中，三维点云是一个在三维空间关联系统中包含点的数据库，即对物体表面点的精确数字记录。

上述技术方案的工作原理及有益效果为：基于点云数据，计算目标物体在任意一处的姿态预估值坐标，进一步计算当前姿态下的三维模型点云坐标，最后计算所述第二物体的最佳夹取点到RGB-D深度相机的距离，进而知道最佳夹取点到机械臂的距离，最后控制机械臂的夹具对所述第二物体进行准确夹取。

基于计算目标物体在任意一处的姿态预估值，能够快速地识别出目标物体的位置与姿态，识别时间短，识别精度高，并进一步计算出目标物体的夹取点，能够确保夹具在夹取过程中，准确无误的对目标物体进行夹取，能够提高夹取的效率和速度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多夹具的机械臂无序夹取系统，其特征在于，包括：

监测模块，用于当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

确定模块，用于将所述运动状态信息转换成空间坐标信息，基于所述空间坐标信息，确定所述第一物体对应的点云数据；

轨迹分析模块，用于基于所述点云数据，确定所述第一物体的运动轨迹；

夹取模块，用于通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

2.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，所述轨迹分析模块还用于执行如下操作：

获取所述待夹取物体组中各个第一物体的物体位置；

获取预设的夹取放置位置；

基于所述物体位置和所述夹取放置位置，规划所述机械臂中各个第一夹具的运动轨迹。

3.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，所述夹取模块还执行如下操作：

获取所述待夹取物体组中各个第一物体的物体类别；

基于预设的类别-形状大小库，确定所述物体类别对应的形状大小；

基于预设的形状大小-夹取角度库，确定所述形状大小对应的夹取角度；

控制需要对所述第一物体进行夹取的第一夹具调整至对应所述夹取角度。

4.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，所述夹取模块执行如下操作：

获取所述第一夹具的第一夹取任务；

将所述第一夹具的第一夹取任务按照第一夹具的夹取时间进行时序先后排序，获取排列数据；

确定每个时间点下所述机械臂的各个第一夹具之间是否存在第一冲突；

若存在，对所述第一冲突所涉及到的第一夹取任务按照对应的时间节点进行重新排序；

否则，获取第一夹具在下一时间点的第二夹取任务，并基于所述第二运动信息确定所述机械臂中各个第一夹具之间是否存在第二冲突；

若存在，对所述第二冲突涉及到的第二夹取任务按照对应的时间节点进行重新排序；

所述夹取模块执行还包括如下操作：

根据所述排序数据，构建第一夹具的运动顺序表；

构建所述第一夹具上的目标检测灯的闪烁顺序表；

判断机械臂的第一夹具的运动情况是否与对应所述目标检测灯的第一闪烁情况一致；

若不一致，则重新对所述运动顺序表以及闪烁顺序表进行时间对齐处理；

获取所述目标检测灯的第二闪烁情况，基于所述第二闪烁情况，判断所述机械臂的第一夹具是否处于正常工作状态；

当机械臂上第一夹具在夹取对应所述第一物体的夹取过程中未处于正常工作状态时，控制对应所述目标检测灯进行持续闪烁；

当对应所述目标检测灯持续闪烁的闪烁时长超过预设的时长阈值时，对相应所述第一夹具进行故障分析，获取故障原因；

基于预设的故障分析处理库，确定所述故障原因对应的解决方案；

基于所述解决方案，进行故障处理。

5.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，还包括：

检查模块，用于当所述待夹取物体组进入待夹取的传输带之前，对所述待夹取的传输带的轨道的各个连接位置进行检查，基于检查结果，对所述第一物体的运动轨迹进行修正，并对所述轨道的传输运动位置进行修正；

所述检查模块执行如下操作：

获取所述待夹取的传输带的轨道的平面检测图；

判断所述平面检测图上所述轨道的各个连接位置是否存在位置偏移；

若存在，则对所述平面检测图中所述连接位置的偏移距离进行第一测量，得到第一测量结果；

根据所述第一测量结果与预设的偏移距离阈值进行对比，判断所述偏移是否影响所述待夹取物体组第一物体的运动轨迹或所述轨道的运行；

若影响所述待夹取物体组第一物体的运动轨迹，则根据所述第一测量结果，从预设的物体运动轨迹修正数据库中，匹配影响所述待夹取物体组第一物体对应的物体运动第一轨迹修正等级；

从所述第一修正等级对应的第一等级修正地址中提取第一修正方案；

基于所述第一修正方案，对所述待夹取物体组第一物体的运动轨迹进行修正；

若不影响，则进行第一提醒；

若影响所述轨道的运行，则对所述平面检测图中所述连接位置的偏移距离进行第二测量，得到第二测量结果，根据所述第二测量结果，从预设的轨道传输运动修正数据库中，匹配影响所述轨道的运行对应的第二传输带轨道运动修正等级；

从所述第二传输带轨道运动修正等级对应的第二等级修正地址中提取第二修正方案；

基于第二所述修正方案，对所述传输带的轨道的运行进行修正；

若不影响，则进行第二提醒。

6.如权利要求2所述的一种多夹具的机械臂无序夹取系统，其特征在于，还包括：

补偿模块，用于当机械臂的第一夹具夹取对应所述第一物体的夹取过程中，对所述第一物体被夹取的实际夹取点进行位置补偿；

所述补偿模块执行如下操作：

将所述RGB-D深度相机与所述机械臂搭建手眼系统；

通过RGB-D深度相机摄像头获取所述待夹取物体组中第一物体的第一深度图像；

基于所述第一物体的第一深度图像，确定所述第一物体的所述物体位置在所述深度相机坐标系内的三维坐标；

基于所述三维坐标，控制机械臂的对应所述第一夹具对所述第一物体进行夹取；

基于RGB-D深度相机获取对所述第一物体进行夹取后的第二深度图像；

基于所述第一物体的第二深度图像，确定所述第一物体在被夹取后，确定通过第一物体被夹取的实际夹取点的中心线与通过所述第一夹具的工具中心点的中垂线之间的角度信息；

基于所述角度信息，确定所述通过第一物体被夹取的实际夹取点的中心线与所述通过第一物体的预设夹取点的中心线在预设的物体坐标系内的偏差信息；

基于预设的偏差补偿数据库，确定所述偏差信息对应的补偿数据；

基于所述补偿数据，对所述实际夹取点进行偏差补偿，同时，基于对机械臂的控制，对对应夹具夹取的位置进行微调。

7.如权利要求3所述的一种多夹具的机械臂无序夹取系统，其特征在于，还包括：

掉落检测模块，用于当所述机械臂中的第一夹具夹取对应所述第一物体后，对所述第一物体进行掉落检测，并进行相应预警处理；

所述掉落检测模块执行如下操作：

获取所述第一夹具夹取对应所述第一物体后的运动状态信息；

对所述运动状态信息进行特征提取，获得多个第一特征；

获取预设的夹具风险运动特征库，将所述第一特征与所述夹具风险运动特征库中的第一夹具风险运动特征进行匹配，若匹配符合，将匹配符合的第一夹具风险运动特征作为第二夹具风险运动特征；

查询预设的夹具风险运动特征-风险值库，确定所述第二夹具风险运动特征对应的风险值；

汇总所述风险值，获得风险值和；

若所述风险值和大于等于预设的风险值和阈值，监测所述第一夹具夹取的所述第一物体的物体状态信息；

对所述物体状态信息进行特征提取，获得多个第二特征；

获取预设的掉落特征库，将所述第二特征与所述掉落特征库中的掉落特征进行匹配，若匹配符合，基于预设的物体类型-材料库，确定所述第一夹具夹取的所述第一物体的所述物体类别对应的材料，获取所述材料对应的最大收紧力度，控制所述第一夹具收紧至所述最大收紧力度；

其中，获取所述材料对应的最大收紧力度，包括：

获取所述材料对应的最大收紧力度测试记录，所述最大收紧力度测试记录包括：多个第一记录项；

获取所述第一记录项的提供方信息，所述提供方信息包括：至少一个提供方；

获取所述提供方的信用度和价值度，基于所述信用度和价值度计算所述第一记录项的评价指数；

若所述评价指数大于等于预设的评价指数阈值，将对应所述第一记录项作为第二记录项；

获取预设的记录分析模型，将全部所述第二记录项输入所述记录分析模型，获得最大收紧力度；

获取所述记录分析模型对全部所述第二记录项进行记录分析的分析过程；

对所述分析过程进行过程分析并拆解，获得多个第一过程；

对所述第一过程进行特征提取，获得多个第三特征；

获取预设的分析错误特征库，将所述第三特征与所述分析错误特征库中的第一分析错误特征进行匹配，若匹配符合，将匹配符合的第一分析错误特征作为第二分析错误特征，同时，将对应所述第一过程作为第二过程；

查询预设的分析错误特征-影响过程库，确定所述第二分析错误特征影响的影响过程和对应第一影响值；

确定所述第一过程中除所述第二过程外是否存在所述影响过程，若是，将对应所述第一影响值作为第二影响值；

汇总所述第二影响值，获得影响值和；

若所述影响值和大于等于预设的影响值和阈值，将所述第二记录项输入所述记录分析模型获得的最大收紧力度进行作废处理，同时，将所述第二记录项发送至预设的人工分析组，进行人工分析，获取所述人工分析组回复的对应于所述材料的最大收紧力度。

8.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，还包括：

定位模块，用于对所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体进行定位；

所述定位模块执行如下操作，包括：

将所述待抓取物体组中的所述运动轨迹属于非固定路径的第一物体作为第二物体；

获取所述第二物体的第三深度图像；

从所述第三深度图像中提取所述第二物体的点云数据，对所述点云数据进行点云分割，获得点云分割结果；

提取所述点云分割结果中SIFT关键点，同时，对所述SIFT关键点进行三维特征描述，获得三维特征描述结果；

采用ICP算法，对所述三维特征描述结果进行点云匹配处理；

基于点云匹配结果，对所述第二物体进行定位。

9.如权利要求1所述的一种多夹具的机械臂无序夹取系统，其特征在于，还包括：

构建夹取对策数据库，用于基于所述机械臂中的第一夹具的历史夹取数据，对所述第一夹具的错误数据进行统计，并进行相应的预处理；

所述构建夹取对策数据库执行如下操作：

获取所述第一夹具的历史夹取数据集，所述历史夹取数据集包括：所述第一夹具历史上的夹取次数以及夹取情况；

建立时间轴，将所述历史夹取数据集内的多组数据在时间轴上展开，获得多个时间段对应的多个第一数据组；

设定第一测试事件，所述第一测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后预设的第一时间范围内夹取到所述第一物体；

获取预设的夹具测试对策库，将所述第一测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第一测试事件对应的第一应对策略组，基于第一测试事件，对所述第一应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第一测试事件进行匹配，得到第一事件匹配对；

判断所述第一数据组中是否出现所述第一测试事件，若是，确定所述时间轴上对应所述第一数据组后预设第二时间范围内的多个所述第一数据组，并作为第二数据组；

设定所述第二测试事件，所述第二测试事件包括：所述机械臂的第一夹具在夹取所述第一物体后在预设的第二时间范围内是否未能将所述第一物体夹取到所述夹取放置位置；

获取预设的夹具测试对策库，将所述第二测试事件与所述夹具测试对策库中的预备对策进行匹配，得到所述第二测试事件对应的第二应对策略组，基于第二测试事件，对所述第二应对策略组中的应对策略分别进行测试，得到对应的多个测试结果；

基于预设的测试结果分析库，分析得到所述多个测试结果的完成程度，选取所述完成程度最好的测试结果所对应的应对策略与所述第二测试事件进行匹配，得到第二事件匹配对；

将所述第一事件匹配对以及所述第二事件匹配对作为重要测试项；

获取预设的空白数据库，将所述重要测试项与对应所述机械臂夹具进行关联后存入所述空白数据库；

当需要存入所述空白数据库的所述重要测试项均与对应所述机械臂夹具进行关联后存入所述空白数据库时，将所述空白数据库作为夹取对策数据库，完成建立。

10.一种多夹具的机械臂无序夹取方法，其特征在于，包括:

步骤1:当待夹取物体组进入传输带上待夹取的范围内时，动态监测所述待夹取物体组中各个第一物体的运动状态信息；

步骤2:将所述运动状态信息转换成空间坐标信息，基于所述空间坐标信息，确定所述物体对应的点云数据；

步骤3:基于所述点云数据，确定所述第一物体的运动轨迹；

步骤4：通过蒙特卡洛树搜索分析方法，基于所述运动轨迹，确定机械臂夹取所述第一物体的最优夹取顺序，基于所述最优夹取顺序，控制所述机械臂中各个第一夹具进行相应夹取。

Images