CN116374474B - 一种基于机器视觉的拣选智能决策系统 - Google Patents

Abstract

本申请公开了一种基于机器视觉的拣选智能决策系统，涉及机器视觉技术领域，该航空仓储拣选系统包括拣选控制器、取货机器人、拣货机台和送货机器人，拣选控制器在确定待拣选的货物所属的目标类别以及配送目的地后，根据库存信息确定属于目标类别的货物所在的目标货篮，并控制取货机器人从仓储货架中取出目标货篮送至拣货机台。在拣货机台处通过机器视觉系统及深度学习检测算法结合从目标货篮处拣选处目标货物并输送给送货机器人，由送货机器人送至配送目的地。该系统可对仓储货架中的货物进行智能识别和柔性取货，全流程智能化程度高、支持取件范围广、拣选效率高，可满足多类型货物的复杂仓储拣选需求。

Description

一种基于机器视觉的拣选智能决策系统

技术领域

本申请涉及机器视觉技术领域，尤其是一种基于机器视觉的拣选智能决策系统。

背景技术

民用航空在生产制造中，存在多类型物料的复杂仓储拣选需求，现有的民用航空仓储拣选模式如下：（1）仓储系统接收到物料请求后，根据库存情况将物料请求下发，生成具体出库分拣任务发送至库房分拣员，引导库房分拣员根据物料请求进行物料分拣。（2）库房分拣员在进行物料分拣时，先扫描货架信息确认是否和目标货架一致，再扫描零件信息确定是否和目标物料一致，最终确认目标物料并取出，完成出库分拣任务。（3）出库分拣任务完成后，库房分拣员触发配送请求至AGV调度系统，指派合适的AGV前往库房提取并运动目标物料。另外，仓储系统按照取出的目标物料将对应货架上对应的物料数进行更新。（4）AGV到达库房指定位置，库房分拣员将目标物料放置在AGV上，AGV将目标物料配送到物料接收工位进行加工组装。

如上介绍可以看出，目前的民用航空仓储拣选模式中，拣选工序流程较为复杂，且需要大量人工参与，导致拣选效率低，难以满足离散制造过程中的海量实时用料需求。

发明内容

本申请人针对上述问题及技术需求，提出了一种基于机器视觉的拣选智能决策系统，本申请的技术方案如下：

一种基于机器视觉的拣选智能决策系统，该拣选智能决策系统包括拣选控制器、取货机器人、拣货机台和送货机器人，拣货机台包括设置在机台主体上的视觉成像模块、深度扫描模块、拾取机构和输送机，拣选控制器连接控制取货机器人、送货机器人、视觉成像模块、深度扫描模块、拾取机构和输送机；

拣选智能决策系统实现的航空仓储拣选方法包括：

拣选控制器确定拣选任务，拣选任务用于指示待拣选的货物所属的目标类别以及配送目的地；

拣选控制器根据仓储货架的库存信息确定属于目标类别的货物所在的目标货篮，并控制取货机器人从仓储货架中取出目标货篮送至拣货机台；

拣选控制器通过视觉成像模块垂直向下朝向目标货篮的开口获取原始RGB图像、通过深度扫描模块垂直向下朝向目标货篮的开口获取原始深度矩阵；

拣选控制器对原始RGB图像和原始深度矩阵进行多维信息融合得到多维信息图像，多维信息图像中的每一个像素具有RGB信息和深度信息；

拣选控制器基于多维信息图像确定目标货物的拾取位置信息；

拣选控制器根据目标货物的拾取位置信息控制拾取机构从目标货篮中拾取得到目标货物，通过输送机输送至送货机器人，并根据拾取的目标货物更新库存信息；

拣选控制器控制送货机器人将目标货物运送至配送目的地。

本申请的有益技术效果是：

本申请公开了一种基于机器视觉的拣选智能决策系统，该系统基于机器视觉系统及深度学习检测算法结合，可以实现高效率的拣选方法，可对仓储货架中的货物进行智能识别和柔性取货，全流程智能化程度高、支持取件范围广、使用效率高，可满足民用航空离散制造过程中对无序零件备品的海量实时用料需求，满足多类型货物的复杂仓储拣选需求。

附图说明

图1是本申请一个实施例中取货机器人和拣货机台的结构示意图。

图2是本申请一个实施例中取货机器人的提箱模组处的局部结构示意图。

图3是本申请一个实施例中取货机器人和仓储货架之间的结构示意图。

图4是本申请一个实施例中拣货机台上的视觉成像模块和深度扫描模块处的局部结构示意图。

图5是本申请一个实施例中拣选控制器实现的航空仓储拣选方法的流程示意图。

图6是本申请一个实施例中得到多维信息图像的处理示意图。

图7是本申请一个实施例中得到多维信息图像的处理流程示意图。

图8是本申请一个实施例中确定目标货物及其拾取位置信息的流程示意图。

图9是本申请一个实施例中目标货物与拾取吸盘接触吸附的示意图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种基于机器视觉的拣选智能决策系统，请参考图1-图3，该拣选智能决策系统包括拣选控制器、取货机器人、拣货机台和送货机器人。

取货机器人用于从仓储货架中取出货篮并送至拣货机台进行拣选，在一个实施例中，请参考图1，取货机器人包括x轴移动机构210、旋转平台220、z轴升降机构230和提箱模组240。提箱模组240设置在z轴升降机构230上，z轴升降机构230的底部设置在旋转平台220上，旋转平台220设置在x轴移动机构210上。提箱模组240用于固定所需运送的目标货篮100，z轴升降机构230带动提箱模组240沿着z方向运动，从而调整目标货篮100的高度。旋转平台220带动提箱模组240在水平面上旋转，从而调整目标货篮100的朝向方位。x轴移动机构210带动提箱模组240在水平面上沿着x方向运动，从而调整提取的目标货篮100在x方向上的位置。

在一个实施例中，请参考图2，提箱模组240包括z轴滑块241、识别相机244、测距传感器245、取货电动拉杆242以及货篮托盘246。z轴滑块241固定在z轴升降机构230上。取货电动拉杆242沿着水平方向设置在z轴滑块241上，取货电动拉杆242的末端为吸盘243。取货电动拉杆242可沿着杆长方向相对于z轴滑块241做推拉运动、使得末端的吸盘243靠近或远离z轴滑块241。为了吸取稳定性，提箱模组240一般设置多根结构相同、相互平行且联动的取货电动拉杆242。货篮托盘246固定在z轴滑块241上且位于取货电动拉杆242的推拉范围的下方。识别相机244和测距传感器245均固定在z轴滑块241上且朝向取货电动拉杆242的末端。识别相机244可以用于对提取的目标货篮100进行识别，测距传感器245可以测量与需要提取的目标货篮100之间的距离，然后通过推出取货电动拉杆242至该距离可以使得末端的吸盘243吸附在目标货篮100上，取货电动拉杆242回收可以将目标货篮100滑动取出并置于货篮托盘246上，保证运送过程中的稳定性，避免掉落。

如图3和图1所示，x轴移动机构210的两侧设置有仓储货架300，拣货机台设置在x轴移动机构210的一端处，x轴移动机构210、旋转平台220和z轴升降机构230驱动提箱模组240移动至相应的空间位置处并朝向仓储货架300的相应位置，以取出所需的目标货篮100，然后调整目标货篮100的高度和朝向方位，沿着x方向运动送至另一端的拣货机台处进行拣选。

请参考图1，拣货机台包括设置在机台主体110上的视觉成像模块120、深度扫描模块130、拾取机构140和输送机150。视觉成像模块120和深度扫描模块130均固定在机台主体110上且竖直向下，视觉成像模块120和深度扫描模块130一般设置在一起。请参考图4，深度扫描模块130包括沿着y方向排列形成阵列的若干个深度扫描传感器，在本申请，深度扫描模块130每次扫描货篮的宽度方向，因此深度扫描模块130的扫描覆盖宽度至少超过每个货篮的宽度。视觉成像模块120可以通过摄像头实现，为了有更好的视觉成像效果，视觉成像模块120周围还设置竖直向下的环形光源160。

y方向和x方向在同一水平面上相互垂直，z方向垂直于水平面，取货机器人按照目标货篮100按照长度方向沿着x方向、宽度方向沿着y方向的位姿运送至拣货机台，并首先进入视觉成像模块120和深度扫描模块130的拍摄扫描范围内进行视觉成像和深度扫描，以从目标货篮100中确定需要拾取的目标货物，然后通过设置在机台主体110上的拾取机构140拾取目标货物。

机台主体110的台面开设有落料口，输送机150设置在落料口下方，拾取机构140设置在落料口上方，拾取机构140拾取的货物可以通过落料口下落至输送机150上，输送机150可以通过输送皮带、输送滚轮等结构实现，可以输送落至输送机150上的货物。在一个实施例中，拾取机构140包括y轴移动机构141和拾取吸盘142，y轴移动机构141架设在落料口上方，拾取吸盘142设置在y轴移动机构141上且竖直向下朝向落料口，拾取吸盘142可以吸附货物实现拾取、以及释放货物实现落料。y轴移动机构141可以带动拾取吸盘142沿着y方向移动，且落料口的开口范围大于拾取吸盘142沿着y方向的移动范围，也即不管拾取吸盘142沿着y方向移动到哪个位置，拾取吸盘142拾取的货物都可以通过落料口落至输送机150。输送机150将目标货物输送至末端处的送货机器人，由送货机器人完成后续的运送，送货机器人可以采用常见的AGV来实现。

拣选控制器连接控制取货机器人、送货机器人、视觉成像模块120、深度扫描模块130、拾取机构140和输送机150。在实际实现时，取货机器人、拣货机台和送货机器人也可以有各自的控制器，拣选控制器实现总控，每个部件自带的控制器实现自身的控制和运算，构成分布式控制架构，本申请对此不做限定，仅以拣选控制器统一控制运算为例。

本申请公开的上述拣选智能决策系统所实现的航空仓储拣选方法包括如下步骤，请参考图5所示的流程图：

步骤1，拣选控制器确定拣选任务，拣选任务用于指示待拣选的货物所属的目标类别以及配送目的地。

步骤2，拣选控制器根据仓储货架的库存信息确定属于目标类别的货物所在的目标货篮，并控制取货机器人从仓储货架中取出目标货篮送至拣货机台。

仓储货架中包括若干个按行列结构排布的篮位，每个篮位处可放置一个货篮，本申请中每个货篮呈上方开口的立方体结构，货篮放置在篮位处时、其宽度面朝向外侧。每个货篮内 用于放置属于同一个类别的货物。仓储货架的库存信息记载该仓储货架中各个篮位处放置的货篮内存储的货物的类别以及数量，每个篮位可以通过空间点位信息来标定。

拣选控制器在确定拣选任务指示的目标类别后，当检测到仓储货架的库存信息中未包括该目标类别的货物，也即表示仓储货架中未存放待拣选的货物时，返回报错。当检测到仓储货架的库存信息中包括该目标类别的货物时，根据库存信息确定用于放置该目标类别的货物的货篮作为目标货篮，并确定该目标货篮所在的篮位作为目标篮位，得到该目标篮位的空间点位信息。

根据目标篮位的空间点位信息控制取货机器人运动，通过x轴移动机构210、旋转平台220和z轴升降机构230带动提箱模组240运动至识别相机244正对朝向目标货篮对应的目标篮位，以便通过提箱模组240提取该目标货篮。

在一个实施例中，货篮朝向取货机器人的外侧面且贴附有货篮编码，仓储货架的库存信息中也记载有每个货篮的货篮编码，货篮编码反映货篮中放置的货物的信息。则当取货机器人运动至识别相机244正对朝向目标货篮对应的目标篮位时，首先通过识别相机244检测目标篮位处的货篮的货篮编码并与目标货篮的货篮编码进行匹配。当通过识别相机244未检测到目标篮位处有货篮时，提取失败并返回报错。当通过识别相机244检测到目标篮位处有货篮但货篮编码与目标货篮的货篮编码不匹配时，提取失败并返回报错。当通过识别相机244检测到目标篮位处有货篮且货篮编码与目标货篮的货篮编码匹配时，确定该目标篮位处的货篮即为目标货篮，则通过测距传感器245检测与目标货篮之间提箱距离，并按照提箱距离推出取货电动拉杆242、使得取货电动拉杆242末端的吸盘243远离z轴滑块241朝向目标货篮运动直至吸附在目标货篮100的宽度方向的侧面上，然后拉回取货电动拉杆242，使得取货电动拉杆242末端的吸盘243向靠近z轴滑块241的方向运动，将目标货篮100从目标篮位中拉取出来并置于货篮托盘246上。

取货机器人通过提箱模组240从仓储货架中取出目标货篮100后，通过x轴移动机构210带动旋转平台沿着x方向朝向拣货机台运动。在沿着x方向运动的过程中，通过旋转平台220带动z轴升降机构230在水平面上旋转、调整目标货篮100在水平面上且宽度方向沿着y方向、长度方向沿着x方向，且通过z轴升降机构230带动提箱模组240在z方向上下运动至预定检测高度。使得目标货篮100在预定检测高度处沿着水平面的x方向运动并进入拣货机台的视觉成像模块2和深度扫描模块3的成像扫描范围。

步骤3，拣选控制器通过视觉成像模块2垂直向下朝向目标货篮的开口获取原始RGB图像、通过深度扫描模块3垂直向下朝向目标货篮的开口获取原始深度矩阵。

深度扫描模块3每次对平行于y方向的一个剖面位置进行深度扫描，在取货机器人运送目标货篮100沿着x方向运动的过程中，深度扫描模块3对目标货篮100的不同剖面位置进行扫描，从而获得目标货篮100所在区域的原始深度矩阵。视觉成像模块2获取到的目标货篮100所在区域的原始RGB图像。

获取到的原始RGB图像示意图如图6中的（a）所示，原始RGB图像中的每个像素点具有RGB信息。获取到的原始深度矩阵的示意图如图6中的（b）所示，原始深度矩阵中每个像素点具有深度信息。

步骤4，拣选控制器对原始RGB图像和原始深度矩阵进行多维信息融合得到多维信息图像，多维信息图像中的每一个像素具有RGB信息和深度信息。

在一个实施例中，请参考图7所示的流程图，进行多维信息融合的方法包括：

（1）对原始RGB图像进行图像分割，提取目标货篮的篮筐区域内的区域切图以及第一区域坐标。在该步骤中，需要使用到预先训练得到的篮筐分割网络，在获取到原始RGB图像后将其输入篮筐分割网络，即可分割出原始RGB图像中篮筐区域所覆盖的范围，即可提取得到篮筐区域内的区域切图以及表征篮筐区域所在位置的第一区域坐标，第一区域坐标可以利用区域切图的左上角以及右下角的坐标来标识，提取得到的区域切图的示意图如6中的（c）所示。

（2）对原始深度矩阵进行数据处理，提取目标货篮的篮筐区域内的区域深度矩阵以及第二区域坐标。包括：

（2a）以拣选额定扫描高度z_select_scan为阈值，拣选额定扫描高度z_select_scan是当目标货篮100保持在预定检测高度处时，深度扫描模块在扫描过程中与目标货篮的底部之间的固定距离。将原始深度矩阵中深度信息未超过拣选额定扫描高度的像素点的像素值置为1、将原始深度矩阵中深度信息超过拣选额定扫描高度的像素点的像素值置为0，从而将原始深度矩阵二值化处理得到对应的二值化图像，对图6中的（b）所示的原始深度矩阵处理得到的二值化图像的示意图如图（d）所示。

（2b）根据二值化图像中每一个像素列中的像素值为1的像素点的数量确定过滤阈值，二值化图像的列方向是深度扫描模块中的深度扫描传感器的排列方向，也即y方向。

一种方法是，确定每一个像素列中的像素值为1的像素点的数量，并取各个像素列中的像素值为1的像素点的数量的中位值hight_mid，然后以hight_mid*a作为过滤阈值，a是略小于1的比例系数，比如可以取a=0.9。

（2c）将二值化图像中像素值为1的像素点的数量未达到过滤阈值的像素列中的像素点的像素值均置为0，得到处理后二值图像。如图6所示，由（d）所示的二值化图像得到的处理后二值图像如（e）所示。

（2d）对处理后二值图像进行轮廓查找并得到外包围框。

（2e）提取外包围框的坐标得到第二区域坐标，提取外包围框内的原始深度矩阵得到区域深度矩阵。同样的，第二区域坐标可以利用包围框的左上角以及右下角的坐标来标识。图6中从原始深度矩阵中提取得到的区域深度矩阵如图6中的（f）的虚线框内的部分所示。

（3）根据第一区域坐标、第二区域坐标对区域切图和区域深度矩阵配准后进行多维融合，得到多维信息图像。包括：

（3a）根据第一区域坐标确定区域切图的中心点以及尺寸frame_w* frame_h，根据第二区域坐标确定区域深度矩阵的中心点以及尺寸deep_w* deep_h。由于第一区域坐标包括区域切图的左上角坐标值（x1，y1）以及右下角坐标值（x2，y2），因此区域切图的中心点的坐标为（（x1+x2）/2，（y 1+ y 2）/2），frame_w==| x1-x2|，frame_h=| y1-y2|。区域深度矩阵的中心点以及尺寸deep_w* deep_h的确定方法类似。

（3b）将区域切图的中心点与区域深度矩阵的中心点进行中心点对齐后，对区域深度矩阵进行插空值扩展至尺寸与区域切图的尺寸相同为frame_w* frame_h，得到扩充后的稀疏深度矩阵。

（3c）对扩充后的稀疏深度矩阵执行反卷积处理，将点云密度上采样至区域切图的尺寸的分辨率frame_w* frame_h，输出点云扩增后的扩增深度矩阵。

（3d）将扩增深度矩阵与区域切图进行多维融合，得到多维信息图像，多维信息图像中的任意一个像素点具有区域切图中对应像素点的RGB信息以及扩增深度矩阵中对应像素点的深度信息。多维信息图像的示意图如图6中的（g）所示。

步骤5，拣选控制器基于多维信息图像确定目标货物的拾取位置信息。包括如下步骤，请参考图8所示的流程图：

首先对多维信息图像进行图像分割得到若干个货物候选区域。该步骤的图像分割一般使用预先基于卷积神经网络训练的货物分割网络来实现，在得到多维信息图像后，将其输入预先训练的货物分割网络中，即可输出多维信息图像中各个货物候选区域的区域轮廓。

当未在多维信息图像中识别到区域轮廓时，表示该目标货篮中不存在货物，则拣选失败并返回报错。当在多维信息图像中识别到至少一个区域轮廓时，按照各个货物候选区域的区域面积从大到小的顺序，依次根据各个货物候选区域内的多维信息图像计算各个货物候选区域对应的候选货物的倾斜度。包括如下步骤：

（1）以未处理的货物候选区域中区域面积最大的货物候选区域作为当前处理的货物候选区域，对该货物候选区域的区域轮廓进行腐蚀滤波，得到滤波后的区域轮廓；

（2）对多维信息图像中位于该滤波后的区域轮廓内的像素点的深度信息进行双边滤波后，得到该货物候选区域内的局部深度矩阵。

（3）对得到的该局部深度矩阵进行最小包围框检测得到包围框边界。

在一个实施例中，首先将包围框边界内的多维信息图像与目标类别的货物的各个视图进行匹配，当确定与目标类别的货物的至少一个视图匹配时再计算倾斜度，否则直接按顺序处理下一个货物候选区域。

（4）根据包围框边界对该货物候选区域内的局部深度矩阵进行旋转角度校正，得到无旋转局部深度矩阵。

（5）根据无旋转局部深度矩阵的顶点和中心点处的像素点的深度信息计算得到货物候选区域对应的候选货物的倾斜度。

在一个实施例中，计算倾斜度的方法按包括：计算无旋转局部深度矩阵的中心点处的采样区域内的像素点的深度信息的平均值，得到中心区域深度。分别计算无旋转局部深度矩阵的每个顶点处的采样区域内的像素点的深度信息的平均值，得到四个顶点处的顶点区域深度。然后分别计算中心区域深度与四个顶点区域深度之间的深度差值，以四个深度差值中的最大值作为货物候选区域对应的候选货物的倾斜度。

在当前处理的货物候选区域对应的候选货物的倾斜度小于倾斜度阈值时，确定该候选货物的位姿正常，可以被拾取，则输出当前处理的货物候选区域的中心点的平面坐标（target_x，target_y）以及拾取高度target_z，货物候选区域的中心点的拾取高度target_z可以根据货物候选区域的中心点的深度信息标定计算得到。然后按顺序处理下一个货物候选区域。在当前处理的货物候选区域对应的候选货物的倾斜度达到倾斜度阈值时，表示该候选货物过于倾斜，难以被抓取，则直接按顺序处理下一个货物候选区域。

在处理完成所有货物候选区域得到相应的信息后，若未示出任何货物候选区域的中心点的平面坐标以及拾取高度，则拣选失败并返回报错。若输出一个货物候选区域的中心点的平面坐标以及拾取高度，则直接将该货物候选区域对应的候选货物作为目标货物，并将该货物候选区域的中心点的平面坐标以及拾取高度作为拾取位置信息。若输出多个货物候选区域的中心点的平面坐标以及拾取高度，则将其中拾取高度最高的货物候选区域对应的选货物作为目标货物，将该货物候选区域的中心点的平面坐标以及拾取高度作为拾取位置信息。

步骤6，拣选控制器根据目标货物的拾取位置信息控制拾取机构从目标货篮中拾取得到目标货物，并通过输送机输送至送货机器人。包括：根据目标货物的货物候选区域的中心点的平面坐标（target_x，target_y）中的x轴坐标target_x控制x轴移动机构带动目标货篮沿着x方向运动、根据目标货物的货物候选区域的中心点的平面坐标（target_x，target_y）中的y轴坐标target_y控制y轴移动机构带动拾取吸盘142沿着y方向运动，使得目标货物的货物候选区域的中心点的平面坐标（target_x，target_y）位于拾取吸盘142的正下方。

根据目标货物的货物候选区域的中心点的拾取高度target_z控制z轴升降机构230带动目标货篮100向上运动，使得目标货篮100中的目标货物的上表面到达拾取吸盘142处被拾取吸盘142吸取。请参考图9示出了目标货篮100中拾取高度最高的目标货物的上表面与拾取吸盘142接触并吸附的示意图。

控制取货机器人带动目标货篮100复位、不阻挡在拾取吸盘142和落料口之间，并根据被拾取的目标货物更新库存信息，也即更新目标货篮中的货物的数量。控制拾取吸盘142松开吸附的目标货物，目标货物通过落料口下落至输送机150上，由输送机150输送到末端的送货机器人处。

步骤7，拣选控制器控制送货机器人将目标货物运送至配送目的地。

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (9)

1.一种基于机器视觉的拣选智能决策系统，其特征在于，所述拣选智能决策系统包括拣选控制器、取货机器人、拣货机台和送货机器人，所述拣货机台包括设置在机台主体上的视觉成像模块、深度扫描模块、拾取机构和输送机，所述拣选控制器连接控制所述取货机器人、送货机器人、视觉成像模块、深度扫描模块、拾取机构和输送机；

所述拣选智能决策系统实现的航空仓储拣选方法包括：

所述拣选控制器确定拣选任务，所述拣选任务用于指示待拣选的货物所属的目标类别以及配送目的地；

所述拣选控制器根据仓储货架的库存信息确定属于所述目标类别的货物所在的目标货篮，并控制所述取货机器人从所述仓储货架中取出所述目标货篮送至所述拣货机台；

所述拣选控制器通过所述视觉成像模块垂直向下朝向所述目标货篮的开口获取原始RGB图像、通过所述深度扫描模块垂直向下朝向所述目标货篮的开口获取原始深度矩阵；

所述拣选控制器对所述原始RGB图像和所述原始深度矩阵进行多维信息融合得到多维信息图像，所述多维信息图像中的每一个像素具有RGB信息和深度信息；

所述拣选控制器基于所述多维信息图像确定目标货物的拾取位置信息，包括：对所述多维信息图像进行图像分割得到若干个货物候选区域；按照各个货物候选区域的区域面积从大到小的顺序，依次根据各个货物候选区域内的多维信息图像计算各个货物候选区域对应的候选货物的倾斜度；将倾斜度小于倾斜度阈值，且根据所述货物候选区域的中心点的深度信息得到的拾取高度最高的候选货物作为所述目标货物，并输出所述目标货物的货物候选区域的中心点的平面坐标以及拾取高度作为拾取位置信息；

所述拣选控制器根据所述目标货物的拾取位置信息控制所述拾取机构从所述目标货篮中拾取得到所述目标货物，通过所述输送机输送至所述送货机器人，并根据拾取的所述目标货物更新所述库存信息；

所述拣选控制器控制所述送货机器人将所述目标货物运送至所述配送目的地。

2.根据权利要求1所述的拣选智能决策系统，其特征在于，计算各个货物候选区域对应的候选货物的倾斜度的方法包括对于每个货物候选区域：

对所述货物候选区域的区域轮廓进行腐蚀滤波，得到滤波后的区域轮廓；

对所述多维信息图像中位于所述滤波后的区域轮廓内的像素点的深度信息进行双边滤波后，得到局部深度矩阵；

对所述局部深度矩阵进行最小包围框检测得到包围框边界；

根据所述包围框边界对所述局部深度矩阵进行旋转角度校正，得到无旋转局部深度矩阵；

根据所述无旋转局部深度矩阵的顶点和中心点处的像素点的深度信息计算得到所述货物候选区域对应的候选货物的倾斜度。

3.根据权利要求2所述的拣选智能决策系统，其特征在于，计算得到所述货物候选区域对应的候选货物的倾斜度的方法包括：

计算所述无旋转局部深度矩阵的中心点处的采样区域内的像素点的深度信息的平均值，得到中心区域深度；

分别计算所述无旋转局部深度矩阵的每个顶点处的采样区域内的像素点的深度信息的平均值，得到四个顶点处的顶点区域深度；

分别计算中心区域深度与四个顶点区域深度之间的深度差值，以四个深度差值中的最大值作为所述货物候选区域对应的候选货物的倾斜度。

4.根据权利要求1所述的拣选智能决策系统，其特征在于，对所述原始RGB图像和所述原始深度矩阵进行多维信息融合得到多维信息图像的方法包括：

对所述原始RGB图像进行图像分割，提取所述目标货篮的篮筐区域内的区域切图以及第一区域坐标；

对所述原始深度矩阵进行数据处理，提取所述目标货篮的篮筐区域内的区域深度矩阵以及第二区域坐标；

根据所述第一区域坐标、第二区域坐标对所述区域切图和区域深度矩阵配准后进行多维融合，得到所述多维信息图像。

5.根据权利要求4所述的拣选智能决策系统，其特征在于，根据所述第一区域坐标、第二区域坐标对所述区域切图和区域深度矩阵配准后进行多维融合的方法包括：

根据所述第一区域坐标确定所述区域切图的中心点以及尺寸，根据所述第二区域坐标确定所述区域深度矩阵的中心点以及尺寸；

将所述区域切图的中心点与所述区域深度矩阵的中心点进行中心点对齐后，对所述区域深度矩阵进行插空值扩展至尺寸与所述区域切图的尺寸相同，得到扩充后的稀疏深度矩阵；

对所述扩充后的稀疏深度矩阵执行反卷积处理，将点云密度上采样至所述区域切图的尺寸的分辨率，输出点云扩增后的扩增深度矩阵；

将所述扩增深度矩阵与所述区域切图进行多维融合，得到所述多维信息图像，所述多维信息图像中的任意一个像素点具有所述区域切图中对应像素点的RGB信息以及所述扩增深度矩阵中对应像素点的深度信息。

6.根据权利要求4所述的拣选智能决策系统，其特征在于，提取所述区域深度矩阵以及第二区域坐标的方法包括：

以拣选额定扫描高度为阈值，将所述原始深度矩阵中深度信息未超过所述拣选额定扫描高度的像素点的像素值置为1、将所述原始深度矩阵中深度信息超过所述拣选额定扫描高度的像素点的像素值置为0，从而将所述原始深度矩阵二值化处理得到对应的二值化图像，所述拣选额定扫描高度是所述深度扫描模块在扫描过程中与所述目标货篮的底部之间的固定距离；

根据所述二值化图像中每一个像素列中的像素值为1的像素点的数量确定过滤阈值，所述二值化图像的列方向是所述深度扫描模块中的深度扫描传感器的排列方向；

将所述二值化图像中像素值为1的像素点的数量未达到所述过滤阈值的像素列中的像素点的像素值均置为0，得到处理后二值图像；

对所述处理后二值图像进行轮廓查找并得到外包围框；

提取所述外包围框的坐标得到所述第二区域坐标，提取所述外包围框内的所述原始深度矩阵得到所述区域深度矩阵。

7.根据权利要求1所述的拣选智能决策系统，其特征在于，所述取货机器人包括x轴移动机构、旋转平台、z轴升降机构和提箱模组，所述提箱模组设置在所述z轴升降机构上，所述z轴升降机构的底部设置在所述旋转平台上，所述旋转平台设置在所述x轴移动机构上；

所述拣货机台设置在所述x轴移动机构的一端处，所述x轴移动机构的两侧设置所述仓储货架；所述深度扫描模块包括沿着y方向排列形成阵列的深度扫描传感器且扫描覆盖宽度超过每个货篮的宽度；

所述取货机器人将所述目标货篮送至所述拣货机台的方法包括：

所述取货机器人通过所述提箱模组从所述仓储货架中取出所述目标货篮后，通过所述x轴移动机构带动所述旋转平台沿着x方向朝向所述拣货机台运动；在朝向所述拣货机台运动的过程中，通过所述旋转平台带动所述z轴升降机构在水平面上旋转、调整所述目标货篮在水平面上且宽度方向沿着y方向，通过所述z轴升降机构带动所述提箱模组在z方向上下运动至预定检测高度；y方向和x方向在同一水平面上相互垂直，z方向垂直于水平面。

8.根据权利要求7所述的拣选智能决策系统，其特征在于，所述拾取机构包括y轴移动机构以及设置在所述y轴移动机构上且竖直向下的拾取吸盘，根据所述目标货物的拾取位置信息控制所述拾取机构从所述目标货篮中拾取得到所述目标货物的方法包括：

根据所述目标货物的货物候选区域的中心点的平面坐标中的x轴坐标控制所述x轴移动机构带动所述目标货篮沿着x方向运动、根据所述目标货物的货物候选区域的中心点的平面坐标中的y轴坐标控制所述y轴移动机构带动所述拾取吸盘沿着y方向运动，使得所述目标货物的货物候选区域的中心点的平面坐标位于所述拾取吸盘的正下方；

根据所述目标货物的货物候选区域的中心点的拾取高度控制所述z轴升降机构带动所述目标货篮向上运动，使得所述目标货篮中的所述目标货物的上表面到达所述拾取吸盘处被所述拾取吸盘吸取。

9.根据权利要求7所述的拣选智能决策系统，其特征在于，所述提箱模组包括z轴滑块、识别相机、测距传感器、取货电动拉杆以及货篮托盘，所述z轴滑块固定在所述z轴升降机构上；

所述取货电动拉杆沿着水平方向设置在所述z轴滑块上，所述取货电动拉杆的末端为吸盘，所述取货电动拉杆可沿着杆长方向做推拉运动使得末端的吸盘靠近或远离所述z轴滑块；所述货篮托盘固定在所述z轴滑块上且位于所述取货电动拉杆的推拉范围的下方；所述识别相机和所述测距传感器均固定在所述z轴滑块上且朝向所述取货电动拉杆的末端；

所述取货机器人从所述仓储货架中取出所述目标货篮的方法包括：

通过x轴移动机构、旋转平台和z轴升降机构带动所述提箱模组运动至所述识别相机朝向所述目标货篮对应的目标篮位后，通过所述识别相机检测所述目标篮位处的货篮的货篮编码并与所述目标货篮的货篮编码进行匹配；

当确定所述目标篮位处的货篮为所述目标货篮后，通过所述测距传感器检测与所述目标货篮的提箱距离，并按照所述提箱距离推出所述取货电动拉杆、使得所述取货电动拉杆末端的吸盘远离所述z轴滑块朝向所述目标货篮运动；

当所述取货电动拉杆末端的吸盘吸取到所述目标货篮后，拉回所述取货电动拉杆，使得所述取货电动拉杆末端的吸盘向靠近所述z轴滑块的方向运动，将所述目标货篮从所述目标篮位中拉取出来并置于所述货篮托盘上。