CN114130673B - 分拣设备的控制方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种分拣设备的控制方法、装置、设备和存储介质。所述方法包括：在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作。实现了对于货物分拣过程中货物在输送小车摆放错误的自动识别和调整，降低了分拣设备的错分率。

Description

分拣设备的控制方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种分拣设备的控制方法、装置、设备和存储介质。

背景技术

随着物流及电商领域的发展，企业的物流部分需要对海量的快递包裹进行分拣。而分拣设备作为一种可以快捷地对物料进行分拣的自动化设备备受行业青睐。

但是由于环形分拣设备所分拣的是非标准的货物，即货物长宽高、重量级表面光滑度等物理属性各不相同，因此很难通过自动化设备对各种规格的货物进行上件、集包等操作，需要在分拣设备运行的过程中设置人工处理环节来对货物进行上件、集包等，这就难免会由于人为失误使得货物未按照要求被放置于分拣设备的输送小车中，增加了货物分拣过程中的错分率。

发明内容

本申请实施例提供了一种分拣设备的控制方法，以实现对于货物分拣过程中货物在输送小车摆放错误的自动识别和调整。

相应的，本申请实施例还提供了一种分拣设备的控制方法，所述分拣设备包括传输线，所述传输线上设置有输送小车；所述方法包括：

在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；

将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；

根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作。

本申请实施例还公开了一种分拣设备的控制装置，所述分拣设备包括传输线，所述传输线上设置有输送小车；所述装置包括：

获取模块，被配置为在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；

模型识别模块，被配置为将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；

控制模块，被配置为根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作。

本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。

本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。

与现有技术相比，本申请实施例包括以下优点：

在本申请实施例通过摆放类型识别模型来对输送小车的图像信息进行分析得到输送小车的货物异常摆放类型，并依据不同的货物异常摆放类型采用不同的货物落格纠错策略控制分拣设备进行落格，实现了对于货物分拣过程中货物在输送小车摆放错误的自动识别和调整，降低了分拣设备的错分率。

附图说明

图1是本申请实施例的一种分拣设备的结构示意图；

图2是本申请实施例的一种分拣设备的侧视图；

图3是本申请实施例的一种分拣设备的上包过程示意图；

图4是本申请实施例的一种分拣设备的俯视图；

图5是本申请实施例的一种分拣设备的控制系统的架构示意图；

图6是本申请的一种分拣设备的控制方法的流程示意图；

图7是本申请的一种摆放类别的识别方法的流程示意图；；

图8是本申请的一种摆放类别识别模型的结构示意图之一；

图9是本申请的一种摆放类别识别模型的结构示意图之二；

图10是本申请的一种摆放类别识别模型的结构示意图之三；

图11是本申请的一种摆放类别识别模型的结构示意图之四；

图12是本申请的一种分拣设备的控制方法的原理示意图；

图13是本申请的一种分拣设备的控制装置的结构示意图；

图14是本申请一实施例提供的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

为使本领域技术人员更好地理解本申请，以下对本申请涉及的概念进行说明：

分拣设备：用于按照货物的品类、目的地、出入库先后顺序等规则，将货物传输至对应存储位置进行暂存的设备。

货物流向：指货物沿传输线的流动方向，在分拣场景中，货物流向可以指一批分拣目标相同的货物在传输线上的流动方向，货物流向的最终目的地可以为分配的一个或多个分拣格口，分拣时可以将该货物流向下的货物输送至分配的分拣格口进行存储。

分拣班次：一个货物流向可以包括至少一个分拣班次，具体分拣时是按照依次执行每个分拣班次来完成分拣，如一个班次可以持续1小时，则10个小时中会存在10个分拣班次，由于一段时间内货物流向的货量不稳定，可能会造成货物流向的不同分拣班次的货量不同。

分拣格口：由于收纳货物的入口，可以连接有存储装置，使得沿分拣格口进入的货物被存储在对应存储装置中。另外，分拣格口沿分拣设备的传输线分布，并与传输线衔接，使得分拣设备通过传输线将货物输送至对应分拣格口。

参照图1，其示出了本申请实施例提供的一种分拣设备的结构示意图，包括：多层的传输线10，以及沿传输线10的长度方向布置的多个分拣格口20。图1示出的分拣设备的传输线10具有两层结构，包括上层传输线11和下层传输线22，进一步的，分拣设备可以为多层交叉带式分拣设备，分拣格口20可以分别设置在传输线10的相对两侧（图1中仅绘出了左侧格口），用于接收传输线10投递的货物，由图1可以看出，分拣设备的传输线10的传输方向X与分拣方向Y（货物被投递至格口的方向）交叉且垂直，传输线将承载的货物沿传输方向X输送至指定的分拣格口时，可以将货物沿分拣方向Y投递至该指定的分拣格口。另外，分拣设备还可以有更多层传输线结构，如3层、4层、5层等，本申请不再一一赘述。

具体的，参照图2，其示出了本申请实施例提供的一种分拣设备的侧视图，上层传输线11和下层传输线12可以分别将货物由不同的高度投递至同一分拣格口20。进一步参照图3，其示出了本申请实施例提供的一种分拣设备的上包过程示意图，上包过程是指向传输线10输送货物的过程，由于本申请实施例提供的多层传输线结构，可以启动多层的传输线10，同时在左右两侧分别向上层传输线11和下层传输线12输送货物，使得上包效率相较于单层分拣设备提高了2倍，上层传输线11和下层传输线12又可以同时运作以分拣货物，使得大量货物可以被同时进行分拣，大大提高了分拣的效率。

参照图2和图4，图4示出了本申请实施例提供的一种分拣设备的俯视图，其中，上包区域40用于将货物输送至传输线10，每层传输线都可以包括多个通过电机驱动的小型带式输送小车13，输送小车13包括：小车托盘131和输送带132，小车托盘131设置在通过电机驱动的输送带132上，并随着输送带的移动而移动，当移动至指定分拣格口20时，可以将小车托盘131中的货物进行投递。

相关技术中，由于在图4中的上包区域40是采用人工将货物放置于传输小车13中，因此难免会由于人为失误使得货物未按照要求被放置于分拣设备的输送小车中，导致货物分拣设备被错分的情况出现，也就是本应落入A格口的货物被投入至B格口。这就需要对未按照要求放置货物的输送小车进行纠正，以使得货物可以被落格至正确的格口中。若继续采用人工对输送小车中的货物进行检查不仅需要耗费大量人力成本，而且仍然会由于人为失误出现漏检或错检的情况出现，因此本申请实施例提出一种分拣设备的控制方法实现对于错误摆放货物的输送小车进行自动化识别和调整，以降低分拣设备的错分率。

参照图5，其示出了本申请实施例的一种分拣设备的控制系统的架构示意图。本申请实施例中，该分拣设备的控制系统可以包括:分拣设备501、计算机502，分拣设备501包括：输送小车5011、摄像设备5012。

需要说明的是，分拣设备501可以是环形分拣设备，该环形分拣设备可以是单轨单层、单轨双层、双轨双层等。计算机102可以是分拣设备101通讯连接的电子设备，例如服务器、个人计算机、手机、平板电脑等，只要具有数据处理功能来执行本申请实施例所提供步骤的算法程序，以及具有数据传输功能来与分拣设备的控制器进行数据传输即可，当然还可以是分拣设备中的处理器，从而可以直接与分拣设备的控制器进行数据传输，此处不对其加以限制。

在本申请一种分拣设备的控制方法的实施例中，该方法可以包括如下过程：

A1、在货物放入分拣设备501的输送小车5011后，摄像设备5012对输送小车5011进行拍摄，得到图像信息，并将图像信息发送至计算机501。

在本申请实施例中，摄像设备5012可以设置在分拣设备501的导入区之后约一个输送小车位置，也就是货物刚放入输送小车5011的位置，从而在货物被放置到输送小车5011，并未传送至格口进行落格前，通过摄像设备5012对输送小车5011进行拍摄得到图像信息。需要说明的是，该摄像设备5012可以包括一个或多个摄像头，每个摄像头的视点朝向不同位置的输送小车5011。其中，该多个可以为至少两个。

A2、计算机502通过摆放类型识别模型识别所述图像信息中的货物异常摆放类型，根据所述货物异常摆放类型相对应的货物落格纠错策略，向分拣设备501发送控制指令。

需要说明的是，摆放类型识别模型可以是具有图像识别功能的数学模型，该数据模型使用可以是基于计算机视觉中的目标检测算法，目标检测算法同时包含特征提取子模型、类别预测子模型和位置预测子模型，特征提取子模型用于提取图像信息中货物小车和货物的提取图像特征，位置预测子模型用于对图像特征进行回归拟合，以提取出图像特征中的高阶图像特征，类别预测子模型用于基于高阶图像特征对货物异常摆放类型进行分类，可以更加准确的定位和识别目标。数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型，数学模型是针对参照某种事物系统的特征或数量依存关系，采用数学语言，概括地或近似地表述出的一种数学结构，这种数学结构是借助于数学符号刻画出来的某种系统的纯关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合，通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。其中，数学模型描述的是系统的行为和特征而不是系统的实际结构。其中，仿真器所采用机器学习、深度学习方法等进行模型训练，机器学习方法可包括线性回归、决策树、随机森林、xgboost、lightgbm等，深度学习方法可包括卷积神经网络（Convolutional Neural Networks, CNN）、长短期记忆网络（Long Short-Term Memory，LSTM）、门控循环单元（Gated Recurrent Unit，GRU）等。

在本申请实施例中，计算机502将图像信息输入至摆放类型识别模型中，得到输送小车5011的货物异常摆放类型。若货物异常摆放类型为货物正常摆放类型，也就是输送小车5011中的货物按照要求正确摆放，则计算机502不作后续处理，由分拣设备501按照预设获取落格策略将货物传送至预设格口进行落格。若货物异常摆放类型为货物异常摆放类型，也就是输送小车5011中的货物摆放错误，则计算机502基于货物异常摆放类型相对应的货物落格纠错策略生成控制指令，分拣设备501，其中，由于货物落格纠错策略不同，控制指令所指示分拣设备501中输送小车5011执行的落格过程也不同。

A3、所述分拣设备501根据执行指令，控制所述输送小车5011执行落格纠错操作。

需要说明的是，落格纠错操作是用于对输送小车5011中的货物的摆放情况纠正的过程，该落格纠错操作可以是交由工作人员进行人工调整，也可以是通过分拣设备501调整传输过程或落格过程来对货物的摆放情况进行自动调整，具体可以根据实际需求进行设置，只要可以使得分拣设备501将输送小车5011中的货物投入正确的格口均可适用于本申请实施例，此处不对其加以限制。

参照图6，其示出本申请提供的一种分拣设备的控制方法的流程示意图，所述分拣设备包括传输线，所述传输线上设置有输送小车，该方法可以包括以下步骤：

步骤601，在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息。

如前述描述，本申请实施例的执行主体可以是与分拣设备通讯连接的计算机，该计算机可以是服务器、个人电脑、手机、平板等，只要具有数据处理功能来执行本申请实施例所提供步骤的算法程序，以及具有数据传输功能来与分拣设备进行数据传输即可，当然还可以是分拣设备中集成的处理器，从而可以直接与分拣设备进行数据传输，此处不对其加以限制。

在本申请实施例中，计算机可采用主动或被动的方式从分拣设备获取摄像设备对于导入区所拍摄到的图像信息，该图像信息中包含有输送小车，其中输送小车中可以放置货物，也可以是没有放置货物。

步骤602，将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型。

在本申请实施例中，如前述描述，摆放类型识别模型是具有图像识别能力的机器学习模型，可以对图像信息中的图像特征进行识别，以将图像信息分类为不同的货物异常摆放类型。摆放类型识别模型可以是预先通过标记有货物异常摆放类型的样本图像信息进行训练得到的，该货物异常摆放类型可以是货物正常摆放类型，用于描述货物被正确放置于输送小车中，还可以是货物异常摆放类型，用于描述货物被错误放置于输送小车中，该货物异常摆放类型可以存在一个或多个。可以理解，由于货物被错误摆放于输送小车中的方式不同，因此后续所需对其执行的落格纠错操作也不同，可以通过设置多个货物异常摆放类型来描述货物被错误放置于输送小车中的不同情况。

具体的，计算机通过将图像信息输入至摆放类型识别模型进行处理，获取到摆放类型识别模型输出的货物异常摆放类型。

步骤603，根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的落格纠错操作。

在本申请实施例中，如前述描述，若货物异常摆放类型为正常摆放类型，则计算机做后续处理，由分拣设备基于自身配置对输送小车执行预设货物落格过程。若货物摆放类型为货物异常摆放类型，则计算机通过查询策略映射关系获取到货物异常摆放类型相对应的货物落格纠错策略，该货物落格纠错策略中包含有指示分拣设备调整输送小车中货物摆放情况的控制指令，从而计算机将控制指令发送至分拣设备，以指示分拣设备控制输送小车执行落格纠错操作，使得输送小车的摆放放置正确。

在实际应用中，落格纠错操作可以是分拣设备通过控制传输带进行前后移动将货物落格至指定的格口，也可以是控制输送小车进行提前或延迟落格至指定的格口，还可以是通过交叉传输带进行转动来对输送小车中货物摆放情况进行调整，只要可以使得货物被投放到正确格口即可适用于本申请实施例，此处对其不加以限制。

本申请实施例通过摆放类型识别模型来对输送小车的图像信息进行分析得到输送小车的货物异常摆放类型，并依据不同的货物异常摆放类型采用不同的货物落格纠错策略控制分拣设备进行落格，实现了对于货物分拣过程中货物在输送小车摆放错误的自动识别和调整，降低了分拣设备的错分率。

可选地，在本申请的一些实施例中，所述摆放类型识别模型包括：图像特征提取子模型、位置预测子模型、类型预测子模型，参照图7，所述步骤602，可以包括：

步骤6021，将所述图像信息输入所述图像特征提取子模型，获取图像特征信息。

步骤6022，将所述图像特征信息分别输入所述位置预测子模型和类型预测子模型，获得视觉位置信息和与所述视觉位置信息对应的对象类型信息。

步骤6023，根据所述视觉位置信息和与所述视觉位置信息对应的对象类型信息，确定所述输送小车的货物异常摆放类型。

在本申请步骤6021至步骤6022的实施例中，参照图8，摆放类型识别模型70包括：特征提取子模型701、位置预测子模型702、类型预测子模型703、后处理子模型704。需要说明的是，特征提取子模型701可以是具有图像特征提取功能的功能模型，位置预测子模型702可以是具有位置识别功能的功能模型，类别预测子模型703可以是图像特征分类功能的分类器，后处理子模型704可以是具有特征交叉验证功能的功能模型。

具体的，首先图像特征提取子模型701从图像信息中提取图像特征，然后将所提取到的图像特征分别输入至位置预测子模型702和类型预测子模型703中，位置预测子模型702输出的视觉位置信息用于描述货物在传输小车中的位置特征，而类型预测子模型703是属于分类器，其输出的对象类型信息用于描述货物在传输车中的摆放类型，将该视觉位置信息和对象类型信息通过后处理子模型704进行后处理过程进行特征融合，即可得到输送小车的货物异常摆放类型。从而使得摆放类型识别模型可以结合图像中的视觉特征来更加准确的定位和识别货物在传输小车中的货物异常摆放类型。

可选地，在本申请的一些实施例中，所述摆放类型识别模型还包括：高度特征提取子模型；所述方法还包括：将所述特征信息输入所述高度特征提取子模型，获取货物的高度特征信息。

在本申请实施例中，高度特征信息是用于反映传输小车中货物高度的特征信息。参照图8，摆放类型识别模型70还可以包括：高度特征提取子模型705。具体的，可通过高度特征提取子模型705对图像信息高度特征信息进行提取，从而使得后续的特征提取子模型701、位置预测子模型702可以学习到高度特征信息对于货物异常摆放类型的影响知识，提高了摆放类型识别模型所识别出货物异常摆放类型的准确性。

可选地，在本申请的一些实施例中，参照图9，所述摆放类型识别模型还包括第一视角校准子模型706；所述方法还包括：将所述视觉位置信息和所述高度特征信息输入所述第一视角校准子模型，获得校准后的视觉位置信息。

在本申请实施例中，第一视觉校准子模型是用于将二维图像特征映射到三维空间下的功能模型，具体可采用二维到三维的空间映射函数依据高度特征信息对视觉位置信息进行校准，从而得到校准后的视觉位置信息。从而可以避免由于二维图像中视角偏差对于摆放状态识别模型的预测结果的负面影响，提高所识别出货物异常摆放类型的准确性。

可选地，在本申请的一些实施例中，参照图10，所述摆放类型识别模型70还包括：第二视角校准子模型707，所述位置预测子模型702包括卷积层7021和全连接层7022；所述全连接层7022用于接收所述卷积层输出的高维空间的视觉位置特征并输出二维空间的视觉位置信息，所述方法还可以包括：

S1，将所述高维空间的视觉位置特征和所述高度特征信息输入所述第二视角校准子模型，获得校准后的视觉位置信息。

在本申请实施例中，高维度空间的视觉位置特征可以是三维空间或更高维度的视觉位置特征。具体的，第二视角校准子模型通过将所接收到高维度控件的视觉位置特征依据高度特征信息通过降维处理得到三维空间下的视觉位置信息，从而使得视觉位置信息不受到二维图像中视角偏差所带来的影响。

S2，根据校准后的所述视觉位置信息和与所述视觉位置信息对应的对象类别信息，确定所述输送小车的货物异常摆放类型。

在本申请实施例中，校准视角后的视觉位置信息由于不受二维图像中视角偏差所带来的影响，因此通过该校准视角后的视觉位置信息和对象类别信息交由后处理子模型704进行融合，即可更加准确地得到输送小车的货物异常摆放类型。

可选地，在本申请的一些实施例中，所述方法还可以包括：根据所述对象类别信息对应的置信度，保留符合预设条件的视觉位置信息。

在本申请实施例中，类别预测子模型的输出结果可以包括货物在传输小车中属于不同货物异常摆放类别的置信度，置信度越高则传输小车属于该货物异常摆放类别的概率越高，因此即依据预设要求基于置信度对不同对象类别信息相对应的视觉位置信息进行筛选，从而保留下更有价值的视觉位置信息和对象类别信息。具体的，可保留所对应的对象类别信息的置信度最高的视觉位置信息，或者是保留所对应的对象类别信息的置信度取值最大前两位的视觉位置信息，具体可以根据实际需求设置，此处对其不做限制。

可选地，在本申请的一些实施例中，所述分拣设备包括至少两层传输线，所述摄像设备包括：针对各下层传输线，设置在两侧的第二摄像设备和第三摄像设备，所述第二摄像设备和第三摄像设备用于拍摄同一层下层传输线的图像信息，以及设置于传输线上方的第一摄像设备，用于拍摄顶层传输线的图像信息；其中，所述下层传输线为顶层传输线以下的任意一层传输线。

在本申请实施例中，参照图5，针对各下层传输线，设置在分拣设备501的主环上方C1位置的摄像设备5012可以是第一摄像设备，设置在分拣设备501的主环侧面C2、C3位置的摄像设备5012可以分别是第二摄像设备和第三摄像设备。可以理解，由于处于C1位置的第一摄像设备的视线受到上层传输线的阻隔，因此无法拍摄到下层传输线的图像信息，因此可采用设置主环两侧C2和C3位置的第二摄像设备和第三摄像设备来对下层传输线进行拍摄。进一步的，图5中仅是示出了双层分拣设备的情况，而对于传输线的层数多于两层的分拣设备，同样可针对每一层传输线，在主环两侧临近每层传输线且可拍摄到每层传输线的位置，设置第二摄像设备和第三摄像设备，使得每一层传输线均可由一组第二摄像设备和第三摄像设备进行拍摄，从而保证可获取到每一层传输线中传输小车的图像信息。

可选地，参照图11，在本申请的另一种可实现的实施例中，所述方法可以包括以下步骤：

步骤801，在货物被输送至所述下层传输线的输送小车的情况下，通过与所述下层传输线对应的第一摄像设备和第二摄像设备，分别获取第一图像信息和第二图像信息。

在本申请实施例中，对于具有多层传输线的分拣设备，可通过设置于每层下层传输线主环两侧的第一摄像设备和第二摄像设备分别对传输小车进行拍摄，得到不同视角的第一图像信息和第二图像信息。

步骤803，由所述摆放类型识别模型识别所述第一图像信息中，靠近所述第一摄像设备一侧的货物的货物异常摆放类型，以及识别所述第二图像信息中，靠近所述第二摄像设备一侧的货物的货物异常摆放类型。

在本申请实施例中，可将第一图像信息和第二图像信息分别输入至摆放类型识别模型进行识别，得到近所述第一摄像设备一侧的货物的货物异常摆放类型，以及靠近所述第二摄像设备一侧的货物的货物异常摆放类型。进一步的，可将这两个货物异常摆放类型中置信度较高的货物异常摆放类型作为该货物的最终货物异常摆放类型，也可以将这两个货物异常摆放类型均作为该货物的最终货物异常摆放类型，在所识别出的货物异常摆放类型不同时，可通过对第一图像信息和第二图像信息进行重新获取后再次交由摆放类型识别模型进行识别，直至所得到的两个货物异常摆放类型相同，即可得到该货物的最终货物异常摆放类型。

可选地，在本申请一些实施例中，所述步骤603，可以包括：根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作。

在本申请实施例中，目标格口是货物落格纠错策略所指示的格口，区别于分拣设备在默认配置中所需将货物投放至的预设格口。可以理解，由于输送小车中货物摆放错误，因此若直接将输送小车传送至预设格口进行落格，会导致货物被错分的情况出现，因此本申请实施例通过控制分拣设备将货物投放至货物落格纠错策略所指示的目标格口，可以避免由于货物在输送小车中摆放错误，导致货物被错分的情况出现，降低了货物分拣的错分率。

可选地，在本申请一些实施例中，参照图6，在所述货物异常摆放类型包括：空车有件类型、一车多件类型、超出车体类型中的至少一种时，所述目标格口包括：异常格口，所述步骤603，可以包括：步骤6031至步骤6032控制所述分拣设备将所述输送小车传送至异常格口进行落格，以对所述输送小车中的货物进行被动调整。

需要说明的是，异常落口是用于人工对输送小车中货物进行被动调整的螺口。空车有件类型是用于描述本应空置的输送小车中放置有货物的类型，一车多件类型是用于描述同一输送小车上放置有多个货物的类型，超出车体类型是用于描述货物的边缘超出输送小车范围的类型。

在实际应用中，若输送小车的货物异常摆放类型为空车有件类型，则计算机通过发送控制指令控制分拣设备将该输送小车传送至异常落口进行落格，以供人工将输送小车中的货物取出。

若输送小车的货物异常摆放类型为一车多件类型，则计算机通过发送控制指令控制分拣设备将该输送小车传送至异常格口进行落格，以供人工对输送小车中多出的货物取出，仅保留输送小车本应放置的货物。

若输送小车的货物异常摆放类型为超出车体类型，则计算机通过发送控制指令控制分拣设备将该输送小车传送至异常格口进行落格，以供人工对输送小车中的货物取出放置到可以容纳该货物的输送小车中。

本申请实施例通过在货物异常摆放类型包括：空车有件类型、一车多件类型、超出车体类型中的至少一种，控制分拣设备将输送小车传送至异常格口进行落格，以供人工对输送小车中的货物进行被动调整，降低了货物分拣的错分率。

可选地，在本申请一些实施例中，参照图6，在所述货物异常摆放类型包括：一件多车类型，所述一件多车类型用于描述同一货物放置于多个所述输送小车时，所述目标格口包括：异常格口，所述方法还可以包括：步骤6034，控制所述分拣设备将所述多个输送小车传送至异常格口同时进行落格，以对所述输送小车中的货物进行被动调整。

在本申请实施例中，对同一货物被放置于多个输送小车的情况，计算机通过发送控制指令，控制分拣设备将该多个输送小车同时传送至异常格口进行落格，以供人工对将该货物取出放置到正确的输送小车中，降低货物分拣的错分率。

可选地，在本申请的一些实施例中，参照图6，在所述货物异常摆放类型包括：货物位置偏离类型时，所述目标格口包括：正常格口，所述方法可以包括：步骤6035，从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量，根据所述偏移量控制所述分拣设备将所述输送小车传输至正常格口进行落格，以对所述输送小车中的货物进行主动调整。

在本申请实施例中，计算机可通过采集图像信息中货物与输送小车的坐标位置距离，然后依据摄像设备与输送小车之间的距离，对该坐标位置在实际空间中的位置进行调整来获得偏移量。可以理解，由于图像信息中货物与输送小车的坐标距离由于视角原因小于货物与输送小车的实际距离，因此可以基于摄像设备与输送小车之间的距离通过三角函数进行映射得到货物与输送小车之间的实际距离。然后依据物价与输送小车之间的实际距离与标准距离进行比对，即可得到货物相对应输送小车的偏移量。

需要说明的是，正常格口是指分拣设备对货物进行分拣的格口，区别于仅是对货物进行调整并未进行分拣的异常格口。

在本申请实施例中，计算机可根据偏移量控制分拣设备对输送小车进行旋转或倒退或者前进等移动操作来实现对于输送小车中货物放置情况的主动调整后传送至正常格口进行落格，也可以根据偏移量选择特定的正常格口进行落格，以使得分拣设备可以主动对输送小车中的货物所投入的落格进行调整，节省了人工被动调整所需的成本，提高了货物分拣的效率。

可选地，在本申请的一些实施例中，所述摄像设备包括：设置于主环上方的第一摄像设备，所述从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量的步骤，可以包括：根据所述货物的中心位置与所述输送小车的中心位置之间的距离，得到偏移量。

在本申请实施例中，对于单层分拣设备，由于第一摄像设备可以直接设置于分拣设备的主环上方，因此对于输送小车进行拍摄的视点可以是同一个，可以通过图像识别算法对图像信息中货物和输送小车的中间位置进行识别，并将两者中间位置之间的距离作为输送小车与货物之间的距离，在与标准距离进行比对即可得到输送小车与货物之间的偏移量，从而在货物分拣的过程中便捷地获取货物与输送小车之间的偏移量，提高了货物分拣的效率。

可选地，在本申请的一些实施例中，在所述摄像设备包括：分别设置于所述分拣设备的主环的第一侧面和第二侧面上的第二摄像设备和第三摄像设备时，所述图像信息包括：第一图像信息和第二图像信息，所述第一侧面和第二侧面呈相对位置关系，所述从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量的步骤，可以包括：从所述第一图像信息中获取所述货物与所述输送小车之间的第一边缘距离，从所述第二图像信息中获取所述货物与所述输送小车之间的第二边缘距离，所述第一边缘距离和所述第二边缘距离呈相对位置关系，并根据所述第一边缘距离和所述第二边缘距离的均值，得到偏移量。

在本申请实施例中，对于双层分拣设备，由于仅设置于主环上方的第二摄像设备仅能拍摄到分拣设备上层的输送小车，因此可以在主环的两侧设置进一步设置第二摄像设备和第三摄像设备对分拣设备下层的输送小车进行拍摄。

由于主环两侧的第二摄像设备的视点不同，因此设置于主环两侧的第二摄像设备分别拍摄得到的第一图像信息和第二图像信息中，输送小车和货物的位置信息也不同，需要对第一图像信息和第二图像信息中的位置信息进行统一。具体的，参照图12，计算机可通过图像识别算法对第一图像信息和第二图像信息中的货物与输送小车的边缘进行识别，得到第一图像信息中货物与输送小车之间的第一边缘距离x1、第二图像信息中货物与输送小车之间的第二边缘距离x2。进一步的，由于主环两侧的第二摄像设备的位置呈相对位置关系，因此采用加和求均值的方式获取第一边缘距离和第二边缘距离的均值作为货物与输送小车之间的实际距离(x1 + x2) / 2，再将该实际距离与标准距离进行比对，即可得到货物与输送小车之间的偏移量，从而实现了对于分拣设备下层输送小车的偏移量检测，提高了货物分拣的适用范围。

可选地，在本申请的一些实施例中，所述偏移量包括：前进方向偏移量，所述从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量的步骤，可以包括：

E1，根据所述前进方向偏移量对所述输送小车的原始落格时间进行调整，得到目标落格时间。

需要说明的是，原始落格时间是指分拣设备默认配置的输送小车进行货物落格的时间。

E2，控制所述分拣设备将所述输送小车传输至正常落格，在所述目标落格时间进行落格。

在本申请实施例中，前进方向偏移量为矢量，因此在前进方向偏移量为正值时，表明货物在输送小车中的放置位置靠前，因此可以设置早于原始落格时间的目标落格时间，以使得货物提前进行落格从而落入正常格口。在前进方向偏移量为负值时，表明货物在输送小车中的放置位置靠后，因此可以设置晚于原始落格时间的目标落格时间，以使得货物延迟进行落格从而落入正常格口。

本申请实施例通过依据输送小车与货物之间的前进方向偏移量来调整落格时间，使得货物可以被提前或延迟进行落格进入正常格口，减少了货物分拣的错分率。

可选地，所述偏移量包括：交叉带方向偏移量，所述从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量的步骤，可以包括：

F1，根据所述交叉带方向偏移量控制所述分拣设备将所述输送小车传输至交叉带进行转动调整，以使得所述货物与所述输送小车的中心重合。

需要说明的是，交叉带方向偏移量是输送小车底部平面中，与分拣设备传送前进方向处置的方向上，输送小车和货物之间的偏移量。

F2，将转动调整后的输送小车转送至正常落格进行落格。

在本申请实施例中，计算机可通过控制分拣设备的将输送小车在交叉带中进行顺时针或者逆时针转动，直至货物与输送小车的中心位置重合，即可完成对于输送小车与货物在交叉带方向上的主动调整过程，节省了人工对货物进行调整的成本，提高了货物分拣的效率。

可选地，在本申请的一些实施例中，在所述分拣设备为单层分拣设备时，所述摄像设备设置在所述单层分拣设备的主环上方。

在本申请实施例中，如前述描述，由于单层分拣设备不存在上下层结构，因此可在单层分拣设备的主环上方设置摄像设备，即可对分拣设备上的输送小车进行拍摄，从而可以准确地对单层分拣设备中输送小车的货物放置情况进行检测。

可选地，在本申请的一些实施例中，在所述分拣设备为双层分拣设备时，所述摄像设备分别设置于所述双层分拣设备主环上方和所述双层分拣设备主环侧面。

在本申请实施例中，如前述描述，由于双层分拣设备存在上下层结构，因此可通过在双层分拣设备的主环上方设置摄像设备来对分拣设备上层的输送小车进行拍摄，并通过在双层分拣设备的主环侧面设置摄像设备来对分拣设备下层的输送小车进行拍摄，从而可以准确地对双层分拣设备中输送小车的货物放置情况进行检测。

可选地，示出本申请提供的一种摆放类型识别模型的训练方法，所述方法可以包括以下步骤：

G1，获取标注有所述标准货物异常摆放类型的样本图像信息。

在本申请实施例中，样本图像信息可以是对货物摆放错误的输送小车进行拍摄得到的图像，并对根据样本图像信息中的货物摆放情况标准不同的标准货物异常摆放类型，以供后续训练使用。

G2，将所述样本图像信息输入至待训练的摆放类型识别模型进行训练，得到预测货物异常摆放类型。

在本申请实施例中，待训练的摆放类型识别模型可以是基于深度学习的二维目标检测算法，相比传统图像处理的目标检测算法，可以更加准确的定位和识别目标。利用基于深度学习的二维目标检测初步检测货物和输送小车的位置，然后可以经过摄像设备视角校准模块对样本图像信息进行校准视角偏差，最后分别经过四种货物异常摆放类型处理得到对应的结果。由于四种货物异常摆放类型检测需要经过相同的前处理，这里统一描述。

在该摆放类型识别模型中，输入样本图像信息首先经过一个特征提取子模型，这里为深层卷积神经网络，提取到图像的高级语义信息特征，然后分别经过回归分支进行位置预测，分类分支进行包裹和输送小车类型预测。此时得到的位置包含多个，即一个目标会有大量不同位置预测出来，所以需要经过一个后处理，利用每个位置框的置信度排除多余的预测框。清洗完预测框后，由于摄像设备视角问题，预测的结果为二维空间中的包裹输送小车位置，会导致预测的位置和实际的坐标之间存在一定的差异，为了缓解这种视角差异问题，经过一个视角校准模块，校准这种差异。该摆放类型识别模型具体可前述描述，此处不再赘述。

接下来对应四个货物异常摆放类型的检测：

1、一车多件类型：计算货物中心相对输送小车中心的距离，得到离货物中心最近的输送小车id，若货物还在该输送小车上，则此货物属于该输送小车运送。最后若一辆输送小车上有存在多个货物，则为一车多件类型；

2、一件多车类型：计算货物中心相对输送小车中心的距离，得到离货物中心最近的多辆输送小车id，若货物与多辆最近输送小车的IOU（Intersection-over-Union，交并比）均大于某一阈值，则为一件多车类型；

3、超出车体类型：计算货物中心相对输送小车中心的距离，得到离货物中心最近的输送小车id，若货物与该输送小车的IOU小于某一阈值，则为超出车体类型。

4、位置偏移。计算货物中心相对输送小车中心的距离，得到离货物中心最近的输送小车id。若货物还在该输送小车上，则计算货物中心相对该输送小车中心的距离L，以及货物边长和输送小车边长之和S，若L和S的比例高于某一阈值，则为位置偏移。

G3，将所述预测货物异常摆放类型和所述标准货物异常摆放类型之间的比对结果符合训练要求时，将训练后的摆放类型识别模型作为摆放类型识别模型，其中，所述摆放类型识别模型至少包括：特征提取子模型、类别预测子模型和位置预测子模型。

在本申请实施例中，特征提取子模型、类别预测子模型和位置预测子模型可参照前述描述，此处不再赘述。在摆放类型识别模型训练结束后，可通过测试集对训练后的摆放类型识别模型进行测试，具体是将测试集输入至训练后的摆放类型识别模型来获取预测货物异常摆放类型，然后与测试集的标准货物异常摆放类型进行比对。具体的，该训练要求可以是训练后的摆放类型识别模型的损失值小于损失值阈值，也可以是训练的后摆放类型识别模型的准确率小于准确率阈值等等，此处对其不加以限定。进一步的，摆放类型识别模型还可以包括视角校准器，该是视角校准器参照前述第一视角校准子模型和第二视角校准子模型的描述，需要说明的是，视角校准器可以是与摆放类型识别模型共同训练的，从而使得视角校准器可以学习到样本图像信息中的图像特征，保证模型的整体性。

在实际应用中，在摆放类型识别模型训练完成后，可部署至计算机中对分拣设备进行控制使用，从而减少了货物分拣的错分率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

在上述实施例的基础上，本实施例还提供了一种数据展示装置，应用于终端设备、服务器等电子设备中。

参照图13，其示出了本申请实施例的一种分拣设备的控制装置90的结构示意图，所述分拣设备包括传输线，所述传输线上设置有输送小车；具体可以包括：

获取模块901，被配置为在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；

模型识别模型902，被配置为将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；

控制模块，被配置为根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作。

可选地，所述摆放类型识别模型包括：图像特征提取子模型、位置预测子模型、类型预测子模型；

所述模型识别模型902，还被配置为：

将所述图像信息输入所述图像特征提取子模型，获取图像特征信息；

将所述图像特征信息分别输入所述位置预测子模型和类型预测子模型，获得视觉位置信息和与所述视觉位置信息对应的对象类型信息；

根据所述视觉位置信息和与所述视觉位置信息对应的对象类型信息，确定所述输送小车的货物异常摆放类型。

可选地，所述摆放类型识别模型还包括：高度特征提取子模型；所述模型识别模型902，还被配置为：

将所述特征信息输入所述高度特征提取子模型，获取货物的高度特征信息。

可选地，所述摆放类型识别模型还包括第一视角校准子模型；所述模型识别模型902，还被配置为：

将所述视觉位置信息和所述高度特征信息输入所述第一视角校准子模型，获得校准后的视觉位置信息；

或者，所述摆放类型识别模型还包括第二视角校准子模型，所述位置预测子模型包括卷积层和全连接层；所述全连接层用于接收所述卷积层输出的高维空间的视觉位置特征并输出二维空间的视觉位置信息，所述方法还包括：

将所述高维空间的视觉位置特征和所述高度特征信息输入所述第二视角校准子模型，获得校准后的视觉位置信息；

根据校准后的所述视觉位置信息和与所述视觉位置信息对应的对象类型信息，确定所述输送小车的货物异常摆放类型。

可选地，所述模型识别模型902，还被配置为：

根据所述对象类型信息对应的置信度，保留符合预设条件的视觉位置信息。

可选地，所述分拣设备包括至少两层传输线，所述摄像设备包括：针对各下层传输线，设置在两侧的第二摄像设备和第三摄像设备，所述第二摄像设备和第三摄像设备用于拍摄同一层下层传输线的图像信息，以及设置于传输线上方的第一摄像设备，用于拍摄顶层传输线的图像信息；其中，所述下层传输线为顶层传输线以下的任意一层传输线。

可选地，所述获取模块901，还被配置为：

在货物被输送至所述下层传输线的输送小车的情况下，通过与所述下层传输线对应的第一摄像设备和第二摄像设备，分别获取第一图像信息和第二图像信息；

所述模型识别模型902，还被配置为：

由所述摆放类型识别模型识别所述第一图像信息中，靠近所述第一摄像设备一侧的货物的货物异常摆放类型，以及识别所述第二图像信息中，靠近所述第二摄像设备一侧的货物的货物异常摆放类型。

可选地，所述控制模块903，还被配置为：

控制所述分拣设备将所述输送小车传送至所述货物落格纠错策略所指示的目标分拣格口进行落格，以对所述输送小车中的货物进行调整。

可选地，在所述货物异常摆放类型包括：空车有件类型、一车多件类型、超出车体类型中的至少一种时，所述目标格口包括：异常格口；所述控制模块903，还被配置为：

控制所述分拣设备将所述输送小车传送至异常格口进行落格，以对所述输送小车中的货物进行被动调整。

可选地，在所述货物异常摆放类型包括：一件多车类型，所述一件多车类型用于描述同一货物放置于多个所述输送小车时，所述目标格口包括：异常格口；

所述控制模块903，还被配置为：

控制所述分拣设备将所述多个输送小车传送至异常格口同时进行落格，以对所述输送小车中的货物进行被动调整。

可选地，在所述货物异常摆放类型包括：货物位置偏离类型时，所述目标格口包括：正常格口；

所述控制模块903，还被配置为：

从所述图像信息中获取所述货物与所述输送小车之间的距离，得到偏移量；

根据所述偏移量控制所述分拣设备将所述输送小车传输至正常格口进行落格，以对所述输送小车中的货物进行主动调整。

可选地，所述摄像设备包括：设置于主环上方的第一摄像设备；

所述控制模块903，还被配置为：

根据所述货物的中心位置与所述输送小车的中心位置之间的距离，得到偏移量。

可选地，在所述摄像设备包括：分别设置于所述分拣设备的主环的第一侧面和第二侧面上的第二摄像设备和第三摄像设备时，所述图像信息包括：第一图像信息和第二图像信息，所述第一侧面和第二侧面呈相对位置关系；

所述控制模块903，还被配置为：

从所述第一图像信息中获取所述货物与所述输送小车之间的第一边缘距离，从所述第二图像信息中获取所述货物与所述输送小车之间的第二边缘距离，所述第一边缘距离和所述第二边缘距离呈相对位置关系；

根据所述第一边缘距离和所述第二边缘距离的均值，得到偏移量。

可选地，所述偏移量包括：前进方向偏移量；

所述控制模块903，还被配置为：

根据所述前进方向偏移量对所述输送小车的原始落格时间进行调整，得到目标落格时间；

控制所述分拣设备将所述输送小车传输至正常落格，在所述目标落格时间进行落格。

可选地，所述偏移量包括：交叉带方向偏移量；

所述控制模块903，还被配置为：

根据所述交叉带方向偏移量控制所述分拣设备将所述输送小车传输至交叉带进行转动调整，以使得所述货物与所述输送小车的中心重合；

将转动调整后的输送小车转送至正常落格进行落格。

上述装置可参照前述方法实施例的描述类似，此处不再赘述。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块（programs），该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令（instructions）。

本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务器（集群）等各类型的设备。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括终端设备、服务器（集群）等电子设备。图14示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1000 。

对于一个实施例，图14示出了示例性装置1000，该装置具有一个或多个处理器1002、被耦合到(一个或多个)处理器1002中的至少一个的控制模块（芯片组）1004、被耦合到控制模块1004的存储器1006、被耦合到控制模块1004的非易失性存储器(NVM)/存储设备1008、被耦合到控制模块1004的一个或多个输入/输出设备1010，以及被耦合到控制模块1004的网络接口1012。

处理器1002可包括一个或多个单核或多核处理器，处理器1002可包括通用处理器或专用处理器（例如图形处理器、应用处理器、基频处理器等）的任意组合。在一些实施例中，装置1000 能够作为本申请实施例中所述终端设备、服务器（集群）等设备。

在一些实施例中，装置1000 可包括具有指令1014的一个或多个计算机可读介质(例如，存储器1006或NVM/ 存储设备1008) 以及与该一个或多个计算机可读介质相合并被配置为执行指令1014以实现模块从而执行本公开中所述的动作的一个或多个处理器1002。

对于一个实施例，控制模块1004可包括任意适当的接口控制器，以向(一个或多个)处理器1002中的至少一个和/或与控制模块1004通信的任意适当的设备或组件提供任意适当的接口。

控制模块1004可包括存储器控制器模块，以向存储器1006提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器1006可被用于例如为装置1000加载和存储数据和/或指令1014。对于一个实施例，存储器1006可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1006可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM) 。

对于一个实施例，控制模块1004可包括一个或多个输入/输出控制器，以向NVM/存储设备1008及(一个或多个)输入/输出设备1010 提供接口。

例如，NVM/存储设备1008可被用于存储数据和/或指令1014。NVM/存储设备1008可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD) 、一个或多个光盘(CD) 驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。

NVM/存储设备1008可包括在物理上作为装置1000 被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如， NVM/存储设备1008可通过网络经由(一个或多个)输入/输出设备1010 进行访问。

(一个或多个)输入/输出设备1010 可为装置1000 提供接口以与任意其他适当的设备通信，输入/输出设备1010可以包括通信组件、音频组件、传感器组件等。网络接口1012可为装置1000 提供接口以通过一个或多个网络通信，装置1000 可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器(例如，存储器控制器模块) 的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP) 。对于一个实施例， (一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例， (一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC) 。

在各个实施例中，装置1000可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1000 可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1000包括一个或多个摄像机、键盘、液晶显示器(LCD) 屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。

其中，装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据分析终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据分析终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据分析终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据分析终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、货物或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、货物或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、货物或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种数据分析方法和装置，一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种分拣设备的控制方法，其特征在于，所述分拣设备包括传输线，所述传输线上设置有输送小车；所述方法包括：

在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；

将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；

根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作；

其中，所述摆放类型识别模型包括：图像特征提取子模型、位置预测子模型、类型预测子模型；

所述将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型，包括：

将所述图像信息输入所述图像特征提取子模型，获取图像特征信息；

将所述图像特征信息分别输入所述位置预测子模型和类型预测子模型，获得视觉位置信息和与所述视觉位置信息对应的对象类型信息；

所述摆放类型识别模型还包括第一视角校准子模型；将所述视觉位置信息和货物的高度特征信息输入所述第一视角校准子模型，获得校准后的视觉位置信息；

或者，所述摆放类型识别模型还包括第二视角校准子模型，所述位置预测子模型包括卷积层和全连接层；所述全连接层用于接收所述卷积层输出的高维空间的视觉位置特征并输出二维空间的视觉位置信息，将所述高维空间的视觉位置特征和所述高度特征信息输入所述第二视角校准子模型，获得校准后的视觉位置信息；

根据校准后的所述视觉位置信息和与所述视觉位置信息对应的对象类型信息，确定所述输送小车的货物异常摆放类型。

2.根据权利要求1所述的方法，其特征在于，所述摆放类型识别模型还包括：高度特征提取子模型；所述方法还包括：

将所述特征信息输入所述高度特征提取子模型，获取所述高度特征信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述对象类型信息对应的置信度，保留符合预设条件的视觉位置信息。

4.根据权利要求1所述的方法，其特征在于，所述分拣设备包括至少两层传输线，所述摄像设备包括：针对各下层传输线，设置在两侧的第二摄像设备和第三摄像设备，所述第二摄像设备和第三摄像设备用于拍摄同一层下层传输线的图像信息，以及设置于传输线上方的第一摄像设备，用于拍摄顶层传输线的图像信息；其中，所述下层传输线为顶层传输线以下的任意一层传输线。

5.根据权利要求4所述的方法，其特征在于，所述在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息，包括：

在货物被输送至所述下层传输线的输送小车的情况下，通过与所述下层传输线对应的第一摄像设备和第二摄像设备，分别获取第一图像信息和第二图像信息；

所述将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型，包括：

由所述摆放类型识别模型识别所述第一图像信息中，靠近所述第一摄像设备一侧的货物的货物异常摆放类型，以及识别所述第二图像信息中，靠近所述第二摄像设备一侧的货物的货物异常摆放类型。

6.一种分拣设备的控制装置，其特征在于，所述分拣设备包括传输线，所述传输线上设置有输送小车；所述装置包括：

获取模块，被配置为在货物被输送至所述传输线上的输送小车情况下，通过摄像设备获取所述输送小车的图像信息；

模型识别模块，被配置为将所述图像信息输入预设的摆放类型识别模型进行识别，获得所述输送小车上的货物的货物异常摆放类型；

控制模块，被配置为根据所述货物异常摆放类型所对应的货物落格纠错策略，控制所述输送小车执行对应的货物落格纠错操作；

其中，所述摆放类型识别模型包括：图像特征提取子模型、位置预测子模型、类型预测子模型；所述模型识别模块，还被配置为将所述图像信息输入所述图像特征提取子模型，获取图像特征信息；将所述图像特征信息分别输入所述位置预测子模型和类型预测子模型，获得视觉位置信息和与所述视觉位置信息对应的对象类型信息；所述摆放类型识别模型还包括第一视角校准子模型；将所述视觉位置信息和货物的高度特征信息输入所述第一视角校准子模型，获得校准后的视觉位置信息；或者，所述摆放类型识别模型还包括第二视角校准子模型，所述位置预测子模型包括卷积层和全连接层；所述全连接层用于接收所述卷积层输出的高维空间的视觉位置特征并输出二维空间的视觉位置信息，将所述高维空间的视觉位置特征和所述高度特征信息输入所述第二视角校准子模型，获得校准后的视觉位置信息；根据校准后的所述视觉位置信息和与所述视觉位置信息对应的对象类型信息，确定所述输送小车的货物异常摆放类型。

7.一种电子设备，其特征在于，包括：处理器；和

存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-5中任一项所述的方法。

8.一种计算机可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-5中任一项所述的方法。