CN110163225A - 一种基于云平台的混杂包裹检测和识别方法、装置及系统 - Google Patents

Abstract

本发明公开的基于云平台的混杂包裹检测和识别方法、装置和系统，包括：采集图像或图像序列；从采集的图像或图像序列中提取特征信息；判断是否更新检测和识别模型：是，则向云平台发送请求，下载检测和识别模型算法参数包并更新检测和识别模型；否，则将特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。实现了动态更新包裹数据集，动态更新训练算法模型参数，动态更新检测和识别模型。并通过利用云平台进行深度学习训练，降低了对相机/相机组合端处理器配置的要求，提高了整个系统的执行效率。此外云平台可以进行检测和识别模型的训练，多个装置可以共享一个云平台训练出的检测和识别算法模型，减少成本，提高执行效率。

Description

一种基于云平台的混杂包裹检测和识别方法、装置及系统

技术领域

本发明涉及物流技术领域，尤其涉及一种基于云平台的混杂包裹检测和识别方法、装置及系统。

背景技术

近年来，网购热潮越来越强，中国电子商务市场交易规模越来越大，消费者对物流速度和物流质量的要求越来越高。在物流领域快递包裹的检测和识别是一个非常重要的技术难题，在进行快递分拣中占据举足轻重的作用。

在目前的应用场景中一般采用传统线性模型算法。线性模型使用简单的公式通过一组数据点来查找最优拟合线，通过已知的变量方程，可以求出想要预测的变量。

但是，线性模型具有过拟合的趋势，即为了得到一致假设而使假设变得过度严格。这意味着模型太适应于数据而牺牲了推广到先前未知的数据的能力。因此，这两个模型经常需要进行规范，这意味着它们有一定的惩罚(penalty)以防止过拟合。另外由于线性模型算法过于简单，所以在包裹量较大的情况下，很难准确识别包裹的形状并对包裹实时定位。

基于上述原因，目前迫切需要研制出一种新型混杂包裹检测和识别方法、装置及系统，通过其对现有技术中存在的上述问题进行改善。

发明内容

鉴于现有技术的上述缺陷或不足，期望提供一种基于云平台的混杂包裹检测和识别方法、装置及系统。本发明提供的基于云平台的混杂包裹检测和识别方法、装置及系统，可以实现静态包裹、动态包裹以及混杂包裹的实时检测和识别；还可以实现动态更新云端的包裹数据集、动态更新检测和识别算法模型，以及动态更新训练算法模型的参数；同时可以采用灵活的组网结构对混杂包裹进行识别和检测，从而解决了现有技术中存在的问题。

为实现上述目的，本申请提供了一种基于云平台的混杂包裹检测和识别方法，其中，包括：

采集图像或图像序列；

从采集的图像或图像序列中提取特征信息；

判断是否更新检测和识别模型：

是，则向云平台发送请求，下载检测和识别模型算法参数包并更新检测和识别模型；

否，则将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

进一步的，所述判断是否更新检测和识别模型，包括：

判断是否收到云平台下发的可以更新检测和识别模型的公告：

是，则更新检测和识别模型。

进一步的，所述更新检测和识别模型，包括：

判断检测和识别模型是否正在执行检测和识别任务：

是，则待检测和识别任务完成后更新检测和识别模型；

否，则立即更新检测和识别模型。

进一步的，所述基于云平台的混杂包裹检测和识别方法，还包括：

采集图像或图像序列后，判断所述图像或图像序列是否超过本端存储阈值：

是，则将所述图像或图像序列上传云平台；

否，则由本端识别所述图像或图像序列。

进一步的，将所述图像或图像序列上传至云平台，包括：

云平台接收所述图像或图像序列后，从所述图像图像序列中提取特征信息；

将所述特征信息输入检测和识别模型进行检测和识别，得到检测和识别结果并输出。

进一步的，所述基于云平台的混杂包裹检测和识别方法，还包括：

判断所述检测和识别结果是否超出本端存储阈值；

是，则将所述检测和识别结果上传至云平台；

否，则将所述检测和识别结果存储在本端并输出所述检测和识别结果。

进一步的，将所述检测和识别结果上传至云平台，包括：

将所述检测和识别结果经人工标注后上传至云平台用于训练检测和识别模型的训练和检测数据集。

另一方面，本申请提供了一种基于云平台的混杂包裹检测和识别装置，其中，包括：

图像采集单元，配置用于采集图像或图像序列；

图像提取单元，配置用于从采集的图像或图像序列中提取特征信息；

更新判断单元，配置用于判断是否更新检测和识别模型；

模型更新单元，配置用于向云平台发送请求，下载检测和识别模型算法参数包并更新检测和识别模型；

信息识别单元，配置用于将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

进一步的，所述更新判断单元包括：

判断子单元，配置用于判断是否收到云平台下发的的公告：是，则更新检测和识别模型。

进一步的，所述判断子单元包括：

判断模块，配置用于判断检测和识别模型是否正在执行检测和识别任务：

是，则待检测和识别任务完成后更新检测和识别模型；

否，则立即更新检测和识别模型。

进一步的，所述基于云平台的混杂包裹检测和识别装置，还包括：

第一存储判断单元，配置用于采集图像或图像序列后，判断所述图像或图像序列是否超过本端存储阈值；

第一传输单元，配置用于将所述图像或图像序列上传云平台。

进一步的，所述基于云平台的混杂包裹检测和识别装置还包括：

第二存储判断单元，配置用于判断所述检测和识别结果是否超出本端存储阈值；

第二传输单元，配置用于将所述检测和识别结果上传至云平台；

结果存储单元，配置用于将所述检测和识别结果存储在本端并输出所述检测和识别结果。

进一步的，所述第二通信单元包括：

标注子单元，配置用于将所述检测和识别结果经人工标注后上传至云平台用于训练检测和识别模型的训练和检测数据集。

另一方面，本申请实施例提供了一种基于云平台的混杂包裹检测和识别系统，其中，包括如上述基于云平台的混杂包裹检测和识别装置及云平台；所述基于云平台的混杂包裹检测和识别装置与云平台之间建立通信连接。

进一步的，所述云平台包括：

信息提取单元，配置用于接收所述图像或图像序列后，从所述图像图像序列中提取特征信息；

信息识别单元，配置用于将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

进一步的，所述云平台还包括：

模型更新单元，配置用于利用更新的训练和检测数据集训练新的检测和识别模型；

公告下发单元，配置用于新的检测和识别模型训练完成后，向所述混杂包裹识别装置发送可以更新检测和识别模型的公告；

模型发送单元，配置用于接收到所述混杂包裹识别装置更新检测和识别模型的请求后，将更新后的检测和识别模型算法参数包发送至发出请求的混杂包裹识别装置。

与现有技术相比，本发明的有益效果是：

1、本申请提供的基于云平台的混杂包裹检测和识别方法，可以实现静态包裹、动态包裹以及混杂包裹的实时检测和识别；同时利用了云平台的分布式计算与存储，实现了动态更新包裹数据集，动态更新训练算法模型的参数，进而动态更新检测和识别模型和参数。

2、本申请提供的基于云平台的混杂包裹检测和识别装置，由于深度学习训练过程中比较耗费资源，对硬件的要求很高。利用云平台进行深度学习训练，降低了对相机/相机组合端处理器配置的要求，降低了成本，提高了整个装置的执行效率。

3、本申请提供的基于云平台的混杂包裹检测和识别系统，采用了云平台，云平台一方面可以实现动态存储和更新云端的包裹数据集，动态存储和更新检测和识别算法模型；动态更新训练算法模型的参数；另一方面云平台和相机端可以采用灵活的组网结构进行识别和检测；同时，云平台装置可以根据请求下载最新的算法模型和参数到相机端的处理器。多个相机/相机组合可以共享一个云平台，共享云平台中训练出的检测和识别算法模型和参数，进一步减少成本，提高执行效率，从而解决了现有技术中存在的问题。而且系统后期的维护、控制和存储非常便捷。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为基于云平台混杂包裹的智能检测和识别系统的总体架构图；

图2为本申请提供的基于云平台混杂包裹的智能检测和识别系统的组网示意图；

图3为本申请提供的基于云平台混杂包裹的智能检测和识别装置的的相机/相机组合组网示意图；

图4为本申请提供的一种基于云平台混杂包裹的智能检测和识别装置安装位置示意图；

图5为本申请提供的基于云平台混杂包裹的智能检测和识别装置的运行流程图；

图6为云平台的算法模型训练及更新流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

诚如背景技术所述的，当包裹量很大时，现有包裹检测与识别采用的线性模型无法准确地检测包裹形状以及准确实时定位包裹位置。基于此，本申请提供了一种基于云平台的混杂包裹检测和识别方法。

请参考图1，混杂包裹检测和识别装置101，包括相机/相机组合104，处理器103，相机/相机组合104进行校正以后，从相机图像或者图像序列中提取特征信息，运行检测和识别模型107，实现实时地检测和识别。

云平台102主要从分布式计算及分布式存储两方面提供技术支持，便于后期维护和错误修正。通过云平台，我们可以存储物体检测和识别的数据集111，可以通过人工选择114不定时的更新训练和测试数据集，可以运行深度学习113，并训练更加有效的检测和识别模型112。选用人工选择114的主要目的是为了把检测和识别中误检率比较低的图像或图像序列，经人为标注来更新检测识别数据集，这样可以丰富训练集的特征，训练更好的算法模型。

云平台更新完算法模型后，会向混杂包裹识别装置发出可以更新模型的公告，混杂包裹识别装置接收到该公告后，会向云平台发出更新算法模型的命令要求，当云平台接收到命令请求后，会将更新后的模型算法参数包下发到相应的混杂包裹识别装置。

对于新的混杂包裹识别装置，首先需要与云平台建立可靠的通信连接，然后向云平台申请下载，云平台收到下载请求后，会将相应的算法模型包下载到混杂包裹识别装置，混杂包裹识别装置即可按照下载后的模型运行。

参考图5，图5为混杂包裹识别装置的运行流程图，相机/相机组合采集图像或者视频(图像序列)的信息501，判断是否在本端进行处理 502：可以通过发送命令触发(比如通过用户点击某个按钮触发)选择是否在本端处理图像或图像序列；也可以设定某个阈值，当采集的图像或者视频超过设定的该阈值时候，会选择将图像或图像序列上传到云平台，反之在本端进行处理。若将采集的图像或图像序列数据上传到云平台，运行检测和识别模型，得到检测和识别结果并保存503。若在本端处理图像或图像序列，则进一步判断是否需要更新算法模型参数504，：云平台更新完新的算法模型时候，会向混杂包裹识别装置发送算法/参数更新指令，混杂包裹识别装置接收到该更新指令以后，若混杂包裹识别装置处于闲置状态会立即启动更新混杂包裹识别装置的检测和识别模型；如果有任务在处理，会延后到该任务执行完毕以后再更新。若判断出混杂包裹识别装置的检测和识别模型需要更新，则混杂包裹识别装置向云平台发送更新检测和识别模型的请求，并将云平台最新的检查和识别模型算法参数下载到混杂包裹识别装置505；如果不需要更新检测和识别模型，则运行检测和识别模型，得到图像或图像序列的检测和识别结果506。混杂包裹识别装置得到检测和识别结果后，通过人工选择或根据设定的存储阈值判断是否把结果上传云平台507，当检测和识别的结果超过设定的该阈值时候，会选择上传到云平台，反之在本端进行存储，积累到一定程度后，再一起上传；如果不上传，则在本端保存和显示检测和识别结果508。若将检测和识别结果上传云平台，检测和识别结果需要经过人工选择和标注数据集509，然后把标注后的检测和识别结果(图像数据)上传到云平台，用于更新训练和检测数据集510，最后等待图像或者视频信息511。

图6为云平台的算法模型训练及更新流程图。从图6可知，首先需要人工准备包含各种包裹形状的数据集601，然后采用人工或者自动标注的方法标注数据集，把标注完的数据集存储到云平台602。从备选的物体检测和识别的深度学习模型列表603中，选取深度学习模型，根据需要修改深度学习模型的网络层级和配置604，如果需要训练模型605，云平台会根据最新的数据集训练模型606，并将训练好的算法模型参数保存在云平台607，然后如果判断收到混杂包裹识别装置的模型更新请求608，云平台会下发最新训练好的模型到发出模型请求的混杂包裹识别装置 609，最后等待检测和识别任务请求610。

在本方案中，采用深度神经网络模型实现包裹检测识别算法，根据包裹数据库图像进行训练，得到包裹检测模型；采用包裹数据集进行预训练，得到包裹检测模型，输出一个包裹边界框以及描述包裹的特征向量；包裹的图像或图像序列检测和识别的主要步骤如下：

1)将输入包裹图像划分为S*S个网格，网格负责检测包裹；

2)在训练与测试时，每个网格预测B个边界框，每个边界框对应5 个预测参数，即边界框的中心坐标(x,y)，宽高(w,h)与置信度评分 (Pr(Object)*IOU(pred|truth))，Pr(Object)表示当前模型边界框内存在包裹的可能性，IOU(pred|truth)表示边界框预测包裹位置的准确性；

3)边界框的置信度Pr(Class_i|Object)*Pr(Object)*IOU

(pred|truth)＝Pr(Class_i)*IOU(pred|truth)，Pr(Class_i|Object) 表示为存在物体情况下，属于包裹的概率；

4)若将输入图像划分为S*S网格，每个网格预测B个边界框，有C 类待检测目标，最终相当于预测长度为S*S*(B*5+C)维度向量，完成检测并识别出包裹的任务。

5)网络设计遵循GoogleNet思想，搭建24个级联卷积层和2个全连接层，其中卷积层包括3*3与1*1两种核，最后一个全连接层即网络的输出，长度为S*S*(B*5+C)。

混杂包裹检测识别装置101系统配置如下

1)相机/相机组合104，可以选择相机/相机组合(3D相机)比如 kinect2，realsense，奥比中光RGBD相机或者其它的3D相机，也可以选择相机组合，比如3D相机和2D相机的组合；

2)视觉处理板103，可以采用英伟达Jetson Tx2及其它的处理板。

云平台102主要提供离线计算，存储和云端控制等功能。

包裹数据库111即物体检测和识别数据集，包括训练集和测试集。

手工标注或者编写代码自动标注，包含不同形状的包裹，比如方形纸箱，信封扁平件，软包装，圆柱状包裹，球状包裹，异形的包裹等类别，用三维框/二维框标注物体的大小，有多种遮挡情况，并且一张图片通常有多个包裹实例。

安装相机/相机组合，将相机安装在包裹的上方或者侧上方，根据相机的具体安装位置可以确定相机所在的坐标位置，并确定相机/相机组合检测包裹的视角。

一个云平台201可以配置多个混杂包裹识别装置202，203，见图2。混杂包裹识别装置301，包括包裹检测识别处理器302、一个或多个相机 /相机组合，见图3。

图4是混杂包裹识别装置的一种安装位置示意图，一个混杂包裹识别装置，配置相机/相机组合401，根据需要可以增加到n个相机/相机组合403(n)1)。混合包裹集合404中包含信封件，方形纸箱，异形包裹等混合包裹集合，这些包裹可以放置在405静止的平台，也可以放置在运动的平台之上，运行速度<0.3m/s。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种基于云平台的混杂包裹检测和识别方法，其特征在于，包括：

采集图像或图像序列；

从采集的图像或图像序列中提取特征信息；

判断是否更新检测和识别模型：

是，则向云平台发送请求，下载检测和识别模型算法参数包并更新检测和识别模型；

否，则将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

2.根据权利要求1所述的基于云平台的混杂包裹检测和识别方法，其特征在于，所述判断是否更新检测和识别模型，包括：

判断是否收到云平台下发的可以更新检测和识别模型的公告：

是，则更新检测和识别模型。

3.根据权利要求2所述的基于云平台的混杂包裹检测和识别方法，其特征在于，所述更新检测和识别模型，包括：

判断检测和识别模型是否正在执行检测和识别任务：

是，则待检测和识别任务完成后更新检测和识别模型；

否，则立即更新检测和识别模型。

4.根据权利要求1所述的基于云平台的混杂包裹检测和识别方法，其特征在于，所述基于云平台的混杂包裹检测和识别方法，还包括：

采集图像或图像序列后，判断所述图像或图像序列是否超过本端存储阈值：

是，则将所述图像或图像序列上传云平台；

否，则由本端识别所述图像或图像序列。

5.根据权利要求4所述的基于云平台的混杂包裹检测和识别方法，其特征在于，将所述图像或图像序列上传至云平台，包括：

云平台接收所述图像或图像序列后，从所述图像图像序列中提取特征信息；

将所述特征信息输入检测和识别模型进行检测和识别，得到检测和识别结果并输出。

6.根据权利要求1所述的基于云平台的混杂包裹检测和识别方法，其特征在于，所述基于云平台的混杂包裹检测和识别方法，还包括：

判断所述检测和识别结果是否超出本端存储阈值；

是，则将所述检测和识别结果上传至云平台；

否，则将所述检测和识别结果存储在本端并输出所述检测和识别结果。

7.根据权利要求6所述的基于云平台的混杂包裹检测和识别方法，其特征在于，将所述检测和识别结果上传至云平台，包括：

将所述检测和识别结果经人工标注后上传至云平台用于训练检测和识别模型的训练和检测数据集。

8.一种基于云平台的混杂包裹检测和识别装置，其特征在于，包括：

图像采集单元，配置用于采集图像或图像序列；

图像提取单元，配置用于从采集的图像或图像序列中提取特征信息；

更新判断单元，配置用于判断是否更新检测和识别模型；

模型更新单元，配置用于向云平台发送请求，下载检测和识别模型算法参数包并更新检测和识别模型；

信息识别单元，配置用于将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

9.根据权利要求8所述的基于云平台的混杂包裹检测和识别装置，其特征在于，所述更新判断单元包括：

判断子单元，配置用于判断是否收到云平台下发的公告：是，则更新检测和识别模型。

10.根据权利要求9所述的基于云平台的混杂包裹检测和识别装置，其特征在于，所述判断子单元包括：

判断模块，配置用于判断检测和识别模型是否正在执行检测和识别任务：

是，则待检测和识别任务完成后更新检测和识别模型；

否，则立即更新检测和识别模型。

11.根据权利要求8所述的基于云平台的混杂包裹检测和识别装置，其特征在于，所述基于云平台的混杂包裹检测和识别装置，还包括：

第一存储判断单元，配置用于采集图像或图像序列后，判断所述图像或图像序列是否超过本端存储阈值；

第一传输单元，配置用于将所述图像或图像序列上传云平台。

12.根据权利要求8所述的基于云平台的混杂包裹检测和识别装置，其特征在于，所述基于云平台的混杂包裹检测和识别装置还包括：

第二存储判断单元，配置用于判断所述检测和识别结果是否超出本端存储阈值；

第二传输单元，配置用于将所述检测和识别结果上传至云平台；

结果存储单元，配置用于将所述检测和识别结果存储在本端并输出所述检测和识别结果。

13.根据权利要求12所述的基于云平台的混杂包裹检测和识别装置，其特征在于，所述第二通信单元包括：

标注子单元，配置用于将所述检测和识别结果经人工标注后上传至云平台用于训练检测和识别模型的训练和检测数据集。

14.一种基于云平台的混杂包裹检测和识别系统，其特征在于，包括如权利要求8-13所述的基于云平台的混杂包裹检测和识别装置及云平台；所述基于云平台的混杂包裹检测和识别装置与云平台之间建立通信连接。

15.根据权利要求14所述的基于云平台的混杂包裹检测和识别系统，其特征在于，所述云平台包括：

信息提取单元，配置用于接收所述图像或图像序列后，从所述图像图像序列中提取特征信息；

信息识别单元，配置用于将所述特征信息输入检测和识别模型进行识别，得到检测和识别结果并输出。

16.根据权利要求14所述的基于云平台的混杂包裹检测和识别系统，其特征在于，所述云平台还包括：

模型更新单元，配置用于利用更新的训练和检测数据集训练新的检测和识别模型；

公告下发单元，配置用于新的检测和识别模型训练完成后，向所述混杂包裹识别装置发送可以更新检测和识别模型的公告；

模型发送单元，配置用于接收到所述混杂包裹识别装置更新检测和识别模型的请求后，将更新后的检测和识别模型算法参数包发送至发出请求的混杂包裹识别装置。