CN114898274A - 一种包裹检测方法和装置 - Google Patents

Abstract

本发明公开了一种包裹检测方法和装置。其特征包括：获取待检测视频，提取所述待检测视频中的待检测图像；对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。从而实现了排除非检测区域的图像，突出了图像目标检测区域的特征，减少了图像数据量，提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

Description

一种包裹检测方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种包裹检测方法和装置。

背景技术

在当今社会的生活中，快递作为日常生活中的基础服务之一，人们对快递的速度和准确率有了很高的要求。在保障快递高质量服务的过程中，包裹的分拣是其中重要的一环，高效且准确的分拣包裹有利于提高快递的服务质量。

在包裹分拣的过程中，一般采用传送带中中的挡板对包裹进行分拣。如果相关技术中，采用人工检测的方式对包裹分拣的视频进行查看以确定时候出现包裹遗撒，或者，采用包裹识别算法针对每个包裹分别进行检测，以判断是否出现包裹遗撒，这两种方式都存在检测的效率低，且容易遗撒包裹或检测包裹错误的问题。

发明内容

本发明提供了一种包裹检测方法和装置，以实现对包裹的高效率和准确率的检测。

根据本发明的一方面，提供了一种包裹检测方法，包括：

获取待检测视频，提取所述待检测视频中的待检测图像；

对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

根据本发明的另一方面，提供了一种包裹检测装置，包括：

图像提取模块，用于获取待检测视频，提取所述待检测视频中的待检测图像；

图像处理模块，用于对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

包裹检测模块，用于将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

本发明实施例的技术方案，通过获取待检测视频，提取待检测视频中的待检测图像，对待检测图像中除待检测区域之外的区域进行遮挡处理，对无需检测的区域排除非检测区域的图像，得到目标检测图像，进而突出了需要检测的目标区域的特征，减少了图像数据量。将目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。解决了现有技术中检测的效率太慢且容易遗撒包裹或检测包裹错误的技术问题，从而提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种包裹检测方法的流程图；

图2是本发明实施例二提供的另一种包裹检测方法的流程图；

图3是本发明实施例三提供的另一种包裹检测方法的流程图；

图4是本发明实施例四提供的一种包裹检测装置的结构图；

图5是实现本发明实施例的包裹检测方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

图1为本发明实施例一提供了一种包裹检测方法的流程图，本实施例可适用于包裹分拣中包裹识别检测的情况，该方法可以由包裹检测装置来执行，该包裹检测装置可以采用硬件和/或软件的形式实现，该包裹检测装置可配置于电子设备中。如图1所示，该方法包括：

S110、获取待检测视频，提取所述待检测视频中的待检测图像。

其中，待检测视频可以是由包裹分拣中通过拍摄装置拍摄的包裹分拣过程中的视频。

具体的，在包裹分拣过程中，使用多个拍摄装置拍摄整个包裹分拣过程各个方位的全部视频，进而在多个拍摄装置中选取拍摄待检测区域中的目标拍摄装置，进而将目标拍摄装置拍摄的待检测区域中视频作为待检测视频。在待检测视频中提取图像作为待检测图像。可选的，在待检测视频播放时随机截取图片作为待检测图像。

可选的，在本发明另一实施例中，所述提取所述待检测视频中的待检测图像，包括下述操作中的至少一项：

可选的，根据预设的图像提取频率从所述待检测视频中提取待检测图像；其中，预设的图像提取频率可以是任意设置的提取频率，例如可以是在每1S 内提取2张图像、在1分钟内提取10张图像和在1小时内提取1000张图像等；根据预设的图像提取频率在预设的单位时间内随机提取待检测图像，进而完成单位时间内需要提取的待检测图像数量。

可选的，从所述待检测视频中随机提取预设数量的待检测图像、其中，预设数量可以是预设设置的图像数量、用户可以在提取待检测图像前输入提取的预设数量，在待检测视频中随机提取预设数量的待检测图像。

可选的，根据预设提取时间间隔从所述待检测视频中提取待检测图像；其中，预设提取时间间隔可以是预先设置的用于提取图像的时间间隔，例如可以是5ms或10ms等。用户可以在提取待检测图像前输入预设提取时间间隔，进而在待检测视频中每隔预设提取时间间隔提取一张待检测图像。

可选的，提取所述待检测视频中的每一帧图像，分别作为待检测图像。

S120、对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像。

考虑到在包裹分拣的过程中，需要用到传送带传输包裹，属于正常的包裹分拣流程。包裹遗撒事件往往是为了检测掉落在传送带之外的区域的包裹换言之，是待检测区域内出现了包裹的情况。为了防止传送带上的包裹对检测结果的影响，可以对所述待检测图像中除待检测区域之外的区域进行遮挡处理，为准确检测出包裹遗撒事件奠定基础。

具体的,在获取到待检测图像时，确定待检测区域在待检测图像中的位置信息，进而在待检测图像中划定待检测区域，然后将待检测图像中除待检测区域之外的区域进行遮挡处理，进而得到目标检测图像。其中，对除待检测区域之外的区域进行遮挡处理可以是对图像进行模糊，以遮挡除待检测区域之外的区域。

可选的，在本发明另一实施例中，所述对所述待检测图像中的除检测区域之外的区域进行遮挡处理，包括：基于预先设置的与所述待检测图像中待检测区域对应的坐标，对所述待检测图像中除检测区域之外的区域进行遮挡处理。

具体的，基于预先设置的与待检测图像中待检测区域对应的坐标，确定待检测区域在待检测图像中的位置，进而对待检测图像中除检测区域之外的区域进行遮挡处理。可选的，在确定待检测区域在待检测图像中的对应的坐标后，根据待检测图像中的位置信息和待检测图像除待检测区域之外的区域的对应的坐标，进而确定待检测图像除待检测区域之外的区域中每个像素点的坐标，通过待检测图像除待检测区域之外的区域每个像素点的坐标进行图像置换，遮挡除待检测区域之外的区域。

为了实现对图像的快速遮挡，可以通过预设遮挡框对待检测图像中除待检测区域之外的区域进行遮挡。示例性地，遮挡框可以是设置有预设填充颜色的矩形框。

可选地，对所述待检测图像中除待检测区域之外的区域进行遮挡处理还可以是，接收针对所述待检测图像的遮挡框添加操作，在所述待检测图像中显示预设遮挡框；接收针对所述预设遮挡框输入的遮挡调整操作，以对所述待检测图像中除待检测区域之外的区域进行遮挡。其中，所述遮挡调整操作至少包括对所述预设遮挡框的尺寸进行调整的操作和/或对所述预设遮挡框的位置进行调整的操作。

可选地，还可以对所述待检测图像中除待检测区域之外的区域进行模糊处理，以遮挡所述待检测图像中除待检测区域之外的区域。

S130、将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

其中，包裹检测模型可以是用于检测目标检测图像是否存在遗撒包裹的神经网络模型。示例性的，包裹训练模型可以包括但不限于：卷积神经网络 (Convolutional NeuralNetworks,CNN)、全连接神经网络(Fully Connected Neural Network，FCN)、循环神经网络(Recurrent Neural Network,RNN) 和长短期记忆网络(Long Short-Term Memory，LSTM)中至少一种。

具体的，将目标检测图像输入至预先训练完成的包裹检测模型中，包裹检测模型输出包裹检测图像。

本发明实施例的技术方案，通过获取待检测视频，提取待检测视频中的待检测图像，对待检测图像中除待检测区域之外的区域进行遮挡处理，对无需检测的区域排除非检测区域的图像，得到目标检测图像，进而突出了需要检测的目标区域的特征，减少了图像数据量。将目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。解决了现有技术中检测的效率太慢且容易遗撒包裹或检测包裹错误的技术问题，从而提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

实施例二

图2为本发明实施例二提供的一种包裹检测方法的流程图，本实施例与上述实施例之间的关系可以是对包裹检测模型具体训练过程进一步说明，如图2所示，该方法包括：

S210、获取待检测视频，提取所述待检测视频中的待检测图像。

S220、对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像。

S230、获取样本视频，提取所述样本视频中的样本图像，对所述样本图像中的除检测区域之外的区域进行遮挡处理，得到训练图像。

其中，样本视频可以是由包裹分拣中通过拍摄装置拍摄分拣过程中的视频。

可选的，在包裹分拣过程中，可以使用样本拍摄装置拍摄待检测区域，将样本拍摄装置拍摄的待检测区域中的视频作为样本视频。进而提取样本视频中的图像作为样本图像，示例性地，可以提取所述样本视频中的每一帧图像，分别作为样本图像。在获取到样本图像后，确定待检测区域在样本图像中的位置信息，进而在样本图像中划定待检测区域，然后将样本图像中除检测区域之外的区域进行遮挡处理，进而得到训练图像。其中，对除样本区域之外的区域进行遮挡处理的方式可以与对待检测图像的处理方式相同，也可以不同。例如可以是对图像进行模糊，以遮挡除样本区域之外的区域。

可选的，在本发明另一实施例中，在所述提取所述样本视频中的样本图像之后，所述对所述样本图像中的除检测区域之外的区域进行遮挡处理之前，还包括：

对提取所述样本视频中的样本图像进行图像预处理，其中，所述图像预处理包括筛选处理、抽帧处理、清洗处理以及数据增强处理中的至少一种。

可选的，对提取样本视频中的样本图像进行图像筛选处理可以是在全部的样本图像中筛选出清晰度满足预设清晰度条件的样本图像信息。例如，可以计算每个样本图像像素值的和，进而筛选出样本图像像素值大于预设像素值的样本图像等。

可选的，对提取样本视频中的样本图像进行图像抽帧处理可以是在样本视频中，按照预设的抽帧频率确定需要抽取的样本图像。

可选的，对提取样本视频中的样本图像进行图像清洗处理可以是对所有的样本图像进行检测，检测出存在花屏、模糊、缺损的问题样本图像，将问题样本图像删除后，重新将样本图像进行排序命名。

可选的，所述对提取所述样本视频中的样本图像进行图像增强处理，包括下述操作中的至少一项：

对所述样本图像中除待检测区域之外的区域进行遮挡处理；

根据所述样本图像中的待检测区域的位置信息对所述样本图像进行裁剪, 并将裁剪得到的图像进行放大处理，以放大所述待检测区域；

在所述样本图像的待检测区域中添加包裹贴图。

类似地，对所述样本图像中除待检测区域之外的区域进行遮挡处理，能够使得包裹检测模型更加关注待检测区域内的包裹，防止正常分拣的包裹进行误识别的情况出现。

可选的，在获取到样本图像后，确定待检测区域在样本图像中的位置信息，进而在样本图像中划定待检测区域，然后将样本图像中除检测区域之外的区域进行遮挡处理，进而得到训练图像。其中，对除样本区域之外的区域进行遮挡处理可以是对图像进行模糊，以遮挡除样本区域之外的区域。

可选的，在确定待检测区域在样本图像中的对应的坐标后，根据样本图像中的位置信息和样本图像除待检测区域之外的区域的对应的坐标，进而确定样本图像除待检测区域之外的区域中每个像素点的坐标，通过样本图像除待检测区域之外的区域每个像素点的坐标进行图像置换，遮挡除待检测区域之外的区域。

考虑到拍摄装置在拍摄分拣区域的视频时，受拍摄距离和拍摄角度的影响，距离拍摄装置位置较远的遗撒包裹在图像中的显示区域往往相对较小，不容易被识别，而且包裹遗撒的真实样本也相对较少，因此，可以通过息对所述样本图像的待检测区域进行裁剪,以放大待检测区域的方式得到样本图像。

可选的，获取样本图像中的待检测区域的位置信息，确定样本图像中待检测区域的像素点坐标，根据预先设置的剪裁坐标确定待检测区域的每个待剪裁坐标对应区域的像素点坐标，然后对每个剪裁坐标对应区域的像素点进行剪裁，并将裁剪得到的图像进行放大处理，以放大待检测区域。

如前所述，在真实的样本视频中，包含遗撒包裹的样本图像相对较少，为了保证正负样本均衡，可以通过在所述样本图像的待检测区域中添加包裹贴图的形式，来增加存在遗撒包裹的样本图像，进而提升包裹检测模型对遗撒包裹的识别准确率。其中，包裹贴图可以是不同形状的包裹图像。可选的，包裹贴图可以是剪裁在其他图像待检测区域中遗落的包裹。

可选的，获取其他包括待检测区域的图像，剪裁其他包括待检测区域的图像中的包裹图像作为包裹贴图，进而在样本图像的待检测区域中添加包裹贴图。示例性的，在样本图像中待检测区域中添加包裹贴图可以将样本图像中待检测区域中部分像素值替换为包裹贴图的像素值。

S240、对所述训练图像中的遗撒包裹进行标注，得到与所述训练图像对应的期望输出图像。

具体的，在获取训练图像后，对训练图像中进行识别，识别出训练图像中的遗撒包裹，进而将训练图像中遗撒包裹进行标注，将对遗撒包裹进行标注后的训练图像作为训练图像对应的期望输出图像。

S250、将所述训练图像输入至预先建立的待训练模型中，得到模型检测图像。

其中，待训练模型可以包括但不限于：卷积神经网络(Convolutional NeuralNetworks,CNN)、全连接神经网络(Fully Connected Neural Network， FCN)、循环神经网络(Recurrent Neural Network,RNN)和长短期记忆网络(Long Short-Term Memory，LSTM)中任意一种。

具体的，将训练图像输入至预先建立的待训练模型中进行训练，待训练模型根据输入的训练图像输出相应的模型检测图像。

可选的，模型检测图像可以分为输入层(input)、神经网络主干网络层(Backbone)、网络层(Neck)、预测层(Prediction)四个层次，在输入端将获取到的样本图像，进行对样本图像Mosaic数据增强，然后通过自适应锚框计算，进而和真实框的期望输出图像进行比对，计算两者的损失，再根据两者的损失进行反向传播更新，迭代网络参数。将来自不同拍摄装置的图片统一缩放到一个标准尺寸，再送入检测网络中。在神经网络主干网络层 (Backbone)部分，图像输入采样层(Focus)结构，采用切片操作，再经过一次若干个卷积核的卷积操作，最终变成尺寸统一的特征图。在网络层(Neck) 中采用借鉴跨阶段局部网络(CSPNet)设计的CSP2结构，加强网络特征融合的能力。在预测层(Prediction)采用边框预测的损失计算(GIOU_Loss)作为模型检测图像的损失函数。

S260、根据所述模型检测图像与所述期望输出图像之间的检测损失对所述待训练模型进行调整，以得到包裹检测模型。

具体的，根据预设损失函数对模型检测图像与期望输出图像进行损失计算，确定模型检测图像与期望输出图像的检测损失，进而根据模型检测图像与期望输出图像的检测损失对待训练模型进行调整，以得到包裹检测模型。其中，预设损失函数可以是但不限于均方损失函数、平均绝对值损失函数或者交叉熵损失函数中任意一种。

S270、将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

本发明实施例的技术方案，通过获取待检测视频，提取待检测视频中的待检测图像，对待检测图像中除待检测区域之外的区域进行遮挡处理，对无需检测的区域排除非检测区域的图像，得到目标检测图像，进而突出了需要检测的目标区域的特征，减少了图像数据量。在训练包裹检测模型时，对样本图像进行图像预处理，增强了样本图像的多样性，减少了问题样本图像对模型训练的准确率的影响，同时排除传送带运动模糊的干扰，减少了模型训练的数据量将目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。解决了现有技术中检测的效率太慢且容易遗撒包裹或检测包裹错误的技术问题，从而提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

实施例三

图3为本发明实施例三提供的一种包裹检测方法的流程图，本实施例与上述实施例之间的关系可以是对包裹检测图像中检测包裹遗撒事件过程进一步说明，如图3所示，该方法包括：

S310、获取待检测视频，提取所述待检测视频中的待检测图像。

S320、对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像。

S330、将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

S340、根据所述包裹检测图像对所述包裹遗撒事件进行预警。

其中，包裹遗撒事件可以理解为基于包裹检测图像中确定出存在包裹遗撒的事件。具体的，在包裹检测图像中存在包裹遗撒时，进而确定出存在包裹遗撒事件，然后对包裹遗撒事件进行预警。

考虑到在实际包裹分拣过程中，有针对包裹遗撒事件进行处理的情况。换言之，包裹遗撒事件可能随时会消除，因此，在进行包裹遗撒事件上报时，可以结合当前帧待检测图像和前一帧待检测图像来判断是否存在包裹遗撒事件，进而，通过包裹遗撒事件进行预警。所以针对包裹遗撒事件可选的，在本发明另一实施例中，所述根据所述包裹检测图像对所述包裹遗撒事件进行预警，包括：

如果所述待检测视频中前一帧待检测图像中未标注有遗撒包裹和当前帧待检测图像对应的包裹检测图像中标注有遗撒包裹，则对所述包裹遗撒事件进行预警；如果所述待检测视频中前一帧待检测图像和当前帧待检测图像对应的包裹检测图像中均标注有遗撒包裹，则不对所述包裹遗撒事件进行预警；如果所述待检测视频中前一帧待检测图像标注有遗撒包裹，且当前帧待检测图像对应的包裹检测图像未标注有遗撒包裹，则取消对所述包裹遗撒事件的预警。

具体的，当包裹检测图像中标注有遗撒包裹时，获取当前包裹检测图像对应的待检测视频中当前帧待检测图像和待检测视频，进而获取待检测视频中前一帧的待检测图像的包裹检测图像，如果待检测视频中前一帧的待检测图像的包裹检测图像未标注有遗撒包裹，则认为此时存在包裹遗撒事件，则对裹遗撒事件进行预警；当包裹检测图像中标注有遗撒包裹时，获取当前包裹检测图像对应的待检测视频中当前帧待检测图像和待检测视频，进而获取待检测视频中前一帧的待检测图像的包裹检测图像，如果待检测视频中前一帧的待检测图像的包裹检测图像标注有遗撒包裹，则认为当前包裹遗撒事件已经进行过预警，为防止对同一包裹遗撒事件重复预警，则不对包裹遗撒事件进行预警；当包裹检测图像中未标注有遗撒包裹时，获取当前包裹检测图像对应的待检测视频中当前帧待检测图像和待检测视频，进而获取待检测视频中前一帧的待检测图像的包裹检测图像，如果待检测视频中前一帧的待检测图像的包裹检测图像标注有遗撒包裹，此时包裹遗撒事件已经得到解决，则取消对包裹遗撒事件的预警。

可选的，如果所述待检测视频中检测到预设数量的标注有遗撒包裹的待检测图像，且所述待检测图像在时序上连续，则对所述包裹遗撒事件进行预警。

具体的，当包裹检测图像中标注有遗撒包裹时，获取当前包裹检测图像对应的待检测视频中当前帧待检测图像和待检测视频，进而获取待检测视频中的待检测图像的包裹检测图像，如果待检测视频中在时序上连续的多帧待检测图像的包裹检测图像均标注有遗撒包裹，则认为当前包裹遗撒事件没有处理，则需要对当前包裹遗撒事件进行再次预警。其中，时序上连续多帧待检测图像的包裹检测图像可以是按照包裹检测图像时序进行排布后，在排布顺序上连续的多帧待检测图像的包裹检测图像。

可选的，在确定需要对包裹遗撒事件进行预警后，获取存在当前包裹遗撒事件的包裹检测图像，确定包裹检测图像所在帧的时间信息、包裹检测图像对应的待检测视频对应的拍摄装置标识以及包裹检测图像中标注遗撒包裹的数量，将所述时间信息、所述拍摄装置标识以所述包裹数量作为事件上报信息进行上报，以根据所述事件上报信息进行预警。

可选地，将每一帧包裹检测图像所在帧的时间作为遗撒包裹的掉落时间、通过包裹检测图像对应待检测视频的拍摄装置的标识确定坐标位置信息、将包裹检测图像中标注遗撒包裹的数量作为遗漏包裹的数量，进而将包裹遗撒事件的遗撒包裹的掉落时间、坐标位置信息和遗漏包裹的数量存储，并根据上报逻辑判断是否需要上报本次包裹遗撒事件。

可选的，在确定包裹遗撒时件进行预警后，根据包裹遗撒事件确定对应的包裹遗撒推送消息，将包裹遗撒推送消息推送到管理端，进而提醒对包裹遗撒事件进行处理。

本发明实施例的技术方案，通过获取待检测视频，提取待检测视频中的待检测图像，对待检测图像中除待检测区域之外的区域进行遮挡处理，对无需检测的区域排除非检测区域的图像，得到目标检测图像，进而突出了需要检测的目标区域的特征，减少了图像数据量。将目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像，根据包裹检测图像和上一帧包裹检测图像共同确定包裹遗撒事件，对包裹遗撒事件预警实时上报和取消，减少了包裹丢失误判的情况，提高了对包裹遗撒判断的准确率。解决了现有技术中检测的效率太慢且容易遗撒包裹或检测包裹错误的技术问题，从而提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

实施例四

图4为本发明实施例四提供的一种包裹检测装置的结构示意图。如图4 所示，该装置具体包括：图像提取模块410、图像处理模块420和包裹检测模块430。其中：

图像提取模块410，用于获取待检测视频，提取所述待检测视频中的待检测图像；

图像处理模块420，用于对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

包裹检测模块430，用于将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

本发明实施例的技术方案，通过获取待检测视频，提取待检测视频中的待检测图像，对待检测图像中除待检测区域之外的区域进行遮挡处理，对无需检测的区域排除非检测区域的图像，得到目标检测图像，进而突出了需要检测的目标区域的特征，减少了图像数据量。将目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。解决了现有技术中检测的效率太慢且容易遗撒包裹或检测包裹错误的技术问题，从而提高了图像检测的准确率，减少了包裹丢失、延误的概率，提升用户满意度。

可选的，所述图像提取模块410具体用于：

根据预设的图像提取频率从所述待检测视频中提取待检测图像；

从所述待检测视频中随机提取预设数量的待检测图像；

根据预设提取时间间隔从所述待检测视频中提取待检测图像；

提取所述待检测视频中的每一帧图像，分别作为待检测图像。

可选的，所述图像处理模块420具体用于：

基于预先设置的与所述待检测图像中待检测区域对应的坐标，对所述待检测图像中除检测区域之外的区域进行遮挡处理。

可选的，所述图像处理模块420之前，所述装置具体还用于：

获取样本视频，提取所述样本视频中的样本图像，对所述样本图像中的除检测区域之外的区域进行遮挡处理，得到训练图像；

对所述训练图像中的遗撒包裹进行标注，得到与所述训练图像对应的期望输出图像；

将所述训练图像输入至预先建立的待训练模型中，得到模型检测图像；

根据所述模型检测图像与所述期望输出图像之间的检测损失对所述待训练模型进行调整，以得到包裹检测模型。

可选的，所述图像处理模块420之前，所述装置具体还用于：

对提取所述样本视频中的样本图像进行图像预处理，其中，所述图像预处理包括筛选处理、抽帧处理、清洗处理以及数据增强处理中的至少一种。

可选的，所述图像处理模块420之前，所述装置具体还用于：

对所述样本图像中除待检测区域之外的区域进行遮挡处理；

根据所述样本图像中的待检测区域的位置信息对所述样本图像进行裁剪, 并将裁剪得到的图像进行放大处理，以放大所述待检测区域；

在所述样本图像的待检测区域中添加包裹贴图。

可选的，所述包裹检测模块430之后，所述装置具体还用于：

根据所述包裹检测图像对所述包裹遗撒事件进行预警。

可选的，所述包裹检测模块430之后，所述装置具体还用于：

如果所述待检测视频中前一帧待检测图像中未标注有遗撒包裹和当前帧待检测图像对应的包裹检测图像中标注有遗撒包裹，则对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像和当前帧待检测图像对应的包裹检测图像中均标注有遗撒包裹，则不对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像和当前帧待检测图像对应的包裹检测图像中均未标注有遗撒包裹，则不对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像标注有遗撒包裹，且当前帧待检测图像对应的包裹检测图像未标注有遗撒包裹，则取消对所述包裹遗撒事件的预警。

可选的，所述包裹检测模块430之后，所述装置具体还用于：

如果所述待检测视频中检测到预设数量的标注有遗撒包裹的待检测图像，且所述待检测图像在时序上连续，则对所述包裹遗撒事件进行预警。

本发明实施例所提供的包裹检测装置可执行本发明任意实施例所提供的包裹检测方法，具备执行包裹检测方法相应的功能模块和有益效果。

值得注意的是，上述包裹检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM) 13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器 11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18 加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如包裹检测方法。

在一些实施例中，包裹检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的包裹检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行包裹检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管) 或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

实施例六

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的包裹检测方法步骤，该方法包括：

获取待检测视频，提取所述待检测视频中的待检测图像；

对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种包裹检测方法，其特征在于，包括：

获取待检测视频，提取所述待检测视频中的待检测图像；

对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

2.根据权利要求1所述的方法，其特征在于，所述提取所述待检测视频中的待检测图像，包括下述操作中的至少一项：

根据预设的图像提取频率从所述待检测视频中提取待检测图像；

从所述待检测视频中随机提取预设数量的待检测图像；

根据预设提取时间间隔从所述待检测视频中提取待检测图像；

提取所述待检测视频中的每一帧图像，分别作为待检测图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像中的除检测区域之外的区域进行遮挡处理，包括：

基于预先设置的与所述待检测图像中待检测区域对应的坐标，对所述待检测图像中除检测区域之外的区域进行遮挡处理。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标检测视频输入至预先训练完成的包裹检测模型中之前，还包括：

获取样本视频，提取所述样本视频中的样本图像，对所述样本图像中的除检测区域之外的区域进行遮挡处理，得到训练图像；

对所述训练图像中的遗撒包裹进行标注，得到与所述训练图像对应的期望输出图像；

将所述训练图像输入至预先建立的待训练模型中，得到模型检测图像；

根据所述模型检测图像与所述期望输出图像之间的检测损失对所述待训练模型进行调整，以得到包裹检测模型。

5.根据权利要求4所述的方法，其特征在于，在所述提取所述样本视频中的样本图像之后，所述对所述样本图像中的除检测区域之外的区域进行遮挡处理之前，还包括：

对提取所述样本视频中的样本图像进行图像预处理，其中，所述图像预处理包括筛选处理、抽帧处理、清洗处理以及数据增强处理中的至少一种。

6.根据权利要求5所述的方法，其特征在于，所述对提取所述样本视频中的样本图像进行图像增强处理，包括下述操作中的至少一项：

对所述样本图像中除待检测区域之外的区域进行遮挡处理；

根据所述样本图像中的待检测区域的位置信息对所述样本图像进行裁剪,并将裁剪得到的图像进行放大处理，以放大所述待检测区域；

在所述样本图像的待检测区域中添加包裹贴图。

7.根据权利要求1所述的方法，其特征在于，在所述得到包裹检测图像之后，还包括：

根据所述包裹检测图像对所述包裹遗撒事件进行预警。

8.根据权利要求7所述的方法，其特征在于，所述根据所述包裹检测图像对所述包裹遗撒事件进行预警，包括：

如果所述待检测视频中前一帧待检测图像中未标注有遗撒包裹和当前帧待检测图像对应的包裹检测图像中标注有遗撒包裹，则对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像和当前帧待检测图像对应的包裹检测图像中均标注有遗撒包裹，则不对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像和当前帧待检测图像对应的包裹检测图像中均未标注有遗撒包裹，则不对所述包裹遗撒事件进行预警；

如果所述待检测视频中前一帧待检测图像标注有遗撒包裹，且当前帧待检测图像对应的包裹检测图像未标注有遗撒包裹，则取消对所述包裹遗撒事件的预警。

9.根据权利要求8所述的方法，其特征在于，还包括：

如果所述待检测视频中检测到预设数量的标注有遗撒包裹的待检测图像，且所述待检测图像在时序上连续，则对所述包裹遗撒事件进行预警。

10.一种包裹检测装置，其特征在于，包括：

图像提取模块，用于获取待检测视频，提取所述待检测视频中的待检测图像；

图像处理模块，用于对所述待检测图像中除待检测区域之外的区域进行遮挡处理，得到目标检测图像；

包裹检测模块，用于将所述目标检测图像输入至预先训练完成的包裹检测模型中，得到包裹检测图像。

Images