CN112037177A

CN112037177A - 一种车厢装载率的评估方法和装置以及存储介质

Info

Publication number: CN112037177A
Application number: CN202010790566.4A
Authority: CN
Inventors: 卓钟烁; 王枫
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2020-12-04

Abstract

本申请公开了一种车厢装载率的评估方法和装置以及存储介质，属于图像处理技术领域。本申请公开的车厢装载率的评估方法首先利用不同的卷积神经网络对包含车车厢口的预处理图像进行图像语义分割，分别得到车厢口预测图和货物预测图；然后利用阈值分割方法分别处理车厢口预测图和货物预测图得到车厢口二值图和货物二值图；再利用车厢口二值图中车厢口所占的第一区域与货物二值图中货物所占的第二区域的交并比获得车厢装载率。本申请通过分析仓库监控摄像头的视频数据评估车厢装载率，能够快速准确地获得车厢装载率数据，从而提高仓库管理效率。

Description

一种车厢装载率的评估方法和装置以及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种车厢装载率的评估方法和装置以及存储介质。

背景技术

随着电子商务快速发展，国民经济加快转型，我国的物流行业得到长足的发展。数以万计的物流包裹给物流仓库管理带来了巨大的挑战，需要加快物流仓库的信息化和数字化，提高仓库运营效率。物流货车是物流仓库管理中重要的部分，提高货车的车厢装载率有助于提高货物流通效率。现有技术通常依据人工判断的结果来评估车厢装载率，或者利用车载传感器检测货物尺寸从而计算车厢装载率，人工判断的方法导致无法将信息及时反馈给管理系统，且效率较低并带来额外的人力成本问题，而车载传感器的方法由于货物形状多样、密度不一，导致难以准确获得货物的体积和重量，从而导致车厢装载率的计算不够准确。因此，需要快速准确地评估车厢装载率。

发明内容

本申请主要解决的技术问题是提供一种车厢装载率的评估方法和装置以及存储介质，能够通过分析仓库监控摄像头的视频数据评估车厢装载率，快速准确地获得车厢装载率数据。

为解决上述技术问题，本申请采用的一个技术方案是：

提供一种车厢装载率的评估方法，包括：

将包含车厢口的预处理图像分别利用不同的卷积神经网络进行图像语义分割，以分别获取车厢口预测图和货物预测图；

将所述车厢口预测图和所述货物预测图分别进行阈值分割，以分别得到车厢口二值图和货物二值图；

基于所述车厢口二值图获取车厢口所占的第一区域；基于所述货物二值图获取货物所占的第二区域；获取所述第一区域所占面积和所述第二区域所占面积的交并比；

基于所述交并比，获取车厢装载率。

为解决上述技术问题，本申请采用的另一个技术方案是：

提供一种车厢装载率的评估装置，包括相互耦接的处理器和存储器，所述存储器上存储有程序指令，所述处理器能够执行所述程序指令以实现如上述技术方案所述的车厢装载率的评估方法。

为解决上述技术问题，本申请采用的另一个技术方案是：

提供一种计算机可读存储介质，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行以实现如上述技术方案所述的车厢装载率的评估方法。

本申请的有益效果是：区别于现有技术的情况，本申请提供的车厢装载率的评估方法首先利用不同的卷积神经网络对包含车车厢口的预处理图像进行图像语义分割，分别得到车厢口预测图和货物预测图；然后利用阈值分割方法分别处理车厢口预测图和货物预测图得到车厢口二值图和货物二值图；再利用车厢口二值图中车厢口所占的第一区域与货物二值图中货物所占的第二区域的交并比获得车厢装载率。本申请通过分析仓库监控摄像头的视频数据中包含车厢口的预处理图像来评估车厢装载率，能够快速准确地获得车厢装载率数据，从而提高仓库管理效率。

附图说明

为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请车厢装载率的评估方法一实施方式的流程示意图；

图2为图1中步骤S11之前包括的步骤一实施方式的流程示意图；

图3为预处理图像的示例图；

图4a为根据图3所示预处理图像得到的车厢口预测图；

图4b为根据图3所示预处理图像得到的货物预测图；

图5a为根据图4a所示车厢口预测图得到的车厢口二值图；

图5b为根据图4b所示货物预测图得到的货物二值图；

图6为图1中步骤S13包括的步骤一实施方式的流程示意图；

图7为车厢装载率随交并比的变化曲线示意图；

图8为货物二值图与预处理图像叠加的示例图；

图9为本申请车厢装载率的评估装置一实施方式的结构示意图；

图10为本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

请参阅图1，图1为本申请车厢装载率的评估方法一实施方式的流程示意图，该评估方法包括如下步骤：

S11，将包含车厢口的预处理图像分别利用不同的卷积神经网络进行图像语义分割，以分别获取车厢口预测图和货物预测图。

现有物流仓库中通常分布有大量固定的监控摄像头，能够从各个角度拍摄到物流货车的车厢。当车厢门完全打开或非完全打开时，则能够拍摄到车厢口以及装载于车厢内部的货物。

请参阅图2，图2为图1中步骤S11之前包括的步骤一实施方式的流程示意图。本实施方式在执行上述步骤S11之前，即在将包含车厢口的预处理图像分别利用不同的卷积神经网络进行图像语义分割的步骤之前，还包括如下步骤：

S101，获取监控视频中的包含车厢口的视频帧图像，并将视频帧图像缩放至预定尺寸。

从能够拍摄到待计算车厢装载率的货车车厢口的摄像头监控视频中获取包含车厢口的视频帧图像，即在车厢门完全打开或非完全打开暴露出其内部时的视频帧图像，并将该视频帧图像缩放至预定尺寸，例如缩放至512像素乘以512像素。即当视频帧图像较大时，将其缩小至预定尺寸，当视频帧图像较小时，将其放大至预定尺寸。当然，在其他实施方式中，也可以缩放至其他合适的尺寸。

S102，将视频帧图像的各像素点进行归一化处理，使各像素点的各个通道的像素值均介于0到1之间，得到预处理图像。

从监控视频中获取的视频帧图像通常由RGB三通道表达，每个通道中像素点的像素值介于0到255之间，将其缩放至预定尺寸之后，需要将视频帧图像的RGB三通道的各像素点进行归一化处理，使得RGB三个通道中每个像素点的像素值均介于0到1之间，从而得到能够输入车厢口全卷积分割网络和货物全卷积分割网络的预处理图像。具体地，可将RGB三通道中各像素点的像素值除以255以进行归一化处理，归一化的数据预处理有利于全卷积分割网络的收敛。请参阅图3，图3为预处理图像的示例图(图3为灰度图，实际处理过程中为彩色图)。

在图像处理技术领域，图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环，也是AI领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。为了提升图像主义分割效果，后续发展出了更为先进的全卷积分割网络(FullyConvolutional Networks，FCN)。自从提出后，FCN已经成为语义分割的基本框架，后续算法其实都是在这个框架中改进而来。本申请使用基于全卷积神经网络FCN的方法对物流货车的车厢装载率进行估计。

本申请利用的卷积神经网络包括车厢口全卷积分割网络(Logistics Car Net，LCNet)和货物全卷积分割网络(Logistics Package Net，LPNet)。在将上述归一化处理之后的包含车厢口的预处理图像分别利用不同的卷积神经网络进行图像语义分割的步骤之前，本实施方式还包括如下步骤：

分别训练车厢口全卷积分割网络和货物全卷积分割网络。以使车厢口全卷积分割网络LCNet将预处理图像中车厢的内部区域和其他区域的像素点进行分类，从而将内部区域和其他区域进行区域划分，得到车厢口预测图；以及使货物全卷积分割网络LPNet将预处理图像中货物所在的区域和其他区域的像素点进行分类，从而将货物所在的区域和其他区域进行区域划分，得到货物预测图。从LCNet和LPNet两个全卷积分割网络输出的车厢口预测图和货物预测图的像素灰度值都介于0到1之间，其中，灰度值越接近0表示越有可能是目标(车厢内部区域或者货物所占区域)，灰度值越接近1表示越有可能是背景(车厢口或者货物之外的其他区域)。为了方便可视化，将两种预测图各像素点的灰度值乘以255，从而将目标可视化为黑色，背景可视化为白色，在目标和背景的分界处存在一些无法被准确分类的像素点，呈现为灰色。具体如图4a和图4b所示，图4a为根据图3所示预处理图像得到的车厢口预测图，图4b为根据图3所示预处理图像得到的货物预测图。

S12，将车厢口预测图和货物预测图分别进行阈值分割，以分别得到车厢口二值图和货物二值图。

因为从车厢口全卷积分割网络LCNet输出的车厢口预测图中，车厢内部区域和其他区域的分界处存在一些无法被准确分类的呈现为灰色的像素点，从货物全卷积分割网络LPNet输出的货物预测图中，货物所占区域和其他区域的分界处也存在一些无法被准确分类的呈现为灰色的像素点，所以需要对车厢口预测图和货物预测图进行进一步处理，将上述无法被准确分类的像素点进行进一步分类，从而得到车厢口二值图和货物二值图。

具体地，将车厢口预测图和货物预测图分别进行阈值分割的步骤可以包括如下步骤：

将车厢口预测图中灰度值小于阈值的像素点的灰度值重新赋值为0，而灰度值不小于阈值的像素点的灰度值重新赋值为1，以得到车厢口二值图，其中，灰度值为0的像素点代表车厢口，灰度值为1的像素点代表车厢口之外的背景；以及，将货物预测图中灰度值小于阈值的像素点的灰度值重新赋值为0，而灰度值不小于阈值的像素点的灰度值重新赋值为1，以得到货物二值图，其中，灰度值为0的像素点代表货物，灰度值为1的像素点代表货物之外的背景。

以阈值设为0.5为例，遍历车厢口预测图中的每一个像素点，当灰度值大于等于0而小于0.5时，将该像素点的灰度值重新赋值为0，当灰度值大于等于0.5而小于等于1时，将该像素点的灰度值重新赋值为1，得到车厢口二值图；以及遍历货物预测图中的每一个像素点，当灰度值大于等于0而小于0.5时，将该像素点的灰度值重新赋值为0，当灰度值大于等于0.5而小于等于1时，将该像素点的灰度值重新赋值为1，得到货物二值图。也就是说，车厢口二值图和货物二值图中所有像素点的灰度值均为0或者1。其中，车厢口二值图中灰度值为0的像素点代表车厢口，灰度值为1的像素点代表车厢口之外的背景；货物二值图中灰度值为0的像素点代表货物，灰度值为1的像素点代表货物之外的背景。为了方便可视化，将两种二值图各像素点的灰度值乘以255，从而将车厢口和货物可视化为黑色，车厢口或者货物之外的背景可视化为白色，且交界处没有显示为灰色的其他像素点。具体如图5a和图5b所示，图5a为根据图4a所示车厢口预测图得到的车厢口二值图，图5b为根据图4b所示货物预测图得到的货物二值图。

S13，基于车厢口二值图获取车厢口所占的第一区域；基于货物二值图获取货物所占的第二区域；获取第一区域所占面积和第二区域所占面积的交并比。

获得车厢口二值图和货物二值图之后，能够从车厢口二值图中获取到代表车厢口的像素点所占的第一区域内像素点的数量和位置，以及从货物二值图中获取代表货物的像素点所占的第二区域内像素点的数量和位置，进而得到第一区域所占面积和第二区域所占面积的交并比(Intersection over Union，IoU)。

具体地，请参阅图6，图6为图1中步骤S13包括的步骤一实施方式的流程示意图，即通过如下步骤计算上述交并比IoU：

S131，获取车厢口二值图中灰度值为0的像素点所占的第一区域，以及获取货物二值图中灰度值为0的像素点所占的第二区域。

在车厢口二值图中，灰度值为0的像素点代表车厢口，所以获得车厢口二值图中灰度值为0的像素点所占的第一区域即为车厢口所占的第一区域，记为车厢口分割面积A。同时，货物二值图中，灰度值为0的像素点代表货物，所以获得货物二值图中灰度值为0的像素点所占的第二区域即为货物所占的第二区域，记为货物分割面积B。

S132，获取第一区域与第二区域的交集区域内像素点的第一数量，以及获取第一区域与第二区域的并集区域内像素点的第二数量。

具体地，车厢口分割面积A包括了车厢口二值图中灰度值为0的像素点的数量和所在的坐标，货物分割面积B包括了货物二值图中灰度值为0的像素点的数量和所在的坐标。获取第一区域与第二区域的交集区域内像素点的第一数量，即为获取车厢口分割面积A与货物分割面积B的交集区域内像素点的数量，记为A∩B。获取第一区域与第二区域的并集区域内像素点的第二数量，即为获取车厢口分割面积A与货物分割面积B的并集区域内像素点的数量，记为A∪B。

S133，将第一数量和第二数量的比值作为交并比。

具体地，可通过如下公式(1)计算交并比IoU：

其中，IoU的值介于0到1之间，当A与B无交集时，IoU为0，表示车厢中没有货物；当A＝B时，IoU为1，表示车厢中装满了货物。IoU越大，表示车厢口区域中的货物所占区域越大，但是IoU与车厢装载率不是正比例的关系，因为不同车厢口区域对装载率的贡献程度不同，需要对IoU进行修正，从而得到准确的车厢装载率。

S14，基于交并比，获得车厢装载率。

具体地，将交并比IoU、交并比IoU的二次方和交并比IoU的三次方三者的平均值作为车厢装载率L，即采用如下公式(2)计算车厢装载率L：

其中，IoU为0时，L为0，表示车厢中没有货物；IoU为1时，L为1，表示车厢中装满了货物。请继续参阅图3，当IoU越接近于1时，L也越接近1，表示车厢上部区域S1越有可能存在货物，车厢装载率越高；当IoU越接近于0时，L也越接近0，表示车厢底部区域S2越接近于没有货物。

进一步地，请结合图3参阅图7，图7为车厢装载率随交并比的变化曲线示意图，其中，车厢装载率L随交并比IoU的变化曲线如图7中的曲线R1所示。由图可知，IoU越大，L增长速度越快，L随IoU变大而增长越快，反映了车厢上部区域S1存在货物对车厢装载率的贡献越大。

具体来说，随着IoU从小到大，货物是从车厢底部区域S2向车厢上部区域S1扩散的。因此，车厢底部区域S2存在货物的情况并不能准确说明车厢装载率的大小，反而当车厢上部区域S1存在货物时，可以说明车厢装载率较大。可见，车厢内部不同区域存在货物对应的车厢装载状态是不同的，即对车厢装载率的贡献程度是不同的。车厢上部区域S1的贡献程度较大，车厢底部区域S2的贡献程度较小，因此采用上述公式对交并比IoU进行修正后得到车厢装载率L。

进一步地，请结合图3和5b参阅图8，图8为货物二值图与预处理图像叠加的示例图。本申请基于交并比获取车厢装载率之后，还可以将货物二值图转换为用RGB三通道表达，并叠加至预处理图像上，以及将车厢装载率显示在预处理图像上。通常物流仓库中有多辆货车，并有多个显示器对准这些货车，人眼并不能很清晰地在从众多图像中识别出某辆货车的车厢装载率。为解决这一问题，本申请可将货物二值图中货物所在区域突出显示之后与预处理图像叠加，从而能够清晰识别，将车厢装载率直观地在图像上表达。例如将图5b所示的货物二值图由灰度图转换为用RGB三通道表达，其中，红色通道内各像素点的像素值置为255(当然也可以选择其他通道，设置为其他像素值)，而其他通道置为0，得到货物掩膜图。即将图5b货物所在区域可视化为红色，货物之外的背景区域可视化为黑色，然后将货物掩膜图与图3所示的预处理图像进行叠加，以将货物所在区域突出显示，得到如图8所示的最终图像(图8为灰度图，实际上货物所在区域S2可处理为任意突出的颜色)。

具体地，可通过如下公式(3)将货物掩膜图与预处理图像进行叠加：

g(x_ij)＝(1-λ)x_1ij+λx_2ij,λ∈[0,1]......(3)，

其中，x_1ij、x_2ij和g_(xij)分别为预处理图像、货物掩膜图和叠加后的最终图像g的第i行第j列像素点的像素值。λ表示货物掩膜图的叠加权重，λ越接近于1，则表示货物掩膜图对叠加后的最终图像的影响越大，例如λ设为0.2，得到图8。

进一步地，还可将计算出的车厢装载率L显示在叠加后的最终图像上，例如图8所示最终图像的左上角的percent字样，将车厢装载率准确地在图像上表达。

由于通常物流仓库中有多辆货车，为了提高仓库管理效率，本申请在基于交并比获取车厢装载率之后，还可以将车厢装载率发送至中央服务器，以使得中央服务器存储并分析车厢装载率，方便信息记录与进一步分析，为仓库管理人员的管理提供参考依据。

本实施方式通过分析仓库监控摄像头的视频数据评估车厢装载率，能够快速准确地获得车厢装载率数据。摄像头硬件一般固定在室内仓库，使得无需在每辆货车上配置硬件设备，硬件利用率高，而且数据采集受外界影响较小，车厢装载率的评估结果稳定，摄像头硬件的使用寿命长且维修容易。本申请提供的评估方法不仅可以评估某一时刻的车厢装载率，而且在提高系统运算能力的前提下，可以实时计算车厢装载率并将货物突出显示后叠加在预处理图像上，更加方便和直观。

请参阅图9，图9为本申请车厢装载率的评估装置一实施方式的结构示意图，该评估装置包括相互耦接的处理器100和存储器200，其中，存储器200上存储有程序指令，处理器100能够执行该程序指令以实现如上述实施方式所述的车厢装载率的评估方法。具体可参见上述实施方式，此处不再赘述。

请参阅图10，图10为本申请计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质300上存储有程序指令311，该程序指令311能够被处理器执行以实现如上述实施方式所述的车厢装载率的评估方法。具体可参见上述实施方式，此处不再赘述。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种车厢装载率的评估方法，其特征在于，包括：

基于所述交并比，获取车厢装载率。

2.根据权利要求1所述的评估方法，其特征在于，所述将所述车厢口预测图和所述货物预测图分别进行阈值分割，以分别得到车厢口二值图和货物二值图的步骤包括：

将所述车厢口预测图中灰度值小于阈值的像素点的灰度值重新赋值为0，而灰度值不小于所述阈值的像素点的灰度值重新赋值为1，以得到所述车厢口二值图，其中，灰度值为0的像素点代表所述车厢口，灰度值为1的像素点代表所述车厢口之外的背景；以及，

将所述货物预测图中灰度值小于所述阈值的像素点的灰度值重新赋值为0，而灰度值不小于所述阈值的像素点的灰度值重新赋值为1，以得到所述货物二值图，其中，灰度值为0的像素点代表所述货物，灰度值为1的像素点代表所述货物之外的背景。

3.根据权利要求2所述的评估方法，其特征在于，所述基于所述车厢口二值图获取车厢口所占的第一区域；基于所述货物二值图获取货物所占的第二区域；获取所述第一区域所占面积和所述第二区域所占面积的交并比的步骤包括：

获取所述车厢口二值图中灰度值为0的像素点所占的所述第一区域，以及获取所述货物二值图中灰度值为0的像素点所占的所述第二区域；

获取所述第一区域与所述第二区域的交集区域内像素点的第一数量，以及获取所述第一区域与所述第二区域的并集区域内像素点的第二数量；

将所述第一数量和所述第二数量的比值作为所述交并比。

4.根据权利要求3所述的评估方法，其特征在于，所述基于所述交并比，获取车厢装载率的步骤包括：

将所述交并比、所述交并比的二次方和所述交并比的三次方三者的平均值作为所述车厢装载率。

5.根据权利要求1所述的评估方法，其特征在于，所述将包含车厢口的预处理图像分别利用不同的卷积神经网络进行图像语义分割的步骤之前，还包括：

获取监控视频中的包含所述车厢口的视频帧图像，并将所述视频帧图像缩放至预定尺寸；

将所述视频帧图像的各像素点进行归一化处理，使所述各像素点的各个通道的像素值均介于0到1之间，得到所述预处理图像。

6.根据权利要求1所述的评估方法，其特征在于，所述卷积神经网络包括车厢口全卷积分割网络和货物全卷积分割网络；

所述将包含车厢口的预处理图像利用不同的卷积神经网络进行图像语义分割的步骤之前，还包括：分别训练所述车厢口全卷积分割网络和所述货物全卷积分割网络；

所述将包含车厢口的预处理图像利用不同的卷积神经网络进行图像语义分割的步骤包括：将所述预处理图像输入所述车厢口全卷积分割网络，以获取所述车厢口预测图，以及将所述预处理图像输入所述货物全卷积分割网络，以获取所述货物预测图。

7.根据权利要求1所述的评估方法，其特征在于，所述基于所述交并比，获得车厢装载率的步骤之后，还包括：

将所述货物二值图转换为用RGB三通道表达，并叠加至所述预处理图像上，以及将所述车厢装载率显示在所述预处理图像上。

8.根据权利要求1所述的评估方法，其特征在于，所述基于所述交并比，获得车厢装载率的步骤之后，还包括：

将所述车厢装载率发送至中央服务器，以使得所述中央服务器存储并分析所述车厢装载率。

9.一种车厢装载率的评估装置，其特征在于，所述评估装置包括相互耦接的处理器和存储器，所述存储器上存储有程序指令，所述处理器能够执行所述程序指令以实现如权利要求1-8任一项所述的车厢装载率的评估方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行以实现如权利要求1-8任一项所述的车厢装载率的评估方法。