CN112395903A - 一种空间特征的确定方法、装置、网络设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种空间特征的确定方法、装置、网络设备及存储介质，本申请实施例可以提高识别空间特征的准确率。本申请实施例中的空间特征的确定装置首先获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；然后分别获取所述图像集合中的各帧图像对应的空间特征图；再获取所述空间特征图在不同时刻之间所对应的空间差异信息；最后根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。本方案提取了多帧图像的空间特征图以及各帧空间特征图在不同时刻之间的空间差异信息，利用多帧图像的空间及时间维度上的特征信息进行空间特征的判断，可以提高识别空间特征的准确率。

Description

一种空间特征的确定方法、装置、网络设备及存储介质

技术领域

本申请涉及移动终端技术领域，具体涉及一种空间特征的确定方法、装置、网络设备及存储介质。

背景技术

在快递行业、仓储行业中都需要车辆进行装卸货，经常需要对车辆的装卸货量进行统计，一般情况下，是通过车辆开始装卸货时对应的空间特征(例如车厢的装载率)以及结束装卸货时对应的空间特征进行该车辆装卸货量的判断。

现有一般是通过人工进行车辆空间特征的判断，例如逐一测量车辆中货物的体积以统计车厢中货物的总体积，再根据车厢的体积以及货物的总体积确定该车辆对应的空间特征，但这样的方式费事又费力，效率较低。

为了提高识别车辆空间特征的效率，提出了一种使用卷积神经网络对车辆的单帧图像进行识别的方法，得到车辆的空间特征，但是该方法受单帧图像的噪声影响较大，其识别的准确率较低。

发明内容

本申请实施例提供一种空间特征的确定方法、装置、网络设备及存储介质，可以提高识别空间特征的准确率。

第一方面，本申请实施例提供了一种空间特征的确定方法，包括：

获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

分别获取所述图像集合中的各帧图像对应的空间特征图；

获取所述空间特征图在不同时刻之间所对应的空间差异信息；

根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

在一些实施方式中，所述获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合，包括：

获取所述车辆装卸过程对应的视频；

从所述视频中提取所述开始装卸货时的图像，及所述结束装卸货时的图像，得到所述图像集合。

在一些实施方式中，所述分别获取所述图像集合中的各帧图像对应的空间特征图，包括：

分别将所述图像集合中的各帧图像输入训练后的空间特征确定网络中的二维卷积神经网络进行空间特征学习，得到所述各帧图像分别对应的空间特征图。

在一些实施方式中，所述获取所述空间特征图在不同时刻之间所对应的空间差异信息，包括：

对所述各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图；

将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息。

在一些实施方式中，所述将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息，包括：

分别获取所述叠加后的空间特征图中每帧空间特征图对应的时刻；

基于所述三维卷积神经网络，根据所述每帧空间特征图对应的时刻对所述叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；

分别对所述多个连接后的空间特征图进行特征交叉学习，得到所述空间差异信息。

在一些实施方式中，所述根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征，包括：

根据训练后的空间特征确定网络中分类器中的交叉熵损失函数确定所述空间差异信息以及所述空间特征图的第一损失值；以及根据所述分类器中的焦点损失函数确定所述空间差异信息以及所述空间特征图的第二损失值；

根据所述第一损失值、所述第二损失值、所述第一损失值对应的权重以及所述第二损失值对应的权重确定目标损失值；

根据所述目标损失值确定所述车辆的空间特征。

在一些实施方式中，所述分别获取所述图像集合中的各帧图像对应的空间特征图之前，所述方法还包括：

获取视频样本；

从所述视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合；

根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络，包括：

基于所述预设空间特征确定网络中的二维卷积神经网络以及三维卷积神经网络，得到所述图像样本集合中图像样本的空间特征样本图、以及不同时刻之间的空间特征样本图所对应的空间样本差异信息；

基于所述预设空间特征确定网络中的分类器中的交叉熵损失函数以及焦点损失函数，根据所述确定空间特征样本图以及所述空间样本差异信息确定所述图像样本集合中图像样本的空间特征预测值；

获取所述图像样本集合中图像样本的空间特征真实值；

根据所述空间特征预测值以及所述空间特征真实值对所述预设空间特征确定网络进行收敛，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述从所述视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合之后，所述方法还包括：

对所述图像样本集合中的图像样本进行增广处理，得到增广后的图像样本集合；

所述根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络，包括：

根据所述增广后的图像样本集合对所述预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述对所述图像样本集合中的图像样本进行增广处理，包括：

根据不同的压缩样本对所述图像样本集合中的图像样本进行压缩处理；或，

根据预置的裁剪区域对所述图像样本集合中的图像样本进行随机裁剪处理；或，

随机调整所述图像样本集合中的图像样本的亮度、对比度、色度和饱和度；或，

随机调换所述图像样本集合中的图像样本开始装卸货和结束装卸货所对应图像的顺序。

在一些实施方式中，所述获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合之后，所述方法还包括：

将所述图像集合中的各帧图像压缩至预置大小，得到压缩后的图像集合；

根据预置的裁剪区域对压缩后的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合；

此时，分别获取所述图像集合中的各帧图像对应的空间特征图，包括：

分别获取所述裁剪后的图像集合中的各帧图像对应的空间特征图。

第二方面，本申请实施例还提供了一种空间特征的确定装置，包括：

第一获取单元，用于获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

第二获取单元，用于分别获取所述图像集合中的各帧图像对应的空间特征图；

第三获取单元，用于获取所述空间特征图在不同时刻之间所对应的空间差异信息；

确定单元，用于根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

在一些实施方式中，所述第一获取单元具体用于：

获取所述车辆装卸过程对应的视频；

从所述视频中提取所述开始装卸货时的图像，及所述结束装卸货时的图像，得到所述图像集合。

在一些实施方式中，所述第二获取单元具体用于：

分别将所述图像集合中的各帧图像输入训练后的空间特征确定网络中的二维卷积神经网络进行空间特征学习，得到所述各帧图像分别对应的空间特征图。

在一些实施方式中，所述第三获取单元具体用于：

对所述各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图；

将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息；

在一些实施方式中，所述第三获取单元还具体用于：

分别获取所述叠加后的空间特征图中每帧空间特征图对应的时刻；

基于所述三维卷积神经网络，根据所述每帧空间特征图对应的时刻对所述叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；

分别对所述多个连接后的空间特征图进行特征交叉学习，得到所述空间差异信息。

在一些实施方式中，所述确定单元具体用于：

根据训练后的空间特征确定网络中分类器中的交叉熵损失函数确定所述空间差异信息以及所述空间特征图的第一损失值；以及根据所述分类器中的焦点损失函数确定所述空间差异信息以及所述空间特征图的第二损失值；

根据所述第一损失值、所述第二损失值、所述第一损失值对应的权重以及所述第二损失值对应的权重确定目标损失值；

根据所述目标损失值确定所述车辆的空间特征。

在一些实施方式中，所述装置还包括：

第四获取单元，用于获取视频样本；

提取单元，用于从所述视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合；

训练单元，用于根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述训练单元具体用于：

基于所述预设空间特征确定网络中的二维卷积神经网络以及三维卷积神经网络，得到所述图像样本集合中图像样本的空间特征样本图、以及不同时刻之间的空间特征样本图所对应的空间样本差异信息；

基于所述预设空间特征确定网络中的分类器中的交叉熵损失函数以及焦点损失函数，根据所述确定空间特征样本图以及所述空间样本差异信息确定所述图像样本集合中图像样本的空间特征预测值；

获取所述图像样本集合中图像样本的空间特征真实值；

根据所述空间特征预测值以及所述空间特征真实值对所述预设空间特征确定网络进行收敛，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述装置还包括：

增广单元，用于对所述图像样本集合中的图像样本进行增广处理，得到增广后的图像样本集合；

此时，所述训练单元具体用于：

根据所述增广后的图像样本集合对所述预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述增广单元具体用于：

根据不同的压缩样本对所述图像样本集合中的图像样本进行压缩处理；或，

根据预置的裁剪区域对所述图像样本集合中的图像样本进行随机裁剪处理；或，

随机调整所述图像样本集合中的图像样本的亮度、对比度、色度和饱和度；或，

随机调换所述图像样本集合中的图像样本开始装卸货和结束装卸货所对应图像的顺序。

在一些实施方式中，所述装置还包括：

压缩单元，用于将所述图像集合中的各帧图像压缩至预置大小，得到压缩后的图像集合；

裁剪单元，用于根据预置的裁剪区域对压缩后的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合；

此时，所述第二获取单元具体用于：

分别获取所述裁剪后的图像集合中的各帧图像对应的空间特征图。

第三方面，本申请实施例还提供了一种网络设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种空间特征的确定方法中的步骤。

第四方面，本申请实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种空间特征的确定方法中的步骤。

本申请实施例中，空间特征的确定装置首先获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；然后分别获取所述图像集合中的各帧图像对应的空间特征图；再获取所述空间特征图在不同时刻之间所对应的空间差异信息；最后根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。本方案提取了多帧图像的空间特征图以及各帧空间特征图在不同时刻之间的空间差异信息，利用多帧图像的空间及时间维度上的特征信息进行空间特征的判断，可以提高识别空间特征的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的空间特征的确定方法的一个应用场景示意图；

图2是本申请实施例提供的空间特征的确定方法的一个流程示意图；

图3是本申请实施例提供的空间特征确定网络训练过程的一个流程示意图；

图4是本申请实施例提供的空间特征的确定方法的另一个流程示意图；

图5是本申请实施例提供的空间特征的确定装置的一示意图；

图6是本申请实施例提供的空间特征的确定装置的另一示意图；

图7是本申请实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。

本申请实施例提供一种空间特征的确定方法、装置、网络设备及存储介质，其中，该空间特征的确定装置可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备。

在一些实施例中，为了提高识别空间特征的准确率，可以采用计算机模型来实现本申请实施例提供的空间特征的确定方法，比如，在一些实施例中可以采用空间特征确定网络进行空间特征的识别。

请参阅图1，图1是本申请一实施例提供的空间特征的确定方法的一个应用场景示意图，在该示意图中，通过空间特征确定网络来实现本申请中的空间特征的确定方法，该空间特征确定网络由特征以及网络以及分类器构成，其中该特征提取网络又由二维(2D)卷积神经网络和三维(3D)卷积神经网络构成。在本应用场景中，可以获取2帧(具体帧数本申请不做限定)开始装卸货时的图像，及2帧(具体帧数本申请不做限定)结束装卸货时的图像，共4帧图像，然后将该4帧图像分别输入4个权值共享的2D卷积神经网络中，得到该4帧图像分别对应的空间特征图，然后叠加所得到的空间特征图，再将叠加后的空间特征图输入3D卷积神经网络中，得到空间特征图在不同时刻之间所对应的空间差异信息，再将该空间差异信息以及空间特征图输入分类器中，得到识别结果，即得到该车辆的空间特征。

其中，该车辆的空间特征为该车辆车厢中货物所占体积与车厢总体积的相互关系，例如，该车辆车厢的装载率或剩余空间率等。

请参阅图2，图2是本申请一实施例提供的空间特征的确定方法的流程示意图。该空间特征的确定方法的执行主体可以是本申请实施例提供的空间特征的确定装置。该空间特征的确定方法可以包括：

201、获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合。

在一些实施例中，该获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合，包括：获取车辆装卸过程对应的视频；然后从视频中提取开始装卸货时的图像，及结束装卸货时的图像，得到图像集合，其中，该图像集合中的图像还包括该图像对应的时刻。其中，该视频为该车辆的车厢装卸口所对应的视频。

其中，该视频包括车辆开始装卸以及结束装卸的过程，在一些实施例中，可以将视频开始的一定时长确定为车辆开始装卸的过程，将视频结束的一定时长确定为车辆结束装卸的过程。

在一些实施例中，可以从视频中提取2帧开始装卸货的图像，以及2帧结束装卸货时的图像，其中，从视频中提取的具体帧数次数不做限定，即本实施例中还可以从视频中提取1帧开始装卸货的图像，以及1帧结束装卸货时的图像，或者提取3帧开始装卸货的图像，以及3帧结束装卸货时的图像等。

在一些实施例中，为了提升计算的速度，在获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合之后，还需要将该图像集合中的各帧图像压缩至预置大小，例如，由原始的1280×960压缩为256×256大小，得到压缩后的图像的图像集合；

此外，还可以根据预置的裁剪区域对压缩后的图像的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合，例如，裁剪其图像中心的224×224，使得车辆所占图像比例变高。

202、分别获取该图像集合中的各帧图像对应的空间特征图。

在一些实施例中，具体地，当加载好训练后的空间特征确定网络之后，可以将该图像集合中的各帧图像分别输入训练后的空间特征确定网络中的多个2D卷积神经网络进行空间特征学习，得到各帧图像分别对应的空间特征图，其中，该多个2D卷积神经网络权值共享。

其中，在一些实施例中，当将该图像集合中的各帧图像压缩至预置大小，得到压缩后的图像集合；并根据预置的裁剪区域对压缩后的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合时，此时，分别获取该图像集合中的各帧图像对应的空间特征图，包括：分别获取该裁剪后的图像集合中的各帧图像对应的空间特征图。

203、获取该空间特征图在不同时刻之间所对应的空间差异信息。

具体地，在一些实施例中，该获取该空间特征图在不同时刻之间所对应的空间差异信息，包括：对该各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图；然后将该叠加后的空间特征图输入训练后的空间特征确定网络中的3D卷积神经网络进行特征交叉学习，得到该叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息，此时可以加快特征的提取效率。

其中，在一些实施例中，将叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息，具体可以包括：分别获取叠加后的空间特征图中每帧空间特征图对应的时刻；基于三维卷积神经网络，根据每帧空间特征图对应的时刻对叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；分别对多个连接后的空间特征图进行特征交叉学习，得到空间差异信息。

即，本实施例可以获取不同两张空间特征图分别对应的时刻，然后根据不同的时刻以及该不同两张空间特征图生成在不同时刻之间所对应的空间差异信息。

其中，该空间差异信息包括不同两张空间特征图之间的空间差异信息，例如，两张不同时刻的空间特征图的装载率之差。

204、根据该空间差异信息以及该空间特征图，确定该车辆的空间特征。

具体地，在一些实施例可以将提取到的空间差异信息以及空间特征图传递到空间特征确定网络中分类器中的交叉熵损失函数(cross-entropy loss)确定该空间差异信息以及该空间特征图的第一损失值；以及根据该分类器中的焦点损失函数(focal loss)确定该空间差异信息以及该空间特征图的第二损失值；然后根据该第一损失值、该第二损失值、该第一损失值对应的权重以及该第二损失值对应的权重确定目标损失值；最后根据该目标损失值确定该车辆的空间特征，例如，将目标损失值中预测概率最大的类别，确定为该车辆的空间特征。

更具体地，在一些实施例中，可以根据空间差异信息确定两张空间特征图之间的装载率之差，然后根据该两张空间特征图分别确定该两张空间特征图分别对应的初始装载率，最后根据该两张空间特征图对应的装载率之差以及该两张空间特征图对应的初始装载率确定该两张空间特征图对应的目标装载率。

其中，在一些实施例中，当该车辆的空间特征为车辆的装载率时，该车辆最后的空间特征包括该车辆开始装卸货时对应的装载率以及结束装卸货时对应的装载率，其中，在一些实施例中，当装载率的精确度为10％，即该装载率以0％、10％、20％…100％共11种情况为标签时，此时，该开始装卸货和结束装卸货对应的装载率类别一共可以有：11×11＝121类(每一类都包括开始装卸货对应的装载率和结束装卸货对应的装载率，共两个装载率)。

其中，装载率的精确度也可以为其他值，如1％，5％等，具体使用哪种精确度视实际情况而定。

本申请实施例从这121种类别中确定出目标类别，该类别对应的两个装载率即开始和结束装卸货时分别对应的装载率。

本申请实施例中，空间特征的确定装置首先获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；然后分别获取该图像集合中的各帧图像对应的空间特征图；再获取该空间特征图在不同时刻之间所对应的空间差异信息；最后根据该空间差异信息以及该空间特征图，确定该车辆的空间特征。本方案提取了多帧图像的空间特征图以及各帧空间特征图在不同时刻之间的空间差异信息，利用多帧图像的空间及时间维度上的特征信息进行空间特征的判断，可以提高识别空间特征的准确率。

根据上述实施例所描述的空间特征的确定方法，以下将作进一步详细说明。

本申请实施例中的空间特征的确定方法包括网络训练以及网络应用两个部分：

一、网络训练：

本申请实施例中，在应用空间特征确定网络之前，首先需要对预设空间特征确定网络进行训练，得到训练后的空间特征确定网络，其中，该预设空间特征确定网络由特征提取网络以及分类器构成，其中该特征提取网络又由2D卷积神经网络和3D卷积神经网络构成，请参阅图3，本申请实施例中空间特征确定网络的训练过程包括以下步骤：

301、获取视频样本。

其中，本申请实施例中的视频样本为已知装载率的车辆装卸货过程对应的视频。

本申请实施例可以获取多个视频样本。

302、从该视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合。

在一些实施例中，首先会将视频样本分析成一帧一帧的图像，然后从该一帧一帧的图像中选取开始装卸货的图像样本和结束装卸货的图像样本，例如选取开始装卸货的2帧图像和结束装卸货的2帧图像，共4帧图像作为一个图像样本集合。

在一些实施例中，在获取到图像样本集合之后，还需要对该图像样本集合中的图像样本进行标记，具体地，可以为每帧图像样本打上对应的标签，当装载率的准确度为10％时，该标签可以为0、1、2…10中的一个，分别表示0％-100％，其中，该标签反映该图像样本的真实装载率，由于一个图像样本集合中包括有开始装卸货的装载率以及结束装卸货时的装载率，所以一个图像样本集合中可能存在有11×11＝121种类别。

303、根据该图像样本集合对预设空间特征确定网络进行训练，得到训练后的空间特征确定网络。

其中，在一些实施例中，为了不让网络过拟合，还需要加入数据增广方法，使得样本变丰富，其中，增广方法可以包括如下方法：

(1)根据不同的压缩样本(resize函数)对该图像样本集合中的图像样本进行压缩处理，使得网络对不同的resize的模式鲁棒。

(2)根据预置的裁剪区域对该图像样本集合中的图像样本进行随机裁剪处理。

(3)随机调整该图像样本集合中的图像样本的亮度、对比度、色度和饱和度。

(4)随机调换该图像样本集合中的图像样本开始装卸货和结束装卸货所对应图像的顺序。

其中，本实施例可以执行(1)-(4)中的任意一项或多项中所描述的增广方法，其执行顺序此时不做限定。

此外，本申请中的增广方法还可以包括：

生成随机数，根据该随机数对该裁剪后的样本图像进行翻转。

当对图像样本集合中的图像样本进行增广处理之后，将会根据该增广后的图像样本集合对该预设空间特征确定网络进行训练，得到该训练后的空间特征确定网络。

这样可以有效的提升网络对数据量的需求，在相对较少样本训练下，仍能保持较好的性能。

其中，根据该图像样本集合(增广后的图像样本集合)对预设空间特征确定网络进行训练，具体可以包括：

将该图像样本集合中的图像样本传入特征提取网络中的2D卷积神经网络和3D卷积神经网络，然后将特征提取网络中提取到的特征(图像样本集合中图像样本的空间特征样本图、以及不同时刻之间的空间特征样本图所对应的空间样本差异信息)传递到分类器中由cross-entropy loss和focal loss组成的联合损失，得到，图像样本集合中图像样本的空间特征预测值(即对于各种标签的损失值)，得到空间特征预测值之后，再根据该空间特征预测值，以及图像样本集合中图像样本的空间特征真实值进行反向传播，利用梯度下降算法训练网络参数；当空间特征预测值与空间特征真实值之差低于0.1(具体数值次数不做限定)时，则此时确定预设空间特征确定网络收敛，模型拟合，训练完成，获得训练后的空间特征确定网络。

二、网络应用：

请参照图4，图4为本申请实施例提供的空间特征的确定方法的另一流程示意图。该空间特征的确定方法可以应用于网络设备，该网络设备中内置有训练后的空间特征确定网络，在本实施例中，空间特征以装载率为例子进行说明，如图4所示，该空间特征的确定方法的流程可以如下：

401、获取该车辆装卸过程对应的视频。

其中，该视频为该车辆的车厢装卸口所对应的视频。

在一些实施例中，该视频除了采集到该车辆的车厢之外，还可以采集到该车辆中的箱门、车牌等信息。

402、从该视频中提取该开始装卸货时的图像，及该结束装卸货时的图像，得到该图像集合。

在一些实施例中，可以从视频中提取2帧开始装卸货的图像，以及2帧结束装卸货时的图像，其中，从视频中提取的具体帧数次数不做限定，即本实施例中还可以从视频中提取1帧开始装卸货的图像，以及1帧结束装卸货时的图像，或者提取3帧开始装卸货的图像，以及3帧结束装卸货时的图像等。

在一些实施例中，为了提升计算的速度，在获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合之后，还需要将该图像集合中的各帧图像压缩至预置大小，例如，由原始的1280×960压缩为256×256大小，得到压缩后的图像的图像集合；

此外，还可以根据预置的裁剪区域对压缩后的图像的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合，例如，裁剪其图像中心的224×224，使得车辆所占图像比例变高。

403、分别将该图像集合中的各帧图像输入训练后的空间特征确定网络中的2D卷积神经网络进行空间特征学习，得到该各帧图像分别对应的空间特征图。

当加载好训练后的空间特征确定网络之后，可以将该图像集合中的各帧图像分别输入训练后的空间特征确定网络中的多个2D卷积神经网络进行空间特征学习，得到各帧图像分别对应的空间特征图，其中，该多个2D卷积神经网络权值共享。

其中，在一些实施例中，当将该图像集合中的各帧图像压缩至预置大小，得到压缩后的图像集合；并根据预置的裁剪区域对压缩后的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合时，此时，分别获取该图像集合中的各帧图像对应的空间特征图，包括：分别获取该裁剪后的图像集合中的各帧图像对应的空间特征图。

404、对该各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图。

在将空间特征图输入3D卷积神经网络之前，需要对该各帧图像对应的空间特征图进行叠加处理，即堆叠经过各个2D卷积神经网络所得到的空间特征图，得到叠加后的空间特征图。

405、将该叠加后的空间特征图输入训练后的空间特征确定网络中的3D卷积神经网络进行特征交叉学习，得到该叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息。

其中，在一些实施例中，将该叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息，具体可以包括：分别获取叠加后的空间特征图中每帧空间特征图对应的时刻；然后基于三维卷积神经网络，根据每帧空间特征图对应的时刻对叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；再分别对多个连接后的空间特征图进行特征交叉学习，得到上述的空间差异信息。

即，本实施例可以获取不同两张空间特征图分别对应的时刻，然后3D卷积神经网络根据不同的时刻以及该不同两张空间特征图生成在不同时刻之间所对应的空间差异信息。

其中，该空间差异信息包括不同两张空间特征图之间的装载率之差。

406、根据训练后的空间特征确定网络中分类器中的cross-entropy loss确定该空间差异信息以及该空间特征图的第一损失值；以及根据该分类器中的focal loss确定该空间差异信息以及该空间特征图的第二损失值。

其中，联合cross-entropy loss和focal loss，可以促使网络挖掘难学样本，提升算法的识别精度。

407、根据该第一损失值、该第二损失值、该第一损失值对应的权重以及该第二损失值对应的权重确定目标损失值。

具体地，本申请实施例预先赋予了cross-entropy loss一个权重(即第一损失值对应的权重)，以及预先赋予了focal loss一个权重(即第二损失值对应的权重)，在一些实施例中，第一损失值对应的权重可以为0.5，该第二损失值对应的权重可以为0.5。

其中，在一些实施例中，目标损失值＝第一损失值×第一损失值对应的权重+第二损失值×第二损失值对应的权重。

408、根据该目标损失值确定该车辆开始装卸货时对应的装载率以及结束装卸货时对应的装载率。

具体地，可以将目标损失值中预测概率最大的类别(标签)，确定为该车辆的对应的类别，该类别包括车辆开始装卸货时对应的装载率以及结束装卸货时对应的装载率。

本申请实施例中，空间特征的确定装置首先获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；然后分别获取该图像集合中的各帧图像对应的空间特征图；再获取该空间特征图在不同时刻之间所对应的空间差异信息；最后根据该空间差异信息以及该空间特征图，确定该车辆的空间特征。本方案提取了多帧图像的空间特征图以及各帧空间特征图在不同时刻之间的空间差异信息，利用多帧图像的空间及时间维度上的特征信息进行空间特征的判断，可以提高车辆装载率的准确率。

即，本申请是使用两类个卷积神经网络(2D卷积神经网络和3D卷积神经网络)，分别提取空间和时间上的特征信息，以此来获得不同维度的特征，实现不同货车装载率的准确识别；具体地，本申请使用2D卷积神经网络提取单帧图像中的空间信息和特征；使用3D卷积神经网络提取多帧图像之间的时间维度信息，学习其在时间上的特征变化，融合了帧与帧之间的信息，可以提高车辆装载率的准确率。

为便于更好的实施本申请实施例提供的空间特征的确定方法，本申请实施例还提供一种基于上述空间特征的确定方法的装置。其中名词的含义与上述空间特征的确定方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图5，图5为本申请实施例提供的空间特征的确定装置的结构示意图，其中该空间特征的确定装置500可以包括第一获取单元501、第二获取单元502、第三获取单元503及确定单元504等，其中：

第一获取单元501，用于获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

第二获取单元502，用于分别获取所述图像集合中的各帧图像对应的空间特征图；

第三获取单元503，用于获取所述空间特征图在不同时刻之间所对应的空间差异信息；

确定单元504，用于根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

在一些实施方式中，所述第一获取单元501具体用于：

获取所述车辆装卸过程对应的视频；

从所述视频中提取所述开始装卸货时的图像，及所述结束装卸货时的图像，得到所述图像集合。

在一些实施方式中，所述第二获取单元502具体用于：

分别将所述图像集合中的各帧图像输入训练后的空间特征确定网络中的二维卷积神经网络进行空间特征学习，得到所述各帧图像分别对应的空间特征图。

在一些实施方式中，所述第三获取单元503具体用于：

对所述各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图；

将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息；

在一些实施方式中，所述第三获取单元503还具体用于：

分别获取所述叠加后的空间特征图中每帧空间特征图对应的时刻；

基于所述三维卷积神经网络，根据所述每帧空间特征图对应的时刻对所述叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；

分别对所述多个连接后的空间特征图进行特征交叉学习，得到所述空间差异信息。

在一些实施方式中，所述确定单元具体504用于：

根据训练后的空间特征确定网络中分类器中的交叉熵损失函数确定所述空间差异信息以及所述空间特征图的第一损失值；以及根据所述分类器中的焦点损失函数确定所述空间差异信息以及所述空间特征图的第二损失值；

根据所述第一损失值、所述第二损失值、所述第一损失值对应的权重以及所述第二损失值对应的权重确定目标损失值；

根据所述目标损失值确定所述车辆的空间特征。

请参阅图6，在一些实施方式中，所述装置500还包括：

第四获取单元505，用于获取视频样本；

提取单元506，用于从所述视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合；

训练单元507，用于根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述训练单元507具体用于：

基于所述预设空间特征确定网络中的二维卷积神经网络以及三维卷积神经网络，得到所述图像样本集合中图像样本的空间特征样本图、以及不同时刻之间的空间特征样本图所对应的空间样本差异信息；

基于所述预设空间特征确定网络中的分类器中的交叉熵损失函数以及焦点损失函数，根据所述确定空间特征样本图以及所述空间样本差异信息确定所述图像样本集合中图像样本的空间特征预测值；

获取所述图像样本集合中图像样本的空间特征真实值；

根据所述空间特征预测值以及所述空间特征真实值对所述预设空间特征确定网络进行收敛，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述装置500还包括：

增广单元508，用于对所述图像样本集合中的图像样本进行增广处理，得到增广后的图像样本集合；

此时，所述训练单元507具体用于：

根据所述增广后的图像样本集合对所述预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

在一些实施方式中，所述增广单元508具体用于：

根据不同的压缩样本对所述图像样本集合中的图像样本进行压缩处理；或，

根据预置的裁剪区域对所述图像样本集合中的图像样本进行随机裁剪处理；或，

随机调整所述图像样本集合中的图像样本的亮度、对比度、色度和饱和度；或，

随机调换所述图像样本集合中的图像样本开始装卸货和结束装卸货所对应图像的顺序。

在一些实施方式中，所述装置500还包括：

压缩单元509，用于将所述图像集合中的各帧图像压缩至预置大小，得到压缩后的图像集合；

裁剪单元510，用于根据预置的裁剪区域对压缩后的图像集合中的各帧图像进行裁剪处理，得到裁剪后的图像集合；

此时，所述第二获取单元502具体用于：

分别获取所述裁剪后的图像集合中的各帧图像对应的空间特征图。

本申请实施例中，首先第一获取单元501获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；然后第二获取单元502分别获取该图像集合中的各帧图像对应的空间特征图；第三获取单元503再获取该空间特征图在不同时刻之间所对应的空间差异信息；最后确定单元504根据该空间差异信息以及该空间特征图，确定该车辆的空间特征。本方案提取了多帧图像的空间特征图以及各帧空间特征图在不同时刻之间的空间差异信息，利用多帧图像的空间及时间维度上的特征信息进行空间特征的判断，可以提高车辆装载率的准确率。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

参考图7，本申请实施例提供了一种网络设备700，可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、射频(RadioFrequen cy，RF)电路703、电源704、输入单元705、以及显示单元706等部件。本领域技术人员可以理解，图7中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。

RF电路703可用于收发信息过程中，信号的接收和发送。

网络设备还包括给各个部件供电的电源704(比如电池)，优选的，电源可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

该网络设备还可包括输入单元705，该输入单元705可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该网络设备还可包括显示单元706，该显示单元706可用于显示由用户输入的信息或提供给用户的信息以及网络设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中，网络设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：

获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

分别获取所述图像集合中的各帧图像对应的空间特征图；

获取所述空间特征图在不同时刻之间所对应的空间差异信息；

根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对空间特征的确定方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种空间特征的确定方法中的步骤。例如，该指令可以执行如下步骤：

获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

分别获取所述图像集合中的各帧图像对应的空间特征图；

获取所述空间特征图在不同时刻之间所对应的空间差异信息；

根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种空间特征的确定方法中的步骤，因此，可以实现本申请实施例所提供的任一种空间特征的确定方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种空间特征的确定方法、装置、网络设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种空间特征的确定方法，其特征在于，包括：

获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像集合；

分别获取所述图像集合中的各帧图像对应的空间特征图；

获取所述空间特征图在不同时刻之间所对应的空间差异信息；

根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

2.根据权利要求1所述的方法，其特征在于，所述分别获取所述图像集合中的各帧图像对应的空间特征图，包括：

分别将所述图像集合中的各帧图像输入训练后的空间特征确定网络中的二维卷积神经网络进行空间特征学习，得到所述各帧图像分别对应的空间特征图。

3.根据权利要求1所述的方法，其特征在于，所述获取所述空间特征图在不同时刻之间所对应的空间差异信息，包括：

对所述各帧图像对应的空间特征图进行叠加处理，得到叠加后的空间特征图；

将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息。

4.据权利要求3所述的方法，其特征在于，所述将所述叠加后的空间特征图输入训练后的空间特征确定网络中的三维卷积神经网络进行特征交叉学习，得到所述叠加后的空间特征图中不同时刻之间的空间特征图所对应的空间差异信息，包括：

分别获取所述叠加后的空间特征图中每帧空间特征图对应的时刻；

基于所述三维卷积神经网络，根据所述每帧空间特征图对应的时刻对所述叠加后的空间特征图中不同时刻的空间特征图进行连接，得到多个连接后的空间特征图；

分别对所述多个连接后的空间特征图进行特征交叉学习，得到所述空间差异信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征，包括：

根据训练后的空间特征确定网络中分类器中的交叉熵损失函数确定所述空间差异信息以及所述空间特征图的第一损失值；以及根据所述分类器中的焦点损失函数确定所述空间差异信息以及所述空间特征图的第二损失值；

根据所述第一损失值、所述第二损失值、所述第一损失值对应的权重以及所述第二损失值对应的权重确定目标损失值；

根据所述目标损失值确定所述车辆的空间特征。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述分别获取所述图像集合中的各帧图像对应的空间特征图之前，所述方法还包括：

获取视频样本；

从所述视频样本中提取开始装卸货的图像样本，及结束装卸货的图像样本，得到图像样本集合；

根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络。

7.根据权利要求6所述的方法，其特征在于，所述根据所述图像样本集合对预设空间特征确定网络进行训练，得到所述训练后的空间特征确定网络，包括：

基于所述预设空间特征确定网络中的二维卷积神经网络以及三维卷积神经网络，得到所述图像样本集合中图像样本的空间特征样本图、以及不同时刻之间的空间特征样本图所对应的空间样本差异信息；

基于所述预设空间特征确定网络中的分类器中的交叉熵损失函数以及焦点损失函数，根据所述确定空间特征样本图以及所述空间样本差异信息确定所述图像样本集合中图像样本的空间特征预测值；

获取所述图像样本集合中图像样本的空间特征真实值；

根据所述空间特征预测值以及所述空间特征真实值对所述预设空间特征确定网络进行收敛，得到所述训练后的空间特征确定网络。

8.一种空间特征的确定装置，其特征在于，包括：

第一获取单元，用于获取车辆装卸过程中开始装卸货时的图像，及结束装卸货时的图像，得到图像

第二获取单元，用于分别获取所述图像集合中的各帧图像对应的空间特征图；

第三获取单元，用于获取所述空间特征图在不同时刻之间所对应的空间差异信息；

确定单元，用于根据所述空间差异信息以及所述空间特征图，确定所述车辆的空间特征。

9.一种网络设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的空间特征的确定方法。

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的空间特征的确定方法。

Images