CN109544204B - 一种基于轻量化多任务卷积神经网络的导购行为分析方法 - Google Patents

Abstract

基于轻量化的多任务卷积神经网络的导购行为分析方法，首先对数据进行清洗，除去不利于神经网络收敛的图片；然后构建带残差和不带残差结构的两种Bottleneck模块函数，基于这两种Bottleneck构建轻量化的多任务卷积神经网络；对训练图片进行数据增强、归一化，先用大的学习率预训练模型，再用小的学习率微调模型。最终实现用轻量化多任务卷积神经网络对导购的行为进行有效、快速的识别。

Description

一种基于轻量化多任务卷积神经网络的导购行为分析方法

技术领域

本发明涉及一种在新零售领域的导购行为分析方法。

背景技术

随着人工智能与新零售的深度结合，利用深度学习技术，检测、分析、判断导购属性，分析导购行为，有助于提高店铺运营效率和店铺管理效率，优化运营营销策略、提高销售转换率、提升服务效率和消费体验等，有助力零售产业升级。

传统零售场景存在店员监管困难的问题，而导购积极程度对店铺销量有重要影响。由于管理者精力有限，导购素质参差不齐，店长无法每时每刻监管所有导购，因此导购在上班时间玩手机、坐着不积极引导客人的现象时常发生。

传统目标分类的卷积神经网络，针对一种属性进行识别往往需要训练一个神经网络模型，多个属性的识别则需要多个网络模型，导致模型的参数成倍增长。经典的卷积神经网络参数往往比较多，如AlexNet有6000万个参数、ResNet50有2000万个参数，大量的参数会占用大量的计算资源，且运算速度往往比较慢。

针对导购的多种属性和行为进行快速分析的需求，目前还没有高效的解决方案。本发明提出一种基于轻量化的多任务卷积神经网络的导购行为分析方法，这种卷积神经网络可以部署到监控端进行识别，不需要占用远程服务器过多的计算资源。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于轻量化的多任务卷积神经网络的导购行为分析方法。

为实现上述发明目的，本发明设计一种基于轻量化的多任务卷积神经网络的导购行为分析方法，用一个轻量化、速度快、高精度的卷积神经网络去识别商场内导购的多种属性和行为，在一定程度上解决了导购行为分析以及神经网络效率的问题。可应用在新零售场景中导购管理、店铺运营、监控端神经网络部署等方面。

本发明解决其技术问题所采用的技术方案是：

一种基于轻量化的多任务卷积神经网络的导购行为分析方法，含有以下步骤：

步骤1.清洗数据：除去训练集中带马赛克、模糊行人；

步骤2.构建轻量化多任务卷积神经网络：构建无残差结构的Bottleneck模块，构建带残差结构的Bottleneck模块，构建特征提取模块，构建多任务卷积神经网络；

步骤3.训练轻量化多任务卷积神经网络：数据预处理、预训练模型、微调模型；

与现有技术相比，本发明技术方案的优点有：

(1)本发明用一个神经网络实现了对商场内行人的多属性识别，端对端的识别更加方便地部署在真实商场的场景；

(2)本发明使用轻量化的卷积神经网络，在精度可靠的情况下，模型体积比基于ResNet50的多任务网络小10倍，速度更快。

附图说明

图1是本发明的无残差结构的Bottleneck模块示意图；

图2是本发明的带残差结构的Bottleneck模块示意图；

图3是实现本发明方法的基于轻量化的多任务卷积神经网络结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述。

实施例1：

一种基于轻量化的多任务卷积神经网络的导购行为分析方法，含有以下步骤：

(1)清洗数据

步骤11：除去训练集中带大量马赛克的图片；

本发明使用BOT2018新零售技术挑战赛的数据集，为隐私保护需要，数据中存在大量带马赛克的行人图像，这对训练高精度的神经网络模型造成一定影响，因此需要除去这类图像。本发明设计一种数字图像处理技术中遍历像素统计的方法去识别图像中是否含有大量马赛克。

一个马赛克块中的每个像素值都相等，利用这个特性去检测马赛克图像。首先将行人图像由三通道的RGB图像转为单通道的灰度图，然后将灰度图分割成10×10像素的格子块，分割后格子块的数量记为m。遍历每个格子块，统计每个格子块灰度值的分布，如果灰度值分布集中在1-4个值上，即可判定该格子块是马赛克块的一部分，n为这种格子块的总个数。通过公式1计算格子块的比例：

若rate＞50％，则认定该图像的马赛克占比过多，将该图像从训练集中剔除掉；否则，将该图像保留在训练集中，在训练模型的步骤中使用。

步骤12：除去训练集中模糊行人：

由于监控视角的行人存在尺度变化的问题，距离监控近的行人尺寸大，清晰，距离监控远的行人尺寸小，模糊。模糊图像中提取的可利用特征少，不利于网络的收敛。遍历所有图像，将尺寸小于50×50的行人图像剔除出训练集。

(2)构建轻量化多任务卷积神经网络

步骤21：构建无残差结构的Bottleneck模块；

本发明的轻量化多任务卷积神经网络将多次用到无残差结构的Bottleneck，因此将其封装成函数模块，如图1所示。需要设置四个参数：输入通道数(in_channels)、输出通道数(out_channels)、扩张系数(expansion_factor)、卷积步长(stride)。

在无残差结构的Bottleneck模块中，第一个卷积层Conv1有out_channels×expansion_factor个1×1的卷积核，其大小为：1×1×(out_channels×expansion_factor)，卷积步长为1，而后对Conv1进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，relu6函数公式为：

f(x)＝max(0,6,x) (2)

第二层卷积层Conv2有out_channels×expansion_factor个3×3的卷积核，其大小为：3×3×(out_channels×expansion_factor)，卷积步长为3，而后对Conv2进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力；

第三层卷积层Conv3有out_channels个卷积核，其大小为：1×1×out_channels，卷积步长为1，而后对Conv3进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，最后再加一层BN层。

步骤22：构建带残差结构的Bottleneck模块；

带残差结构的Bottleneck模块与步骤21中无残差结构的Bottleneck模块的差别在于：带残差结构的Bottleneck的输入通道数必须等于输出通道数。

在结构上如图2所示：最后得到的输出特征图y是两个特征图相加，这两个特征图分别是输入特征图x和输入特征图在经过步骤21的Conv1、Conv2、Conv3得到的特征图f(x)，其相加方式为两个特征图每层对应位置上的数值的相加。即如下公式所描述：

y＝f(x)+x (3)

步骤23：构建特征提取模块；

利用步骤21、步骤22的Bottleneck模块搭建轻量化的特征提取模块：

具体地，对于输入大小为224×224×3的图像，第一层conv1是一个卷积核大小为3×3×32的卷积层，输出通道为32，卷积步长为2；

第二层block2是步骤21中无残差结构的Bottleneck，其输入参数为(32，16，1，1)，Bottleneck传入参数的含义分别为(输入通道数，输出通道数，扩张系数，卷积步长)；

第三层block3是步骤21中无残差结构的Bottleneck与步骤22中带残差结构的Bottleneck的组合，即对于第二层得到的特征图，先进行参数为(16，24，6，2)无残差结构的Bottleneck，得到的特征图再传入输入参数为(24，24，6，1)的带残差结构的Bottleneck；

第四层block4由3个Bottleneck模块组合得到，即对于第三层得到的特征图，先进行参数为(24，32，6，2)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(32，32，6，1)的带残差结构的Bottleneck；

第五层block5由4个Bottleneck模块组合得到，即对于第四层得到的特征图，先进行参数为(32，64，6，2)无残差结构的Bottleneck，得到的特征图再传入连续三个输入参数为(64，64，6，1)的带残差结构的Bottleneck；

第六层block6由3个Bottleneck模块组合得到，即对于第五层得到的特征图，先进行参数为(64，96，6，1)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(96，96，6，1)的带残差结构的Bottleneck；

第七层block7由3个Bottleneck模块组合得到，即对于第六层得到的特征图，先进行参数为(96，160，6，2)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(160，160，6，1)的带残差结构的Bottleneck；

第八层block8是一个参数为(160，320，6，1)的无残差结构的Bottleneck；

第九层conv9是一个卷积核大小为1×1×1280的卷积层，进一步的，对于得到的特征图进行平均池化以及神经元随机失活操作，最后得到一个维度为1280的向量，该向量作为网络提取的图像特征供步骤24使用。

步骤24：构建多任务卷积神经网络；

如图3所示，在步骤23提取特征之后加入四个并行的全连接层，四个全连接层连接在步骤23所得到的特征向量上，彼此间互不相连。每个全连接层包含2个神经元，分别代表8种属性或行为(男性、女性、导购、顾客、站立、坐、玩手机、不玩手机)。第一个全连接层的两个神经元分别用来计算“男性”和“女性”这两个属性的置信度，第二个全连接层的两个神经元分别用来计算“导购”和“顾客”这两个属性的置信度，第三个全连接层的两个神经元分别用来计算“站立”和“坐”这两个行为的置信度，第四个全连接层的两个神经元分别用来计算“玩手机”和“不玩手机”这两个行为的置信度。

最后，对这四个全连接层，分别用四个softmax损失函数进行约束，softmax损失函数的公式为：

其中

表示真实标签的置信度，

表示第j项的置信度。通过四个全连接层计算得到的损失值分别记为：L₁，L₂，L₃，L₄，最终得到的损失值为：

Loss＝L₁+L₂+L₃+L₄ (5)

(3)训练轻量化多任务卷积神经网络

步骤31：数据预处理：

对图像进行随机水平翻转、中心随机裁剪以增强数据数量，解决图像数据不多的问题；训练集中存在数据不均衡的问题，比如“站立”的数据比“坐”的数据多很多，“不玩手机”的数据比“玩手机”的数据多很多，因此，针对这类特别不均衡的数据，我们对其进行更多次数的数据增强，使数据更加均衡。之后将每张图片转成224×224×3的tensor，并归一化像素值。

步骤32：预训练模型：

加载本发明中的多任务卷积神经网络，采用Adam优化算法，根据四个损失值之和进行反向传播，优化模型参数。预训练中每个批次大小为128，学习率为0.001，总共训练40个epoch；

步骤33：微调模型：

从步骤32中加载在测试集中精度最高的模型，调整学习率为0.0001，利用Adam算法继续训练40个epoch。

实施例2：

(1)选取实验数据

本发明使用BOT2018新零售技术挑战赛的数据集，数据采集自真实的商场场景，图像中的导购、顾客均为监控视角下的图像。分为5个场景，共5000张图像，每张图像中包含数量不等的导购和顾客，本发明将这5000张图像按9:1的比例分为训练集和测试集，平均抽取。

表1 数据集

(2)实验结果

按照实施例1中的步骤训练基于轻量化的多任务卷积神经网络，构造完模型之后，先使用0.001的学习率预训练40个epoch，然后加载预训练模型中精度最高的进行微调，用0.0001的学习率再训练40个epoch。最终在测试集上的精度如表2所示：

表2 实验结果

此外，该模型的参数数量只有224万个，是ResNet50的参数数量的十分之一；模型体积仅为8.72mb，是ResNet50的模型体积的十分之一；对于同一张行人图片，本发明的运行速度为8.4ms，是ResNet50耗时的89.3％。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于轻量化的多任务卷积神经网络的导购行为分析方法，包含以下步骤：

(1)清洗数据；

步骤11：除去训练集中带大量马赛克的图片；

首先将行人图像由三通道的RGB图像转为单通道的灰度图，然后将灰度图分割成10×10像素的格子块，分割后格子块的数量记为m；遍历每个格子块，统计每个格子块灰度值的分布，如果灰度值分布集中在1-4个值上，即可判定该格子块是马赛克块的一部分，n为这种格子块的总个数；通过公式1计算格子块的比例：

若rate>50％，则认定该图像的马赛克占比过多，将该图像从训练集中剔除掉；否则，将该图像保留在训练集中，在训练模型的步骤中使用；

步骤12：除去训练集中模糊行人：

模糊图像中提取的可利用特征少，不利于网络的收敛；遍历所有图像，将尺寸小于50×50的行人图像剔除出训练集；

(2)构建轻量化多任务卷积神经网络；

步骤21：构建无残差结构的Bottleneck模块；

将无残差结构的Bottleneck封装成函数模块；需要设置四个参数：输入通道数(in_channels)、输出通道数(out_channels)、扩张系数(expansion_factor)、卷积步长(stride)；

在无残差结构的Bottleneck模块中，第一个卷积层Conv1中1×1的卷积核个数为：输出通道数×扩张系数，其大小为：1×1×(out_channels×expansion_factor)，卷积步长为1，而后对Conv1进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，relu6函数公式为：

f(x)＝max(0,6,x) (2)

第二层卷积层Conv2中3×3的卷积核个数为：输出通道数×扩张系数，其大小为：3×3×(out_channels×expansion_factor)，卷积步长为3，而后对Conv2进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力；

第三层卷积层Conv3中卷积核个数为：输出通道数，其大小为：1×1×out_channels，卷积步长为1，而后对Conv3进行批归一化处理，接着用非线性函数relu6增加模型非线性表征能力，最后再加一层BN层；

步骤22：构建带残差结构的Bottleneck模块；

最后得到的输出特征图y是两个特征图相加，这两个特征图分别是输入特征图x和输入特征图在经过步骤21的Conv1、Conv2、Conv3得到的特征图f(x)，其相加方式为两个特征图每层对应位置上的数值的相加；即如下公式所描述：

y＝f(x)+x (3)

步骤23：构建特征提取模块；

利用步骤21、步骤22的Bottleneck模块搭建轻量化的特征提取模块：

具体地，对于输入大小为224×224×3的图像，第一层conv1是一个卷积核大小为3×3×32的卷积层，输出通道为32，卷积步长为2；

第二层block2是步骤21中无残差结构的Bottleneck，其输入参数为(32，16，1，1)，Bottleneck传入参数的含义分别为(输入通道数，输出通道数，扩张系数，卷积步长)；

第三层block3是步骤21中无残差结构的Bottleneck与步骤22中带残差结构的Bottleneck的组合，即对于第二层得到的特征图，先进行参数为(16，24，6，2)无残差结构的Bottleneck，得到的特征图再传入输入参数为(24，24，6，1)的带残差结构的Bottleneck；

第四层block4由3个Bottleneck模块组合得到，即对于第三层得到的特征图，先进行参数为(24，32，6，2)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(32，32，6，1)的带残差结构的Bottleneck；

第五层block5由4个Bottleneck模块组合得到，即对于第四层得到的特征图，先进行参数为(32，64，6，2)无残差结构的Bottleneck，得到的特征图再传入连续三个输入参数为(64，64，6，1)的带残差结构的Bottleneck；

第六层block6由3个Bottleneck模块组合得到，即对于第五层得到的特征图，先进行参数为(64，96，6，1)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(96，96，6，1)的带残差结构的Bottleneck；

第七层block7由3个Bottleneck模块组合得到，即对于第六层得到的特征图，先进行参数为(96，160，6，2)无残差结构的Bottleneck，得到的特征图再传入连续两个输入参数为(160，160，6，1)的带残差结构的Bottleneck；

第八层block8是一个参数为(160，320，6，1)的无残差结构的Bottleneck；

第九层conv9是一个卷积核大小为1×1×1280的卷积层，进一步的，对于得到的特征图进行平均池化以及神经元随机失活操作，最后得到一个维度为1280的向量，该向量作为网络提取的图像特征供步骤24使用；

步骤24：构建多任务卷积神经网络；

在步骤23提取特征之后加入四个并行的全连接层，四个全连接层连接在步骤23所得到的特征向量上，彼此间互不相连；每个全连接层包含2个神经元，分别代表8种属性或行为，8种属性或行为是：男性、女性、导购、顾客、站立、坐、玩手机、不玩手机；第一个全连接层的两个神经元分别用来计算“男性”和“女性”这两个属性的置信度，第二个全连接层的两个神经元分别用来计算“导购”和“顾客”这两个属性的置信度，第三个全连接层的两个神经元分别用来计算“站立”和“坐”这两个行为的置信度，第四个全连接层的两个神经元分别用来计算“玩手机”和“不玩手机”这两个行为的置信度；

最后，对这四个全连接层，分别用四个softmax损失函数进行约束，softmax损失函数的公式为：

其中

表示真实标签的置信度，

表示第j项的置信度；通过四个全连接层计算得到的损失值分别记为：L₁，L₂，L₃，L₄，最终得到的损失值为：

Loss＝L₁+L₂+L₃+L₄ (5)

(3)训练轻量化多任务卷积神经网络；

步骤31：数据预处理：

对图像进行随机水平翻转、中心随机裁剪以增强数据数量，以解决图像数据不多的问题，使数据更加均衡；之后将每张图片转成224×224×3的tensor，并归一化像素值；

步骤32：预训练模型：

加载多任务卷积神经网络，采用Adam优化算法，根据四个损失值之和进行反向传播，优化模型参数；预训练中每个批次大小为128，学习率为0.001，总共训练40个epoch；

步骤33：微调模型：

从步骤32中加载在测试集中精度最高的模型，调整学习率为0.0001，利用Adam算法继续训练40个epoch。

Images