CN115690779A

CN115690779A - 一种基于时序重排序的生鲜识别方法

Info

Publication number: CN115690779A
Application number: CN202211414313.2A
Authority: CN
Inventors: 徐振博; 胡海苗; 姜宏旭
Original assignee: Hangzhou Innovation Research Institute of Beihang University
Current assignee: Hangzhou Innovation Research Institute of Beihang University
Priority date: 2022-11-11
Filing date: 2022-11-11
Publication date: 2023-02-03

Abstract

本发明涉及一种基于时序重排序的生鲜识别方法，在传统的生鲜识别方法的基础上，在训练与推理的过程中设置并维护一个时间戳缓存区，用于记录过去的识别序列中每一个样本的正确类别与时间戳。除了进行图像特征提取外，我们额外从时间戳缓存区查询所有类别的最近出现时间以及最近出现频率，以获得所有类别额外的时序特征。我们拼接图像特征和时序特征，并通过时序重排序网络进行所有类别置信度的重新预测，使得生鲜识别算法可以学习同商品的不同编码之间变化的特征，应对现实应用中商品编码的即时变化，有效提高生鲜识别模型的识别率。

Description

一种基于时序重排序的生鲜识别方法

技术领域

本发明涉及一种基于时序重排序的生鲜识别方法。

背景技术

近年来，随着神经网络技术的不断发展，生鲜识别技术已被广泛用于各门店的生鲜商品的自助称重与识别中。然而，由于超市的同品类商品(比如苹果)由于不同进货地或不通品质导致可能有多个商品编码，而每天售卖的苹果编码均可能不同。当前的生鲜识别方法大多仅基于图像分类，难以克服生鲜识别中同类别编码周期性变化的问题，导致同类别不同编码的商品识别精度低。

发明内容

本发明针对现有技术的上述问题，提供了一种基于时序重排序的在线生鲜识别方法，可以快速适应商品编码的变化，有效提高生鲜识别的精度。

本发明的一个目的，是提供一种基于时序重排序的生鲜识别方法，其能够使用时序重排序的方法，能够准确预测出上千种生鲜产品的置信度，辅助超市收银人员快速确定生鲜的种类。通过在时序重排序策略，能够提高模型对商品编码变化的适应能力，有效提升生鲜识别模型在商超生鲜识别场景下的识别率。

为了实现根据本发明的这些目的和其他优点，提供了一种基于时序重排序的生鲜识别方法，包括：建立并维护一个固定尺寸的类别时间戳缓存数组，用于在识别的过程中记录识别的商品数据流所属于的类别以及每一个商品识别的时间戳。与传统的生鲜识别不同，基于时序重排序的生鲜识别方法的训练和测试过程均基于识别数据流。我们设计的基于时序重排序的生鲜识别模型能够让生鲜识别算法更好地适应数据流中同一商品编码的变化，并与此同时感知不同商品的售卖频率，进一步提高识别率。

所述训练过程中训练损失函数为交叉熵损失函数，我们基于Adam优化器以及所述的总损失值来计算神经网络所有的参数梯度，并相应的对网络参数进行优化，以得到

基于优化后的神经网络，在测试时仍然按照训练时数据流的识别逻辑，对每一个生鲜输入图像张量以及时间戳，得到的识别结果为预测的每一个生鲜类别的置信度，置信度最高的若干个类别为预测的生鲜类别，完成生鲜识别。

优选的是，其中输入图像为识别序列S中的任意一张图像I，首先经过特征提取网络N得到图像特征M，同时，从时间戳缓存中读取每一个类别j的识别时间戳缓存C,经过统计得到每个类别的最近出现时间R和最近出现频率E，进而得到时序特征T。通过合并图像特征向量M和时序特征向量T，我们将合并的特征输入到时序重排序网络O。网络O的输出为对图片I的预测结果Y。若为推理模式，我们将预测结果Y返回给收银员，由收银员基于预测结果Y判断预测结果是否包含正确类别，并反馈一个正确类别F。若为训练模式，我们基于预测结果Y和反馈结果F计算损失函数L，通过计算梯度来对网络的参数进行优化。随后，我们将时间戳ti存入时间戳缓存区C。

所属特征提取网络N为常见的图像识别网络，例如MobileNetV2、ResNet18等。

所述识别时间戳缓存区C的尺寸为K。其中，K为类别的最大缓存数量。当缓存区存满后，会自动剔除最远时间戳对应的类别。所述最近出现时间Rj为C中每一个类别的最近出现时间，所述最近出现频率Ej对应为C中每一个类别的出现频率。

所述时序重排序网络O由多个全连阶层连接而成。O的输出预测结果Y＝P_j,0<＝j<J。其中，Pj为每一个类别j的识别置信度。

所述损失函数L默认为交叉熵损失函数，通过基于损失L计算梯度来对特征提取网络N以及时序重排序网络O的参数进行优化。

本发明至少包含以下有益效果：由于使用基于时序重排序的识别方法，能够使得生鲜算法快速适应连续时间维度上商品编码的变化，降低同一商品不同编码对识别的负面影响，有效提高生鲜识别的精度。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为根据本发明的一个实施例的基于时序重排序方法的的流程图。

图2为根据本发明的一个实施例的实验过程图。

具体实施方式

以下结合附图和实施例对本发明做进一步的详细说明。

图1示出了根据本发明的一个实施例的基于时序重排序的生鲜识别方法，其包括：

生鲜识别模型训练和推理，包括设定和维护时间戳缓存区，其中，在处理识别序列的每一张图片时，同时考虑每一个类别的最近出现时间及频率，以基于时序信息以及时序重排序网络对类别置信度进行重新排序，且时序重排序网络为非线性多层感知机构成，以同时基于图像特征和时序信息预测出基于时序优化的识别结果；

一、具体的基于时序重排序的生鲜识别算法训练过程，步骤如下：随机选取一个序列S，初始化一个空的且最大缓存数量为K的时间戳缓存区C，假设序列S中所有图像的总类别数为J，对识别序列中的每一张图像进行特征提取与类别预测，具体包括：

步骤一，如图1，对所选的输入图像通过特征提取网络N进行图像特征M的提取，特征M的尺寸为(1,J)；

步骤二，如图1，从时间戳缓存区C中查询所有类别的最近出现时间R以及最近出现频率E。假设类别j出现了n次以及最后出现的位置为m(m<K)，则R_j＝m/K且E_j＝n/K。最终的时序特征由每个类别的E和R组成，尺寸为(2,J)；

步骤三，将图像特征与时序特征拼接，得到尺寸为(3,J)的混合特征，将该混合特征输入到时序重排序网络O中，得到最终的预测结果Y，尺寸为(1,J)。其中，O的结构为三层全连接层，第一层和第二层全连阶层后均有一个额外的ReLU激活层；

步骤四，如图1，根据收银员基于识别结果Y对正确类别F是否在Y中的确认结果，把正确类别F反馈到时间戳缓存区C中。在训练的过程中，识别结果Y和正确类别F会被用于计算损失值。

二、进行模型优化，包括：

步骤一，由于基于识别序列优化难以将训练并行化，对训练效率有较大的不利影响。为了加快训练的速度，我们提出训练数据预加载策略。假设没有识别的过程，但仍然保留反馈的过程和更新时间戳缓存区，我们对每一个识别序列按照时间戳的顺序，将所有图片遍历一遍，记录每一个图片的路径、对应的时间戳缓存区的状态、以及图片对应的真实类别。将三者缓存用于生鲜识别模型的高效并行训练。

步骤二，选择交叉熵损失函数计算最终的分类损失值，计算特征提取网络以及时序重排序网络的参数的梯度，并结合Adam优化器对神经网络的参数进行优化，

三、进行模型测试和推理，包括：

如图1，对一组生鲜图像的识别序列，初始化时间戳缓存区。对每一张生鲜识别图像进行重采样和像素值归一化处理，得到尺寸为(1,3,224,224)的输入向量，输入基于时序重排序的生鲜识别方法中，得到一个尺寸为(1,J)的图像特征M，基线方法直接将M视为最终的预测结果，即总共J个类别中每个类别的识别置信度。不同的是，我们提出的基于时序重排序的生鲜识别方法从时间戳缓存区C中查询每个类别的最近出现时间R以及最近出现频率E，以获取时序特征T。我们将M和T拼接，输入到时序重排序网络O中，以获得最终的生鲜识别预测结果Y。

为对本发明做进一步说明，列举两个实施例如下：

采用两个不同的连锁商超的生鲜数据进行生鲜识别的对比实验，为了便于验证所述的基于时序重排序的生鲜识别方法的有效性，实验选取的数据分别为位于北京(A)、杭州(B)的两个生鲜种类有较大差异的大型连锁商超。对A、B连锁商超采集的数据集样本数如表1所示。

表1数据集组成

	A连锁商超	B连锁商超
			训练集序列数量	10	10
训练集图片数量	105,000	63,000
			验证集序列数量	2	2
验证集图片数量	22,000	15,000
			测试集序列数量	5	5
测试集图片数量	80,000	40,000
			总类别数(J)	300	260

如图2所示，在基线方法的训练与推理中，直接将特征提取网络的输出作为预测结果Y。根据本发明的基于时序重排序的生鲜识别方法通过维护时间戳缓存区来额外考虑时序数据流下的每个类别的时序特征T。通过将时序特征与图像特征拼接，并调用时序重排序网络O进行每个类别置信度的重新预测。在训练过程中，基于交叉熵函数，计算预测结果Y与真实结果F之间的分类损失。采用Adam优化器对特征提取网络以及时序重排序网络的参数进行优化。每一轮的训练结束后所得到的模型都会在验证集上进行测试，以获取当前生鲜识别方法在验证集上的精度。最后选取验证集上精度最高的模型。根据本发明的一个实施例，默认的训练轮数为80轮，时间戳缓存区的最大尺寸K默认为5000。

为了同时验证基于时序重排序的生鲜识别方法的优势以及跨模型的泛化能力，根据本发明的一个实施例中，选取了三个常用的基准神经网络MobileNetV2,ResNet18,ResNet50。表2中，对根据本发明的基于时序重排序的生鲜识别方法的实施例，用“+C”进行标记。本发明人基于相同的训练/验证/测试的实验配置，在验证集以及测试集上进行了有/无时序重排序的对比实验。由于生鲜识别存在单品类多编码的情况，考虑top1和top5识别率，即识别结果中首位命中或前五位包含正确结果的概率。表2中所有的指标值均为所有5条测试序列的平均值。

表2不通数据集上有/无时序重排序的对比实验结果

如表2所示，受较多的常售卖商品(例如梨、苹果等)往往有多达十多个不同的商品编码，传统的生鲜识别神经网络往往精度较低。以ResNet18为例，在A、B的验证集上仅取得了79.5％和81.5％的top1识别精度，在测试集上的识别精度分别降低了0.9％和0.8％。相比之下，在采用本发明的基于时序重排序的生鲜识别方法后，ResNet18在验证集的识别精度在A连锁商超大大提升了4.4％，在B连锁餐厅大大提升了4.2％。对于ResNet50，采用基于时序重排序的生鲜识别方法后，在B商超的验证集上top1和top5分别提高了5.4％和1.7％。值得一提的是，在A连锁商超的测试集上，本发明提出的基于时序重排序的方法取得了和验证集相似的结果。例如，对于ResNet50，top1和top5仅分别下降0.3％和0.2％。验证集和测试集之间较小的京都差异说明本发明提出的基于时序重排序方法对于提升生鲜识别鲁棒性也有一定效果。同样的，对于另一个特征提取网络MobileNetV2，也可以观察到类似的趋势，证实了基于时序重排序的生鲜识别方法具有较为广泛的生鲜识别精度提升的效果。

这里用于训练/测试的数据集量级和规模只是用来说明本发明的实例的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

如上所述，根据本发明，由于使用基于时序重排序的生鲜识别方法，使得生鲜识别算法可以自适应的根据售卖生鲜商品的时序特征，动态调整每个类别的预测置信度，使得生鲜识别算法可以有效的克服单品种多商品编码的生鲜识别难题，可以提升生鲜识别神经网络的识别鲁棒性，并且该识别方法可以广泛应用于类似于生鲜识别的一品多类别并且识别序列在时序上有关联的分类问题。

Claims

1.一种基于时序重排序的生鲜识别方法，其特征在于包括：

A)神经网络训练步骤，包括：

A1)对于一个由大量随机选取的图像组成的识别序列S，初始化一个空的时间戳缓存区C，假设序列中所有图像的总类别数为J；

A2)对识别序列S中的每一个图像，通过特征提取网络N进行图像特征的提取，尺寸为(1,J)；

A3)从时间戳缓存区C中查询所有类别的最近出现时间R以及最近出现频率E；

A4)将图像特征与时序特征拼接，得到尺寸为(3,J)的混合特征，将该混合特征输入到时序重排序网络O中，得到最终的预测结果Y，尺寸为(1,J)；

A5)根据收银员基于识别结果Y反馈的正确的生鲜类别F，将当前图像的类别F与时间戳缓存至C中，

B)模型优化步骤，包括：

B1)对训练数据进行预加载策略，包括：对每一个识别序列S，按照时间戳的顺序，将所有数据遍历一遍，通过记录每一个图片的路径、对应的时间戳缓存区的状态、以及图片对应的真实类别，将三者缓存用于生鲜识别模型的并行训练；

B2)选择交叉熵损失函数计算最终的分类损失值，计算特征提取网络以及时序重排序网络的参数的梯度，并结合Adam优化器对神经网络的参数进行优化，

C)模型测试和推理步骤，包括：

类似于神经网络训练步骤，对识别序列中的每一张图像，先进行图像的特征提取，通过从时间戳缓存区查询得到时序特征，将图像特征与时序特征拼接后输入到时序重排序网络中，得到每个类别的识别置信度的预测结果，

然后，接收由收银员判断预测结果中是否有正确类别和/或通过点击或查询生鲜类别信息来确定并反馈的正确类别，使正确的类别被更新至时间戳缓存区中，从而完成当前图像的识别。

2.根据权利要求1所述的基于时序重排序的生鲜识别方法，其特征在于进一步包括：

通过设置有一定长度的时间戳缓存区，以存储并更新近期售卖的商品的售卖频率，并基于识别频率对识别结果做重新的排序，以解决生鲜识别场景下同一商品不同编码的难题，提高生鲜识别的精度。

3.根据权利要求1所述的基于时序重排序的生鲜识别方法，其特征在于进一步包括：

通过设置时序特征并拼接图像特征，增强人工智能模型对时序信息的感知，提高生鲜识别的精度。