CN110175708B - 一种用于在线增量预测食材的模型及方法 - Google Patents

Abstract

本发明公开了一种用于在线增量预测食材的模型及增量预测方法，用于食材检测技术领域；在线增量预测食材的模型为基于订单CNN的多任务模型，在线增量预测食材的方法包括：构建一个结合特定订单及多类别分类的通用CNN模型；采用基于NEC负采样来替代通用模型中的多类别全负采样，训练食材供应链中大规模类别种类；使用基于结合订单模型及多分类的通用模型的在线增量式预测算法，训练非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式逐渐预测食材类别。本发明使用可共享潜在任务矩阵，这对于在属性方面生成完整的输入图像非常有帮助，为探索这个潜在矩阵为未来提供方向。

Description

一种用于在线增量预测食材的模型及方法

技术领域

本发明属于食材检测技术领域，尤其涉及公开了一种用于在线增量预测食材的模型及方法。

背景技术

现有技术主要涉及食材质量评估在线预测，多标签，多任务学习和深层CNN的多类课题如下：

1.食材质量评估在线预测

与之相关的许多作品已明确地适应于某些移动设备上的食材识别应用。Kong等人在2010年已经开发了DietCam，它是一种基于智能手机系统来帮助评估每日食材摄入量的软件。它使用基于SIFT的视觉词汇进行分类，然后使用最近邻分类器搜索其与已知食材的数据库的最佳匹配。Bettadapura等人在2015开始利用GPS位置来识别照片拍摄所在地的餐厅，并自动检索菜单。Yanai等人利用附加信息，提取的图片中描绘的食材的类型。Rav等人将食材识别系统与移动设备中的基于惯性传感器的日常活动和能量消耗估计器进行整合。而最终的分类是使用Fisher向量和线性SVM分类器完成的。

2.CNN

CNN是在深度学习(DL)时代诞生的(Bengio et al.，2013；Chatfield et al.，2014；Krizhevsky et al.，2012)；其目标是通过使用多个非线性变换架构来建模抽象的视觉数据。在DL模型中，CNN有非凡的表现，特别是在图像分类和对象识别应用中(Chatfield等，2014；Krizhevsky等，2012)。事实上CNN生成的学习功能是强大的，通用的，比手工制作的功能更有效的(Donahue等，2014；Sharif Razavian等，2014)。

由于学习能力强，深度表征学习取得了巨大成功，但仍然无法避免的是不平衡数据带来的负面影响。为了抵消这些负面影响，人们已经研究了几个可能的选择(Chawla etal.，2002；Chen et al.，2004；Drummond et al.，2003；Hanet al.，2005；He et al.，2009；Maciejewski et al.，2011；Tang et al.，2009；Ting et al.，2000；Zadrozny et al.，2003；Zhou et al.，2006)。然而据本发明所知，只有少数作品(Jeatrakul et al.，2010；Khan et al.，2015；Zhou et al.，2006)通过深度学习实现了不平衡分类。Jeatrakul等人(2010)使用互补神经网络作为低采样技术，将其与SMOTE过采样相结合，以平衡训练数据。Zhou和Liu(2006)研究了训练成本敏感神经网络中的数据重采样。Han等人(2015)进一步寻求联合优化类敏感成本和深度特征。

对于多标签有许多挑战，最近的一项工作提出了多标签问题的解决方案(Wei etal.，2014)。在这项工作中，共享CNN提供了任何数量的对象段假设(图像批次)，这些假设是通过诸如二进制规范梯度(BING)(Cheng等人，2014)。所有这些假设最终是由CNN通过输出最大求和进行聚合，来给出多标签预测的最终格式。Sharif Razavian等人(2014)提出了另一个多标签方向，其中CNN主要用于产生货架活动特征；而SVM主要应用于后续的类别。

现有技术存在的缺点主要有匹配效率低，识别率不高，识别成本费用高昂，容易受生理因素的影响，导致评估结果主观和不一致。根据目前的市场方式收购食材，主要是通过采购订单完成，在食材供应链的过程中，每家餐厅的日常采购订单类似其中经常与一起出现在一起，传统方法不能应付这种情况，识别效果误差较大。

综上所述，现有技术存在的问题是：

在食材行业，质量评估依然严重依赖于手工检查，费用昂贵，容易受生理因素的影响，导致评估结果主观和不一致；传统食材识别的方法，识别率不高，检测过程复杂且效率低，未能提供高效快捷的食材检测方法；

现有技术中，一个订单由多个样本构成数据，比较繁琐，对食材供应链中大规模类别种类预测效果差，而需要预测的订单中类别比较稀少；而且在线预测算法训练中得到非订单类别的预测精度及识别率低。

发明内容

针对现有技术存在的问题，本发明提供了用于在线增量预测食材的模型及方法。针对一个订单由多个样本构成的数据特性，本发明构建了一个结合特定订单及多类别分类的通用CNN模型，从食材供应链的平台收集了数据，使用可共享潜在任务矩阵。针对食材供应链中大规模类别种类，而需要预测的订单中类别比较稀少的问题，本发明用基于NEC负采样来替代通用模型中的多类别全负采样来提高训练效率。另外，本发明使用基于结合订单模型及多分类的通用模型提出了一个在线增量式的预测算法，使用训练中得到的0-1之间的系数来降低非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式来逐渐提高预测食材类别的精度。这对于在属性方面生成完整的输入图像非常有帮助描述用订单信息提高精度(识别率)，可以快速有效的识别方法来识别图片中的食材。

本发明是这样实现的，一种用于在线增量预测食材的模型，所述用于在线增量预测食材的模型为基于订单CNN的多任务模型，所述基于订单CNN的多任务模型为：给定一个K个类别的词汇表，CNN模型的每个分类器将学习一个按顺序指定的二进制名称类；在订单CNN模型向前传递之后，从最后一层全连接层生成的共同特征将被传入K进制分类器和共同的MTL损耗层；从MTL损耗层学习的权重参数矩阵分解为共享层；同时，底层到最后一层完全连接层的组合矩阵具有相同的订单CNN模型信息。

进一步，所述基于订单CNN的多任务模型包括：

两种基于任务的Order-CNN模型：

两种基于任务的Order-CNN模型学习通过堆叠两个CNN的softmax层的参数矩阵形成的W_Bf,W_Bb,和W_fK的矩阵；两个基于任务的Order-CNN模型在训练阶段协作在一起优化共享B层；通过共享B层，两个基于任务的Order-CNN模型与其他CNN模型进行视觉模式共享；

给定两个标签，学习用于清洁任务的二进制线性分类器和用于多类的多线性分类器；每个分类器或任务都有模型参数，用wm和re表示并专门用于预测相应的标签；W是总分类器权重矩阵；

给定N个训练图像，它们中的每一个具有两个标签C和K，Cm是{1}或{0}，表示训练图片i是干净还是脏的，并且Lm在{0，...，|K|}之间表示食材的指定类别，其中K是食材类别的总数；每个CNN模型中最后卷积层的输出形成输入特征向量，使两个CNN模型将生成一个两任务训练池；从两个CNN模型得出XMK+2个训练样本；

具体包括：

给定一组N个训练图像及其标签，其中每个二进制标签Ci是指示清洁或脏的位，并且类标签Ki表示食材的类别；Order-CNN提取高级特征表征

其中f(·)表示在第一个完全连接的层中从输入图像到共享特征的非线性映射。F和b是滤波器的集合集合和所有卷积层的偏置；ζ和η是所有底层中的尺度和位移集合；令Θ＝(F，b，ζ，η)表示要学习提取特征的所有参数；

Order-CNN模型中最后一个完全连接的层提取的特征x_i是在两个任务之间共享；假设和是食材分类的完全连接层中的权重矩阵和偏置向量，其中D_d是不同食材的总数，广泛的线性模型如下：

被传入到softmax层以计算属于训练集中的每种食材的x_i的概率；

其中是中的第j种食材，softmax(·)函数将模型输出映射到所有食材的概率分布，最后，通过以下方法获得估计的食材：

指定的食材料顺序表示softmax；被传入到order softmax层以计算属于训练集中的订单的每种食食材的x_i概率；

其中是订单o_t的中的第j个食材；顺序softmax(·)函数将模型输出映射到所有食材的概率分布，以o_t为顺序，并且指数选择第Ki种食材；最后，通过以下方法获得估计的食材：

Order-CNN模型的训练目标是找到一个用于预测订单中的食材的订单特殊消费模型；给定一系列训练订单o₁,o₂,o₃,…,O_t,，用于进行最小化平均负对数概率，然后采用交叉熵损失；

其中α+β＝1，log(p(y_i|o_t)按顺序用于表示候选标签中预测分类的顺序的对数，log(p(y_i|o_t)所有类别中可能存在y_i的对数K用于表示所有类别标签中的预测分类，大的α导致订单指定的分类器，当两个候选标签再次共同出现时，导致更高的精度，小α导致一般的多类分类器，当两个候选标签以任何顺序共同出现时，导致更高的精度，当α或β为0时，它成为订单指定模型或多类模型。

进一步，Order-CNN模型还制定干净任务的损失；令W＝{W^d，W^c，W^f}表示食材食材类，图片清洁和两个完全连接层的连接的权重矩阵；对于训练集D，自动清理CNN旨在最大限度地减少两个任务的综合损失：

其中γ_d和γ_c分别控制两个任务的重要性；当γ_d或γα_c为0时，它成为单任务模型s-CNN；丢失驱动模型去学习用于提取共享特征的参数Θ和两个分类任务的W；在测试阶段，首先测试输入图像是干净还是脏，如果预测图像是脏的，系统会捕获一个新的图像进行处理，直到找到一个干净的图像。

进一步，，所述基于订单CNN的多任务模型还包括：

订单-CNN模型：

Order-CNN模型的训练目标是找到一个用于预测订单中的食品材料的订单特殊消费模型；给定一系列训练顺序o1，o2，o3，...，Ot，Order-CNN模型还用于进行最小化平均负对数概率，然后采用交叉熵损失，按顺序表示候选标签中预测分类的顺序的对数。

本发明的另一目的在于提供一种用于在线增量预测食材的方法，包括：

构建一个结合特定订单及多类别分类的通用CNN模型；

采用基于NEC负采样来替代通用模型中的多类别全负采样，训练食材供应链中大规模类别种类；

使用基于结合订单模型及多分类的通用模型的在线增量式预测算法，训练非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式逐渐预测食材类别。

进一步，所述基于NEC负采样，包括：使用word2vec中提出的P_n(K)的一些选择，将Unigram分布U(K)提高到3/4的幂，训练集中的每种食材种类Ki被丢弃，其概率由word2vec中提出的公式计算

其中f(Ki)是食材种类f(Ki)的频率，t被选择为阈值。

进一步，在线增量式预测算法，包括：

步骤1：在线预测算法将从客户端系统捕获一个新的图像I，给出新的图像I，

步骤2：清理CNN模型M将从两个softmax函数预测两个变量b和k；

步骤3：如果b为真，则该在线预测系统将立即将类索引k返回给客户端系统，否则转到步骤1，直到重复max_iteration次数；

步骤4：向客户端系统返回错误代码-1，告诉用户相机无法捕获食材的清洁图像，手动选择食材类。

进一步，在线增量式预测算法中，检索订单标签o_t，输出为整数k；如果k为-1，表示在线预测系统无法捕获清洁图像以供食材识别；如果k在{0，...K-1}的范围内，表示在线预测系统已经将图像识别为具有索引k的食材的指定类别；

当系统完成收到食材之一后，从订单的候选标签中删除订单的一个标签

o_t＝o_t/y_i(11)

其中o_t被更新，候选标签的大小被判定为1；随着候选标签的递减，预测增加；

类型标签k的关键预测函数用下式计算：

其中β是公式(7)中参数的相同设置，当β为0时，只能预测候选标签中的标签，当β为1时，预测与多类预测相同；其中，β是0.2。

本发明的优点及积极效果为：

本发明提出的模型是通过多任务CNN模型来注释具有多个标签的图像的本质，该模型由MTL同时应用以允许共享视觉知识。2014年，S等人提出了另一个多标签方向，其中CNN主要用于产生货架活动特征；他们将SVM应用于后续的类别。而在本发明的方法中，当属性数量很大时，本发明会调整许多CNN模型，每个CNN模型都专门用于学习属性特定的表示。这些表示被用作MTL后期阶段的现成特征，因为本发明在优化多任务丢失功能的同时冻结了他们的训练。

与现有技术的方法相比，本发明使用基于结合订单模型及多分类的通用模型提出了一个在线增量式的预测算法，使用训练中得到的0-1之间的系数来降低非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式来逐渐提高预测食材类别的精度，使得预测精度能够提高8个百分点。并且本发明使用可共享潜在任务矩阵，这对于在属性方面生成完整的输入图像非常有帮助。为探索这个潜在矩阵为未来提供方向。

附图说明

图1是本发明实施例提供的用于在线增量预测食材的方法流程图。

图2是本发明实施例提供的基于订单CNN的多任务模型示意图。

图3是本发明实施例提供的多任务CNN影响图。图中：S-CNN-TWO，S-CNN-EXT和MTL-CNN的时间消耗；S-CNN-TWO的时间消耗是S-CNN-EXT和MTL-CNN的时间消耗的几乎两倍。

图4是本发明实施例提供的不同损耗重量比的MTL-CNN测试精度图。

图中：(a)、相同的精度和良好的精度程度；(b)、所有参数相同的识别精度程度。

图5是本发明实施例提供的MTL-CNN提取特征的不同层的时间消耗图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明从食材供应链的平台收集了数据，提出一个用户可以通过智能秤与相机拍摄食材采集图像，并在简单的用户界面(UI)中上传图像。然后，根据用户提供的采集数据被发送到云端以通过分层结构的卷积神经网络(CNN)预训练。由于采购订单是在购买食材的过程中提供的，所以UI会通过这种方法返回采购订单中前5个可能预测类别的图像，标签和名称，以提高识别准确性并缩短在线分类的时间。针对大类粮食供应链类型和预测订单类别问题稀缺问题，本发明采用NEC的订单负采样方式，以所有负样本为代表的多类模型提高培训效率，然后本发明使用基于顺序模型和多分类的组合的一般模型，提出一种在线增量预测算法。通过使用在训练中获得的0-1之间的系数来减少非秩序类别的噪声，并且通过增加在收据结束时删除可能类别的可能性，以逐渐降低分类的准确性，并改善食材鉴定效率。

下面结合附图对本发明的应用原理作详细描述。

如图1所示，本发明实施例提供的用于在线增量预测食材的方法，包括：

S101:针对一个订单由多个样本构成的数据特性，构建了一个结合特定订单及多类别分类的通用CNN模型。

S102:针对食材供应链中大规模类别种类，而需要预测的订单中类别比较稀少的问题，采用基于NEC负采样来替代通用模型中的多类别全负采样来提高训练效率。

S103:使用基于结合订单模型及多分类的通用模型提出了一个在线增量式的预测算法，使用训练中得到的0-1之间的系数来降低非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式来逐渐提高预测食材类别的精度。

下面结合具体实施例对本发明的应用原理作进一步描述。

1、基于订单CNN的多任务模型

图2是本发明实施例提供的基于订单CNN的多任务模型示意图，从原始图像开始并以图像的二进制类预测结束；给定一个K个类别的词汇表，CNN模型的每个分类器将学习一个按顺序指定的二进制名称类。在订单CNN模型向前传递之后，从最后一层全连接层生成的共同特征将被传入K进制分类器和共同的MTL损耗层。从MTL损耗层学习的权重参数矩阵清晰地分解为共享层，同时，底层到最后一层完全连接层的组合矩阵具有相同的订单CNN模型信息。

1.1两个基于任务的订单CNN模型

给定两个标签，目标是学习用于清洁任务的二进制线性分类器和用于多类的多线性分类器。每个分类器或任务都有模型参数，本发明用wm和re表示并专门用于预测相应的标签。W是总分类器权重矩阵，其也可以被认为是softmax权重矩阵，但是是从所有CNNsoftmax层堆叠而来的。给定N个训练图像，它们中的每一个具有两个标签C和K，例如Cm是{1}或{0}，表示训练图片i是干净还是脏的，并且Lm在{0，...，|K|}之间表示食材的指定类别，其中K是食材类别的总数。假设每个CNN模型中最后卷积层的输出形成输入特征向量，使得两个CNN模型将生成一个两任务训练池。因此，本发明将从两个CNN模型得出XMK+2个训练样本。

本发明的假设来自于(Zhou等人，2013)的工作，其中每个分类器可以从两个共享任务和这两个任务的线性组合重新构建。通过这种分解，CNN模型可以同时共享类似的视觉模式来学习更多的本地化特征。现在本发明分别为连接(B，Fc)，(B，Sb)，(Fc，SK)设有有三个矩阵WBf，WBb和WfK，其中b是干净或脏的二进制标签，K是多标签食材。给出两种CNN模型，目的是学习通过堆叠两个CNN的softmax层的参数矩阵形成的WBf，WBb和WfK的矩阵。本发明模型背后的主要思想是B层的分享将使两个预测任务得以快速发展。通过这个共享的B层，两个CNN可以与其他CNN模型共享视觉模式，并且两个CNN模型可以在训练阶段通过协作来优化这个共享层。每个CNN预测图像是否包含相应的标签。通过两项任务学习共享底层的好处是每个CNN都可以利用视觉知识学习其他CNN模型，即使其训练样本是不够的。

1.2 Order-CNN模型的公式表示

给定一组N个训练图像及其标签，其中每个二进制标签Ci是指示清洁或脏的位，并且类标签Ki表示食材的类别。所提出的Order-CNN提取了高级特征表征

其中f(·)表示在第一个完全连接的层中从输入图像到共享特征的非线性映射。F和b是滤波器的集合集合和所有卷积层的偏置。ζ和η是所有底层中的尺度和位移集合。令Θ＝(F，b，ζ，η)表示要学习提取特征的所有参数。

本发明模型中最后一个完全连接的层提取的特征x_i是在两个任务之间共享，例如图片清理和多类别预测。在本发明的模型中，假设和是食材分类的完全连接层中的权重矩阵和偏置向量，其中D_d是不同食材的总数，广泛的线性模型如下：

被传入到softmax层以计算属于训练集中的每种食材的x_i的概率。

其中是中的第j种食材，softmax(·)函数将模型输出映射到所有食材的概率分布，最后，通过以下方法获得估计的食材：

与所有食材中的softmax类似，这里本发明用指定的食材料顺序表示softmax。被传入到order softmax层以计算属于训练集中的订单的每种食食材的x_i概率。

其中是订单o_t的中的第j个食材。顺序softmax(·)函数将模型输出映射到所有食材的概率分布，以o_t为顺序，并且指数选择第Ki种食材。最后，通过以下方法获得估计的食材：

Order-CNN模型的训练目标是找到一个用于预测订单中的食材的订单特殊消费模型。更正式地，给定了一系列训练订单o₁,o₂,o₃,…,O_t,，Order-CNN模型的目的是最小化平均负对数概率，然后可以采用交叉熵损失。

其中α+β＝1，log(p(y_i|o_t)可以按顺序用于表示候选标签中预测分类的顺序的对数，log(p(y_i|o_t)所有类别中可能存在y_i的对数K用于表示所有类别标签中的预测分类，大的α导致订单指定的分类器，因此当两个候选标签再次共同出现时，可以导致更高的精度，小α导致一般的多类分类器，因此当两个候选标签以任何顺序共同出现时，可以导致更高的精度，当α或β为0时，它成为订单指定模型或多类模型。

类似地，本发明制定了干净任务的损失。令W＝{W^d，W^c，W^f}表示食材食材类，图片清洁和两个完全连接层的连接的权重矩阵。为了简单起见，消除偏置项。考虑到训练集D，自动清理CNN旨在最大限度地减少两个任务的综合损失：

其中γ_d和γ_c分别控制两个任务的重要性。当γ_d或γΔ_c为0时，它成为单任务模型(s-CNN)。丢失驱动模型去学习用于提取共享特征的参数Θ和两个分类任务的W。在测试阶段，本发明首先测试输入图像是干净还是脏，如果本发明预测图像是脏的，系统会捕获一个新的图像进行处理，直到本发明找到一个干净的图像。在从本发明的Order-CNN模型的并行预测模型之后，干净的图像片也将同时获得食材的预测类别。公式(7)是不切实际的，因为计算的成本与食材的所有种类K成正比，食材通常很大(10³-10⁵种食材)。

1.3食材负采样

全softmax计算性能估计是一种由Gutmann和Hyvarinen引入并应用于word2vec的噪声对比估计，NCE假设一个好的模型应该能够通过逻辑回归来区分数据和噪声。这类似于Collobert和Weston的铰链损失，通过对噪声数据进行排名来训练模型。虽然NCE可以显示为最大化完全softmax的对数概率，但是Order-CNN模型仅关注学习高质量的订单预测，因此只要订单softmax保持其质量，本发明就可以简化NCE。本发明通过目标定义食材负采样(FNEG)

用来代替公式(7)的目标，任务是使用逻辑回归将目标类型与噪声分布P_n(K)区分开，除了o_t/i负样本之外，对于各种食材中的每个数据样本，存在k个负样本。与word2vec类似，本发明的实验还表明，本发明的实验还表明，在5-20范围内的k的值对于小训练数据集是有用的，而对于大的数据集，k可以小到3-6。食材负采样与NCE之间的主要区别在于，NCE需要样本和噪声分布的数值概率，而食材负采样仅使用样本。而NCE近似最小化softmax的负对数概率，这个属性对于本发明的应用并不重要。食材负采样与负采样之间的主要区别在于食材负采样需要训练数据集中的负样本。

FNCE和NCE都具有噪声分布P_n(K)作为自由参数。本发明使用word2vec中提出的P_n(K)的一些选择，将一元模型分布U(K)提高到3/4的幂，本发明对每个本发明尝试过的任务包括语言的NCE和FNCE都显着地执行了一元模型和均匀分布模式。

为了应对罕见和频繁种类的食材之间的不平衡，本发明使用简单的子采样方法，训练集中的每种食材种类Ki被丢弃，其概率由word2vec中提出的公式计算

其中f(K_i)是食材种类f(K_i)的频率，t被选择为阈值，通常在10-3左右。这种启发式选择的公式提高了word2vec中罕见词汇的学习向量的准确性，以及稀有食材的学习权重的准确性。

1.4增量在线预测算法

在在线预测模块中，算法1描述了预测步骤，算法1的输入是本发明的快速自动清理模型，具有从训练模块中获得的优化参数。当本发明的系统中检测食材时，系统检索订单标签o_t，预测程序为算法1，算法的输出为整数k。如果k为-1，则表示在线预测系统无法捕获清洁图片以供食材识别。如果k在{0，...K-1}的范围内，这表示在线预测系统已经将图像识别为具有索引k的食材的指定类别。

算法过程如下：

(1)在线预测算法将从客户端系统捕获一个新的图像I。给出新的图像I，

(2)快速自动清理CNN模型M将从两个softmax函数预测两个变量b和k。

(3)如果b为真，则该在线预测系统将立即将类索引k返回给客户端系统，否则转到步骤(1)，直到重复max_iteration次数。

(4)向客户端系统返回错误代码-1，告诉用户相机无法捕获食材的清洁图像，请手动选择食材类。

这两个任务的并行预测在实践中确实是快速和准确的。对于准确性，由于训练样本的有限数据，可以从两个任务的样本中调整共享特征的参数，这将有利于两个任务的准确性。对于时间成本，由于预测干净标签的任务是基于CNN模型，通过减去完全连接层，加上共享底层特征，清洁标签预测的额外成本非常小。两个任务的性能大致相同。

对于订单中的食材按一定顺序进行处理，因此，食材的总体预测是序列预测。当系统完成接收订单的食材之后，从订单的候选标签中删除订单的一个标签。

o_t＝o_t/y_i  (11)

其中o_t被更新，候选标签的大小被判定为1.显然，随着候选标签的递减，本发明的预测将会增加。

算法1中的类型标签k的关键预测函数用下式计算：

其中β是公式(7)中参数的相同设置，当β为0时，算法只能预测候选标签中的标签，当β为1时，算法预测与多类预测相同。在本发明的实践中，最好的β是0.2。

下面结合实验和结果对本发明作进一步描述。

2.实验和结果

本发明通过三个主要实验来评估本发明提出的观点：(1)多任务CNN学习的食材识别；(2)采购订单类别CNN型号。本发明还进行单一任务实验，以进行比较。

2.1数据集和实验环境

Mealcome数据集(MLC数据集)由中国大型食材供应链平台(www.mealcome.com)提供，为近1000家餐厅提供服务。该平台提供与摄像机集成的称重设备，该设备在每次餐厅工作人员使用食材时，都会拍摄照片，更重要的，是食材图片的数量不断增长。

本发明的数据集包括三部分：干净的部分(MLC-CP)，脏乱的部分(MLC-DP)和采购订单部分(MLC-PO)，本发明手动的获取这些部分。本发明获取的原始食材图像按日期排列，一个文件夹包含当天生成的所有图像。所有的图像都是在现场拍摄的，所以由于过度曝光，姿势，照明，塑料盖等，正常的图像与脏乱的图像混合在一起，本发明称这些图像是坏的。

本发明收集所有好的图像来创建MLC-CP。本发明还重新对MLC-CP分组，确保一种食材图像在一个文件夹中，文件夹名称是食材本身。本发明也认为采购订单是提高准确率的关键因素。采购订单是餐厅在线订购的食材清单，供应商将这些食材送到餐厅，所以当本发明尝试认出它们时，本发明已经知道它属于哪个订单。本发明还会选择干净的图像，将属于同一采购订单的图像放入一个文件夹，文件夹名称也是采购订单本身。

本发明在Caffe的帮助下，通过自己的修改进行实验，本发明还使用CaffeNet和训练有素的方式来减少训练时间并提高准确性。图形卡是华硕DUAL-GTX10606G。

2.2食材多任务CNN学习认可

在这个实验中，本发明的目标是识别图像是一个好的还是一个坏的，并将干净的图像分类到正确的类，本发明精心选择MLC-CP和MLC-DP的数据集。为了显示多任务的优势，本发明还对单个任务进行了比较实验。详细内容请参见以下章节。

2.2.1实验设置

本发明从MLC-CP中挑选出41种食材的13799张图像，每种食材数量从123到895不等。本发明还从MLC-DP中挑选出12000张不良图像，组成不利的部分。本发明把选择出来的称之为图像数据多任务CNN学习数据集(MLT-DS)。

为了识别图像是一个好的还是坏的，并将干净的图像分类到正确的类。本发明做了两个单独的CNN模型实验(S-CNN-TWO)，这是本发明迅速想到的第一个计划，一个模型用于区分干净的图像和脏差的图像，另一个用于将干净的图像识别为正确的类。本发明尝试的另一种方法是虚拟扩展类单CNN模型实验(S-CNN-EXT)，在这个实验中，坏图像被认为是一个新类，所以本发明在这个实验中有42个类。

对于多任务CNN学习实验(MTL-CNN)，本发明培养了基于cafenet的多任务模型。Caffenet是与GoogleNet相比较的轻量级神经网络，本发明的理念是将图像特征层1提取到第6层或第7层，并且这两个任务共享与之前层相同的特征。MTL-CNN的数据集与S-CNN-TWO和S-CNN-EXT完全相同，但MTL-CNN模型读取数据集的方式完全不一样，因为原始的cafenet不支持多任务。MTL-CNN模型的关键点是对最后一层共享相同图像特征的修改，数据输入的方法和两个任务的Softmax比。

2.2.2多任务CNN影响；图3是本发明实施例提供的多任务CNN影响图；图中：S-CNN-TWO，S-CNN-EXT和MTL-CNN的时间消耗。S-CNN-TWO的时间消耗是S-CNN-EXT和MTL-CNN的时间消耗的几乎两倍。

在图3中，与S-CNN-EXT相比，S-CNN-TWO和MTL-CNN都具有时间消耗的优点。所以从时间消耗的角度来看，S-CNN-TWO和MTL-CNN都是很好的。首先，S-CNN-TWO和MTL-CNN的精度在几乎相同，而S-CNN-EXT的效果最差。很明显S-CNN-EXT对双重分类具有最差的影响。虽然S-CNN-TWO的分类精度好于MTL-CNN，但MTL-CNN的分类比S-CNN-TWO好得多。MTL-CNN是比其他两个来说更好的选择。

为了实现多任务的更好的性能，本发明还调整了MTL-CNN的不同超参数。本发明调整的直线参数是损失的重量比，下一个是从中提取特征的Caffenet层。显然0.7：0.3fc6和0.5：0.5fc6具有时间消耗的优势。关于精度，0.5：0.5和0.7：0.3意味着从图5中的fc7中提取特征。图5是本发明实施例提供的MTL-CNN提取特征的不同层的时间消耗图。

图4是本发明实施例提供的不同损耗重量比的MTL-CNN测试精度图，图4中的(a)和(b)，图4中的(b)显示所有这些参数几乎具有相同的识别精度，因此很难选择哪个参数更好。

在图4中的(a)中，0.7：0.3fc6和0.7：0.3具有相同的精度和良好的精度，0.5：0.5具有最高的精度，但是最差的是每个比例都有自己的特征。好的图像和坏的图像在实践中混在一起，所以在这里选择0.5：0.5fc6可以尽可能多的选择好的图像。

图4中，不同损耗重量比的MTL-CNN测试精度为0.5：0.4，意味着41种食材的损失重量分别为0.5,0.4，用于双重分类。MTL-CNN对于不同的任务有一个以上的损失重量，这里0.5：0.4,0.5：0.5和0.7：0.3是用于将损失分配给不同任务的平均损失的比例。好和坏，前1，前3和前5都具有与图1相同的含义。0.7：0.3fc6意味着从fc6提取图像特征，而其他来自fc7。

图5中，MTL-CNN提取特征的不同层的时间消耗。0.5：0.4fc7和0.7：0.3fc7的识别时间根据食材类型波动，而0.7：0.3fc6太稳定。

2.3采购订单类别CNN型号

为了进一步提高和完善识别精度，将采样和采购订单信息的方式视为本实验的平均因素。过采样是提高测试和验证精度的有效和广泛的方法，因此MTL-CNN具有过采样实验(MTL-Oversampling)，以提高MTL-CNN的识别精度。另一个重要因素是，各种食材的数量远远超过一个采购订单，所以本发明本能的想法就是将采购订单信息作为MTL-CNN的softmax层的重要因素实验。从而这实现了一个完美的实验结果，MTL-CNN与采购订单信息实验称为MTL-PurchaseOrders。由于采购订单是在食材供应商发货之前的一天，每天都会创建一批新订单，MTL-PurchaseOrders方法将用于生成第二天的识别模型，就像一个工作流。

2.3.1数据集和实验设置

在本实验中，从MLC-PO中选择2203个采购订单，期望从MLC-CP中挑选3799张图像，并从MLC-DP中挑选近12000张不良图像。Mealcome数据集采购订单部分(MLC-PO)实际上是通过采购订单确认的MTL-CP，每个采购订单的食材编号从2到3到超过150。

MTL过采样不仅实现起来非常简单，而且非常有效，唯一需要更改的就是“filelist.txt”文件。例如，如果胡萝卜只有100种食材图像，并且本发明为每种食材设定了800个训练项目，则胡萝卜的图像将以“filelist.txt”的形式重复使用。MTL-PurchaseOrders是基于多任务和过采样的核心实验，采购订单也在这里考虑。重要的修改是本发明输入数据的方式和计算softmax的方法。在“filelist.txt”中，采购订单信息在项目末尾添加，这些订单信息在计算softmax时将是至关重要的。本发明的理念是，所有的食材图像按顺序对相应的softmax重量都有积极作用，而如果食材图像不是按照这个顺序，图像将对相应的softmax重量产生负面影响。为了实现更好的实验结果，引入了β来调整负面的softmax权重。

2.3.2实验结果和分析

MTL-CNN有助于从坏的图像分类好的图像，并同时识别所有的好图像，而MTL-Oversampling有助于提高识别良好图像的准确性。过采样方法没有用于双重分类任务，因为本发明确实有足够数量的坏图像，这足以辨别出坏的图像。

MTL-CNN和MTL过采样的平均识别精度中，识别任务在此进行比较，以显示过采样是提高识别精度的一种方法。双重分类任务是将食材分类为好的和不好的，因为这个任务已经有很多的训练数据，所以在这个任务中没有使用过采样。

过采样有助于识别，但MTL-PurchaseOrders比过采样更好。如果在实验中考虑了采购订单信息。，当MTL-PurchaseOrders被训练时，本发明引入β系数来减少不在采购订单中的食材图像的不良影响。经过多次实验，β等于0.2得到最佳实验效果。

图2是本发明实施例提供的基于订单CNN的多任务模型示意图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于在线增量预测食材的系统，其特征在于，所述用于在线增量预测食材的系统为基于订单CNN的多任务模型，所述基于订单CNN的多任务模型为：给定一个K个类别的词汇表，CNN模型的每个分类器学习一个按顺序指定的二进制名称类；在订单CNN模型向前传递之后，从最后一层全连接层生成的共同特征被传入K进制分类器和共同的MTL损耗层；从MTL损耗层学习的权重参数矩阵分解为共享层；同时，底层到最后一层完全连接层的组合矩阵具有相同的订单CNN模型信息；

用于在线增量预测食材的系统所述基于订单CNN的多任务模型包括：

两种基于任务的Order-CNN模型：

两种基于任务的Order-CNN模型学习通过堆叠两个CNN的softmax层的参数矩阵形成的W_Bf，W_Bb，和W_fK的矩阵；两个基于任务的Order-CNN模型在训练阶段协作在一起优化共享B层；通过共享B层，两个基于任务的Order-CNN模型与其他CNN模型进行视觉模式共享；

给定两个标签，学习用于清洁任务的二进制线性分类器和用于多类的多线性分类器；每个分类器或任务都有模型参数，用wm和re表示并专门用于预测相应的标签；W是总分类器权重矩阵；

给定N个训练图像，它们中的每一个具有两个标签C和K，C是{1}或{0}，表示训练图片i是干净还是脏的，并且Lm在{0，...，|K|}之间表示食材的指定类别，其中K是食材类别的总数；每个CNN模型中最后卷积层的输出形成输入特征向量，使两个CNN模型将生成一个两任务训练池；从两个CNN模型得出XMK+2个训练样本；

具体包括：

给定一组N个训练图像及其标签，

其中每个二进制标签Ci是指示清洁或脏的位，并且类标签Ki表示食材的类别；Order-CNN提取高级特征表征

其中f(·)表示在第一个完全连接的层中从输入图像到共享特征的非线性映射，F和b是滤波器的集合和所有卷积层的偏置；ζ和η是所有底层中的尺度和位移集合；令Θ＝(F，b，ζ，η)表示要学习提取特征的所有参数；

Order-CNN模型中最后一个完全连接的层提取的特征x_i是在两个任务之间共享；假设

和

是食材分类的完全连接层中的权重矩阵和偏置向量，其中D_d是不同食材的总数，广泛的线性模型如下：

被传入到softmax层以计算属于训练集中的每种食材的xi的概率；

其中

是

中的第j种食材，softmax(·)函数将模型输出

映射到所有食材的概率分布，最后，通过以下方法获得估计的食材：

指定的食材料顺序表示softmax；

被传入到order softmax层以计算属于训练集中的订单的每种食材的x_i概率；

其中

是订单o_t的

中的第j个食材；顺序softmax(·)函数将模型输出

映射到所有食材的概率分布，以o_t为顺序，并且指数选择第Ki种食材；最后，通过以下方法获得估计的食材：

Order-CNN模型的训练目标是找到一个用于预测订单中的食材的订单特殊消费模型；给定一系列训练订单o₁，o₂，o₃，...，o_t，用于进行最小化平均负对数概率，然后采用交叉熵损失；

其中α+β＝1，log(y_i|o_t)按顺序用于表示候选标签中预测分类的顺序的对数，log(p(y_i|o_t))所有类别中存在y_i的对数K用于表示所有类别标签中的预测分类，当α或β为0时，成为订单指定模型或多类模型；

在线增量式预测算法，包括：

步骤1：在线预测算法将从客户端系统捕获一个新的图像I，给出新的图像I，

步骤2：清理CNN模型M将从两个softmax函数预测两个变量b和k；

步骤3：如果b为真，则在线预测系统将立即将类索引k返回给客户端系统，否则转到步骤1，直到重复max_iteration次数；

步骤4：向客户端系统返回错误代码-1，告诉用户相机无法捕获食材的清洁图像，手动选择食材类。

2.如权利要求1所述的用于在线增量预测食材的系统，其特征在于，

Order-CNN模型还制定干净任务的损失；令W＝{W^d，W^c，W_f}表示食材类，图片清洁和两个完全连接层的连接的权重矩阵；对于训练集D，自动清理CNN旨在最大限度地减少两个任务的综合损失：

其中γ_d和γ_c分别控制两个任务的重要性；当γ_d或γα_c为0时，它成为单任务模型s-CNN；丢失驱动模型去学习用于提取共享特征的参数Θ和两个分类任务的W；在测试阶段，首先测试输入图像是干净还是脏，如果预测图像是脏的，系统会捕获一个新的图像进行处理，直到找到一个干净的图像。

3.如权利要求1所述的用于在线增量预测食材的系统，其特征在于，所述基于订单CNN的多任务模型还包括：

订单-CNN模型：

Order-CNN模型的训练目标是找到一个用于预测订单中的食品材料的订单特殊消费模型；给定一系列训练订单o₁，o₂，o₃，...，o_t，Order-CNN模型；还用于进行最小化平均负对数概率，然后采用交叉熵损失，按顺序表示候选标签中预测分类的顺序的对数。

4.一种使用如权利要求1所述用于在线增量预测食材的系统的用于在线增量预测食材的方法，其特征在于，所述用于在线增量预测食材的方法，包括：

构建一个结合订单及多类别分类的通用CNN模型；

采用基于NEC负采样来替代通用模型中的多类别全负采样，训练食材供应链中大规模类别种类；

使用基于结合订单模型及多分类的通用模型的在线增量式预测算法，训练非订单类别的噪声，并通过一个食材收货结束时删减可能类别的方式逐渐预测食材类别。

5.如权利要求4所述的用于在线增量预测食材的方法，其特征在于，所述基于NEC负采样，包括：使用word2vec中提出的P_n(K)的一些选择，将Unigram分布U(K)提高到3/4的幂，训练集中的每种食材种类Ki被丢弃，其概率由word2vec中提出的公式计算

其中f(K_i)是食材种类f(K_i)的频率，t被选择为阈值。

6.如权利要求4所述的用于在线增量预测食材的方法，其特征在于，在线增量式预测算法中，检索订单标签o_t，输出为整数k；如果k为-1，表示在线预测系统无法捕获清洁图像以供食材识别；如果k在{0，...K-1}的范围内，表示在线预测系统已经将图像识别为具有索引k的食材的指定类别；

当系统完成收到食材之一后，从订单的候选标签中删除订单的一个标签

o_t＝o_t/y_i(11)

其中o_t被更新，候选标签的大小被判定为1；随着候选标签的递减，预测增加；

类型标签k的关键预测函数用下式计算：

其中β是公式(7)中参数的相同设置，当β为0时，只能预测候选标签中的标签，当β为1时，预测与多类预测相同；其中，β是0.2。

Images