CN108960271B - 一种基于图像识别的餐饮收货诚信规范方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的餐饮收货诚信规范方法，包括用于解决诚信收货环境图像识别问题的Auto‑Integrity CNN模型及用于解决基于组合订单的食材图像识别问题的Enhanced Order‑CNN模型的构建方法；本发明的基于图像识别的餐饮收货诚信规范方法，采用Auto‑Integrity模型，对Caffe框架以及CaffeNet模型进行改进，用于解决诚信收货环境图像识别问题；采用Enhanced Order‑CNN模型，对Caffe框架以及CaffeNet模型进行改进，以及结合订单中的食材种类、重量、收购顺序以及其他业务信息，用于解决基于组合订单的食材图像识别问题。

Description

一种基于图像识别的餐饮收货诚信规范方法

技术领域

本发明涉及一种基于图像识别的餐饮收货诚信规范方法，属于图像识别技术领域。

背景技术

传统的食材采购过程包括四个环节：报单、备货、收货以及对账，具体的为：首先厨师要统计食材缺口，交给厨师长审核，之后打电话报给供应商准备，供应商备货完毕后送货，门店再进行收货与录入，最后财务负责对账。在这个过程中，中间环节多、损耗大，信息沟通与同步困难，所以几乎每个环节都可能产生问题，特别是行为诚信以及数据诚信较为严重。行为诚信可以表现为厨师与供应商私吞食材，损害餐厅老板的利益，数据诚信可以表现为在收货过程中，收货环境脏乱杂，通过纸质记录收货数据，对食材的质量以及真实性无法保证，并且手工将数据录入系统，存在信息化程度以及标准化程度低等问题。

针对这些存在的问题，本发明通过智能电子秤系统来解决这些问题，具体过程为：厨师提前一天通过移动应用APP下单；供应商收到订单后，订单数据会自动同步到电子秤；供应商第二天登录到电子秤系统，通过电子秤对食材进行称重，识别图像并拍照，并且监控是否满足标准；同时收据会自动打印，食材收购数据和图片自动上传到餐饮系统，餐厅老板可以实时查看数据；

因此，行为诚信问题可以转化为诚信收货环境图像识别问题，通过与餐厅老板以及研究人员的讨论，将光线明亮、开袋、图像背景干净的图片称为诚信环境图片，光线昏暗、未开袋、背景复杂、模糊的图片称为非诚信环境图片，建立了诚信收货环境图像数据集，因目前图片较少，通过人为的将图片进行分类创建数据集；针对该数据集，基于Caffe框架采用CaffeNet模型，并对CaffeNet模型进行改进，进行了模型设计、算法公式描述，实现步骤等操作，提出Auto-Integrity CNN模型来自动识别诚信收货环境图像，当在收货过程中，拍摄的图像为非诚信图像，智能电子秤会提醒用户操作不当，从而对收货过程中的诚信行为进行有效规范。

同时，数据诚信问题可以转化为基于组合订单的食材图像识别问题，在餐厅的食材收货过程中，通过图像识别能够有效的将现场收货的食材图片进行拍照留痕，可供餐厅老板实时查看，但传统的图像识别方法不能准确的识别种类复杂的食材种类，无法有效的对食材是否为订单中的食材进行监控，本发明利用订单中的食材种类、重量、收购顺序以及其他业务信息，对Caffe框架以及CaffeNet模型进行改进，提出Enhanced Order-CNN模型来提高识别的准确率以及效率，当拍摄的食材图像与采购订单中的食材类别不同时，智能电子秤会实时报警，将数据发送给餐厅老板的手机端，实时监控食材收货的过程。

发明内容

为解决上述问题，本发明提出了一种基于图像识别的餐饮收货诚信规范方法，采用Auto-Integrity模型，对Caffe框架以及CaffeNet模型进行改进，用于解决诚信收货环境图像识别问题；采用Enhanced Order-CNN模型，对Caffe框架以及CaffeNet模型进行改进，以及结合订单中的食材种类、重量、收购顺序以及其他业务信息，用于解决基于组合订单的食材图像识别问题。

本发明的基于图像识别的餐饮收货诚信规范方法，包括用于解决诚信收货环境图像识别问题的Auto-Integrity CNN模型及用于解决基于组合订单的食材图像识别问题的Enhanced Order-CNN模型的构建方法；

所述Auto-Integrity CNN模型其构建方法如下，首先在此模型中给定K个类别的名字和Yes/No integrity标签，这个网络模型会分别学到一个类别标签和一个integrity标签；在底层到第一个全连接层之间的层，对于两个标签都是共用的；经过前向传播后，第一个全连接层X和最后一个卷积层生成的联合特征将被输入到两个softmax loss层；然后从两个softmax loss层学到的权重参数矩阵将分解成共享层的权重参数矩阵；同时，从底层的组合矩阵到第一个全连接层X拥有两个不同标签的不同信息；所述Enhanced Order-CNN模型其构建方法如下，结合订单信息，从原始图像开始并以图像的二进制类预测结束。

进一步地，所述Auto-Integrity CNN模型其构建方法具体如下：每个原始数据首先会有两个标签，一个是是否诚信，一个是属于第K个类别；然后在Batches层中，批量的输入图片，一次输入Y张图片到模型中进行训练；接下来在Shared L层，其包含了一部分卷积层直到第一个全连接层，最后在第一个全连接层上得到共享权重矩阵；共享权重矩阵再分别传播到softmax loss层中的integrity、K类别；integrity是用来判断第一个标签的误差，类别K用来判断第二个类别标签的误差；共享层产生的特征会分别进入这两个softmaxloss层，然后通过优化，模型进行反向传播，对所有层的权重参数进行修改；反复执行整个过程直到模型损失收敛。

再进一步地，所述Auto-Integrity CNN模型其公式表达方式如下：

给定N张训练图片集和对应的标签集

式中I_i表示训练图片，K表示食材类别；如公式(1)所示，Auto-Integrity CNN模型提取了高维度的特征

式中x_i可表示为：

x_i＝f(I_i,k,b,β,γ)； (1)

式中：f(*)表示输入图片到第一个全连接层特征共享的非线性映射，k和b分别表示所有卷积层过滤器和偏置的集合，β和γ分别表示所有bottom层缩放和旋转的集合，另外Φ＝(k,b,β,γ)表示所有提取特征参数的集合，提取的特征x_i在诚信Integrity预测任务和食材K类别预测任务实现特征共享；假定

和

分别是全连接层中的权重矩阵和偏置向量，式中D_d为D中不同食材的数量，则生成的线性模型如公式(2)所示：

式中：

输出给softmax层用来计算训练集中属于每个食材类别的概率大小；

式中：

表示x_i属于第j个食材的概率，softmax(*)函数将模型输出

映射到所有食材图像的概率分布上以及第K_n个食材图像索引上；最终，要获得的食材图像结果可由下式获得：

则交叉熵损失函数表示为：

同样的，计算Integrity任务的损失函数，对于诚信Integrity预测任务和食材K类别预测任务及两个全连接层的连接来说，令W＝{W^d,W^c,W^f}表示其权重矩阵；为了简化，消除了偏置系数；对于给定的训练集D来说，Auto-Integrity CNN模型目的是为了最小化两个任务结合起来的损失函数，其损失函数如公式(6)所示：

式中：α_d和α_c分别表示每个任务的权重，当α_d或α_c为0时，为单一任务模型，损失函数驱动模型同时学习提取特征参数Φ和分类任务权重W；在测试阶段，首先测试输入图像是诚信的还是不诚信的图片；如果输入的图像无法进行相应的分类，则模型将会输出该图像为不诚信图像，若输入的为诚信图像，那么该模型将会输出预测的食材类别。

再进一步地，所述权重其调整方法如下：Auto-Integrity CNN模型通过向量α_s来对α_d和α_c进行学习过程的中的自动分配，从第一全连接层添加一个softmax层为：

α_s＝soft max(ω_sTx_i+ε_s)； (7)

式中：α_s是在α_d+α_c＝1条件下，双任务的自适应损失率，则损失率表示为：

其中，使用小批量随机梯度下降法来解决上述优化问题，在这些优化问题中，权值的调整会聚合在批处理样本中。

进一步地，所述Enhanced Order-CNN模型其构建方法具体如下，经探索发现，重量特征向量是食材供应链中的关键特征，给定样本sⁱ，重量特征向量是智能秤称重的实际重量

与给定订单的重量

之间的相对比率，并对其进行归一化处理；给定样本sⁱ，重量特征向量

表示为如下公式：

式中

是重量特征向量Tⁱ中的第j个元素，因此，将重量特征整合到Order-CNN模型中，并提出Enhanced Order-CNN模型；

将训练样本重新构建为包含N个训练图像，重量特征向量及其标签：

式中

是食材图像样本，cⁱ∈{0，1}是非诚信图像或诚信图像的一个0/1标签，kⁱ∈{1，...，K}是所有食材类别的索引标签，oⁱ∈{0,1}^K是一个订单向量，

是给定样本i的订单重量特征向量；与重量特征向量

类似，其他在订单中体现的特征也由它扩展来表示；例如，食材的接收顺序也是一个提高预测精度的有效特征。

给定一组N个训练图像及其标签：

在模型最后一个全连接层中提取出来的特征xⁱ，在图像行为诚信预测，大类别预测和指定订单食材类别预测等三项任务中共享；在Enhanced Order-CNN模型中，假设

和

分别是所有类别分类的全连接层的权重矩阵和偏置向量，则广义线性模型描述如下：

yⁱ＝W^T·xⁱ+V^T·Tⁱ； (10)

式中

是权重向量，

是分类器的输入；

对Enhanced Order-CNN模型的损失值用公式进行表示，令多任务的权重参数矩阵为W＝{W^k,V^T,W^c}，为了简单起见，删除了偏置项；对于训练集

Enhanced Order-CNN模型的目标是使组合的三项任务的损失最小化：

式中λ，λ₁，λ₂，λ₃，λ₄控制两项主要任务的关键，这个损失函数与Auto-IntegrityCNN模型中的相似。

本发明与现有技术相比较，本发明的基于图像识别的餐饮收货诚信规范方法，通过对Caffe框架以及传统的卷积神经网络模型CaffeNet模型进行改进，提出两种改进的CNN模型，包括用于解决诚信收货环境图像识别问题的Auto-Integrity CNN模型及用于解决基于组合订单的食材图像识别问题的Enhanced Order-CNN模型；这两种改进的模型具有以下优点：(1)高效率，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度；(2)可塑性，针对具有订单信息的食材图像识别，改进后的CNN模型只需要调整参数，就能改变模型；这使得其具有很强的灵活性和成长性；(3)普适性，改进后的CNN模型是通过学习来解决问题，可以根据问题自动建立模型，所以能够适用于相似的问题，而不是局限于某个固定的问题。

附图说明

图1是本发明的模型的总体结构示意图。

图2是本发明的Auto-Integrity CNN模型结构示意图。

图3是本发明的CaffeNet、VGG-16以及ResNet针对不同食材图片的识别时间消耗和不同框架中Top-1，Top-3和Top-5的平均准确率示意图；其中，图(a)为分类识别时间消耗示意图；图(b)为Top-1,Top-3和Top-5对应的分类识别准确率示意图。

图4是本发明的S-CNN-TWO，S-CNN-EXT和Auto-Integrity CNN的时间消耗示意图。

图5是本发明的S-CNN-TWO，S-CNN-EXT和Auto-Integrity CNN的准确率示意图；其中，图(a)为三个模型两种识别的准确率示意图；图(b)为诚信图片分类到正确目录的准确率示意图。

图6是本发明的Enhanced Order-CNN网络模型的部分示意图。

图7是本发明的文件列表的组成结构示意图。

图8是本发明的使用Order-CNN和Enhanced Order-CNN模型时的平均识别时间和Top-1,Top-3,Top-5准确率示意图；其中，图(a)为平均识别时间示意图；图(b)为Top-1,Top-3,Top-5对应的准确率示意图。

图9是本发明的识别结果的示例图。

图10是本发明的食材供应系统的图像识别架构示意图；其中，图(a)为用于接收指令的食材的智能秤示意图；图(b)为在云服务器部署的在线图像识别API示意图。

具体实施方式

本发明的基于图像识别的餐饮收货诚信规范方法，包括用于解决诚信收货环境图像识别问题的Auto-Integrity CNN模型及用于解决基于组合订单的食材图像识别问题的Enhanced Order-CNN模型的构建方法；

所述Auto-Integrity CNN模型其构建方法如下，如图1所示，在Auto-IntegrityCNN模型中，首先在此模型中给定K个类别的名字和Yes/No integrity标签，这个网络模型会分别学到一个类别标签和一个integrity标签；在底层到第一个全连接层之间的层，对于两个标签都是共用的；经过前向传播后，第一个全连接层X和最后一个卷积层生成的联合特征将被输入到两个softmax loss层；然后从两个softmax loss层学到的权重参数矩阵将分解成共享层的权重参数矩阵；同时，从底层的组合矩阵到第一个全连接层X拥有两个不同标签的不同信息；所述Enhanced Order-CNN模型其构建方法如下，结合订单信息，从原始图像开始并以图像的二进制类预测结束。

所述Auto-Integrity CNN模型其构建方法具体如下：如图2所示，首先输入图片(左边)有两个标签信息给模型，共享层L后面会连接S层，将第一个全连接层的权重矩阵传输给softmax loss层或第二个个全连接层，L层是被S中两个不同标签共享的；具体的，每个原始数据首先会有两个标签，一个是是否诚信，一个是属于第K个类别；然后在Batches层中，批量的输入图片，一次输入Y张图片到模型中进行训练；接下来在Shared L层，其包含了一部分卷积层直到第一个全连接层，最后在第一个全连接层上得到共享权重矩阵；共享权重矩阵再分别传播到S(softmax loss)层中的integrity、K类别；integrity是用来判断第一个标签的误差，类别S(K)用来判断第二个类别标签的误差；共享层产生的特征会分别进入这两个softmax loss层，然后通过优化，模型进行反向传播，对所有层的权重参数进行修改；反复执行整个过程直到模型损失收敛。

所述Auto-Integrity CNN模型其公式表达方式如下：

给定N张训练图片集和对应的标签集

式中I_i表示训练图片，K表示食材类别；如公式(1)所示，Auto-Integrity CNN模型提取了高维度的特征

式中x_i可表示为：

x_i＝f(I_i,k,b,β,γ)； (1)

式中：f(*)表示输入图片到第一个全连接层特征共享的非线性映射，k和b分别表示所有卷积层过滤器和偏置的集合，β和γ分别表示所有bottom层缩放和旋转的集合，另外Φ＝(k,b,β,γ)表示所有提取特征参数的集合，提取的特征x_i在诚信Integrity预测任务和食材K类别预测任务实现特征共享；假定

和

分别是全连接层中的权重矩阵和偏置向量，式中D_d为D中不同食材的数量，则生成的线性模型如公式(2)所示：

式中：

输出给softmax层用来计算训练集中属于每个食材类别的概率大小；

式中：

表示x_i属于第j个食材的概率，softmax(*)函数将模型输出

映射到所有食材图像的概率分布上以及第K_n个食材图像索引上；最终，要获得的食材图像结果可由下式获得：

则交叉熵损失函数表示为：

同样的，计算Integrity任务的损失函数，对于诚信Integrity预测任务和食材K类别预测任务及两个全连接层的连接来说，令W＝{W^d,W^c,W^f}表示其权重矩阵；为了简化，消除了偏置系数；对于给定的训练集D来说，Auto-Integrity CNN模型目的是为了最小化两个任务结合起来的损失函数，其损失函数如公式(6)所示：

式中：α_d和α_c分别表示每个任务的权重，当α_d或α_c为0时，为单一任务模型，损失函数驱动模型同时学习提取特征参数Φ和分类任务权重W；在测试阶段，首先测试输入图像是诚信的还是不诚信的图片；如果输入的图像无法进行相应的分类，则模型将会输出该图像为不诚信图像，若输入的为诚信图像，那么该模型将会输出预测的食材类别。

所述权重其调整方法如下：Auto-Integrity CNN模型通过向量α_s来对α_d和α_c进行学习过程的中的自动分配，从第一全连接层添加一个softmax层为：

α_s＝soft max(ω_sTx_i+ε_s)； (7)

式中：α_s是在α_d+α_c＝1条件下，双任务的自适应损失率，则损失率表示为：

其中，使用小批量随机梯度下降法来解决上述优化问题，在这些优化问题中，权值的调整会聚合在批处理样本中。

所述Enhanced Order-CNN模型其构建方法具体如下，经探索发现，重量特征向量是食材供应链中的关键特征，给定样本sⁱ，重量特征向量是智能秤称重的实际重量

与给定订单的重量

之间的相对比率，并对其进行归一化处理；前面提到的，给定样本sⁱ，重量特征向量

表示为如下公式：

式中

是重量特征向量Tⁱ中的第j个元素，因此，将重量特征整合到Order-CNN模型中，并提出Enhanced Order-CNN模型；

将训练样本重新构建为包含N个训练图像，重量特征向量及其标签：

式中

是食材图像样本，cⁱ∈{0，1}是非诚信图像或诚信图像的一个0/1标签，kⁱ∈{1,...,K}是所有食材类别的索引标签，oⁱ∈{0,1}^K是一个订单向量，

是给定样本i的订单重量特征向量；与重量特征向量

类似，其他在订单中体现的特征也由它扩展来表示；例如，食材的接收顺序也是一个提高预测精度的有效特征。

给定一组N个训练图像及其标签：

在模型最后一个全连接层中提取出来的特征xⁱ，在图像行为诚信预测，大类别预测和指定订单食材类别预测等三项任务中共享；在Enhanced Order-CNN模型中，假设

和

分别是所有类别分类的全连接层的权重矩阵和偏置向量，则广义线性模型描述如下：

yⁱ＝W^T·xⁱ+V^T·Tⁱ； (10)

式中

是权重向量，

是分类器的输入；

对Enhanced Order-CNN模型的损失值用公式进行表示，令多任务的权重参数矩阵为W＝{W^k,V^T,W^c}，为了简单起见，删除了偏置项；对于训练集

Enhanced Order-CNN模型的目标是使组合的三项任务的损失最小化：

式中λ，λ₁，λ₂，λ₃，λ₄控制两项主要任务的关键，这个损失函数与Auto-IntegrityCNN模型中的相似。

实施例1：

首先使用Mealcome数据集进行实验对本发明提出的模型进行评估，然后，将本发明的模型与ResNet,VGG-16等现有的模型进行比较实验，从两个不同的方面分别进行评估；

1)数据集与实验环境，

Mealcome数据集(MLC数据集)由中国的大型食品供应链平台(www.mealcome.com)提供，该平台为近1000家餐馆提供服务；该数据集由三部分组成：诚信数据(MLC-IP)，非诚信数据(MLC-NP)和包含采购订单的数据(MLC-PO)；本发明获得按日期排序的原始食材图像，每个文件夹包含当天生成的所有图像，所有的食材图像均是现场拍摄，因此含有曝光过度，光线暗，塑料袋包装等的图像过多，于是本发明用这些图像来创建MLC-NP，并使用所有的环境干扰少的清晰图像来创建MLC-IP；对MLC-IP进行重新组织，以确保所有的食材图像均在对应食材名称命名的文件夹下；同时，本发明将MLC-IP的相同采购订单放入一个文件夹中，文件夹名称是采购订单本身，称为MLC-PO；

在实验过程中，所提出的算法均在硬件环境为Intel(R)Core TM i5-6500CPU(3.2GHz)，8GB RAM和ROG STRIX-GTX1060 GPU的台式计算机上进行，这能够显著地提高实验的计算速度；然后，对Caffe框架进行了一定修改并作为本次实验的深度学习框架，同时使用已进行预训练的CaffeNet模型来减少训练时间和提高准确性；

2)Auto-Integrity CNN模型，

实验步骤：

a)首先使用CaffeNet，VGG-16和ResNet框架模型对分别实验数据进行训练，然后使用图像Top-1，Top-3和Top-5的准确率和花费的时间两个度量来对三个框架模型的性能进行比较和评估，选出其中最优的框架模型；

b)在最优的框架模型中使用三种本发明设计的模型：S-CNN-TWO(两个单独CNN模型实验)、S-CNN-EXT(一个单独CNN模型中增加一个新类别)和Auto-Integrity CNN；通过三种模型对图片分类的准确率和消耗时间对三种模型的性能进行评估，选出其中最优的模型；

c)对超参数进行调试，以获取更优的模型，使此模型的精度和时间花费可以更加优化；

如图3(a)所示，可以看到CaffeNet和ResNet在识别时间上有很好的效果，且两个模型消耗的时间很接近；但是如图3(b)所示，这三个模型里只有CaffeNet模型在分别识别Top-1，Top-3，Top-5的准确率方面是最好的，其次是VGG-16，其中，Top-1并表示在所有结果中排第一的结果，Top-3表示排序的前三个结果，以此类推；

所以根据不同模型的性能分析，针对食材图像的分类，应该使用CaffeNet模型；

在选择CaffeNet框架的基础上，本发明对三种设计模型的评估，如图4所示，可以从图中看到，不管是识别诚信图片还是非诚信图片，Auto-Integrity CNN模型的效果都是最优的，S-CNN-TWO的时间消耗几乎是其他两种模型的两倍，如图5所示，可知Auto-Integrity CNN模型的Top-1，Top-3以及Top-5准确率都高于其他两个模型，其中诚信图片被分类到诚信类别，不诚信图片分类到不诚信类别。

实施例2：

对Enhanced Order-CNN模型的实验评估，

本实验使用的数据集包含了每个图像的采购单信息；在Enhanced Order-CNN模型的训练过程中，输入为带有图像和标签的订单信息，但原始的Caffe框架不能支持这种多标签的输入和训练，所以对Caffe框架的源码进行修改，从而添加一个新的层“order_weightd_type”；如图6所示，显示了Enhanced Order-CNN中的新添加的层“order_weight_type”(Order-weight层)；

考虑到重量信息在食材的订单中是一个重要的特征，本发明将重量信息添加在每个订单信息的后面，然后与没有涉及重量特征的Order-CNN模型进行比较；如图7所示，看到添加了重量信息的文件列表，从而，Caffe框架在读取文件列表时将获得的重量信息添加给fc7层；

如图7所示，{Full Image File Path}是图片所在的位置，从而Caffe能够读取到这张图片，{K}是一个一维数组，表示图片所属的类别以及是否为诚信图片；{T}是一个41维的浮点类型数组，包含了订单中的重量信息；图7中的{T}是本实验的关键部分，其中{T}可以展开显示为{t₀，t₁，t₂，...t_j...，t₄₀}；如果t_j等于0.0，则意味着类别j与采购订单的当前食材图像不相同，相反地，如果t_j不等于0.0，则意味着类别j与当前采购订单的当前食材图像相同，并且t_j是重量特征的形式化表示；还需要对Caffe框架进行一些修改，以适应fc7层能够对新数据的输入；在Order-CNN实验中，fc7的输出是一个4096维的数组，然后在Enhanced Order-CNN模型中，图7中的{T}被添加到fc7的输出中，所以当前的fc7输出是4137维数组。

根据Order-CNN实验可以得出，在λ＝0.5时可以得到最高的准确率，因此在此实验中λ仍然等于0.5；如图8(a)所示，Order-CNN和Enhanced Order-CNN模型这两个模型的识别时间基本一致，但是如图8(b)所示，Top-1的准确率有了很大提高，Top-3和Top-5的准确率也有了一定的提高。

如图9所示，Order-CNN和Enhanced Order-CNN模型之间的部分食材的识别结果，其中位于样本图像下的“Predict”标签表示Order-CNN模型的识别结果，而“Incr-Predict”表示Enhanced Order-CNN模型的识别结果；通过观察可以发现，后者识别的准确性高于前者。

食材供应链中的图像识别体系结构，

本发明的食材供应链体系架构包括一个联网的智能秤和一个在线图像识别API，API接口可以根据给定的订单信息对食材进行识别；如图10(a)所示，智能秤包含两个功能，其一是摄像头能够对食材进行拍摄，其二是能够获得当前食材的实际重量；这个实际重量将与订单提供的重量进行比较，从而形成一个重要的特征以解决分类中准确率低的问题；将图像识别API部署在云服务器，这些敏感数据也将被发送至云服务器进行识别；如图10(b)所示，本发明的真实系统(http://www.mealcome.com/)中在线图像识别架构的主要组成部分。

(1)在食材收货过程中，针对行为诚信问题，将其转换为诚信收货环境图像识别问题，首先建立诚信收货环境图像数据集，其中光线暗、未开袋、背景复杂、模糊的图像归为非诚信收货环境，光线明亮、开袋、背景干净的图像归为诚信收货环境，因目前图片较少，通过人为的将图片进行分类创建数据集。

(2)建立诚信收货环境图像数据集后，基于Caffe框架采用CaffeNet模型，并对CaffeNet模型进行改进，提出Auto-Integrity CNN模型，来对诚信收货环境图像进行识别，当在收货过程中，拍摄的图像为非诚信图像，智能电子秤会提醒用户操作不当，从而对收货过程中的诚信行为进行有效规范。

(3)同时对于收货过程中数据诚信问题，将其转化为基于组合订单的食材图像识别问题，通过图像识别能够有效的将现场收货的食材图片进行拍照留痕，但传统的图像识别方法不能准确的识别种类复杂的食材种类，无法有效的对食材是否为订单中的食材进行监控，本发明利用订单中的食材种类、重量、收购顺序以及其他业务信息，对Caffe框架以及CaffeNet模型进行改进，提出enhanced Order-CNN模型来提高识别的准确率以及效率，当拍摄的食材图像与采购订单中的食材类别不同时，智能电子秤会实时报警，将数据发送给餐厅老板的手机端，实时监控食材收货的过程。

本发明提出两种改进的CNN模型：(1)Auto-Integrity模型，对Caffe框架以及CaffeNet模型进行改进，用于解决诚信收货环境图像识别问题；(2)Enhanced Order-CNN模型，对Caffe框架以及CaffeNet模型进行改进，以及结合订单中的食材种类、重量、收购顺序以及其他业务信息，用于解决基于组合订单的食材图像识别问题；这两种改进的模型具有以下优点：

(1)高效率，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度；

(2)可塑性，针对具有订单信息的食材图像识别，改进后的CNN模型只需要调整参数，就能改变模型；这使得其具有很强的灵活性和成长性；

(3)普适性，改进后的CNN模型是通过学习来解决问题，可以根据问题自动建立模型，所以能够适用于相似的问题，而不是局限于某个固定的问题。

上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (1)

1.一种基于图像识别的餐饮收货诚信规范方法，其特征在于，包括用于解决诚信收货环境图像识别问题的Auto-Integrity CNN模型及用于解决基于组合订单的食材图像识别问题的Enhanced Order-CNN模型的构建方法；

所述Auto-Integrity CNN模型其构建方法如下，首先在此模型中给定K个类别的名字和Yes/No integrity标签，这个网络模型会分别学到一个类别标签和一个integrity标签；在底层到第一个全连接层之间的层，对于两个标签都是共用的；经过前向传播后，第一个全连接层X和最后一个卷积层生成的联合特征将被输入到两个softmax loss层；然后从两个softmax loss层学到的权重参数矩阵将分解成共享层的权重参数矩阵；同时，从底层的组合矩阵到第一个全连接层X拥有两个不同标签的不同信息；

所述Auto-Integrity CNN模型其构建方法具体如下：每个原始数据首先会有两个标签，一个是是否诚信，一个是属于第K个类别；然后在Batches层中，批量的输入图片，一次输入Y张图片到模型中进行训练；接下来在Shared L层，其包含了一部分卷积层直到第一个全连接层，最后在第一个全连接层上得到共享权重矩阵；共享权重矩阵再分别传播到softmaxloss层中的integrity、K类别；integrity是用来判断第一个标签的误差，类别K用来判断第二个类别标签的误差；共享层产生的特征会分别进入这两个softmax loss层，然后通过优化，模型进行反向传播，对所有层的权重参数进行修改；反复执行整个过程直到模型损失收敛；

所述Enhanced Order-CNN模型其构建方法如下，结合订单信息，从原始图像开始并以图像的二进制类预测结束；

所述Auto-Integrity CNN模型其公式表达方式如下：

给定N张训练图片集和对应的标签集

式中I_i表示训练图片，K表示食材类别；如公式(1)所示，Auto-Integrity CNN模型提取了高维度的特征

式中x_i可表示为：

x_i＝f(I_i,k,b,β,γ)； (1)

式中：f(*)表示输入图片到第一个全连接层特征共享的非线性映射，k和b分别表示所有卷积层过滤器和偏置的集合，β和γ分别表示所有bottom层缩放和旋转的集合，另外Φ＝(k,b,β,γ)表示所有提取特征参数的集合，提取的特征x_i在诚信Integrity预测任务和食材K类别预测任务实现特征共享；假定

和

分别是全连接层中的权重矩阵和偏置向量，式中D_d为D中不同食材的数量，则生成的线性模型如公式(2)所示：

式中：

输出给softmax层用来计算训练集中属于每个食材类别的概率大小；

式中：

表示x_i属于第j个食材的概率，softmax(*)函数将模型输出

映射到所有食材图像的概率分布上以及第K_n个食材图像索引上；最终，要获得的食材图像结果可由下式获得：

则交叉熵损失函数表示为：

同样的，计算Integrity任务的损失函数，对于诚信Integrity预测任务和食材K类别预测任务及两个全连接层的连接来说，令W＝{W^d,W^c,W^f}表示其权重矩阵；对于给定的训练集D来说，Auto-Integrity CNN模型目的是为了最小化两个任务结合起来的损失函数，其损失函数如公式(6)所示：

式中：α_d和α_c分别表示每个任务的权重，当α_d或α_c为0时，为单一任务模型，损失函数驱动模型同时学习提取特征参数Φ和分类任务权重W；在测试阶段，首先测试输入图像是诚信的还是不诚信的图片；如果输入的图像无法进行相应的分类，则模型将会输出该图像为不诚信图像，若输入的为诚信图像，那么该模型将会输出预测的食材类别；

所述权重其调整方法如下：Auto-Integrity CNN模型通过向量α_s来对α_d和α_c进行学习过程的中的自动分配，从第一全连接层添加一个softmax层为：

α_s＝soft max(ω_sTx_i+ε_s)； (7)

式中：α_s是在α_d+α_c＝1条件下，双任务的自适应损失率，则损失率表示为：

所述Enhanced Order-CNN模型其构建方法具体如下，给定样本sⁱ，重量特征向量是智能秤称重的实际重量

与给定订单的重量

之间的相对比率，并对其进行归一化处理；给定样本sⁱ，重量特征向量

表示为如下公式：

式中

是重量特征向量Tⁱ中的第j个元素，因此，将重量特征整合到Order-CNN模型中，并提出Enhanced Order-CNN模型；

将训练样本重新构建为包含N个训练图像，重量特征向量及其标签：

式中

是食材图像样本，cⁱ∈{0，1}是非诚信图像或诚信图像的一个0/1标签，kⁱ∈{1,...,K}是所有食材类别的索引标签，oⁱ∈{0,1}^K是一个订单向量，

是给定样本i的订单重量特征向量；

给定一组N个训练图像及其标签：

在模型最后一个全连接层中提取出来的特征xⁱ，在图像行为诚信预测，大类别预测和指定订单食材类别预测三项任务中共享；在Enhanced Order-CNN模型中，假设

和

分别是所有类别分类的全连接层的权重矩阵和偏置向量，则广义线性模型描述如下：

yⁱ＝W^T·xⁱ+V^T·Tⁱ； (10)

式中

是权重向量，

是分类器的输入；

对Enhanced Order-CNN模型的损失值用公式进行表示，令多任务的权重参数矩阵为W＝{W^k,V^T,W^c}，对于训练集

Enhanced Order-CNN模型的目标是使组合的三项任务的损失最小化：

式中λ，λ₁，λ₂，λ₃，λ₄控制两项主要任务的关键。

Images