CN110020603A - 基于卷积神经网络的自助结账系统及方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的自助结账方法，包括如下步骤：基于神经卷积网络建立一自助结账系统；拍摄所选取的菜品图像信息，通过所述自助结账系统识别菜品图像信息中所实际选取的菜品数量和种类；根据实际选取的菜品数量和种类，计算价格并完成结账。本发明所述自助结账系统能够简化用餐流程，优化点餐系统，克服由于人工结算带来的不便与繁琐，能够降低成本。本发明还公开了一种基于卷积神经网络的自助结账系统。

Description

基于卷积神经网络的自助结账系统及方法

技术领域

本发明属于网络自动结账技术领域，涉及一种基于卷积神经网络的自助结账系统及方法。

背景技术

在目前的企业或事业单位职员、学生食堂内，以及以盈利为目的的餐厅中，自选、套餐、窗口是较为常见的三种传统点餐模式。自选模式是指，服务员按份打菜，并放在窗口，顾客根据自己的喜好按份拿菜，并盛放在托盘上选好菜后，集中在收银台由收银员人工核算整单总价；套餐模式是指，在规定的套餐中选择菜品，并由服务员打菜备餐，由收银员按不同套餐价格结算；窗口模式则是指，就餐者在多个窗口排队选菜，并由服务员打菜，选完菜后由服务员计算总额，提醒就餐者结算。

这三种点餐模式虽然都满足了顾客点餐取餐需求，但其结算方式也存在如下多种弊端：

在三种传统模式中，结算方式主要为人工计算，结算时间较慢，造成用餐者排队等待时间过长，特别是在企业职工食堂、学校学生食堂中，就餐人流密集，就餐时间集中，人工结算往往造成队伍“长龙”情况出现，占用用餐者宝贵的午饭时间，耽误其计划安排；人工结算凭借服务员在短短数十秒之间的“无纸化计算”，很容易出错，造成机构或个人财产损失；此外，服务员工作量大，且餐厅依赖人力过重，对服务员需求量大，造成人工成本过高。由此看来，传统的三种模式在人工结算的结账方式下，面临着亟需解决的问题。

目前，出现了以“智盘”系统为代表的、基于RFID射频技术开发的自助结算系统，相较于传统人工结算方式，其在节省用餐者等待时间、简化用餐流程、减轻食堂工作者负担上取得了一定进展和突破；但是，基于RFID射频技术设计出的自助结算系统也不容乐观，更多的实际运营情况表明，其仍不能完全解决传统模式产生的弊端，甚至还滋生出了一些新的问题，例如：出错率高，准确性较为欠缺；运行速度慢，仍会出现较长的排队现象；制造成本高，维护、修缮费用高昂，不能有效减少食堂开支；餐厅人员工作量不减反增；结算完毕读取卡时出现卡壳情况；基于价格用餐盘颜色表示的方式增加用餐者判断价格的困难；自助结算系统运行时存在噪音，扰乱用餐环境，用户体验不佳等；因此，现有的以“智盘”系统为代表的、基于RFID射频技术开发的自助结算系统的运作模式和原理还存在着需要改善的地方。

发明内容

鉴于现有技术的上述缺陷，本发明提出了基于卷积神经网络的自助结账系统，所述自助结账系统应用于以企业职工餐厅、学校食堂为代表的场景之中，以自选为主要点餐模式，利用智能机器通过扫描、识别判断等一系列流程，结算出用餐者餐盘上所点菜品总额。本发明所述自助结账系统能够简化用餐流程，优化点餐系统，克服由于人工结算带来的不便与繁琐，能够降低成本。

本发明提出了一种基于卷积神经网络的自助结账系统，包括：

用于采集菜品图像的摄像装置；

用于结账计算的自助结账装置，所述自助结账装置基于卷积神经网络构成，用于识别菜品图像信息中菜品的实际数量和种类；及

用于完成结账的刷卡扣卡装置。

本发明提出的所述基于卷积神经网络的自助结账系统中，还包括：用户记录装置，其用于存储和更新用户的身份、余额、菜品消费记录和/或营养摄入记录。

本发明提出的所述基于卷积神经网络的自助结账系统中，还包括：信息发布装置，具有远程通信功能，用于与所述用户记录装置通信及向用户发送存储于所述用户记录装置中的记录信息。

本发明还提出了一种基于卷积神经网络的自助结账方法，包括如下步骤：

步骤a.基于神经卷积网络建立一自助结账系统；

步骤b.拍摄所选取的菜品图像信息，通过所述自助结账系统识别菜品图像信息中菜品的实际数量和种类；

步骤c.根据实际选取的菜品数量和种类，计算价格并完成结账。

本发明提出的所述基于卷积神经网络的自助结账方法中，所述基于神经卷积网络建立一自助结账系统包括：

步骤a1：对菜品进行图像信息采集，并且标识对应种类，构建菜品数据库；

步骤a2：根据所述菜品数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络获得适用于菜品检测环境的权重值的卷积核；

步骤a3：基于所述卷积神经网络建立一自助结账系统。

本发明提出的所述基于卷积神经网络的自助结账方法中，识别菜品图像信息包括如下步骤：

卷积神经网络的卷积层提取拍摄到的用户所选取的菜品图像信息；

卷积神经网络的全连接层预测不同菜品目标的概率和位置；

卷积神经网络的分类函数调用Softmax回归模型获得实际选取的菜品数量和种类。

本发明提出的所述基于卷积神经网络的自助结账方法中，所述Softmax回归模型如以下公式表示：

式中，Zj是卷积神经网络对于第j个类别的打分，Zk为所有n个Z中的最大值，n为食堂菜品不同类别的个数。Zj大过其他Z,那这个映射的分量就逼近于1，其他就逼近于0，并且对所有输入数据进行归一化。

本发明提出的所述基于卷积神经网络的自助结账方法中，，步骤c之后进一步包括：

步骤d.根据实际选取的菜品数量和种类，生成营养摄入记录并发送至用户。与已有的餐厅自助结算系统相比较而言，本发明采用视觉识别技术代替RFID射频技术，利用人工智能深度学习菜品图像，通过摄像头识别菜品。此举可带来以下好处：

1.技术创新：

采用基于卷积神经网络算法的视觉识别技术代替RFID射频技术，利用人工智能，深度学习菜品图像，通过摄像头识别菜品。此举可带来以下好处：

首先，视觉识别技术处理下的识别-结算速度快于RFID射频技术结果的得出，有利于真正实现两秒一位甚至更快的速度，减少用餐者等待时间，优化用户体验。

其次，人工智能深度学习后识别判断出的准确率高于RFID射频技术，不容易漏算或多算餐盘数量，有利于提高结算效率，真正做到无人自助，减少人力资源的浪费。

再其次，基于人工智能视觉识别技术的自助结算系统不用再依靠内嵌芯片的智盘，对用餐者来说不需要再去识记各种颜色判断价格，对工作人员来说也减少了摆放、分类的工作量，更重要的是，摆脱了对餐盘内嵌芯盘的依赖识别，需求方无需增加额外的订购大量智能餐盘的费用，已有的传统餐盘就可以在人工智能视觉识别下判断出价格，投入到结算部分的成本将会下降。

2.功能创新

拟在原先自助结算功能上增加营养成分管理功能，满足用餐者不断升级的消费需求--从吃饱到吃好。通过采集用户就餐数据，与系统内营养菜谱大数据进行分析处理，得出就餐者所需的三大营养素的摄入情况，加强餐厅对就餐者的饮食关怀，解决就餐者饮食无计划、营养摄入不科学的问题。

3.完善运营

改善以往基于RFID射频技术开发的自助结账系统下，餐盘颜色过多、无价格提示为用餐者造成的价格困扰和信息不对称的情况。在新技术带来的快捷方便之余，增强信息透明化，让消费者更加放心，优化用户体验。

4、拟在原先自助结算功能上增加营养成分管理功能，满足用餐者不断升级的消费需求--从吃饱到吃好。通过采集用户就餐数据，与系统内营养菜谱大数据进行分析处理，得出就餐者所需的三大营养素的摄入情况，加强餐厅对就餐者的饮食关怀，解决就餐者饮食无计划、营养摄入不科学的问题。

5、改善以往基于RFID射频技术开发的自助结账系统下，餐盘颜色过多、无价格提示为用餐者造成的价格困扰和信息不对称的情况。在新技术带来的快捷方便之余，增强信息透明化，让消费者更加放心，优化用户体验。

本发明的有益效果在于：节省人力,降低食堂工作人员劳务量；节省成本；随着用餐者对就餐服务、环境体验的要求正在逐步提高，智能结算系统市场前景乐观。

附图说明

图1(a)是生物学的神经元，图1(b)是常用的数学模型。

图2(a)是2层神经网络示意图，图2(b)是3层神经网络示意图。

图3为卷积神经网络示意图。

图4为适用于菜品识别的卷积神经网络示意图

图5为卷积神经网络的输入图片。

图6为卷积神经网络识别图形过程的示意图。

图7为本发明自助结账系统的结构示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

视觉识别技术中的一个重要分支，就是图像分类问题。假设我们已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。

图像分类的任务，就是对于一个给定的图像，预测它属于哪个分类标签(或者给出属于一系列不同标签的可能性)。图像是3维数组，数组元素是取值范围从0到255的整数。数组的尺寸是宽度*高度*3，其中这个3代表的是红、绿和蓝3个颜色通道。

下面来简述一下图像分类问题的完整流程：

图像分类就是输入一个元素为像素值的数组，然后给它分配一个分类标签。完整流程如下：

输入：输入是包含N个图像的集合，每个图像的标签是K种分类标签中的一种。这个集合称为训练集。

学习：这一步的任务是使用训练集来学习每个类到底长什么样。一般该步骤叫做训练分类器或者学习一个模型。

评价：让分类器来预测它未曾见过的图像的分类标签，并以此来评价分类器的质量。我们会把分类器预测的标签和图像真正的分类标签对比。毫无疑问，分类器预测的分类标签和图像真正的分类标签如果一致，那就是好事，这样的情况越多越好。

实施例1神经网络模型算法

近年来，神经网络算法在图像识别的领域内取得了巨大的成功，尤其是由神经网络演化而来的深度学习算法，可以使整个识别算法最终能够得到超过90％的准确率。并且，该方案能够在完成学习就丢掉训练集，并在一毫秒之内就完成一张图片的分类，其效率可以极大地满足多个领域的识别要求。

神经网络算法领域最初是被对生物神经系统建模这一目标启发，但随后与其分道扬镳，成为一个工程问题，并在机器学习领域取得良好效果。大脑的基本计算单位是神经元(neuron)。人类的神经系统中大约有860亿个神经元，它们被大约10^14-10^15个突触(synapses)连接起来。如图1所示，图1(a)展示了一个生物学的神经元，图1(b)展示了一个常用的数学模型。每个神经元都从它的树突获得输入信号，然后沿着它唯一的轴突(axon)产生输出信号。轴突在末端会逐渐分枝，通过突触和其他神经元的树突相连。

在神经元的计算模型中，沿着轴突传播的信号(比如x0)将基于突触的突触强度(比如w0)，与其他神经元的树突进行乘法交互(比如w0x0)。其观点是，突触的强度(也就是权重w)，是可学习的且可以控制一个神经元对于另一个神经元的影响强度，还可以控制影响方向：使其兴奋(正权重)或使其抑制(负权重)。在基本模型中，树突将信号传递到细胞体，信号在细胞体中相加。如果最终之和高于某个阈值，那么神经元将会激活，向其轴突输出一个峰值信号。在计算模型中，本发明假设峰值信号的准确时间点不重要，是激活信号的频率在交流信息。基于这个速率编码的观点，将神经元的激活率建模为激活函数(activation function)f，它表达了轴突上激活信号的频率。由于历史原因，激活函数常常选择使用sigmoid函数，该函数输入实数值(求和后的信号强度)，然后将输入值压缩到0-1之间。

将神经网络算法以神经元的形式图形化。神经网络被建模成神经元的集合，神经元之间以无环图的形式进行连接。也就是说，一些神经元的输出是另一些神经元的输入。在网络中是不允许循环的，因为这样会导致前向传播的无限循环。通常神经网络模型中神经元是分层的，而不是像生物神经元一样聚合成大小不一的团状。对于普通神经网络，最普通的层的类型是全连接层(fully-connected layer)。全连接层中的神经元与其前后两层的神经元是完全成对连接的，但是在同一个全连接层内的神经元之间没有连接。图2是两个神经网络的图例，都使用的全连接层。

图2(a)是一个2层神经网络，隐层由4个神经元(也可称为单元(unit))组成，输出层由2个神经元组成，输入层是3个神经元。图2(b)是一个3层神经网络，两个含4个神经元的隐层。注意：层与层之间的神经元是全连接的，但是层内的神经元不连接。

理解具有全连接层的神经网络的一个方式是：可以认为它们定义了一个由一系列函数组成的函数族，网络的权重就是每个函数的参数现在看来，拥有至少一个隐层的神经网络是一个通用的近似器，换句话说，神经网络可以近似任何连续函数，就实践经验而言，深度网络效果比单层网络好。

实施例2卷积神经网络的自助结账算法

卷积神经网络和常规神经网络非常相似：它们都是由神经元组成，神经元中有具有学习能力的权重和偏差。每个神经元都得到一些输入数据，进行内积运算后再进行激活函数运算。整个网络依旧是一个可导的评分函数：该函数的输入是原始的图像像素，输出是不同类别的评分。在最后一层(往往是全连接层)，网络依旧有一个损失函数(比如SVM或Softmax)，并且在神经网络中实现的各种技巧和要点依旧适用于卷积神经网络。

一个简单的卷积神经网络是由各种层按照顺序排列组成，网络中的每个层使用一个可以微分的函数将激活数据从一个层传递到另一个层。卷积神经网络主要由三种类型的层构成：卷积层，汇聚(Pooling)层和全连接层(全连接层和常规神经网络中的一样)。通过将这些层叠加起来，就可以构建一个完整的卷积神经网络，如图3所示。

卷积层(Convolutional layer)，对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重)做内积(逐个元素相乘再求和)的操作就是所谓的卷积操作。卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。

汇聚层为(Pooling)实际上是一种形式的降采样。最大汇聚(Max pooling)是最为常见的，它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要

全连接层为将经过卷积神经网络以后的图像特征经行展平并且进行最后的输出向量计算，预测菜品的类别。

使用自助结账系统之前，对食堂常见菜品进行照片采集，并且标识对应种类，构建菜品数据库，因此卷积神经网络的输出个数与食堂菜品类别是对应的，也就是说食堂菜品有多少类别，卷积神经网络的输出就有多少个。

如图4、图5和图6所示，本发明基于卷积神经网络的的自助结账算法则通过识别菜品图像信息，用于识别出图像中菜品的数量和种类。

实施例3基于上述自助结账算法的自助结账方法

本实施例中，基于卷积神经网络的自助结账方法包括如下步骤：

步骤a.基于神经卷积网络建立一自助结账系统；

步骤b.拍摄所选取的菜品图像信息，通过所述自助结账系统识别菜品图像信息中所实际选取的菜品数量和种类；

步骤c.根据实际选取的菜品数量和种类，计算价格并完成结账。

具体实施过程如下：

首先对食堂常见菜品进行照片采集，并且标识对应种类，构建菜品数据库。拥有菜品数据库以后，需要对自助结账系统的卷积神经网络进行训练，使得卷积核对于实际的菜品检测环境具有合适的权重来进行分类。

其次通过使用摄像自助照射到指定区域内的顾客选择好的菜品以后，可以返回已选菜品(单个或者多个)的图象信息，将图像信息输入到自助结账系统的工控机，其中训练好的卷积神经网络的输入层以后，整个系统可以识别出对应的菜品数量、种类最后计算出价格总和。

在结账系统训练好的卷积神经网络识别出对应的菜品数量以及种类以后，在用户刷卡结账时，每餐的食用菜品将被记录下来，对应到用户账号之中。通过按周、月以及季度的菜品选择记录数据，可以对就餐者所需的三大营养素的摄入情况，加强餐厅对就餐者的饮食关怀。

实施例4基于卷积神经网络的自助结账系统

如图7所示，本实施例中，基于卷积神经网络的自助结账系统包括：用于采集菜品图像的摄像装置；用于结账计算的自助结账装置，所述自助结账装置基于卷积神经网络构成，用于识别菜品图像中菜品的实际数量和种类；及用于完成结账的刷卡扣卡装置。

更为优选的，还包括：用户记录装置，其用于存储和更新用户的身份、余额、菜品消费记录和/或营养摄入记录。

更为优选的，还包括：信息发布装置，其与所述用户记录装置通信，所述信息发布装置具有远程通信功能，用于向用户发送存储于所述用户记录装置中的记录信息。藉由用户记录装置和信息发布装置可以对就餐者所需的三大营养素的摄入情况，加强餐厅对就餐者的饮食关怀。

所述卷积神经网络包括卷积层、全连接层和汇聚层。卷积神经网络的卷积层提取拍摄到的用户选择菜品图像的特征，全连接层预测不同菜品目标的概率和位置；汇聚层分类函数使用Softmax回归模型获得实际选取的菜品数量和种类。Softmax回归模型如以下公式表示：

式中，Zj是卷积神经网络对于第j个类别的打分，Zk为所有n个Z中的最大值，n为食堂菜品不同类别的个数。Zj大过其他Z,那这个映射的分量就逼近于1，其他就逼近于0，并且对所有输入数据进行归一化。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (8)

1.一种基于卷积神经网络的自助结账系统，其特征在于，包括：

用于采集菜品图像的摄像装置；

用于结账计算的自助结账装置，所述自助结账装置基于卷积神经网络构成，用于识别菜品图像信息中菜品的实际数量和种类；及

用于完成结账的刷卡扣卡装置。

2.根据权利要求1所述的基于卷积神经网络的自助结账系统，其特征在于，还包括：用户记录装置，其用于存储和更新用户的身份、余额、菜品消费记录和/或营养摄入记录。

3.根据权利要求2所述的基于卷积神经网络的自助结账系统，其特征在于，还包括：信息发布装置，具有远程通信功能，用于与所述用户记录装置通信及向用户发送存储于所述用户记录装置中的记录信息。

4.一种基于卷积神经网络的自助结账方法，其特征在于，包括如下步骤：

步骤a.基于神经卷积网络建立一自助结账系统；

步骤b.拍摄所选取的菜品图像信息，通过所述自助结账系统识别菜品图像信息中菜品的实际数量和种类；

步骤c.根据实际选取的菜品数量和种类，计算价格并完成结账。

5.根据权利要求4所述的基于卷积神经网络的自助结账方法，其特征在于，所述基于神经卷积网络建立一自助结账系统包括：

步骤a1：对菜品进行图像信息采集，并且标识对应种类，构建菜品数据库；

步骤a2：根据所述菜品数据库，引入卷积神经网络并对其进行训练，使所述卷积神经网络获得适用于菜品检测环境的权重值的卷积核；

步骤a3：基于所述卷积神经网络建立一自助结账系统。

6.根据权利要求5所述的基于卷积神经网络的自助结账方法，其特征在于，识别菜品图像信息包括如下步骤：

卷积神经网络的卷积层提取拍摄到的用户所选取的菜品图像信息；

卷积神经网络的全连接层预测不同菜品目标的概率和位置；

卷积神经网络的分类函数调用Softmax回归模型获得实际选取的菜品数量和种类。

7.根据权利要求6所述的基于卷积神经网络的自助结账方法，其特征在于，所述Softmax回归模型如以下公式表示：

式中，Z_j是卷积神经网络对于第j个类别的打分，Z_k为所有n个Z中的最大值，n为食堂菜品不同类别的个数。

8.根据权利要求4所述的基于卷积神经网络的自助结账方法，其特征在于，步骤c之后进一步包括：

步骤d.根据实际选取的菜品数量和种类，生成营养摄入记录并发送至用户。