CN110059654A - 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 - Google Patents

Abstract

本发明公开了一种基于细粒度识别的菜品自动结算及饮食健康管理方法，包括：从收集的历史结账台视频中提取视频帧，将提取的视频帧筛选并标注后作为卷积神经网络模型的训练样本和测试样本；在深度学习目标检测模型Faster‑Rcnn上增加用于菜品的细粒度属性识别的结构分支，构建获得卷积神经网络模型并训练好，获得细粒度菜品识别模型；将采集的待结算菜品的图片输入细粒度菜品识别模型中，获得菜品的种类和数量并输入结账软件进行显示并生成账单。本发明的自动结算方法，通过识别菜品的细粒度特征，可提升菜品种类识别的正确率；不受限于模型预设的菜品种类，可靠性及可扩展性强。

Description

一种基于细粒度识别的菜品自动结算及饮食健康管理方法

技术领域

本发明属于计算机数字图像处理与模式识别技术领域，特别涉及一种基于细粒度识别的菜品自动结算及饮食健康管理方法。

背景技术

基于RFID的自动结算系统，只能根据餐盘获取用户结算的信息，无法得到具体的摄入菜品的种类和数量，进而就无法实现营养成分的估计。现行的自动系统均无法满足标准化食堂的员工健康管理的需求。同时基于RFID的结账系统，过度依赖于固定型号的餐盘，餐盘的成本较高，餐盘损耗增大了运营的成本，也无法解决当餐盘和实际菜品种类不配对时不能得到正确的结算信息等问题。近几年也出现了一些基于视觉的自动计算系统，但都存在过于依赖模型预设的菜品种类，新菜的可扩展性较弱，模型更新成本较高，和对成分相似的菜品辨识能力较差等问题。

综上，亟需一种新型的菜品自动结算与饮食健康管理系统及方法。

发明内容

本发明的目的在于提供一种基于细粒度识别的菜品自动结算及饮食健康管理方法，以解决上述存在的一个或多个技术问题。本发明的自动结算方法，通过识别菜品的细粒度特征，可提升菜品种类识别的正确率；不受限于模型预设的菜品种类，可靠性及可扩展性强；同时能够与饮食健康管理相结合。

为达到上述目的，本发明采用以下技术方案：

一种基于细粒度识别的菜品自动结算方法，包括以下步骤：

S1，从收集的历史结账台视频中提取视频帧，将提取的视频帧筛选并标注后作为卷积神经网络模型的训练样本和测试样本；标注包括标注视频帧中的菜品位置、种类和食材属性；

S2，在深度学习目标检测模型Faster-Rcnn上增加用于菜品的细粒度属性识别的结构分支，构建获得卷积神经网络模型；

S3，通过步骤S1获得的训练样本对步骤S2获得的卷积神经网络模型进行训练，获得训练好的卷积神经网络模型，作为细粒度菜品识别模型；训练好的卷积神经网络模型同时具有菜品检测及食材属性识别功能；

S4，将采集的待结算菜品的图片输入步骤S3获得的细粒度菜品识别模型中，获得菜品的种类和数量；

S5，将步骤S4获得的菜品的种类和数量输入结账软件进行显示并生成账单。

本发明的进一步改进在于，步骤S1具体包括：

步骤1.1，根据收集的历史结账台视频的视频特点，通过跳帧初筛得到初始的视频帧；

步骤1.2，通过预训练Alexnet分类神经网络模型筛选去除初始的视频帧中人头遮挡及餐盘不全的图像；通过图像运动模糊判断算法去除初始的视频帧中模糊的图像；

步骤1.3，经过验证，获得可用于标注的视频帧。

本发明的进一步改进在于，步骤1.2中具体包括：利用人工收集标注预设数量的遮挡、缺失及可用图像作为数据清洗模型的训练集，迭代训练得到可分类筛除人头遮挡及餐盘不全的Alexnet分类神经网络模型。

本发明的进一步改进在于，步骤S1中，标注的步骤具体包括：利用LabelImage检测标注工具将视频帧中的所有菜品的类别、位置和食材属性信息进行标注；其中，在标注时将视频帧按照日期分组。

本发明的进一步改进在于，步骤S2具体包括：选取resnet101作为目标检测网络特征提取的基础网络；Faster-Rcnn利用基网络输出特征图输入到后续的ROI Pooling用于检测目标的位置及种类的回归分类，在ROI Pooling的输入层后接入食材属性识别分支；

所述食材属性识别分支结构具体包括：

(1)第1层为ROI Pooling层，用于将基网络的特征图中预提取的目标区域池化为统一尺寸的特征图；

(2)第2，第3层为卷积层，用于提取目标区域菜品的特征，同时采用relu作为激活函数，输出对应的特征图；

(3)第4层为卷积层，用于将步骤(2)获得的特征图的通道数约束为预先定义的所有食材属性个数的维度；然后将本层输出的特征图的每个像素点的通道维度上做Softmax函数数值约束，表达式为：

式中，S_ij为第j层特征图上第i个像素点经过Softmax函数约束后的输出，e^ij表示第j层特征图上第i个像素点在Softmax函数约束前取值的指数函数值；

(4)第5层为Global Max Pooling层，用于输出长度为预定义的所有食材属性个数的一维特征向量；第5层输出接入Sigmoid损失函数，与SmoothL1和softmax损失函数共同监督网络的训练。

本发明的进一步改进在于，步骤S4具体包括：将采集的待结算菜品的图片输入步骤S3获得的细粒度菜品识别模型中，获得初始结果，将初始结果按置信度阈值过滤获得筛选后结果，将筛选后结果进行非极大值抑制后输出，获得菜品的种类和数量。

本发明的进一步改进在于，步骤S4具体包括：

(1)将摄像头输出接入结账软件，设置截取结账台区域的餐盘彩色图像，将待结算图像下采样至预设分辨率并输入到步骤S3训练得到的细粒度菜品识别模型中，得到待结算图像中所有菜品的位置、种类及其置信度、食材属性的初始检测目标结果；提取出第n个检测结果输出的部分参数R_n＝{cls_n，cls_pro_n，x_n，y_n，w_n，h_n}。

式中，R_n表示第n个检测结果，cls_n表示第n个检测结果对应的菜品种类的编号，cls_pro_n表示第n个检测结果为cls_n种类别菜品的置信度，{x_n，y_n，w_n，h_n}分别代表第n个检测结果对应坐标框的左上角坐标以及框的宽度和高度；

(2)设置置信度第一预设阈值，将所有置信度cls_pro低于该阈值的检测结果作为错误结果删除；

(3)将(2)中初筛后的所有检测结果进行不区分类别的用非极大值抑制滤除冗余的预测结果，最终得到的所有结果即为最后输出的结果。

本发明的进一步改进在于，用非极大值抑制滤除冗余的预测结果的步骤具体包括：

(3.1)将所有的结果按照cls_pr0从大到小的顺序排序，根据公式把排序第二及之后的候选框R_k，k＞1与排序第一的结果R₁计算IOU，公式的表达式为：

式中，IOU_1，k代表排名第1位的候选框与排名第k位的候选框的交叠面积与合并面积的比值，area(R₁∩R_k)代表排名第1位的候选框与排名第k位的候选框交集区域的面积，area(R₁∪R_k)代表排名第1位的候选框与排名第k位的候选框并集区域的面积；

(3.2)设置第二预设阈值，将所有高于第二预设阈值的结果删除；

(3.3)步骤(3.2)完成后，取出排序第一的结果作为正确结果输出，将剩下的结果循环按照步骤(3.1)和(3.2)操作，直至排序结果数小于等于1；最终得到的所有结果即为最后输出的结果。

一种基于细粒度识别的菜品自动结算及饮食健康管理方法，基于本发明任一项上述的菜品自动结算方法，包括以下步骤：

根据预设的菜品营养参数对照表和识别出的菜品的种类数量结果，获得菜品的营养信息及评分；

将菜品的营养信息及评分汇总至结账软件，结合用户刷卡信息，将营养参数及结账信息存入后台。

进一步地，具体包括以下步骤：

获取结账图像中所有菜品的种类、数量及食材属性；

根据每道菜预设对应的热量、碳水化合物、脂肪、蛋白质和纤维素，计算获得结算餐盘中所有菜品的实际营养成分含量展示到结算软件，同时生成营养评分展示到结算软件界面；

将账单信息和营养摄入信息结合用户个人的ID，按照结账时间用户ID的方式存储；

通过公共数据接口，实现营养摄入信息的查询或推送。

与现有技术相比，本发明具有以下有益效果：

本发明的自动结算方法，利用深度神经网络检测出每道菜品的种类，同时利用深度卷积网路输出的卷积特征进一步识别出菜品的食材属性等细粒度的特征，通过细粒度的特征可提升菜品种类识别的正确率，实现高效可靠的菜品自动结算。细粒度的特征能够提高自动结算系统的鲁棒性和菜品种类的可扩展性；本发明通过识别菜品包含的食材辅助判断菜品种类，不受限于模型预设的菜品种类，能够增加可靠性和可扩展性。

进一步地，标注时将视频帧按照日期分组，可大大降低人工标注的错误率和工作量。

进一步地，将初始结果按置信度阈值过滤，并将筛选后结果进行非极大值抑制后输出，可进一步提升识别的准确度。

现有的智能结账系统均是致力于菜品的自动结账，忽略了用户整体的饮食健康的记录和管理。目前的饮食管理和评价系统，主要是通过用户拍照上传单独的菜品，由系统首先识别菜品的种类，之后根据经验给出所识别菜品固定重量下的营养成分表，无法提供每道菜的实际营养成分，同时无法实现多道菜同时识别。本发明的菜品自动结算及饮食健康管理方法，其利用结算信息，结合预设的每道菜的营养信息以及结算人独立的身份信息，可以为每个用户提供膳食营养摄入统计和分析；可提供每道菜的实际营养成分，可实现多道菜同时识别。

附图说明

图1是本发明实施例中自动结算和饮食健康管理系方法的流程示意图；

图2是本发明实施例的一种基于细粒度识别的食材属性识别网络结构示意图；

图3是本发明实施例中处理初步检测结果的跨类别的非极大值抑制流程示意图；

图4是本发明实施例中系统运行界面示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

请参阅图1，本发明实施例的一种基于细粒度识别的菜品自动结算与饮食健康管理方法，包括以下步骤：

步骤1：从收集的结账台视频中提取可用的视频帧，筛选并标注作为神经网络训练和测试样本。

本实例餐盘结算图片用于训练卷积神经网络。具体的，通过安装在餐厅结账台上方的高清摄像头拍摄用户餐盘结算时的视频，提取可用的视频帧，人工标注帧图像帧，一共11567张图像，125类菜品，平均每类出现145.34次。可用视频帧是通过数字图像算法自动提取；具体步骤是首先根据视频特点，跳帧初筛得到大量的视频帧。

由于数据收集摄像头安装于结算台上方，会出现大量的人头遮挡或者餐盘不全的图像，通过预训练Alexnet分类神经网络模型筛选去除人头遮挡及餐盘不全的图像，大大减少了人工筛选的工作量。具体方法是利用人工收集标注一小部分遮挡、缺失、可用图像作为数据清洗模型的训练集，迭代训练得到可分类筛除人头遮挡及餐盘不全的模型。通过图像运动模糊判断算法去除模糊的图像。将筛选剩下的小部分优质图像进行人工的验证，最后得到可用于标注的视频帧。

标注视频帧中的菜品位置、种类、食材属性。其中食材属性是将菜品中包含的食材和食材的外形相结合的一种特征的描述定义，例如青椒土豆丝和小炒土豆片两种菜品的食材属性分别为{青椒丝、土豆丝}和{土豆片}，可以看出，由于两种菜品中土豆食材外形的不同，土豆丝和土豆片被定义为两种不同的食材属性。具体做法是，依据收集视频帧的时间信息，结合每天不同的菜单，利用LabelImage检测标注工具将视频帧中的所有菜品的类别、位置、食材属性信息。标注时将视频帧按照日期分组，每组数据只标注对应日期的15类菜品标签，大大降低了人工标注的错误率和工作量。最终共计得到11567张可用图像，其中1000张用于测试，10567张用于模型训练。

步骤2：基于Faster-Rcnn改进检测算法，在原算法基础上自定义细粒度识别网络结构识别菜品的食材属性。

步骤2中，基于Faster-Rcnn改进检测算法，在原算法基础上自定义细粒度识别网络结构识别菜品的食材属性。本发明实施例在现行公开的最优秀的深度学习目标检测模型Faster-Rcnn上该增加了菜品的细粒度属性识别的结构分支，针对菜品的特点识别每道菜品的食材属性，同时提升菜品类别检测的正确率。

请参阅图2，具体做法是，选取resnet101作为目标检测网络特征提取的基础网络，Faster-Rcnn利用基网络输出特征图输入到后续的ROI Pooling用于检测目标的位置及种类的回归分类，本方法在原有的ROI Pooling的输入层后面再同接入新的食材属性识别分支。

分支的网路包括3个卷积层，1个ROI Pooling层，1个Global Max Pooling层。分支的整体结构及操作方法具体如下：

1)第1层为ROI Pooling层，用于将基网络的特征图中预提取的目标区域池化为统一尺寸的特征图；可以是，将基网络的特征图中预提取得目标区域池化为14*14*256的特征图。

2)第2，3层为卷积层，通过两层卷积操作进一步提取目标区域菜品的特征，同时采用relu作为激活函数，输出对应的特征图；可以是，每层对应的卷积核大小为3*3，步长均为1，卷积核个数为256，边缘补充像素为1，同时采用relu作为激活函数。

3)4层为卷积层，通过卷积操作将特征图的通道数约束为预先定义的所有食材属性个数的维度；然后将本层输出的特征图的每个像素点的通道维度上做Softmax函数数值约束，表达式为：

式中，S_ij为第j层特征图上第i个像素点经过Softmax函数约束后的输出，e^ij表示第j层特征图上第i个像素点在Softmax函数约束前取值的指数函数值；可以是，卷积核大小为1*1，步长为1，卷积核个数为食材属性的定义的维度115，边缘补充像素为0。

4)第5层为Global Max Pooling层，用于输出长度为预定义的所有食材属性个数的一维特征向量，例如，输出为1*115的特征向量；第5层输出接入Sigmoid损失函数，与SmoothL1和softmax损失函数共同监督网络的训练。

步骤3：对卷积神经网络使用训练样本进行训练得到同时具备菜品检测及食材属性识别的模型。

具体的，对卷积神经网络使用训练样本进行训练得到同时具备菜品检测及食材属性识别的模型。包括：

1)将步骤1中的数据集分为10567张训练集，和1000张测试集。

2)书写脚本文件将训练集和测试集制作为Pascal Voc的数据格式，生成对应的XML标签文件，XML中带有菜品坐标、种类、食材属性标签。

3)将2560*1440图像下采样为1000*600统一尺寸输入到步骤2中改进后的基于细粒度菜品识别网络中用于训练和测试。

步骤4：通过高清摄像头实时拍摄结账托盘内的菜品并将图片输入到算法模型获取初始结果，将初始结果按置信度阈值过滤，并将筛选后结果进行非极大值抑制后输出。

通过高清摄像头实时拍摄结账托盘内的菜品并将图片输入到训练好的算法模型获取初始结果，将初始结果按置信度阈值过滤，并将筛选后结果进行非极大值抑制后输出，提升准确度。

请参阅图3，具体的步骤如下：

1)将2560*1440的高清摄像头接入结账软件，通过按钮设置截取结账台区域的餐盘彩色图像，将图像下采样至1000*600输入到步骤3中训练得到的细粒度菜品识别模型中，得到图像中所有可能的菜品的位置、种类及其置信度、食材属性的初始检测目标结。提取出第n个检测结果输出的部分参数R_n＝{cls_n，cls_pro_n，x_n，y_n，w_n，h_n}；式中，R_n表示第n个检测结果，cls_n表示第n个检测结果对应的菜品种类的编号，cls_pro_n表示第n个检测结果为cls_n种类别菜品的置信度，{x_n，y_n，w_n，h_n}分别代表第n个检测结果对应坐标框的左上角坐标以及框的宽度和高度。

2)按照0.5的置信度阈值，将所有置信度cls_pro低于该阈值的检测结果作为错误结果删除。

3)将2)中初筛后的所有检测结果进行不区分类别的用非极大值抑制(none-maximumsuppression，NMS)滤除冗余的预测结果。具体的操作方法如下：

3.1)将所有的结果按照cls_pro按照从大到小的顺序排序，根据公式把排序第二及之后的候选框R_k，k＞1与排序第一的结果R₁计算IOU，公式的表达式为：

式中，IOU_1，k代表排名第1位的候选框与排名第k位的候选框的交叠面积与合并面积的比值，area(R₁∩R_k)代表排名第1位的候选框与排名第k位的候选框交集区域的面积，area(R₁∪R_k)代表排名第1位的候选框与排名第k位的候选框并集区域的面积。

3.2)设置阈值0.6，将所有高于阈值的结果删除；

3.3)完成3.2)过后，取出排序第一的结果作为正确结果输出，将剩下的结果循环按照3.1)、3.2)操作，直至排序结果数小于等于1。最终得到的所有结果即为最后输出的结果。

步骤5：根据菜品的种类和数量，将其显示到结账软件并生成账单。利用预设的营养参数对照表，将餐盘所有菜品的营养信息及评分汇总至结账软件界面。同时结合用户刷卡信息，将营养参数及结账信息存入后台。

请参阅图4，步骤5具体的操作如下：

1)步骤4中，获取了结账图像中所有菜品的种类、数量、各自的食材属性，将每个菜品的种类和对应的数量生成账单显示到结算软件，作为用户结算的参考；

2)同时根据每道菜预设对应的热量，碳水化合物，脂肪，蛋白质，纤维素等营养信息，计算出结算餐盘中所有菜品的实际营养成分含量展示到结算软件，并同步生成营养评分展示到结算软件供用户参考；

3)用户通过刷卡或者人脸等方式结算后，系统将1)，2)中生成的账单，营养摄入等信息结合用户个人的ID，按照结账时间用户ID的方式将营养摄入信息存入服务器。

步骤6：通过公共数据接口，实现个人每周饮食营养摄入数据的推送及摄入建议。

具体操作为将步骤5的存储的用户账单及每日的膳食营养摄入信息汇总，生成膳食健康管理报告，通过企业公众号或者是内部信息平台，通过个性推送和自主查询的方式，将其展示到用户端，实现每个用户单独的饮食健康管理和推荐。

综上所述，针对现有的方法没有利用菜品最基础的食材成分等细粒度的属性来提升菜品识别的正确率这一缺陷，本发明提出的结算方法中，通过增加对菜品进行细粒度的食材种类的识别，提升菜品识别的正确率，同时通过识别菜品包含的食材辅助判断菜品种类，不受限于模型预设的菜品种类，增加系统的可靠性和可扩展性。另外，现有的智能结账系统均是致力于菜品的自动结账，忽略了用户整体的饮食健康的记录和管理。目前的饮食管理和评价系统，主要是通过用户拍照上传单独的菜品，由系统首先识别菜品的种类，之后根据经验给出所识别菜品固定重量下的营养成分表，无法提供每道菜的实际营养成分，同时无法实现多道菜同时识别。随着社会的发展，人们越来越关注自身的健康管理。饮食作为于每个人健康息息相关的领域，一直是健康管理系统的主要切入点。人们关注自己一天摄入的饮食的卡路里、蛋白质、脂肪等营养成分信息，并希望由智能算法系统对自己饮食进行计算和反馈，提供具体的营养摄入数据和对应的饮食建议。在大型的企业或者是高校的食堂中，希望能够利用自动化的结算系统，在实现自动结算的同时将员工一餐的具体营养摄入一同计算，并依据结账的账户或者是人脸识别，将营养信息计入员工个人的健康管理账号；通过数据分析，针对员工的摄入状况，为员工提供有效的信息反馈和营养摄入建议。本发明提出了一种自动结算接健康管理方法，利用深度神经网络检测出每道菜品的种类，同时利用深度卷积网路输出的卷积特征进一步识别出菜品的食材属性等细粒度的特征，通过细粒度的特征可提升菜品种类识别的正确率，实现高效可靠的菜品自动结算。具体可以是，针对标准化的食堂，利用高清摄像头获取需要结算的菜品的视觉信息，利用深度神经网络检测出每道菜品的种类，同时利用深度卷积网路输出的卷积特征进一步识别出菜品的食材属性等细粒度的特征，通过细粒度的特征来提升菜品种类识别的正确率，实现高效可靠的菜品自动结算。细粒度的特征能够提高自动结算系统的鲁棒性和菜品种类的可扩展性。此外，利用结算信息，结合预设的每道菜的营养信息以及结算人独立的身份信息，可以为每个用户提供膳食营养摄入统计和分析，构建出完整的健康管理系统。

下面给出实验结果分析：

实验结果分析分别采用PASCAL VOC数据集的Map@0.5以及coco数据集的Map@(0.5：0.95)、Accuracy三种准确率来评价。其中对比方法分别有SSD(300)，原始的Faster-Rcnn，本发明基于细粒度属性识别以及种类间非极大值抑制的方法Faster_attri_v2，本发明基于细粒度属性识别但不带有种类间非极大值抑制的方法Faster_attri_v2w/o hms以及普通的餐盘检测加分类的方法，测试结果如表1所示。

表1菜品检测数据集上的测试效果

方法	Map@0.5	Map@(0.5：0.95)	Acc
				Faster-<u>Rcnn</u>	0.9457	0.778	0.828
SSD(300)	0.8319	0.6779	0.626
				Faster_attri_v2	0.9621	0.7829	0.844
Faster_attri_v2w*o <u>nms</u>	0.9621	0.7829	0.828

实验结果表明，本发明通过加入细粒度属性的菜品识别方法能够精准地实现菜品自动结算的同时，提高原始算法的准确率，并可以以来结算结果提供准确的膳食营养摄入量，实现针对用户的膳食健康推荐和管理。

本发明通过加入细粒度属性识别提高菜品检测的准确率，通过视觉方法解决了之前RFID无法解决的成本及餐盘菜品对应出错的问题，解决了普通基于视觉自动结算系统只有菜品种类的可扩展性及鲁棒性不足的问题；提出饮食健康管理系统，满足现代用户日益增长的健康饮食管理的需求。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于细粒度识别的菜品自动结算方法，其特征在于，包括以下步骤：

S1，从收集的历史结账台视频中提取视频帧，将提取的视频帧筛选并标注后作为卷积神经网络模型的训练样本和测试样本；标注包括标注视频帧中的菜品位置、种类和食材属性；

S2，在深度学习目标检测模型Faster-Rcnn上增加用于菜品的细粒度属性识别的结构分支，构建获得卷积神经网络模型；

S3，通过步骤S1获得的训练样本对步骤S2获得的卷积神经网络模型进行训练，获得训练好的卷积神经网络模型，作为细粒度菜品识别模型；训练好的卷积神经网络模型同时具有菜品检测及食材属性识别功能；

S4，将采集的待结算菜品的图片输入步骤S3获得的细粒度菜品识别模型中，获得菜品的种类和数量；

S5，将步骤S4获得的菜品的种类和数量输入结账软件进行显示并生成账单。

2.根据权利要求1所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤S1具体包括：

步骤1.1，根据收集的历史结账台视频的视频特点，通过跳帧初筛得到初始的视频帧；

步骤1.2，通过预训练Alexnet分类神经网络模型筛选去除初始的视频帧中人头遮挡及餐盘不全的图像；通过图像运动模糊判断算法去除初始的视频帧中模糊的图像；

步骤1.3，经过验证，获得可用于标注的视频帧。

3.根据权利要求2所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤1.2中具体包括：利用人工收集标注预设数量的遮挡、缺失及可用图像作为数据清洗模型的训练集，迭代训练得到可分类筛除人头遮挡及餐盘不全的Alexnet分类神经网络模型。

4.根据权利要求1所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤S1中，标注的步骤具体包括：利用LabelImage检测标注工具将视频帧中的所有菜品的类别、位置和食材属性信息进行标注；其中，在标注时将视频帧按照日期分组。

5.根据权利要求1所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤S2具体包括：

选取resnet101作为目标检测网络特征提取的基础网络；Faster-Rcnn利用基网络输出特征图输入到后续的ROI Pooling用于检测目标的位置及种类的回归分类，在ROI Pooling的输入层后接入食材属性识别分支；

所述食材属性识别分支结构具体包括：

(1)第1层为ROI Pooling层，用于将基网络的特征图中预提取的目标区域池化为统一尺寸的特征图；

(2)第2，第3层为卷积层，用于提取目标区域菜品的特征，同时采用relu作为激活函数，输出对应的特征图；

(3)第4层为卷积层，用于将步骤(2)获得的特征图的通道数约束为预先定义的所有食材属性个数的维度；然后将本层输出的特征图的每个像素点的通道维度上做Softmax函数数值约束，表达式为：

式中，S_ij为第j层特征图上第i个像素点经过Softmax函数约束后的输出，e^ij表示第j层特征图上第i个像素点在Softmax函数约束前取值的指数函数值；

(4)第5层为Global Max Pooling层，用于输出长度为预定义的所有食材属性个数的一维特征向量；第5层输出接入Sigmoid损失函数，与SmoothL1和softmax损失函数共同监督网络的训练。

6.根据权利要求1所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤S4具体包括：将采集的待结算菜品的图片输入步骤S3获得的细粒度菜品识别模型中，获得初始结果，将初始结果按置信度阈值过滤获得筛选后结果，将筛选后结果进行非极大值抑制后输出，获得菜品的种类和数量。

7.根据权利要求6所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，步骤S4具体包括：

(1)将摄像头输出接入结账软件，设置截取结账台区域的餐盘彩色图像，将待结算图像下采样至预设分辨率并输入到步骤S3训练得到的细粒度菜品识别模型中，得到待结算图像中所有菜品的位置、种类及其置信度、食材属性的初始检测目标结果；提取出第n个检测结果输出的部分参数R_n＝{cls_n,cls_pro_n,x_n,y_n,w_n,h_n}；

式中，R_n表示第n个检测结果，cls_n表示第n个检测结果对应的菜品种类的编号，cls_pro_n表示第n个检测结果为cls_n种类别菜品的置信度，{x_n,y_n,w_n,h_n}分别代表第n个检测结果对应坐标框的左上角坐标以及框的宽度和高度；

(2)设置置信度第一预设阈值，将所有置信度cls_pro低于该阈值的检测结果作为错误结果删除；

(3)将(2)中初筛后的所有检测结果进行不区分类别的用非极大值抑制滤除冗余的预测结果，最终得到的所有结果即为最后输出的结果。

8.根据权利要求7所述的一种基于细粒度识别的菜品自动结算方法，其特征在于，用非极大值抑制滤除冗余的预测结果的步骤具体包括：

(3.1)将所有的结果按照cls_pro从大到小的顺序排序，根据公式把排序第二及之后的候选框R_k，k>1与排序第一的结果R₁计算IOU，公式的表达式为：

式中，IOU_1,k代表排名第1位的候选框与排名第k位的候选框的交叠面积与合并面积的比值，area(R₁∩R_k)代表排名第1位的候选框与排名第k位的候选框交集区域的面积，area(R₁∪R_k)代表排名第1位的候选框与排名第k位的候选框并集区域的面积；

(3.2)设置第二预设阈值，将所有高于第二预设阈值的结果删除；

(3.3)步骤(3.2)完成后，取出排序第一的结果作为正确结果输出，将剩下的结果循环按照步骤(3.1)和(3.2)操作，直至排序结果数小于等于1；最终得到的所有结果即为最后输出的结果。

9.一种基于细粒度识别的菜品自动结算及饮食健康管理方法，其特征在于，基于权利要求1至8中任一项所述的菜品自动结算方法，包括以下步骤：

根据预设的菜品营养参数对照表和识别出的菜品的种类数量结果，获得菜品的营养信息及评分；

将菜品的营养信息及评分汇总至结账软件，结合用户刷卡信息，将营养参数及结账信息存入后台。

10.根据权利要求9所述的一种基于细粒度识别的菜品自动结算及饮食健康管理方法，其特征在于，具体包括以下步骤：

获取结账图像中所有菜品的种类、数量及食材属性；

根据每道菜预设对应的热量、碳水化合物、脂肪、蛋白质和纤维素，计算获得结算餐盘中所有菜品的实际营养成分含量展示到结算软件，同时生成营养评分展示到结算软件界面；

将账单信息和营养摄入信息结合用户个人的ID，按照结账时间_用户ID的方式存储；

通过公共数据接口，实现营养摄入信息的查询或推送。