CN110674736A - 一种识别食材新鲜度的方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种识别食材新鲜度的方法、装置、服务器及存储介质，涉及智能家电技术领域，用于提高识别食材新鲜度的效率和准确度，所述方法包括：获得食材图像信息；将该食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个子图像信息对应从食材图像信息中截取的一个食材的候选框，食材分类网络模型是对标注了食材类别和用于确定所述食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；将所述至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

Description

一种识别食材新鲜度的方法、装置、服务器及存储介质

技术领域

本发明涉及智能家电技术领域，尤其涉及一种识别食材新鲜度的方法、装置、服务器及存储介质。

背景技术

目前，在识别食材是否新鲜时，主要通过用户观察食材外观依据经验确定食材的新鲜度，或者通过图像匹配来确定食材的新鲜度，前者的识别准确度依赖用户经验，后者的识别准确度则依赖匹配用的图像数量的多少，并且，当需要对多种食材进行新鲜度识别时，由于两种识别方式识别的食材数量和复杂程度受限制，所以存在着识别效率低、准确度低的问题。

发明内容

本申请实施例提供了一种识别食材新鲜度的方法、装置、服务器及存储介质，用于提高识别食材新鲜度的效率和准确度。

一方面，提供了一种识别食材新鲜度的方法，该方法包括：

获得食材图像信息；

将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个所述子图像信息对应从所述食材图像信息中截取的一个食材的候选框，所述食材分类网络模型是对标注了食材类别和用于确定所述食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；

将所述至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，所述新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

可选的，所述食材分类网络模型包括第一子网络模型和第二子网络模型，则将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，包括：

将所述食材图像信息输入所述第一子网络模型进行卷积计算，获得与所述食材图像信息对应的卷积特征图像；

将所述卷积特征图像输入所述第二子网络模型，基于所述食材图像信息中各个食材对应的锚点，对所述食材图像信息中每个食材的对应区域进行筛选处理，获得至少一个候选框，其中，一个候选框对应一个食材；

利用所述至少一个候选框从所述食材图像信息中截取出所述候选框对应食材的图像，得到所述至少一个子图像信息。

可选的，所述新鲜度判断网络模型按照以下方式训练得到：

获得第二食材图像训练样本集合，其中，所述每个第二食材图像训练样本均标注了食材的类别和食材新鲜度等级；

提取每个所述第二食材图像训练样本对应食材的类别特征和新鲜度等级信息；

利用所述食材的类别特征和新鲜度等级信息对所述新鲜度判断网络模型进行训练。

可选的，所述食材分类网络模型按照以下方式训练得到：

获得第一食材图像训练样本集合，其中，每个第一食材图像训练样本均标注了对应食材的类别和用于确定所述食材对应候选框的多个锚点；

提取所述第一食材图像训练样本集合中的每个第一食材图像训练样本类别特征，得到用于表征所述第一食材图像训练样本中食材特征的第一训练特征向量，以及提取所述每个第一食材图像训练样本中的锚点分布特征，得到用于表征所述第一食材图像中的食材候选框大小信息的第二训练特征向量；

利用所述第一训练特征向量对所述食材分类网络模型中的第一子网络模型进行训练，利用所述第二训练特征向量对所述食材分类网络模型中的第二子网络模型进行训练。

可选的，所述方法还包括：

当所述食材图像信息中食材的新鲜度等级低于预定阈值时，输出新鲜度提示信息，其中，所述新鲜度提示信息用于提示用户所述食材当前新鲜度状态。

可选的，所述方法还包括：

根据所述食材图像中各个食材的新鲜度等级高低，向用户推荐与食材新鲜度等级对应的烹饪方式。

一方面，提供了一种识别食材新鲜度的装置，该装置包括：

第一获得模块，用于获得食材图像信息；

第二获得模块，用于在将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个所述子图像信息对应从所述食材图像信息中截取的一个食材的候选框，所述食材分类网络模型是对标注了食材类别和用于确定所述食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；

确定模块，用于在将所述至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，所述新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

可选的，所述第二获得模块具体用于：

当所述食材分类网络模型包括第一子网络模型和第二子网络模型时，将所述食材图像信息输入所述第一子网络模型进行卷积计算，获得与所述食材图像信息对应的卷积特征图像；

将所述卷积特征图像输入所述第二子网络模型，基于所述食材图像信息中各个食材对应的锚点，对所述食材图像信息中每个食材的对应区域进行筛选处理，获得至少一个候选框，其中，一个候选框对应一个食材；

利用所述至少一个候选框从所述食材图像信息中截取出所述候选框对应食材的图像，得到所述至少一个子图像信息。

可选的，所述新鲜度判断网络模型按照以下方式训练得到：

获得第二食材图像训练样本集合，其中，所述每个第二食材图像训练样本均标注了食材的类别和食材新鲜度等级；

提取每个所述第二食材图像训练样本对应食材的类别特征和新鲜度等级信息；

利用所述食材的类别特征和新鲜度等级信息对所述新鲜度判断网络模型进行训练。

可选的，所述食材分类网络模型按照以下方式训练得到：

获得第一食材图像训练样本集合，其中，每个第一食材图像训练样本均标注了对应食材的类别和用于确定所述食材对应候选框的多个锚点；

提取所述第一食材图像训练样本集合中的每个第一食材图像训练样本类别特征，得到用于表征所述第一食材图像训练样本中食材特征的第一训练特征向量，以及提取所述每个第一食材图像训练样本中的锚点分布特征，得到用于表征所述第一食材图像中的食材候选框大小信息的第二训练特征向量；

利用所述第一训练特征向量对所述食材分类网络模型中的第一子网络模型进行训练，利用所述第二训练特征向量对所述食材分类网络模型中的第二子网络模型进行训练。

可选的，所述装置还包括提示模块，所述提示模块用于当所述食材图像信息中食材的新鲜度等级低于预定阈值时，输出新鲜度提示信息，其中，所述新鲜度提示信息用于提示用户所述食材当前新鲜度状态。

可选的，所述装置还包括推荐模块，所述推荐模块用于根据所述食材图像中各个食材的新鲜度等级高低，向用户推荐与食材新鲜度等级对应的烹饪方式。

一方面，提供了一种服务器，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述各方面中的识别食材新鲜度的方法包括的步骤。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述各方面中的识别食材新鲜度的方法包括的步骤。

在本申请实施例中，可以预先利用标注了食材类别和用于确定食材的候选框的多个锚点的食材图像训练样本来训练得到食材分类网络模型，以及，可以预先利用标注了食材新鲜度等级的食材图像训练样本来训练得到新鲜度判断网络模型，进一步地，在获得包括多个食材的食材图像信息时，可以根据预先训练的食材分类网络模型将食材图像信息划分为包含单个食材的至少一个子图像信息，进而利用预先训练好的新鲜度判断网络模来确定该至少一个子图像信息中对应食材的新鲜度等级。这样，通过将获得的食材图像信息先进行分类处理后划分为多个子图像信息，再对子图像信息中的食材进行新鲜度识别，以降低对新鲜度识别对象的复杂程度，从而可以提高对食材新鲜度识别的准确性和识别效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本申请实施例中的识别食材新鲜度等级的方法流程图；

图2为本申请实施例中食材分类网络模型对应的结构示意图；

图3a为本申请实施例中识别食材新鲜度等级的装置示意图；

图3b为本申请实施例中另一识别食材新鲜度等级的装置示意图；

图4为本申请实施例中服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。

需要说明的是，本申请实施例公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请公开的一些方面相一致的装置和方法的例子。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

为了便于理解，首先对本申请实施例设计思想进行介绍。

如前文所述，现有的食材新鲜度识别中，当食材数量过多，识别对象较为复杂时，容易产生的食材新鲜度识别效率低和准确低的问题，使得对食材进行新鲜度识别的结果不准确，从而不能及时为用户进行食材管理或推荐，所以需要一种可以较为准确的识别食材新鲜度的技术方案。

鉴于此，本申请人提出可以基于深度学习联合网络的思想来识别用户存储的食材的新鲜度。基于此，本申请人考虑到在食材新鲜度识别的过程中，对新鲜度识别准确性影响较大的主要是同一环境中食材类别、数量的多少，所以，再结合机器学习的思想，本申请人提出了一种识别食材新鲜度的方案。

在该方案中，可以预先利用标注了食材类别和用于确定食材的候选框的多个锚点的食材图像训练样本来训练得到食材分类网络模型，以及，可以预先利用标注了食材新鲜度等级的食材图像训练样本来训练得到新鲜度判断网络模型，进一步地，在获得包括多个食材的食材图像信息时，可以根据预先训练的食材分类网络模型将食材图像信息划分为至少一个子图像信息，且每个子图像信息对应一种食材，进而利用预先训练的新鲜度判断网络模来确定该至少一个子图像信息中对应食材的新鲜度等级。这样，通过将获得的食材图像信息先进行分类处理后划分为多个子图像信息，再对子图像信息中的食材进行新鲜度识别，以降低对新鲜度识别对象的复杂程度，从而可以提高对食材新鲜度识别的准确性和识别效率。

在介绍完本申请实施例的设计思想之后，了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

请参考图1，本申请实施例中一种识别食材新鲜度的方法的流程描述如下。

步骤101，获得食材图像信息。

本申请实施例中的食材可以是水果、蔬菜、谷类等直接观察到其外部特征的食材，食材图像信息可以是由存放食材处设置的图像采集模块自行采集的，具体的，用户可以根据自己的习惯选择贮存食材的地方，若用户采用冰箱贮存食材，则可以通过冰箱中设置的摄像装置采集放置在冰箱中的食材，从而获得食材图像信息；若用户将食材贮存在地窖中，也可以在地窖中设置图像采集装置，进而通过该图像采集装置采集图像，从而获得食材图像信息。

进一步地，食材图像信息也可以是由用户输入的，例如，用户可以通过智能手机、ipad等可用于拍摄的终端设备来拍摄食材，进而获得食材图像信息。也就是说，本申请实施例中获得食材图像信息的方式多种多样，在此不做具体限制。

步骤102，将获得的食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息。

其中，一个子图像信息对应从食材图像信息中截取的一个食材的候选框，食材分类网络模型是对标注了食材类别和用于确定食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的。

在本申请实施例中，食材分类网络模型由两个子网络模型组成，其中，第一子网络模型为用于对获得的食材图像信息中各个食材进行分类识别的分类网络模型，另一个为可用于根据第一个子网络模型对食材分类识别的结果，确定食材图像信息中各个食材在该食材图像信息中的具体位置，进而对各个食材对应图像进行截取，从而将食材图像信息划分为与该食材图像信息中食材数量对应数量的至少一个子图像信息。

具体的，可以将食材图像信息输入第一子网络型中进行卷积计算，获得与该食材图像信息对应的卷积特征图像，进而将卷积特征图像输入到第二子网模型，基于该食材图像信息中各个食材对应的anchor锚点，对食材信息图像信息中每个食材对应区域进行筛选，获得至少一个候选框，其中，一个候选框对应一个食材，进而利用该至少一个候选框从食材图像信息中截取出候选框对应食材的图像，得到至少一个子图像信息，并且，该子图像信息中包括对应食材的类别信息。这样，可以将食材图像信息中包括的各个食材都分别截取成包含单个食材的子图像信息，以使得待进行新鲜度识别的图像中仅包括一个食材，从而降低新鲜度识别的复杂程度。

进一步地，如图2所示，本申请实施例中的食材分类网络模型可以是Faster-RCNN网络模型，其中，第一子网络模型可以是VGG卷积神经网络模型，第二子网络模型可以是RPN区域生成网络模型。那么，在Faster-RCNN网络模型处理获得的食材图像信息时，可以将获得的食材图像信息输入VGG卷积神经网络模型中进行卷积化处理得到Feature map卷积特征图像，进而可以将卷积特征图像输入到RPN区域生成网络模型中，根据图像中各个食材的锚点对每个食材对应区域进行筛选处理，得到一批候选框，然后，可以将VGG卷积神经网络模型得到的卷积特征图像和RPN区域生成网络模型得到的候选框一同输入ROI pooling池化层进行分类处理，再通过FC全链接层中的softmax函数进行类型识别，最终得到至少一个子图像信息。

具体的，假设卷积特征图像的大小为N*16*16，则可以先经过一个3 x 3的卷积，得到一个256 x 16x 16的特征图，也可以看作16 x 16个256维特征向量，然后经过两次1 x 1的卷积，分别得到一个18 x 16 x 16的特征图(其中18＝9 x 2)，和一个36 x 16 x 16的特征图(其中36＝4 x 9)，也就是16 x 16 x 9(9是锚点anchor的数目)即得到9个16*16的候选的ROI感兴趣区域，其中每个ROI包含2个分数和4个坐标，再结合预先定义的锚点，经过平移、缩放等方式，得到至少一个候选框，再根据候选框截取每个食材对应的图像，得到至少一个子图像信息。其中，由于RPN区域生成网络模型在用于提候选框，而不用判断食材的类别，所以只要求区分候选框是不是物体就行，那么就有2个分数，前景(食材)的分数和背景的分数，即为食材的概率和背景的概率；4个坐标是指针对原候选框对应坐标的偏移后得到的坐标。

在本申请实施例中，食材分类网络模型可以按照以下步骤训练。

第一步，获得第一食材图像训练样本集合，每个训练样本中均标注了食材类别和用于确定该食材对应候选框的多个锚点。

在具体实践过程中，可以从网络库中获得食材图像，也可以通过用户自行拍摄食材的获得食材图像，并对获得的食材图像进行食材类别标注以及对用于确定食材对应候选框的锚点进行标注，即明确食材图像中食材的类别和用多大的候选框才能将该食材图像中的食材全部框选中，进而得到第一食材图像训练样本集合。

第二步，提取每个第一食材图像训练样本中的食材的类别特征和锚点分布特征。

在具体实践的过程中，针对每个第一食材图像训练样本，可以获得每个食材样本中的食材的类别信息，提取第一食材图像训练样本集合中的每个第一食材图像训练样本类别特征，以得到用于表征训练样本中食材特征的第一训练特征向量，进而可以基于对第一食材图像中的食材标注的锚点，提取每个第一食材图像训练样本中的锚点分布特征，得到用于表征第一食材图像训练样本中食材候选框大小信息的第二训练特征向量。

第三步，利用第一训练特征向量对第一子网络模型进行训练，利用第二训练特征向量对第二子网络模型训练。

在通过上述方式得到相应的第一训练特征向量和第二训练特征向量之后，可以将第一训练特征向量输入到初始的第一子网络模型中进行识别分类训练，将第二训练特征向量输入到第二子网络模型中进行候选框选取训练，进而根据对第二子网络模型的训练结果，微调食材分类网络模型中公共部分的参数，当训练得到的食材分类网络模型能够根据实际标注结果进行预定比例以上的准确预测时，则可以将此时训练得到的食材分类网络模型作为可以用于进行实际食材分类的食材分类网络模型。其中，预定比例可以根据实际需求自行设置，例如，可以设置为90％。具体的，预定比例设置的越高得到的食材分类网络模型的食材类别识别准确度越高，进而得到的子图像中食材划分准确性也越高。

步骤103，将至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级。

其中，新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

在本申请实施例中，在训练新鲜度判断网络模型时，可以先获得第二食材图像训练样本集合，其中第二食材图像训练样本的获得方式与第一食材图像训练样本的获得方式相同，都可以是从网络库获得或用户自己拍摄的方式获得食材图像后，对食材图像进行新鲜度等级标注和食材的类别标注。具体的，在标注食材新鲜度等级时，可以根据实际的新鲜度识别准确需求自行设置食材的新鲜度等级，新鲜度等级设置的越多，最终训练得到的新鲜度判断网络模型判断出的食材新鲜度更为准确，例如，可以将样本分为五个新鲜度等级进行训练，分别为等级5(全腐烂，新鲜度小于20％)，等级4(新鲜度20％～40％)，等级3(新鲜度40％～60％)等级2(新鲜度60％～80％)，等级1(新鲜，新鲜度大于80％)。

需要说明的是，本申请实施例中对新鲜度等级数的设置不做限制。

进一步地，不同的新鲜度等级的食材对应的用于表征新鲜度的特征也不相同，如从外表观察，新鲜度等级更高的食材外表更鲜艳，水分充足。进而可以提取每个第二食材图像训练样本对应食材的类别特征和新鲜度等级信息，然后将提取的食材的类型特征和新鲜度等级信息输入到初始的新鲜度判断网络模型中进行模型训练，当训练得到的新鲜度判断网络模型对食材新鲜度等级的判断结果能够达到预定概率以上准确判断时，则可以此时训练得到的新鲜度判断网络模型作为最终可以进行新鲜度判断网络模型。

在本申请实施例中，可以将获得的至少一个子图像信息输入按照上述方式训练得到的新鲜度判断网络模型，通过新鲜度判断网络模型对至少一个子图像信息中的食材新鲜度等级信息以及该食材的类别特征，进而确定出子图像信息中的食材的新鲜度等级。这样，通过将包含单个食材的至少一个子图像信息作为输入新鲜度判断网络模型的图像信息，简化了新鲜度判断网络模型处理的图像的复杂程度，所以可以减轻新鲜度判断网络模型的判断负担，从而提高新鲜度判断网络模型对食材新鲜度判断的准确度和效率。

进一步地，本申请实施例中，在识别出食材的新鲜度等级后，可以根据食材的新鲜度等级信息对食材进行合理管理或推荐，具体的，当食材图像信息中食材的新鲜度等级低于预定阈值时，可以输入新鲜度提示信息用户食材当前的新鲜度状态。

其中，预定阈值可以是食材食用的临界值，即当食材的新鲜度等级低于预定阈值时，该食材已经超过食用期限，用户不能再食用，进而可以输出新鲜度提示信息用于提示用户及时扔掉不能食用的食材，那么用户则可以根据输出的新鲜度提示信息及时处理掉不能食用的食材，以免污染其他可以食材用的食材，加快其他食材的变质速度。

进一步地，预定阈值也可以是食材新鲜度等级中任一个等级值，例如，食材包括多个等级，其中，等级1为最佳食用等级，等级2次之，等级越高食材新鲜度越低，进而可以将预定阈值设置为等级2，当根据新鲜度判断模型确定出的食材的新鲜度等级低于等级2后，则可以输出新鲜度提示信息，提示用户赶紧食用该食材，进而避免用户忘记食用该食材，导致食材变质，从而造成不必要的浪费。

在本申请实施例中，新鲜度提示信息可以是通过文本信息或者语音信息的方式进行输出，例如，若用户将食材贮存在智能冰箱中，当新鲜度提示信息为文本信息时，可以将在智能冰箱的显示屏中显示新鲜度提示信息，或者，将用于提示食材新鲜度等级的信息以文本消息方式发送给智能冰箱对应的终端设备；当新鲜度提示信息为语音信息时，可以通过智能冰箱中设置的语音播放装置播放该新鲜度提示信息，从而提示用户根据新鲜度提示信息及时管理贮存的食物，避免浪费食材。

进一步地，在本申请实施例中，当利用新鲜度判断网络模型确定贮存的各个食材的新鲜度等级后，若贮存的食材为蔬菜，为了方便用户于使用食材，可以根据各个食材的新鲜度等级高低，向用户推荐与食材新鲜度等级对应的烹饪方式，从而通过正确地烹饪方式来弥补食材新鲜度的不足，提升食材的口感。例如，食材为大虾，当大虾新鲜度较高时，可以向用户推荐清蒸的方式来烹饪大虾，以保证食材的鲜味；当大虾购买时间稍久新鲜度有一定程度的降低时，则可以向用户推荐口味偏重的烹饪方式，如爆炒，所以可以通过多种调料来提升虾的口感味道。

所以，通过上述方法，在本申请实施例中，通过联合网络模型，将获得的食材图像信息划分为包含单个食材的子图像信息后，对子图像信息进行新鲜度判断，提高了对食材新鲜度判断的效率和准确性，进而在确定出食材的新鲜度等级后，可以根据新鲜度等级提示用户及时食用食材或者处理掉不能食用的食材，避免造成不必要的浪费。

基于同一发明构思，本申请实施例中提供了一种识别食材新鲜度的装置，该识别食材新鲜度的装置可以是硬件结构、软件模块、或硬件结构加软件模块。该识别食材新鲜度的装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图3a所示，本申请实施例中的识别食材新鲜度的装置包括第一获得模块301、第二获得模块302和确定模块303，其中：

第一获得模块301，用于获得食材图像信息；

第二获得模块302，用于在将食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个子图像信息对应从食材图像信息中截取的一个食材的候选框，食材分类网络模型是对标注了食材类别和用于确定食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；

确定模块303，用于在将至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

在一种可能的实施方式中，第二获得模块302具体用于：

当食材分类网络模型包括第一子网络模型和第二子网络模型时，将食材图像信息输入第一子网络模型进行卷积计算，获得与食材图像信息对应的卷积特征图像；

将卷积特征图像输入第二子网络模型，基于食材图像信息中各个食材对应的锚点，对食材图像信息中每个食材的对应区域进行筛选处理，获得至少一个候选框，其中，一个候选框对应一个食材；

利用至少一个候选框从食材图像信息中截取出候选框对应食材的图像，得到至少一个子图像信息。

在一种可能的实施方式中，新鲜度判断网络模型按照以下方式训练得到：

获得第二食材图像训练样本集合，其中，每个第二食材图像训练样本均标注了食材的类别和食材新鲜度等级；

提取每个第二食材图像训练样本对应食材的类别特征和新鲜度等级信息；

利用食材的类别特征和新鲜度等级信息对新鲜度判断网络模型进行训练。

在一种可能的实施方式中，食材分类网络模型按照以下方式训练得到：

获得第一食材图像训练样本集合，其中，每个第一食材图像训练样本均标注了对应食材的类别和用于确定食材对应候选框的多个锚点；

提取第一食材图像训练样本集合中的每个第一食材图像训练样本类别特征，得到用于表征第一食材图像训练样本中食材特征的第一训练特征向量，以及提取每个第一食材图像训练样本中的锚点分布特征，得到用于表征第一食材图像中的食材候选框大小信息的第二训练特征向量；

利用第一训练特征向量对食材分类网络模型中的第一子网络模型进行训练，利用第二训练特征向量对食材分类网络模型中的第二子网络模型进行训练。

在一种可能的实施方式中，如图3b所示，识别食材新鲜度的装置还包括提示模块304，该提示模块304用于当食材图像信息中食材的新鲜度等级低于预定阈值时，输出新鲜度提示信息，其中，新鲜度提示信息用于提示用户食材当前新鲜度状态。

在一种可能的实施方式中，如图3b所示，识别食材新鲜度的装置还包括推荐模块305，该推荐模块305用于根据食材图像中各个食材的新鲜度等级高低，向用户推荐与食材新鲜度等级对应的烹饪方式。

关于上述实施例中的识别食材新鲜度的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本申请实施例还提供一种服务器，如图4所示，本申请实施例中的服务器包括至少一个处理器401，以及与至少一个处理器401连接的存储器402和通信接口403，本申请实施例中不限定处理器401与存储器402之间的具体连接介质，图4中是以处理器401和存储器402之间通过总线400连接为例，总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前述的识别食材新鲜度的方法中所包括的步骤。

其中，处理器401是服务器的控制中心，可以利用各种接口和线路连接整个烹饪设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，处理器401主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通信接口403是能够用于进行通信的传输接口，可以通过通信接口403接收数据或者发送数据。识别食材新鲜度的装置可以通过通信接口403向对应的终端设备发送的新鲜度提示信息。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的识别食材新鲜度的方法的步骤。

在一些可能的实施方式中，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种识别食材新鲜度的方法，其特征在于，包括：

获得食材图像信息；

将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个所述子图像信息对应从所述食材图像信息中截取的一个食材的候选框，所述食材分类网络模型是对标注了食材类别和用于确定所述食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；

将所述至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，所述新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

2.如权利要求1所述的方法，其特征在于，所述食材分类网络模型包括第一子网络模型和第二子网络模型，则

将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，包括：

将所述食材图像信息输入所述第一子网络模型进行卷积计算，获得与所述食材图像信息对应的卷积特征图像；

将所述卷积特征图像输入所述第二子网络模型，基于所述食材图像信息中各个食材对应的锚点，对所述食材图像信息中每个食材的对应区域进行筛选处理，获得至少一个候选框，其中，一个候选框对应一个食材；

利用所述至少一个候选框从所述食材图像信息中截取出所述候选框对应食材的图像，得到所述至少一个子图像信息。

3.如权利要求1所述的方法，其特征在于，所述新鲜度判断网络模型按照以下方式训练得到：

获得第二食材图像训练样本集合，其中，所述每个第二食材图像训练样本均标注了食材的类别和食材新鲜度等级；

提取每个所述第二食材图像训练样本对应食材的类别特征和新鲜度等级信息；

利用所述食材的类别特征和新鲜度等级信息对所述新鲜度判断网络模型进行训练。

4.如权利要求1或2所述的方法，其特征在于，所述食材分类网络模型按照以下方式训练得到：

获得第一食材图像训练样本集合，其中，每个第一食材图像训练样本均标注了对应食材的类别和用于确定所述食材对应候选框的多个锚点；

提取所述第一食材图像训练样本集合中的每个第一食材图像训练样本类别特征，得到用于表征所述第一食材图像训练样本中食材特征的第一训练特征向量，以及提取所述每个第一食材图像训练样本中的锚点分布特征，得到用于表征所述第一食材图像中的食材候选框大小信息的第二训练特征向量；

利用所述第一训练特征向量对所述食材分类网络模型中的第一子网络模型进行训练，利用所述第二训练特征向量对所述食材分类网络模型中的第二子网络模型进行训练。

5.如权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

当所述食材图像信息中食材的新鲜度等级低于预定阈值时，输出新鲜度提示信息，其中，所述新鲜度提示信息用于提示用户所述食材当前新鲜度状态。

6.如权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

根据所述食材图像中各个食材的新鲜度等级高低，向用户推荐与食材新鲜度等级对应的烹饪方式。

7.一种识别食材新鲜度的装置，其特征在于，包括：

第一获得模块，用于获得食材图像信息；

第二获得模块，用于在将所述食材图像信息输入预先训练的食材分类网络模型中，获得至少一个子图像信息，其中，一个所述子图像信息对应从所述食材图像信息中截取的一个食材的候选框，所述食材分类网络模型是对标注了食材类别和用于确定所述食材的候选框的多个锚点的多个第一食材图像训练样本进行训练得到的；

确定模块，用于在将所述至少一个子图像信息依次输入预先训练的新鲜度判断网络模型中，确定每个子图像信息对应食材的新鲜度等级，其中，所述新鲜度判断网络模型是对标注了食材新鲜度等级的多个第二食材图像训练样本进行训练得到的。

8.如权利要求7所述的装置，其特征在于，所述食材分类网络模型包括第一子网络模型和第二子网络模型，所述第二获得模块具体用于：

将所述食材图像信息输入所述第一子网络模型进行卷积计算，获得与所述食材图像信息对应的卷积特征图像；

将所述卷积特征图像输入所述第二子网络模型，基于所述食材图像信息中各个食材对应的锚点，对所述食材图像信息中每个食材的对应区域进行筛选处理，获得至少一个候选框，其中，一个候选框对应一个食材；

利用所述至少一个候选框从所述食材图像信息中截取出所述候选框对应食材的图像，得到所述至少一个子图像信息。

9.一种服务器，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-6任一所述识别食材新鲜度的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6任一所述识别食材新鲜度的方法的步骤。

Images