CN117911795B - 食品图像识别方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本申请的实施例公开了食品图像识别方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取待识别食品图像和食品特征库；将待识别食品图像输入至食品特征提取网络，得到食品特征向量；确定食品特征向量与食品类别平均特征向量集的特征相似度数值集；将待识别食品图像输入至食品分类网络，得到食品类别识别信息集；对特征相似度数值集和食品类别概率数值集进行类别对齐处理，以及对得到的类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；将新增类别平均特征向量存储至食品特征库。该实施方式可以提高食品图像分类的准确性和及时性，减少食品特征库存储资源的浪费，以及便于后续及时快速识别食品新增类别的识别。

Description

食品图像识别方法、装置、电子设备和计算机可读介质

技术领域

本申请的实施例涉及计算机技术领域，具体涉及食品图像识别方法、装置、电子设备和计算机可读介质。

背景技术

随着深度学习算法的快速发展，食品菜肴识别已经成为计算机视觉的重要研究方向。由于食品菜肴的烹饪方法的多样性和食材的不同组合方法，造成食品菜肴识别的难度较大。对于食品图像的识别，通常采用的方式为：将待识别食品图像输入至仅提取局部特征向量的食品图像分类模型，得到食品类别信息集。然后，通过食品类别信息集包括的食品类别概率数值集，确定待识别食品图像是否为新增类别的食品图像。最后，响应于确定待识别食品图像为新增类别的食品图像，将待识别食品图像的食品特征向量输入至食品特征库。

然而，实践中发现，当采用上述方式对食品图像进行识别时，经常会存在如下技术问题一：由于食品图像分类模型仅提取局部特征信息，忽略了图像全局信息对食品特征向量的影响，造成食品图像识别的准确率较低和提取的食品特征向量的质量较低，以及造成新增类别图像的判断结果的准确率较低，使得食品特征库中存在大量冗余和错误的食品特征向量，导致食品特征库的存储资源的浪费。

在采用技术方案来解决上述技术问题一的过程中，往往又会伴随着如下技术问题二：由于飞鼠搜索算法采用随机初始化，易造成飞鼠的初始位置分布不均匀和一些无效飞鼠个体，增加算法运算时间，以及飞鼠搜索算法中捕食者的存在概率为固定数值和位置更新中的随机更新，易造成降低算法的收敛速度和易陷入局部最优解，从而导致得到的增强后食品图像的颜色、纹理和边缘信息的清晰度较低，图像质量较低。针对上述技术问题二，常规的解决方案一般是：采用飞鼠搜索算法，对待识别食品图像进行图像增强。

在采用技术方案来解决上述技术问题一的过程中，往往又会伴随着如下技术问题三：由于使用渐进式训练策略提取的多尺度的特征信息可能会集中在待识别食品图像中相似的区域，使得提取的特征向量存在冗余和提取的特征向量的质量较低，从而使得新增类别图像的判断的准确率较低，食品特征库中存在大量冗余和质量较低的食品类别平均特征向量，导致食品特征库的存储资源的浪费。针对上述技术问题三，常规的解决方案一般是食品分类网络通过使用渐进式训练策略提取多尺度的特征信息。

该背景技术部分中所公开的以上信息仅用于增强对本申请构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本申请的一些实施例提出了食品图像识别方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本申请的一些实施例提供了一种食品图像识别方法，包括：获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集；将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量；对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集；将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集；对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集；对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像；响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。

第二方面，本申请的一些实施例提供了一种食品图像识别装置，包括：获取单元，被配置成获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集；第一输入单元，被配置成将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量；相似度对比单元，被配置成对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集；第二输入单元，被配置成将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集；类别对齐单元，被配置成对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集；加权求和处理单元，被配置成对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；确定单元，被配置成根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像；存储单元，被配置成响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。

第三方面，本申请的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第四方面，本申请的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请的上述各个实施例中具有如下有益效果：本申请的一些实施例的食品图像识别方法可以提高食品图像分类的准确性和及时性，减少食品特征库存储资源的浪费，以及便于后续及时快速识别食品新增类别的识别。具体来说，造成相关的食品特征库的存储资源的浪费的原因在于：由于食品图像分类模型仅提取局部特征信息，忽略了图像全局信息对食品特征向量的影响，造成食品图像识别的准确率较低和提取的食品特征向量的质量较低，以及造成新增类别图像的判断结果的准确率较低，使得食品特征库中存在大量冗余和错误的食品特征向量，导致食品特征库的存储资源的浪费。基于此，本申请的一些实施例的食品图像识别方法可以首先，获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集。在这里，待识别食品图像和食品特征库用于后续食品类别的识别。其次，将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量。在这里，通过食品特征提取网络提取食品特征向量可以提高提取的特征向量的准确性，以及便于后续特征相似度的对比。再次，对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集。在这里，特征相似度数值集可以确定待识别图像的类别信息集。接着，将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集。在这里，通过食品分类网络进行食品类别识别可以提高待识别食品图像识别的准确度。随后，对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集。在这里，通过类别对齐相似度数值集便于确定待识别食品图像所属类别信息集和降低食品特征提取网络和食品分类网络的误检率，便于提高后续食品类别识别的准确率。之后，对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集。在这里，通过食品特征提取网络和食品分类网络的结合进行复合识别可以提高食品类别识别的准确性。然后，根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像。在这里，通过特征向量对比和食品分类识别网络的结果的结合，可以提高判断是否为新增类别的准确率。最后，响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。在这里，可以减少冗余和错误的类别平均特征向量的生成，从而减少食品特征库的存储资源的浪费和食品特征向量的质量，以及提高后续食品图像识别的速率。由此可得，该食品图像识别方法可以通过与食品特征库包括的食品平均特征向量集进行特征相似度对比和食品分类网络的类别识别的复合食品图像类别识别，可以提高食品图像分类的准确性和及时性，减少食品特征库存储资源的浪费，以及便于后续及时快速识别食品新增类别的识别。

附图说明

结合附图并参考以下具体实施方式，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是根据本申请的食品图像识别方法的一些实施例的流程图；

图2是根据本申请的食品图像识别装置的一些实施例的结构示意图；

图3是适于用来实现本申请的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要注意，本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本申请。

图1示出了根据本申请的食品图像识别方法的一些实施例的流程100。该食品图像识别方法，包括以下步骤：

步骤101，获取待识别食品图像和食品特征库。

在一些实施例中，上述食品图像识别方法的执行主体（例如电子设备）可以通过有线连接方式或者无线连接方式来获取待识别食品图像和食品特征库。其中，上述食品特征库可以包括食品类别平均特征向量集。上述食品特征库中还可以包括与上述食品类别平均特征向量集中的每个食品类别平均特征向量对应的食品图像组。上述待识别食品图像可以是等待识别图像所属菜品类别信息的RGB图像。上述待识别食品图像的尺寸可以是[h，w，3]。“h”表示待识别食品图像的长度。“w”表示待识别食品图像的宽度。“3”表示待识别食品图像的通道数。例如，上述待识别食品图像可以是麻婆豆腐的图像。上述食品特征库可以是用于存储各种类别的食品的平均特征向量和菜品图像集的数据库。上述食品类别平均特征向量可以是同一种类别的食品图像集的食品类别特征向量集的平均值。上述食品类别特征向量可以表征同种类别的食品的特征信息。上述食品类别平均特征向量可以是[1，L]，“1”可以表示食品类别特征向量中第一维度的数量。“L”可以表示食品类别特征向量中包括的特征维度，L可以是32的整数倍数。上述食品类别平均特征向量可以是通过以下步骤得到的：首先，对同一类别的食品图像组进行特征提取，得到食品特征向量组。其中，上述食品特征向量组中的每个食品特征向量可以表示为[1，L]。然后，对上述食品特征向量组进行特征拼接，得到拼接食品特征向量。其中，上述拼接食品特征向量可以表示为[10，L]。最后，确定上述拼接食品特征向量包括的第一维度的平均值，得到食品类别平均特征向量。

步骤102，将待识别食品图像输入至食品特征提取网络，得到食品特征向量。

在一些实施例中，上述执行主体可以将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量。其中，上述食品特征提取网络可以是以待识别食品图像为输入，以待识别食品图像的特征向量为输出的基于度量学习训练的深度神经网络。例如，上述食品特征提取网络可以是VGG（Visual Geometry Group Network）16，也可以是基于Transformer的神经网络。上述食品特征向量可以是以向量化的形式表征待识别食品图像的特征信息的向量。

在一些实施例的一些可选的实现方式中，上述食品特征提取网络包括：多个阶段特征提取网络、多个像素相关性提取网络、多个局部注意力机制层和多个多尺度特征融合网络；以及上述将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量，可以包括以下步骤：

第一步，对上述待识别食品图像进行图像增强处理，得到增强后食品图像。其中，上述增强后食品图像可以是对上述待识别食品图像进行随机遮挡后用0像素进行填充后得到的食品图像。实践中，上述执行主体可以利用Cutout图像增强算法，对上述待识别食品图像进行图像增强处理，得到增强后食品图像。

第二步，对上述增强后食品图像进行图像划分处理，得到食品图像块集。其中，上述食品图像块集中的食品图像块可以是预先设定的尺寸大小的图像块。上述预先设定的尺寸大小可以是4*4，也可以是16*16。上述食品图像块集可以是无区域重叠的图像块集。

第三步，将上述食品图像块集输入至第一阶段特征提取网络，得到第一食品特征向量。其中，上述第一阶段特征提取网络可以包括：线性嵌入层、窗口多头注意力机制网络和滑动窗口多头注意力机制网络。上述线性嵌入层可以是将上述食品图像块集中的食品图像块映射到一维向量中的卷积层。窗口多头注意力机制和滑动窗口多头注意力机制网络是成对出现的。例如，上述窗口多头注意力机制网络和滑动窗口多头注意力机制网络可以是按照窗口多头注意力机制网络、滑动窗口多头注意力机制网络的顺序进行连接的网络。上述窗口多头注意力机制网络可以是提取窗口内部的特征向量的网络。上述滑动窗口多头注意力机制网络可以是通过偏移滑动窗口以提取不同窗口之间的特征向量。上述第一食品特征向量可以表征食品图像块集的特征信息。

第四步，将上述第一食品特征向量输入至第一像素相关性提取网络，得到第一食品局部特征向量。其中，上述多层像素相关性提取网络中的像素相关性提取网络可以是利用待识别食品图像的全局特征来提取局部特征，以捕捉待识别图像的长距离依赖关系的卷积神经网络。上述像素相关性提取网络可以是通过查询、键和值3个部分确定待识别食品图像中的每个像素与除像素外的剩余像素集的相似度来提取局部特征向量的网络。上述查询可以用于确定每个像素与剩余像素集的相似度。上述键可以用于确定每个像素与剩余像素集的权重。上述值可以用于确定每个像素与剩余像素集的加权和。上述第一食品局部特征向量可以表征待识别食品图像的局部特征信息。

第五步，将上述第一食品局部特征向量输入至第一局部注意力机制层，得到第一食品局部权重特征向量。其中，上述多层局部注意力机制层中的局部注意力机制层可以是对输入的第一食品局部特征向量进行区域划分，并确定得到的多个子区域中的每个子区域与局部注意力机制层的输出子区域序列中对应的输出子区域的相似度，并对得到的多个相似度进行归一化处理，得到注意力权重值集，以及对注意力权重值集进行加权求平均的注意力网络。上述第一食品局部权重特征向量可以是对第一食品局部特征向量的不同维度进行加权求和后得到的特征向量。

第六步，将上述第一食品特征向量、上述第一食品局部特征向量和上述第一食品局部权重特征向量输入至第一多尺度特征融合网络，得到第一融合食品特征向量。其中，上述多层多尺度特征融合网络中的多尺度特征融合网络可以是利用金字塔池化法对输入的不同尺寸的上述第一食品特征向量、上述第一食品局部特征向量和上述第一食品局部权重特征向量进行特征融合的深度神经网络。

第七步，将上述第一融合食品特征向量输入至第二阶段特征提取网络，得到第二食品特征向量。其中，上述第二阶段特征提取网络可以包括：特征块融合层、窗口多头注意力机制网络和滑动窗口多头注意力机制网络。上述特征块融合层可以是对输入的第一融合食品特征向量进行下采样的卷积神经网络。上述特征块融合层可以是对第一融合食品特征向量进行特征划分，得到特征块集，然后，对特征块集中位于相同位置的像素进行拼接，得到像素特征向量集。最后，对像素特征向量集进行深度方向的特征融合并输入至层归一化层和全连接层的深度神经网络。

第八步，将上述第二食品特征向量输入至第二像素相关性提取网络，得到第二食品局部特征向量。

第九步，将上述第二食品局部特征向量输入至第二局部注意力机制层，得到第二食品局部权重特征向量。

第十步，将上述第二食品特征向量、上述第二食品局部特征向量和上述第二食品局部权重特征向量输入至第二多尺度特征融合网络，得到第二融合食品特征向量。

第十一步，将上述第二融合食品特征向量输入至第三阶段特征提取网络，得到第三食品特征向量。其中，上述第三阶段特征提取网络可以包括：特征块融合层、多层窗口多头注意力机制网络和多层滑动窗口多头注意力机制网络。上述多层窗口多头注意力机制网络可以是3层窗口多头注意力机制网络。上述多层滑动窗口多头注意力机制网络可以是3层滑动窗口多头注意力机制网络。

第十二步，将上述第三食品特征向量输入至第三像素相关性提取网络，得到第三食品局部特征向量。

第十三步，将上述第三食品局部特征向量输入至第三局部注意力机制层，得到第三食品局部权重特征向量。

第十四步，将上述第三食品特征向量、上述第三食品局部特征向量和上述第三食品局部权重特征向量输入至第三多尺度特征融合网络，得到第三融合食品特征向量。

第十五步，将上述第三融合食品特征向量输入至第四阶段特征提取网络，得到第四食品特征向量。其中，上述第四阶段特征提取网络可以包括：特征块融合层、窗口多头注意力机制网络和滑动窗口多头注意力机制网络。

第十六步，将上述第四食品特征向量输入至第四像素相关性提取网络，得到第四食品局部特征向量。

第十七步，将上述第四食品局部特征向量输入至第四局部注意力机制层，得到第四食品局部权重特征向量。

第十八步，将上述第四食品特征向量、上述第四食品局部特征向量和上述第四食品局部权重特征向量输入至第四多尺度特征融合网络，得到第四融合食品特征向量，作为食品特征向量。

考虑到上述常规解决方案的问题，面对上述技术问题二：由于飞鼠搜索算法采用随机初始化，易造成飞鼠的初始位置分布不均匀和一些无效飞鼠个体，增加算法运算时间，以及飞鼠搜索算法中捕食者的存在概率为固定数值和位置更新中的随机更新，易造成降低算法的收敛速度和易陷入局部最优解，从而导致得到的增强后食品图像的颜色、纹理和边缘信息的清晰度较低，图像质量较低。结合所拥有的技术现状，可以决定采用如下解决方案。

在一些实施例的一些可选的实现方式中，上述对上述待识别食品图像进行图像增强处理，得到增强后食品图像，可以包括以下步骤：

第一步，对上述待识别食品图像进行颜色空间转换，得到颜色转换后食品图像。其中，上述颜色变换后食品图像可以是由RGB颜色空间变换到HSV颜色空间的图像。上述颜色转换后食品图像可以包括的H（Hue，色相）通道图像、S（Saturation，饱和度）通道图像和V（Value，明度）通道图像。实践中，上述执行主体可以首先，对上述待识别食品图像包括的H通道图像、S通道图像和V通道图像进行归一化处理，得到归一化后H通道图像、归一化后S通道图像和归一化后V通道图像。然后，利用RGB到HSV颜色转换公式，对上述归一化后H通道图像、上述归一化后S通道图像和上述归一化后V通道图像进行颜色空间转换，得到转换后H通道图像、转换后S通道图像和转换后V通道图像。最后，对上述转换后H通道图像、上述转换后S通道图像和上述转换后V通道图像进行图像融合，得到颜色转换后食品图像。

第二步，对上述颜色转换后食品图像进行图像对比度矫正处理，得到矫正后食品图像。其中，上述矫正后食品图像可以是对上述颜色转换后食品图像的灰度值进行线性变换后得到的图像。上述图像对比度矫正处理可以是利用二维伽马变换算法的图像对比度矫正处理。

第三步，对上述颜色转换后食品图像进行图像颜色增强处理，得到颜色增强后食品图像。其中，上述颜色增强后食品图像可以是恢复上述待识别食品图像由于颜色空间转换造成的颜色失真的图像。上述图像颜色增强处理可以是利用MSRCR（Multi-ScaleRetinex with Color Restoration，带色彩恢复的多尺度视网膜增强算法）的颜色增强处理。

第四步，利用混沌正弦映射算法，对上述矫正后食品图像和上述颜色增强后食品图像进行加权融合处理，生成初始化混沌飞鼠种群。其中，上述初始化混沌飞鼠种群可以是利用混沌正弦映射算法随机生成的矫正后食品图像对应的权重数值集和上述颜色增强后食品图像对应的权重数值集，对上述矫正后食品图像和上述颜色增强后食品图像进行加权融合处理后得到的位于HSV空间的增强后的食品图像。

第五步，对上述初始化飞鼠种群进行反向学习处理，得到初始化反向飞鼠种群。其中，上述初始化反向飞鼠种群可以是上述初始化飞鼠种群的反向解集组成的飞鼠种群。实践中，上述执行主体可以利用OBL（Opposition-Based Learning，反向学习），对上述初始化飞鼠种群进行反向学习处理，得到初始化反向飞鼠种群。

第六步，设置上述初始化飞鼠种群的图像适应度函数。其中，图像适应度函数可以是通过对矫正后食品图像和颜色增强后食品图像进行融合后使得得到的融合后食品图像中灰度级的全局熵、边缘像素数和像素强度的全局标准差最大的适应度函数。上述全局熵可以表征融合后食品图像中像素灰度分布的均匀性。上述边缘像素数可以表征融合后食品图像的轮廓信息。上述像素强度的全局标准差可以表征融合后食品图像的对比度和亮度信息。

第七步，将上述初始化混沌飞鼠种群和上述初始化反向飞鼠种群输入至上述图像适应度函数，得到混沌图像适应度数值集和反向图像适应度数值集。其中，上述混沌图像适应度数值集中的混沌图像适应度数值可以表征初始化混沌飞鼠种群包括的初始化混沌飞鼠个体对应生成的融合后的食品图像的质量。上述反向图像适应度数值集中的反向图像适应度数值可以表征初始化反向飞鼠种群包括的初始化反向飞鼠个体对应生成的融合后的食品图像的质量。

第八步，根据上述混沌图像适应度数值集和上述反向图像适应度数值集，对上述初始化混沌飞鼠种群和上述初始化反向飞鼠种群进行筛选处理，得到初始化飞鼠种群。其中，上述初始化飞鼠种群对应的图像适应度数值是上述混沌图像适应度数值集和上述反向图像适应度数值集中的数值较大的种群数量个飞鼠个体组成的种群。上述种群数量可以是初始化混沌飞鼠种群包括的初始化混沌飞鼠个体的数量。

作为示例，上述执行主体可以首先，将上述混沌图像适应度数值集中的每个混沌图像适应度数值和、上述反向图像适应度数值集中与混沌图像适应度数值对应的反向图像适应度数值，确定为图像适应度数值对集。然后，从上述图像适应度数值对集中的每个图像适应度数值对中筛选出数值较大的图像适应度数值，得到目标适应度数值集。最后，将上述目标适应度数值集中的每个目标适应度数值对应的初始化混沌飞鼠个体或者初始化反向飞鼠个体，确定为初始化飞鼠个体，得到初始化飞鼠种群。

第九步，基于初始化飞鼠种群，执行以下种群更新步骤：

子步骤1，根据初始化飞鼠种群对应的初始图像适应度数值集，对初始化飞鼠种群进行分类处理，得到第一初始化飞鼠种群、第二初始化飞鼠种群和第三初始化飞鼠种群。其中，上述初始图像适应度数值集可以是将上述初始化飞鼠种群输入至上述图像适应度函数得到的适应度数值集。上述第一初始化飞鼠种群可以是位于山核桃树上的飞鼠，即融合后的食品图像质量最好的图像。上述第一初始化飞鼠种群可以包括一个初始化飞鼠个体的种群。上述第二初始化飞鼠种群可以是位于橡子树上的多个飞鼠，即融合后的食品图像质量次于最优图像的图像集。上述第三初始化飞鼠种群可以是位于普通树上的多个飞鼠，即融合后的食品图像的质量最差的图像集。

作为示例，上述执行主体可以首先，从上述初始图像适应度数值集中筛选出数值最大的初始图像适应度数值，作为第一初始图像适应度数值。其次，将上述第一初始图像适应度数值对应的初始化飞鼠确定为第一初始化飞鼠种群。再次，对上述去除第一初始图像适应度后的初始图像适应度数值集进行降序排序，作为第一剩余适应度数值序列。接着，从上述第一剩余适应度数值序列中筛选出位于前第一预设阈值个第一剩余适应度数值，作为目标剩余适应度数值序列。然后，将上述目标剩余适应度数值序列对应的初始化飞鼠种群，确定为第二初始化飞鼠种群。其中，上述第一预设阈值可以是[2，4]中的任意整数数值。最后，将第一剩余适应度数值序列中去除目标剩余适应度数值序列后的数值序列对应的初始化飞鼠种群，确定为第三初始化飞鼠种群。

子步骤2，对第二初始化飞鼠种群和第三初始化飞鼠种群进行更新处理，得到第一更新后飞鼠种群、第二更新后飞鼠种群和第三更新后飞鼠种群。其中，上述第一更新后飞鼠种群可以是第二初始化飞鼠种群中第一任意数量个飞鼠的位置由橡子树更新到山核桃树的飞鼠种群。上述第一任意数量可以是[1，4)范围内的一个数。上述第二更新后飞鼠种群可以是第三初始化飞鼠种群中第二任意数量个飞鼠的位置由普通树更新到橡子树的飞鼠组成的种群。第二任意数量可以是[1，第三初始化飞鼠种群包括的第三初始化飞鼠个体的数量)中的任意整数。上述第三更新后飞鼠种群可以是第三初始化飞鼠种群中第三任意数量个飞鼠的位置由普通树更新到山核桃树的飞鼠组成的种群。上述第三任意数量可以是[1，第三初始化飞鼠种群包括的第三初始化飞鼠个体的数量)中的任意整数。上述第一更新后飞鼠种群可以表示为：。

其中，表示第一更新后飞鼠个体。/>表示第t次未更新前的第二初始化飞鼠个体。/>表示飞鼠随机滑翔距离。/>表示滑翔常数，取值为1.9。/>表示第一初始化飞鼠个体。/>表示范围为[0,1]之间内的随机数。/>表示捕食飞鼠的捕食者的存在概率。/>表示捕食飞鼠的捕食者的存在概率的初始，取值为0.15。/>表示捕食者存在概率的终值，取值为0.02。/>表示最大迭代数值，即预设已执行阈值。/>表示已执行次数。表示调控捕食者存在概率的调控因子，取值为20。/>表示范围为[0,1]之间内的随机数。、/>表示随机从初始化飞鼠种群中选择的第一初始化飞鼠个体和第二初始化飞鼠个体。

第二更新后飞鼠种群可以表示为：

。

其中，表示第二更新后飞鼠个体。/>表示第二初始化飞鼠种群中位置由普通树更新到橡子树的飞鼠个体。/>表示范围为[0,1]之间内的随机数。

第三更新后飞鼠种群可以表示为：。

其中，表示第三更新后飞鼠个体。/>表示第二初始化飞鼠种群中位置由普通树更新到山核桃树的飞鼠个体。/>表示范围为[0,1]之间内的随机数。

子步骤3，根据第一初始化飞鼠种群和第二初始化飞鼠种群，生成飞鼠季节常数。其中，上述飞鼠季节常数可以表征季节对飞鼠觅食活动的影响因子，引入飞鼠季节常数可以避免算法陷入局部最优解。

作为示例，上述执行主体可以将第二初始化飞鼠种群中的每个第二初始化飞鼠个体与上述第一初始化飞鼠种群中的每个第一初始化飞鼠个体的差值的累加平方和的算术平方根，确定为飞鼠季节常数。

子步骤4，响应于确定飞鼠季节常数小于飞鼠季节因子，对更新初始化飞鼠种群进行更新处理，得到目标更新后飞鼠种群。其中，上述飞鼠季节因子可以是随已执行次数变化而变化的因子。上述飞鼠季节因子可以是10与e的-6次方的乘积、与365的2.5和已执行次数的乘积与预设已执行阈值的比值的次方的比值。上述更新初始化飞鼠种群可以包括：上述第一更新后飞鼠种群、上述第二更新后飞鼠种群、上述第三更新后飞鼠种群、上述第二初始化飞鼠种群中去除第一更新后飞鼠种群后的种群和上述第三初始化飞鼠种群中去除第二更新后飞鼠种群、第三更新后飞鼠种群后的种群。上述更新处理可以是采用莱维分布（Levydistribution）进行的更新。

子步骤5，确定上述种群更新步骤的已执行次数。

子步骤6，响应于确定已执行次数大于等于预设已执行阈值，根据目标更新后飞鼠种群中位于山核桃树上的飞鼠个体，对上述矫正后食品图像和上述颜色增强后食品图像进行图像融合处理，得到融合后食品图像，以及对上述融合后食品图像进行颜色空间变化处理，得到增强后食品图像。其中，上述融合后食品图像可以是颜色空间位于HSV空间的食品图像。上述增强后食品图像可以是颜色空间位于RGB空间的食品图像。上述目标更新后飞鼠种群中位于山核桃树上的飞鼠个体可以是图像适应度数值最大的飞鼠个体。

作为示例，上述执行主体可以利用上述目标更新后飞鼠种群中位于山核桃树上的飞鼠个体对应的权重数值集，对上述矫正后食品图像和上述颜色增强后食品图像进行图像加权融合处理，得到融合后食品图像。

子步骤7，响应于确定飞鼠季节常数大于等于飞鼠季节因子，且响应于确定已执行次数大于等于预设已执行阈值，利用第一更新后飞鼠种群对应的权重数值集，对上述矫正后食品图像和上述颜色增强后食品图像进行图像融合处理，得到融合后食品图像，以及对上述融合后食品图像进行颜色空间变化处理，得到增强后食品图像。

第十步，响应于确定已执行次数小于预设已执行阈值，将目标更新后飞鼠种群，确定为初始化飞鼠种群，将已执行次数和预设阈值的和确定为已执行次数，以及根据已执行次数，对飞鼠季节因子进行更新得到更新后季节因子，作为飞鼠季节因子，以再次执行上述种群更新步骤。其中，上述预设阈值可以是预先设定的数值。例如，上述预设阈值可以是1。上述更新可以是通过步骤3的更新公式，对飞鼠季节因子进行更新。

第十一步，响应于确定飞鼠季节常数大于等于飞鼠季节因子，且已执行次数小于预设已执行阈值，将更新初始化飞鼠种群，确定为初始化飞鼠种群，将已执行次数和预设阈值的和确定为已执行次数，以及根据已执行次数，对飞鼠季节因子进行更新得到更新后季节因子，作为飞鼠季节因子，以再次执行上述种群更新步骤。

上述技术方案及其相关内容作为本申请的实施例的一个发明点，解决了背景技术提及的技术问题二“由于飞鼠搜索算法采用随机初始化，易造成飞鼠的初始位置分布不均匀和一些无效飞鼠个体，增加算法运算时间，以及飞鼠搜索算法中捕食者的存在概率为固定数值和位置更新中的随机更新，易造成降低算法的收敛速度和易陷入局部最优解，从而导致得到的增强后食品图像的颜色、纹理和边缘信息的清晰度较低，图像质量较低”。导致增强后食品图像的颜色、纹理和边缘信息的清晰度较低，图像质量较低的因素往往如下：由于飞鼠搜索算法采用随机初始化，易造成飞鼠的初始位置分布不均匀和一些无效飞鼠个体，增加算法运算时间，以及飞鼠搜索算法中捕食者的存在概率为固定数值和位置更新中的随机更新，易造成降低算法的收敛速度和易陷入局部最优解。如果解决了上述因素，就能达到提高增强后食品图像的颜色、纹理和边缘信息的清晰度，提高图像质量的效果。为了达到这一效果，本申请首先，将待识别图像的颜色空间变换到与人眼感知相似的颜色空间，由于HSV颜色空间的图像的三通道的图像相互独立，可以更好地识别和处理图像颜色，以及简化计算复杂度和处理效率。其次，对颜色转换后食品图像进行图像对比度矫正和图像颜色增强处理，可以提高图像的灰度和对比度。然后，采用混沌正弦映射算法和方向学习进行初始化，可以提高初始化飞鼠种群的多样性和算法的搜索空间，以及减少算法收敛时间。然后，将捕食者的存在概率由原来的固定值变成随着已执行次数S型递减的函数，在算法初期，存在概率的数值较高，算法可以扩展全局搜索的空间，算法迭代中期，存在概率的数值从较高值迅速降低到最低值，算法由全局搜索转换为局部搜索，有较好的协调性，算法迭代后期，存在概率保持较低值但不为0，算法大概率进行局部搜索，算法的收敛速度较高。然后，将原来的位置更新的随机更新改为随机选取任意两个飞鼠个体的变异操作的更新，可以提高种群的随机性、多样性和加快算法的收敛速度。最后，通过改进的飞鼠搜索算法得到的权重数值集，对上述矫正后食品图像和上述颜色增强后食品图像进行图像加权融合处理，得到融合后食品图像，以及对上述融合后食品图像进行颜色空间变化处理，得到增强后食品图像，可以提高增强后食品图像的颜色、纹理和边缘信息的清晰度，以及增强后食品图像的质量。

步骤103，对食品特征向量与食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集。

在一些实施例中，上述执行主体可以对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集。其中，上述特征相似度数值集中的特征相似度数值可以表征食品特征向量和食品类别平均特征向量的差异程度。上述特征相似度数值可以是余弦相似度数值。

步骤104，将待识别食品图像输入至食品分类网络，得到食品类别识别信息集。

在一些实施例中，上述执行主体可以将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集。其中，上述食品分类网络可以是以待识别食品图像为输入，以食品类别识别信息为输出的深度神经网络。例如，上述食品分类网络可以是卷积神经网络。上述食品类别识别信息集中的食品类别识别信息可以包括：待识别食品图像所属菜品类别和所属菜品类别的所属概率数值。上述所属概率数值可以表征上述待识别食品图像所属菜品类别信息的程度。

在一些实施例的一些可选的实现方式中，上述食品分类网络包括：食品类别特征提取网络、全连接层和全局平均池化层，以及上述将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集，可以包括以下步骤：

第一步，将上述待识别食品图像输入至上述食品类别特征提取网络，得到第一食品全局特征向量。其中，上述食品类别特征提取网络可以是以待识别食品图像为输入，以特征向量为输出的卷积神经网络。例如，上述食品类别特征提取网络可以是ResNet（ResidualNetwork，残差网络）50。50表示残差网络包括的网络层数。

第二步，将上述第一食品全局特征向量输入至上述全连接层，得到第二食品全局特征向量。

第三步，将上述第二食品全局特征向量输入至上述全局平均池化层，得到第三食品全局特征向量。

第四步，对上述待识别食品图像进行渐进式阶段特征提取处理，得到食品局部阶段语义特征向量集。其中，上述食品局部阶段语义特征向量集中的食品局部阶段语义特征向量可以是采用渐进训练策略对食品类别特征提取网络进行训练得到的不同阶段的局部特征向量集。

第五步，对上述第三食品全局特征向量和上述食品局部阶段语义特征向量集进行特征融合处理，得到食品融合特征向量。

第六步，对上述食品融合特征向量和上述食品局部阶段语义特征向量集进行分类预测，得到第一食品类别信息和第二食品类别信息。其中，上述第一食品类别信息可以是通过食品融合特征向量确定的待识别图像所属菜品类别的信息。上述第二食品类别信息可以是通过食品局部阶段语义特征向量集确定的待识别食品图像所属菜品的类别的信息。实践中，上述执行主体可以将上述食品融合特征向量输入至全连接层和softmax激活函数层组成的分类器，得到第一食品类别信息。以及将上述食品局部阶段语义特征向量集输入至两层全连接层、Batchnorm（批标准化）和Elu（Exponential Linear Unit）非线性激活层组成的分类器，得到第二食品类别信息。

第七步，对上述第一食品类别信息和上述第二食品类别信息进行加权求和，得到食品类别识别信息。

考虑到上述常规解决方案食品分类网络通过使用渐进式训练策略提取多尺度的特征信息的问题，面对上述技术问题三：由于使用渐进式训练策略提取的多尺度的特征信息可能会集中在待识别食品图像中的相似的区域，使得提取的特征向量存在冗余和提取的特征向量的质量较低，从而使得新增类别图像的判断的准确率较低，食品特征库中存在大量冗余和质量较低的食品类别平均特征向量，导致食品特征库的存储资源的浪费。结合所拥有的技术现状，可以决定采用如下解决方案。

在一些实施例的一些可选的实现方式中，上述食品分类网络还包括：全局最大池化层和自注意力机制层；以及上述对上述待识别食品图像进行渐进式阶段特征提取处理，得到食品局部阶段语义特征向量集，可以包括以下步骤：

第一步，对上述食品类别特征提取网络进行渐进式阶段划分处理，得到阶段食品特征提取网络集。其中，上述阶段食品提取特征提取网络可以是通过提取的特征向量的尺寸进行划分得到的特征提取网络集。上述阶段食品特征提取网络集中位于后面的阶段食品特征提取网络是在位于前面的阶段食品特征提取网络的后面添加多层网络层得到的特征提取网络。对于位于后面的阶段食品特征提取网络的训练可以是只需要训练比相邻的位于前面的阶段食品特征提取网络多的网络层。例如，上述阶段食品特征提取网络集可以包括：第一阶段食品特征提取网络、第二阶段食品特征提取网络和第三阶段食品特征提取网络。第一阶段食品特征提取网络可以是ResNet50的stage0、stage1和stage2。上述第二阶段食品特征提取网络可以是ResNet50的stage0、stage1、stage2和stage3。上述第三阶段食品特征提取网络可以是ResNet50的stage0、stage1、stage2、stage3和stage4。

第二步，将上述待识别食品图像分别输入至上述阶段食品特征提取网络集，得到食品局部阶段特征向量集。其中，上述食品局部阶段特征向量集包括的食品局部阶段特征向量的尺寸是不相同的特征向量。食品局部阶段特征向量集中位于前面的食品局部阶段特征向量的尺寸大于位于后面的食品局部阶段特征向量的尺寸。

第三步，将上述食品局部阶段特征向量集分别输入至上述全局最大池化层，得到食品局部阶段最大化特征向量集。

第四步，对上述食品局部阶段最大化特征向量集进行特征归一化处理，得到归一化后食品局部阶段最大化特征向量集，作为归一化局部特征向量集。实践中，上述执行主体可以利用softmax函数，对上述食品局部阶段最大化特征向量集进行特征归一化处理，得到归一化后食品局部阶段最大化特征向量集，作为归一化局部特征向量集。

第五步，确定上述归一化局部特征向量集的局部特征离散度函数。其中，上述局部特征离散度函数可以是KL（Kullback-Leibler Divergence）散度函数。

第六步，根据上述局部特征离散度函数和上述食品分类网络的分类损失函数，生成离散分类损失函数。其中，上述分类损失函数可以是包括分类损失的交叉熵损失函数。上述离散分类损失函数可以是由分类损失函数和局部特征离散度函数组成的损失函数。上述第一预设权重数值和第二预设权重数值可以是预先设定的权重值。例如，上述第一预设权重数值可以是0.8。上述第二预设权重数值可以是0.2。

作为示例，上述执行主体可以首先，确定第一预设权重值和上述食品分类网络的分类损失函数的乘积，作为第一损失函数。然后，确定第二预设权重值和上述局部特征离散度函数的乘积，作为第二损失函数。最后，将上述第一损失函数和上述第二损失函数的和，确定为离散分类损失函数。

第七步，根据上述离散分类损失函数，生成食品局部离散化特征向量集。其中，上述食品局部离散化特征向量集中的食品局部离散化特征向量可以是提取的不同阶段的待识别图像的不同区域的多尺度、多样化的特征向量。

作为示例，上述执行主体可以通过最大化离散分类损失函数和梯度下降优化算法，生成食品局部离散化特征向量集。其中，上述梯度下降优化算法可以是Adam（Adaptivemoment estimation）算法。需要说明的是，通过在分类交叉损失函数中添加KL散度可以对不同阶段的阶段食品特征提取网络集提取到的特征向量集进行离散化，可以增加上述食品局部离散化特征向量集包括的各个食品局部离散化特征向量之间的差异性，从而使得阶段食品特征提取网络集可以提取待识别食品图像的不同区域的多尺度的特征向量和更多的图像细节信息。

第八步，将上述食品局部离散化特征向量集分别输入至上述自注意力机制层，得到包括上下文语义信息的食品局部离散化特征向量集，作为食品局部阶段语义特征向量集。其中，上述食品局部阶段语义特征向量集中的食品局部阶段语义特征向量可以是通过自注意力机制层（Self-Attention）提取上述食品局部离散化特征向量集包括的各个食品局部离散化特征向量之间的关系和语义信息的特征向量。

上述技术方案及其相关内容，结合步骤“步骤108”作为本申请的实施例的一个发明点，解决了背景技术提及的技术问题三“由于使用渐进式训练策略提取的多尺度的特征信息可能会集中在待识别食品图像中的相似的区域，使得提取的特征向量存在冗余和提取的特征向量的质量较低，从而使得新增类别图像的判断的准确率较低，食品特征库中存在大量冗余和质量较低的食品类别平均特征向量，导致食品特征库的存储资源的浪费”。导致食品特征库的存储资源的浪费的因素往往如下：由于使用渐进式训练策略提取的多尺度的特征信息可能会集中在相似的图像区别，使得提取的特征向量存在冗余和提取的特征向量的质量较低，从而使得新增类别图像的判断的准确率较低，食品特征库中存在大量冗余和质量较低的食品类别平均特征向量。如果解决了上述因素，就能达到减少食品特征库的存储资源的浪费的效果。为了达到这一效果，本申请首先，采用渐进式训练策略，对上述食品类别特征提取网络进行划分，可以提取待识别图像的多尺度信息，提高提取的特征向量包括的待识别图像的多样化的特征信息。其次，通过KL散度函数，确定阶段食品特征提取网络集提取的食品局部阶段特征向量集的差异度，可以增加食品局部阶段特征向量之间的差异度和提取待识别食品图像的更多细节信息。然后，通过最大化局部特征离散度函数和食品分类网络的分类损失函数组成的离散分类损失函数，可以促使食品分类网络在不同阶段提取不同区域的细节信息，增大不同阶段提取的特征向量之间的差异度。最后，将上述食品局部离散化特征向量集分别输入至自注意力机制层，采用自注意力机制层学习食品局部离散化特征向量集之间的关系，使得食品分类模型可以跨空间和尺度的信息交互，提高食品局部阶段语义特征向量集的质量，提高待识别图像识别的准确率，从而减少新增类别识别的判断的准确率，减少食品特征库的存储资源的浪费。

步骤105，对特征相似度数值集和食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集。

在一些实施例中，上述执行主体可以对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集。其中，上述类别对齐相似度数值集中的类别对齐相似度数值可以是属于同一类别的特征相似度数值和食品类别概率数值组成的类别对齐相似度数值。上述食品类别概率数值集中的食品类别概率数值可以表征待识别食品图像属于该类别的可能性。实践中，上述执行主体可以首先，确定上述特征相似度数值集对应的食品所属类别信息集。然后，确定上述食品类别识别信息集包括的食品类别集中与上述食品所属类别信息集中的每个食品所属类别信息相同的食品类别信息，得到对齐类别信息集。最后，确定与上述对齐类别信息集中的每个对齐类别信息对应的特征相似度数值和食品类别概率数值，得到类别对齐相似度数值集。例如，上述特征相似度数值集可以为（麻婆豆腐：0.6，辣椒炒肉：0.7，肉末炒豆角：0.9）。上述食品类别信息集可以为（辣椒炒肉：0.6，肉末炒豆角：0.7，清炒小白菜：0.9）。则上述类别对齐相似度数值集可以为（麻婆豆腐：[0.6]，辣椒炒肉：[0.7，0.6]，肉末炒豆角：[0.9，0.7]，清炒小白菜：[0.9]）。

步骤106，对类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集。

在一些实施例中，上述执行主体可以对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集。其中，上述食品类别识别数值集中的食品类别识别数值可以是加权求和后得到的所属类别信息的概率数值。例如，上述食品类别识别数值集可以是（麻婆豆腐：0.6，辣椒炒肉：0.65，肉末炒豆角：0.8，清炒小白菜：0.9]）。

步骤107，根据食品类别识别数值集，确定待识别食品图像是否为新增食品类别对应的食品图像。

在一些实施例中，上述执行主体可以根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像。其中，上述新增食品类别可以是食品特征库中不存在的食品类别和食品分类网络中不能正确识别的食品类别。

作为示例，上述执行主体可以从上述食品类别识别数值集中筛选出数值最大的食品类别识别数值，作为目标类别识别数值。然后，响应于确定上述目标类别识别数值大于等于预设类别识别阈值，确定上述待识别食品图像不为新增食品类别对应的食品图像。其中，上述预设类别识别阈值可以是预先设定的是否为食品新增类别的概率阈值。例如，上述预设类别识别阈值可以是0.7。最后，响应于确定上述目标类别识别数值小于上述预设类别识别阈值，确定上述待识别食品图像为新增食品类别对应的食品图像。

步骤108，响应于确定待识别食品图像为新增食品类别对应的食品图像，将待识别食品图像对应的新增类别平均特征向量存储至食品特征库，得到更新后食品特征库。

在一些实施例中，上述执行主体可以响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。其中，上述更新后食品特征库可以是在上述食品特征库中添加新增食品类别对应的食品类别平均特征向量后得到的特征库。

可选地，上述执行主体在108之后，还可以执行以下步骤：

第一步，响应于确定上述待识别食品图像不为新增食品类别对应的食品图像，对上述食品类别识别数值集进行筛选处理，得到目标食品类别识别数值集。其中，上述目标食品类别识别数值集可以是数值较大的前预设数量个数值。上述预设数量可以是预先设定的阈值。例如，上述预设数量可以是10。实践中，上述执行主体可以响应于确定上述待识别图像不为新增食品类别对应的食品图像，对上述食品类别识别数值集进行降序排序，得到食品类别识别数值序列。然后，从上述食品类别识别数值序列中选取出前预设数量个食品类别识别数值，得到目标食品类别识别数值集。

第二步，将上述目标食品类别识别数值集对应的食品类别信息集，确定为上述待识别食品图像的食品类别信息集。

在一些实施例的一些可选的实现方式中，上述响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库，可以包括以下步骤：

第一步，采集与上述待识别食品图像为同一类别的类别食品图像集。实践中，上述执行主体可以利用爬取代码，爬取相关网站中与上述待识别食品图像为同一类别的类别食品图像集。

第二步，将上述类别食品图像集输入至上述食品特征提取网络，得到食品类别特征向量集。

第三步，确定上述食品类别特征向量集的平均值，得到新增类别平均特征向量。

第四步，将上述新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。

本申请的上述各个实施例中具有如下有益效果：本申请的一些实施例的食品图像识别方法可以提高食品图像分类的准确性和及时性，减少食品特征库存储资源的浪费，以及便于后续及时快速识别食品新增类别的识别。具体来说，造成相关的食品特征库的存储资源的浪费的原因在于：由于食品图像分类模型仅提取局部特征信息，忽略了图像全局信息对食品特征向量的影响，造成食品图像识别的准确率较低和提取的食品特征向量的质量较低，以及造成新增类别图像的判断结果的准确率较低，使得食品特征库中存在大量冗余和错误的食品特征向量，导致食品特征库的存储资源的浪费。基于此，本申请的一些实施例的食品图像识别方法可以首先，获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集。在这里，待识别食品图像和食品特征库用于后续食品类别的识别。其次，将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量。在这里，通过食品特征提取网络提取食品特征向量可以提高提取的特征向量的准确性，以及便于后续特征相似度的对比。再次，对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集。在这里，特征相似度数值集可以确定待识别图像的类别信息集。接着，将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集。在这里，通过食品分类网络进行食品类别识别可以提高待识别食品图像识别的准确度。随后，对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集。在这里，通过类别对齐相似度数值集便于确定待识别食品图像所属类别信息集和降低食品特征提取网络和食品分类网络的误检率，便于提高后续食品类别识别的准确率。之后，对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集。在这里，通过食品特征提取网络和食品分类网络的结合进行复合识别可以提高食品类别识别的准确性。然后，根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像。在这里，通过特征向量对比和食品分类识别网络的结果的结合，可以提高判断是否为新增类别的准确率。最后，响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。在这里，可以减少冗余和错误的类别平均特征向量的生成，从而减少食品特征库的存储资源的浪费和食品特征向量的质量，以及提高后续食品图像识别的速率。由此可得，该食品图像识别方法可以通过与食品特征库包括的食品平均特征向量集进行特征相似度对比和食品分类网络的类别识别的复合食品图像类别识别，可以提高食品图像分类的准确性和及时性，减少食品特征库存储资源的浪费，以及便于后续及时快速识别食品新增类别的识别。

进一步参考图2，作为对上述各图所示方法的实现，本申请提供了一种食品图像识别装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该食品图像识别装置具体可以应用于各种电子设备中。

如图2所示，一种食品图像识别装置200包括：获取单元201、第一输入单元202、相似度对比单元203、第二输入单元204、类别对齐单元205、加权求和处理单元206、确定单元207和更新单元208。其中，获取单元201被配置成：获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集。第一输入单元202被配置成：将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量。相似度对比单元203被配置成：对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集。第二输入单元204被配置成：将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集。类别对齐单元205被配置成：对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集。加权求和处理单元206被配置成：对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集。确定单元207被配置成：根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像。更新单元208被配置成：响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。

可以理解的是，食品图像识别装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于食品图像识别装置200及其中包含的单元，在此不再赘述。

下面参考图3，其示出了适于用来实现本申请的一些实施例的电子设备300的结构示意图。图3示出的电子设备仅仅是一个示例，不应对本申请的实施例的功能和使用范围带来任何限制。

如图3所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。

通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本申请的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本申请的一些实施例的方法中限定的上述功能。

需要说明的是，本申请的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP（Hyper Text TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别食品图像和食品特征库，其中，上述食品特征库包括食品类别平均特征向量集；将上述待识别食品图像输入至食品特征提取网络，得到食品特征向量；对上述食品特征向量与上述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集；将上述待识别食品图像输入至食品分类网络，得到食品类别识别信息集；对上述特征相似度数值集和上述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集；对上述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；根据上述食品类别识别数值集，确定上述待识别食品图像是否为新增食品类别对应的食品图像；响应于确定上述待识别食品图像为新增食品类别对应的食品图像，将上述待识别食品图像对应的新增类别平均特征向量存储至上述食品特征库，得到更新后食品特征库。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一输入单元、相似度对比单元、第二输入单元、类别对齐单元、加权求和处理单元、确定单元和存储单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待识别食品图像和食品特征库的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。

以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种食品图像识别方法，包括：

获取待识别食品图像和食品特征库，其中，所述食品特征库包括食品类别平均特征向量集；

将所述待识别食品图像输入至食品特征提取网络，得到食品特征向量；

对所述食品特征向量与所述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集；

将所述待识别食品图像输入至食品分类网络，得到食品类别识别信息集；

对所述特征相似度数值集和所述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集；

对所述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；

根据所述食品类别识别数值集，确定所述待识别食品图像是否为新增食品类别对应的食品图像；

响应于确定所述待识别食品图像为新增食品类别对应的食品图像，将所述待识别食品图像对应的新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库，其中，所述响应于确定所述待识别食品图像为新增食品类别对应的食品图像，将所述待识别食品图像对应的新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库，包括：

采集与所述待识别食品图像为同一类别的类别食品图像集；

将所述类别食品图像集输入至所述食品特征提取网络，得到食品类别特征向量集；

确定所述食品类别特征向量集的平均值，得到新增类别平均特征向量；

将所述新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库。

2.根据权利要求1所述的方法，其中，所述方法还包括：

响应于确定所述待识别食品图像不为新增食品类别对应的食品图像，对所述食品类别识别数值集进行筛选处理，得到目标食品类别识别数值集；

将所述目标食品类别识别数值集对应的食品类别信息集，确定为所述待识别食品图像的食品类别信息集。

3.根据权利要求1所述的方法，其中，所述食品特征提取网络包括：多个阶段特征提取网络、多个像素相关性提取网络、多个局部注意力机制层和多个多尺度特征融合网络；以及所述将所述待识别食品图像输入至食品特征提取网络，得到食品特征向量，包括：

对所述待识别食品图像进行图像增强处理，得到增强后食品图像；

对所述增强后食品图像进行图像划分处理，得到食品图像块集；

将所述食品图像块集输入至第一阶段特征提取网络，得到第一食品特征向量；

将所述第一食品特征向量输入至第一像素相关性提取网络，得到第一食品局部特征向量；

将所述第一食品局部特征向量输入至第一局部注意力机制层，得到第一食品局部权重特征向量；

将所述第一食品特征向量、所述第一食品局部特征向量和所述第一食品局部权重特征向量输入至第一多尺度特征融合网络，得到第一融合食品特征向量；

将所述第一融合食品特征向量输入至第二阶段特征提取网络，得到第二食品特征向量；

将所述第二食品特征向量输入至第二像素相关性提取网络，得到第二食品局部特征向量；

将所述第二食品局部特征向量输入至第二局部注意力机制层，得到第二食品局部权重特征向量；

将所述第二食品特征向量、所述第二食品局部特征向量和所述第二食品局部权重特征向量输入至第二多尺度特征融合网络，得到第二融合食品特征向量；

将所述第二融合食品特征向量输入至第三阶段特征提取网络，得到第三食品特征向量；

将所述第三食品特征向量输入至第三像素相关性提取网络，得到第三食品局部特征向量；

将所述第三食品局部特征向量输入至第三局部注意力机制层，得到第三食品局部权重特征向量；

将所述第三食品特征向量、所述第三食品局部特征向量和所述第三食品局部权重特征向量输入至第三多尺度特征融合网络，得到第三融合食品特征向量；

将所述第三融合食品特征向量输入至第四阶段特征提取网络，得到第四食品特征向量；

将所述第四食品特征向量输入至第四像素相关性提取网络，得到第四食品局部特征向量；

将所述第四食品局部特征向量输入至第四局部注意力机制层，得到第四食品局部权重特征向量；

将所述第四食品特征向量、所述第四食品局部特征向量和所述第四食品局部权重特征向量输入至第四多尺度特征融合网络，得到第四融合食品特征向量，作为食品特征向量。

4.根据权利要求1所述的方法，其中，所述食品分类网络包括：食品类别特征提取网络、全连接层和全局平均池化层，以及所述将所述待识别食品图像输入至食品分类网络，得到食品类别识别信息集，包括：

将所述待识别食品图像输入至所述食品类别特征提取网络，得到第一食品全局特征向量；

将所述第一食品全局特征向量输入至所述全连接层，得到第二食品全局特征向量；

将所述第二食品全局特征向量输入至所述全局平均池化层，得到第三食品全局特征向量；

对所述待识别食品图像进行渐进式阶段特征提取处理，得到食品局部阶段语义特征向量集；

对所述第三食品全局特征向量和所述食品局部阶段语义特征向量集进行特征融合处理，得到食品融合特征向量；

对所述食品融合特征向量和所述食品局部阶段语义特征向量集进行分类预测，得到第一食品类别信息和第二食品类别信息；

对所述第一食品类别信息和所述第二食品类别信息进行加权求和，得到食品类别识别信息。

5.一种食品图像识别装置，包括：

获取单元，被配置成获取待识别食品图像和食品特征库，其中，所述食品特征库包括食品类别平均特征向量集；

第一输入单元，被配置成将所述待识别食品图像输入至食品特征提取网络，得到食品特征向量；

相似度对比单元，被配置成对所述食品特征向量与所述食品类别平均特征向量集中的每个食品类别平均特征向量进行相似度对比处理，得到特征相似度数值集；

第二输入单元，被配置成将所述待识别食品图像输入至食品分类网络，得到食品类别识别信息集；

类别对齐单元，被配置成对所述特征相似度数值集和所述食品类别识别信息集包括的食品类别概率数值集进行类别对齐处理，得到类别对齐相似度数值集；

加权求和处理单元，被配置成对所述类别对齐相似度数值集进行加权求和处理，得到食品类别识别数值集；

确定单元，被配置成根据所述食品类别识别数值集，确定所述待识别食品图像是否为新增食品类别对应的食品图像；

存储单元，被配置成响应于确定所述待识别食品图像为新增食品类别对应的食品图像，将所述待识别食品图像对应的新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库，其中，所述响应于确定所述待识别食品图像为新增食品类别对应的食品图像，将所述待识别食品图像对应的新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库，包括：采集与所述待识别食品图像为同一类别的类别食品图像集；将所述类别食品图像集输入至所述食品特征提取网络，得到食品类别特征向量集；确定所述食品类别特征向量集的平均值，得到新增类别平均特征向量；将所述新增类别平均特征向量存储至所述食品特征库，得到更新后食品特征库。

6.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

7.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。