CN114742783A - 基于神经网络模型的食品检测方法和装置 - Google Patents

Abstract

本申请提供了一种基于神经网络模型的食品检测方法和装置，涉及人工智能领域。该方法包括：获取待检测生鲜食品的目标图像；对目标图像进行卷积处理，以得到目标图像的全局特征和局部特征；将目标图像的全局特征和局部特征进行拼接得到目标图像的目标图像特征；将目标图像特征输入到目标食品质量检测模型中进行处理，得到生鲜食品的第一初始质量信息；向云端管理系统发送查询请求信息，以得到待检测生鲜食品的第二初始质量信息，第二初始质量信息包括待检测生鲜食品的食品产地和质量风险；根据第一初始质量信息和第二初始质量信息生成待检测生鲜食品的最终质量信息。

Description

基于神经网络模型的食品检测方法和装置

技术领域

本申请涉及人工智能技术领域，并且更具体地，涉及一种基于神经网络模型的食品检测方法和装置。

背景技术

伴随着经济的发展和生活水平的提高，人们对食品材质的要求也越来越高，尤其生鲜食品，这类产品不易保存，保鲜期较短，如果超过保质期后再食用很可能会导致身体不适。此外，在食品领域各种安全事件频发，在采购生鲜食品时经常遇到霉变或者经过化学物处理例如打蜡或硫磺熏制等质量风险情形，在消费者心中蒙上了挥之不去的阴影。

传统的食品质量检测方法需要专门的检测设备进行检测，这些设备的体积比较大，不便于携带，往往需要将相关的食品采样带到专门的场所进行检测，检测的便利性较差。

发明内容

本申请提供一种基于神经网络模型的食品检测方法和装置，以更方便更准确的对生鲜食品的质量进行检测。

第一方面，提供了一种基于神经网络模型的食品检测方法，该方法由终端设备执行，该方法包括：

根据终端设备的内存资源确定搜索空间和构建单元，其中，构建单元为神经网络模型中通过基本操作连接得到的一种神经网络结构单元，构建单元用于搭建神经网络模型；

堆叠多个构建单元以得到搜索网络；

在搜索空间内对搜索网络中的构建单元的网络结构进行优化，以得到优化后的目标构建单元，其中，在对搜索网络中的构建单元的网络结构进行优化的过程中，搜索空间逐渐变小，构建单元的数量逐渐增加，搜索空间的减小和构建单元的数量增加使得在对搜索网络中的构建单元的网络结构进行优化的过程中对终端设备的内存资源的占用值小于预设的第一内存阈值；

基于目标构建单元搭建初始食品质量检测模型，初始食品检测模型为神经网络模型；

基于训练图像集对初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型，其中，训练图像集包括多个生鲜食品的图像以及多个生鲜食品的图像对应的标记信息，其中，每个生鲜食品的图像对应的标记信息包括生鲜食品的产地，食品种类，质量风险以及质量风险对应的概率；

响应于用户的第一拍摄操作，对待检测生鲜食品进行拍照，以得到待检测生鲜食品的初始图像；

对初始图像的亮度值进行判断；

在初始图像的亮度值小于预设的第一亮度值的情况下，在终端设备的显示界面呈现第一提示信息，第一提示信息用于提示用于用户重新拍摄图像；

在接收到用户的重新拍摄操作后，在终端设备的显示界面呈现第二提示信息，第二提示信息用于提示用户将亮度值提高到第一亮度值或者第一亮度值以上；

接收到用户的亮度值调节操作，亮度值调节操作用于将终端设备拍摄图像时的亮度值调节到第一亮度值或者第一亮度值以上；

响应于用户的第二拍摄操作，在亮度值达到第一亮度值或者第一亮度值以上的情况下对生鲜食品重新进行拍摄，以得到待检测生鲜食品的目标图像；

对目标图像进行卷积处理，以得到目标图像的全局特征；

根据目标图像的纹理布局将目标图像划分成M个子图像，其中，M为大于1的正整数；

分别对M个子图像进行卷积处理，以提取M个子图像的图像特征，得到目标图像的M个局部特征；

将目标图像的全局特征和M个局部特征进行拼接，以得到目标图像的目标图像特征；

将目标图像特征输入到目标食品质量检测模型中进行处理，以得到生鲜食品的第一初始质量信息，第一初始质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率；

向云端服务器发送查询请求信息，以得到待检测生鲜食品的第二初始质量信息，第二初始质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率；

根据第一初始质量信息和第二初始质量信息生成待检测生鲜食品的最终质量信息。

本申请实施例中，在对构建单元进行优化过程中，通过逐渐减小搜索空间并且逐渐增加构建单元的数量，能够在保证性能的情况下，尽可能的减少对内存资源的占用，这一点对终端设备具有重要意义。此外，本申请中，终端设备可以通过拍照的方式可以实时获取待检测生鲜食品的图像，便于灵活进行检测。本申请还通过对图像的亮度值进行限定，使得拍摄得到的检测生鲜食品的图像的亮度值满足要求，能够在一定程度上提高检测效果。另外，本申请中通过综合目标食品质量检测模型处理得到的检测生鲜食品的质量信息以及从云端查询得到的检测生鲜食品的质量信息，能够更加全面准确的确定待检测生鲜食品的质量信息。总之，本申请实施例能够更方便更准确的对生鲜食品的质量进行检测。

结合第一方面，在第一方面的某些实现方式中，上述基于训练图像集对初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型，包括：

将每个训练图像输入到初始食品质量检测模型，得到训练图像的预测信息；

根据训练图像的预测信息与训练图像的标记信息的差异确定损失函数的函数值；

根据损失函数的函数值对初始食品质量检测模型的模型参数进行调整，直到损失函数的函数值小于预设的目标函数值，以得到目标食品质量检测模型。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：

在初始图像的亮度值大于第一亮度值的情况下，将初始图像确定为目标图像。

在初始图像的亮度值满足条件的情况下，可以直接将初始图像确定为目标图像，而不必再重新拍摄图像。

结合第一方面，在第一方面的某些实现方式中，上述质量风险种类包括腐烂，霉变，病变，色变，形变和质量有效期。

结合第一方面，在第一方面的某些实现方式中，上述对目标图像进行卷积处理，以得到目标图像的全局特征，包括：

对目标图像进行降噪处理，得到降噪处理后的图像；

对降噪处理后的图像进行卷积处理，以得到目标图像的全局特征。

本申请实施例中，可以采用常见的降噪方法对图像进行降噪处理，例如，可以采用高斯滤波，中值滤波等。其中，高斯滤波是用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的 加权平均灰度值 去替代模板中心像素点的值。中值滤波是统计排序滤波器，通过对邻域内所有像素的排序，然后取其 中值为邻域中心的像素。

结合第一方面，在第一方面的某些实现方式中，上述目标食品质量检测模型为卷积神经网络模型。

结合第一方面，在第一方面的某些实现方式中，上述待检测生鲜食品的最终质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：在终端设备的显示界面呈现待检测生鲜食品的最终质量信息。

第二方面，提供了一种食品检测装置，该装置包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第一方面中的任意一种实现方式中的方法。

第三方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程

序代码，该程序代码包括用于执行第一方面至第五方面中的任意一种实现方式中的方法

附图说明

图1是本申请实施例的基于神经网络模型的食品检测方法的示意性流程图；

图2是构建单元的示意图；

图3是本申请实施例的食品质量检测装置的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。

（1）神经网络

人工神经网络（Artificial Neural Networks，ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

（2）深度神经网络

深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。

（3）卷积神经网络

卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

（4）循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。

本申请实施例的基于神经网络模型的食品检测方法可以由终端设备执行，该终端设备可以是手机、平板电脑、PC、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等具有拍照功能的设备，本申请实施例对终端设备的具体类型不作任何限制。

传统的食品质量检测方法需要专门的检测设备进行检测，这些设备的体积比较大，不便于携带，往往需要将相关的食品采样带到专门的场所进行检测，检测的便利性较差。为了解决该问题，需要开发一种便携式的检测设备，通过该设备能够快速准确的检测出生鲜食品的质量。为此，本申请实施例提出一种基于神经网络模型的食品检测方法和装置，通过在终端设备上搭建并训练得到食品质量检测模型，然后拍摄待检测生鲜食品的照片，接下来通过该模型对待检测生鲜食品的照片进行处理，从而得到待检测生鲜食品的食品质量。下面结合附图对本申请实施例的基于神经网络模型的食品检测方法进行详细介绍。

图1是本申请实施例的基于神经网络模型的食品检测方法的示意性流程图。图1所示的方法可以由终端设备执行，图1所示的方法包括步骤101至107，下面分别对这些步骤进行详细的介绍。

101、搭建初始食品质量检测模型。

上述步骤101中搭建初始食品质量检测模型具体可以包括以下步骤：

101a、根据终端设备的内存资源确定搜索空间和构建单元。

其中，上述构建单元为神经网络模型中通过基本操作连接得到的一种神经网络结构单元，该构建单元时用于搭建神经网络模型的基本单元或者结构。

101b、堆叠多个构建单元以得到搜索网络。

在得到该搜索网络后，可以在搜索网络中进一步的优化构建单元，最后再根据优化后的构建单元构建初始食品质量检测模型。

101c、在搜索空间内对搜索网络中的构建单元的网络结构进行优化，以得到优化后的目标构建单元。

其中，在对搜索网络中的构建单元的网络结构进行优化的过程中，搜索空间逐渐变小，构建单元的数量逐渐增加，搜索空间的减小和构建单元的数量增加使得在对搜索网络中的构建单元的网络结构进行优化的过程中对终端设备的内存资源的占用值小于预设的第一内存阈值。

在对构建单元进行优化过程中，逐渐减小搜索空间并且逐渐增加构建单元的数量，能够在保证性能的情况下，尽可能的减少对内存资源的占用。上述第一内存阈值可以是根据经验设置的数值，例如，上述第一内存阈值可以是500M，1G或者其他数值，本申请实施例中对第一内存阈值的大小不做限定。

下面结合图2对构建单元进行详细介绍。

如图2所示，位于虚线框内的3个节点(节点0，节点1和节点2)构成了一个构建单元，该构建单元可以接收节点c_{k-2}和c_{k-1}输出的数据(c_{k-2}和c_{k-1}也可以是符合要求的特征图，例如，c_{k-2}和c_{k-1}可以是输入图像经过一定的卷积处理后得到的特征图)，并由节点0和1分别对输入的数据进行处理，其中，节点0输出的数据还会输入到

节点1中进行处理，节点0和节点1输出的数据会送入到节点2中进行处理，节点2最终输出该构建单元处理完的数据。此外，上述节点c_{k-2}和c_{k-1}可以视为输入节点，这两个节点会向构建单元输入待处理的数据，而在构建单元内部，0和1是中间节点，节点2是输出节点。

如图2所示，粗箭头表示一个或者多个基本操作，汇入同一个中间节点的基本操作运算结果在该中间节点处相加，图2中的细箭头表示通道维度的特征图连接，输出节点2输出的特征图由2个中间节点(节点0和节点1)的输出按照顺序在特征图通道维度连接而成。

上述搜索空间包含的可以是预先设定好的卷积神经网络中的基础运算或者基础运算的组合，这些基础运算或者基础运算的组合可以统称为基本操作。

上述搜索空间可以包含以下8种基本操作：

（1）池化核大小为3× 3的均值池化(avg_pool_3x3)；

（2）池化核大小为3× 3的最大值池化(max_pool_3x3)；

（3）卷积核大小为3× 3的分离卷积(sep_conv_3x3)；

（4）卷积核大小为5× 5的分离卷积(sep_conv_5x5)；

（5）卷积核大小为3× 3且空洞率为2的空洞卷积(dil_conv_3x3)；

（6）卷积核大小为5× 5且空洞率为2的空洞卷积(dil_conv_5x5)；

（7）跳连接操作；

（8）置零操作(Zero，相应位置所有神经元置零)。

101d、基于目标构建单元搭建初始食品质量检测模型，初始食品检测模型为神经网络模型。

本申请实施例中，通过上述步骤101a至101d，能够在保证内存资源不被过多占用的情况下在搜索空间中优化得到最终的构建单元，从而能够在不占用太多内存资源的情况下构建出初始食品质量检测模型。

102、对初始食品质量检测模型进行训练，以得到目标食品质量检测模型。

具体地，在步骤102中，可以基于训练图像集对初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型。

其中，上述训练图像集包括多个生鲜食品的图像以及多个生鲜食品的图像对应的标记信息，其中，每个生鲜食品的图像对应的标记信息包括生鲜食品的产地，食品种类，质量风险以及质量风险对应的概率。

应理解，在构建上述训练图像集时，可以选择一些已知生鲜食品的产地，食品种类，质量风险以及质量风险对应的概率的生鲜食品，然后通过拍照的方式获取这些生鲜食品的图像，并将这些生鲜食品的产地，食品种类，质量风险以及质量风险对应的概率作为标记信息。

上述训练图像集中的训练图像的个数可以根据需求来设置，当需要训练得到较好的模型时以增加训练图像的数量，反之，可以适当减少训练图像的数量。例如，上述训练图像集包括10000张训练图像以及这些训练图像对应的标记信息。

下面以终端设备为例，对上述步骤102中的模型训练过程进行详细介绍，上述步骤102具体包括：

102a、将每个训练图像输入到初始食品质量检测模型，得到该训练图像的预测信息。

具体地，将每个训练图像输入到初始食品质量检测模型后可以得到该训练图像的食品产地，食品种类，质量风险以及所述质量风险对应的概率。

102b、根据训练图像的预测信息与训练图像的标记信息的差异确定损失函数的函数值。

在上述步骤102b中，训练图像的预测信息包括该训练图像的食品产地，食品种类，质量风险以及该质量风险对应的概率，该训练图像的标记信息包括该训练图像的已知食品产地，已知食品种类，已知质量风险以及该质量风险对应的已经概率，通过对训练图像的预测信息和训练图像的标记信息中对应的信息进行作差，得到的各个差值的和可以作为损失函数的函数值。

102c、根据损失函数的函数值对初始食品质量检测模型的模型参数进行调整，直到损失函数的函数值小于预设的目标函数值，以得到目标食品质量检测模型。

在上述步骤102c中，当损失函数的函数值未达到目标函数值的时候，可以调整初始食品质量检测模型的模型参数值，再向该修改参数后的初始食品质量检测模型输入训练图像，再次重复上述步骤102a-102c直到损失函数的函数值小于预设的目标函数值，此时的初始食品质量检测模型已经训练完毕，可以作为目标食品质量检测模型。

本申请实施例中，调整初始食品质量检测模型的模型参数具体可以是调整初始食品质量检测模型的卷积层的数目、卷积核的大小。

103、获取待检测生鲜食品的目标图像。

本申请实施例中，终端设备可以通过拍照的方式可以实时获取待检测生鲜食品的图像。上述在步骤103具体包括以下步骤：

103a、响应于用户的第一拍摄操作，对待检测生鲜食品进行拍照，以得到待检测生鲜食品的初始图像。

103b、对初始图像的亮度值进行判断。

在上述步骤中，初始图像的亮度值可以通过下面的公式（1）计算得到。

L＝R*0.299+G*0.587+B*0.114 （1）

其中，L表示初始图像的亮度值，R，G，B分别为初始图像的三个分量的数值。

103c、在初始图像的亮度值小于预设的第一亮度值的情况下，在终端设备的显示界面呈现第一提示信息，第一提示信息用于提示用于用户重新拍摄图像。

上述第一亮度值可以是根据需要设置的，例如，上述第一亮度值的的数值可以是100，当初始图像的亮度值小于100的时候需要重新拍摄，而当初始图像的亮度值大于或者等于100的时候不需要重新拍摄。应理解，这里的100仅仅是示例，本申请实施例对第一亮度值的具体取值不做限定。

103d、在接收到用户的重新拍摄操作后，在终端设备的显示界面呈现第二提示信息，第二提示信息用于提示用户将亮度值提高到第一亮度值或者第一亮度值以上。

103e、接收到用户的亮度值调节操作，亮度值调节操作用于将终端设备拍摄图像时的亮度值调节到第一亮度值或者第一亮度值以上。

103f、响应于用户的第二拍摄操作，在亮度值达到第一亮度值或者第一亮度值以上的情况下对生鲜食品重新进行拍摄，以得到待检测生鲜食品的目标图像。

当初始图像的亮度值过小时会影响后续的图像识别，因此，在初始图像的亮度值较小的时候，终端设备会提示用户重新拍摄图像，从而获得亮度值满足要求的目标图像，便于后续更好的根据目标图像对待检测生鲜食品进行分析。

104、将待检测生鲜食品的目标图像的目标图像特征输入到目标食品质量检测模型中进行处理，以得到待检测生鲜食品的第一初始质量信息。

上述步骤104具体包括以下步骤：

104a、对目标图像进行卷积处理，以得到目标图像的全局特征。

104b、根据目标图像的纹理布局将目标图像划分成M个子图像.

其中，M为大于1的正整数，M的数值可以根据需求设置，当M的数值越大时获取到的局部特征越多，当M的数值越小时获取到的局部特征越小。

例如，上述M可以是一个在5-10之间的数值。本申请实施例对M的具体数值不做限定。

上述步骤104b中根据图像的纹理布局对目标图像进行划分可以是将纹理相近的区域划分到一个子图像中。

104c、分别对M个子图像进行卷积处理，以提取M个子图像的图像特征，得到目标图像的M个局部特征；

104d、将目标图像的全局特征和M个局部特征进行拼接，以得到目标图像的目标图像特征；

104e、将目标图像特征输入到目标食品质量检测模型中进行处理，以得到生鲜食品的第一初始质量信息，第一初始质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率；

105、向云端服务器发送查询请求，以得到待检测生鲜食品的第二初始质量信息。

在上述步骤105中，上述查询请求可以是一种请求消息，该请求消息中可以包含待检测生鲜食品的二维码信息，在该待检测生鲜物品生产或者包装完毕后，会向云端服务器上述该待检测生鲜物品的质量信息，通过向云端服务器发送该待检测生鲜物品的二维码信息可以获得待检测生鲜食品的第二初始质量信息，该第二初始质量信息就是预先上传到云端服务器的质量信息，该第二初始质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率。

可选地，上述质量风险的种类至少包括如下外观改变：

腐烂、霉变、病变、色变、形变。

其中，上述霉变至少包括因存放天数过多引起的霉变，上述色变至少包括由灰尘杂质、辐射、存放天数过多、使用化学物和/或非正常脱水引起的色变，上述形变至少包括由使用激素引起的外形改变。

106、根据待检测生鲜食品的第一初始质量信息和第二初始质量信息得到待检测生鲜食品的最终质量信息。

在某些情况下，预先上传到云端服务器的第二初始质量信息的准确度不够高，因此，在本申请中，可以根据第一初始质量信息和第二初始质量信息生成待检测生鲜食品的最终质量信息，能够得到较为准确的质量信息。

具体地，在步骤106中，可以将第一初始质量信息中的待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率与第二初始质量信息中的待检测生鲜食品的食品产地，食品种类，质量风险以及质量风险对应的概率进行对比，在第一初始质量信息中的待检测生鲜食品的食品产地和食品种类与第二初始质量信息中的待检测生鲜食品的食品产地和食品种类相同的情况下，将第一初始质量信息中的待检测生鲜食品的质量风险对应的概率与第二初始质量信息中的待检测生鲜食品的质量风险对应的概率进行平均处理，并将平均处理得到的待检测生鲜食品的质量风险对应的概率作为最终质量信息中待检测生鲜食品的质量风险对应的概率。

107、在智能终端的显示界面呈现待检测生鲜食品的最终质量信息。

在步骤107中，可以在终端设备界面呈现检测生鲜食品的最终质量信息，便于用户查看。

图3是本申请实施例的食品质量检测装置的硬件结构示意图。图3所示的食品质量检测装置2000包括存储器2001、处理器2002、通信接口2003以及总线2004。其中，存储器2001、处理器2002、通信接口2003通过总线2004实现彼此之间的通信连接。

存储器2001可以是只读存储器(read only memory，ROM)，静态存储设备和随机存取存储器(random access memory，RAM)。存储器2001可以存储程序，当存储器2001中存储的程序被处理器2002执行时，处理器2002和通信接口2003用于执行本申请实施例的图像处理方法的各个步骤。

处理器2002可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的食品质量检测装置中的单元所需执行的功能，或者执行本申请实施例的基于神经网络模型的食品检测方法。

处理器2002还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的图像处理方法的各个步骤可以通过处理器2002中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器2002还可以是通用处理器、数字信号处理器 (digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2001，处理器2002读取存储器2001中的信息，结合其硬件完成本申请实施例的食品质量检测装置中包括的单元所需执行的功能，或者执行本申请实施例的基于神经网络模型的食品检测方法。

通信接口2003使用例如但不限于收发器一类的收发装置，来实现装置4000与其他设备或通信网络之间的通信。例如，可以通过通信接口2003获取待处理图像。

总线2004可包括在装置4000各个部件(例如，存储器2001、处理器2002、通信接口2003)之间传送信息的通路。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于神经网络模型的食品检测方法，所述方法应用于终端设备，其特征在于，包括：

根据所述终端设备的内存资源确定搜索空间和构建单元，其中，所述构建单元为神经网络模型中通过基本操作连接得到的一种神经网络结构单元，所述构建单元用于搭建神经网络模型；

堆叠多个所述构建单元以得到搜索网络；

在所述搜索空间内对所述搜索网络中的构建单元的网络结构进行优化，以得到优化后的目标构建单元，其中，在对所述搜索网络中的构建单元的网络结构进行优化的过程中，所述搜索空间逐渐变小，所述构建单元的数量逐渐增加，所述搜索空间的减小和所述构建单元的数量增加使得在对所述搜索网络中的构建单元的网络结构进行优化的过程中对所述终端设备的内存资源的占用值小于预设的第一内存阈值；

基于所述目标构建单元搭建初始食品质量检测模型，所述初始食品检测模型为神经网络模型；

基于训练图像集对所述初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型，其中，所述训练图像集包括多个生鲜食品的图像以及所述多个生鲜食品的图像对应的标记信息，其中，每个生鲜食品的图像对应的标记信息包括所述生鲜食品的产地，食品种类，质量风险以及所述质量风险对应的概率；

响应于用户的第一拍摄操作，对待检测生鲜食品进行拍照，以得到所述待检测生鲜食品的初始图像；

对所述初始图像的亮度值进行判断；

在所述初始图像的亮度值小于预设的第一亮度值的情况下，在所述终端设备的显示界面呈现第一提示信息，所述第一提示信息用于提示用于用户重新拍摄图像；

在接收到所述用户的重新拍摄操作后，在所述终端设备的显示界面呈现第二提示信息，所述第二提示信息用于提示所述用户将亮度值提高到所述第一亮度值或者所述第一亮度值以上；

接收到所述用户的亮度值调节操作，所述亮度值调节操作用于将所述终端设备拍摄图像时的亮度值调节到所述第一亮度值或者所述第一亮度值以上；

响应于所述用户的第二拍摄操作，在亮度值达到所述第一亮度值或者所述第一亮度值以上的情况下对所述生鲜食品重新进行拍摄，以得到所述待检测生鲜食品的目标图像；

对所述目标图像进行卷积处理，以得到所述目标图像的全局特征；

根据所述目标图像的纹理布局将所述目标图像划分成M个子图像，其中，M为大于1的正整数；

分别对所述M个子图像进行卷积处理，以提取所述M个子图像的图像特征，得到所述目标图像的M个局部特征；

将所述目标图像的全局特征和所述M个局部特征进行拼接，以得到所述目标图像的目标图像特征；

将所述目标图像特征输入到所述目标食品质量检测模型中进行处理，以得到所述生鲜食品的第一初始质量信息，所述第一初始质量信息包括所述待检测生鲜食品的食品产地，食品种类，质量风险以及所述质量风险对应的概率；

向云端服务器发送查询请求信息，以得到所述待检测生鲜食品的第二初始质量信息，所述第二初始质量信息包括所述待检测生鲜食品的食品产地，食品种类，质量风险以及所述质量风险对应的概率；

根据所述第一初始质量信息和所述第二初始质量信息生成所述待检测生鲜食品的最终质量信息。

2.如权利要求1所述的方法，其特征在于，所述基于训练图像集对所述初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型，包括：

将每个训练图像输入到所述初始食品质量检测模型，得到所述训练图像的预测信息；

根据所述训练图像的预测信息与训练图像的标记信息的差异确定损失函数的函数值；

根据所述损失函数的函数值对所述初始食品质量检测模型的模型参数进行调整，直到所述损失函数的函数值小于预设的目标函数值，以得到所述目标食品质量检测模型。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述初始图像的亮度值大于所述第一亮度值的情况下，将所述初始图像确定为所述目标图像。

4.如权利要求1所述的方法，其特征在于，所述质量风险种类包括腐烂，霉变，病变，色变，形变和质量有效期。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述对所述目标图像进行卷积处理，以得到所述目标图像的全局特征，包括：

对所述目标图像进行降噪处理，得到降噪处理后的图像；

对所述降噪处理后的图像进行卷积处理，以得到所述目标图像的全局特征。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述目标食品质量检测模型为卷积神经网络模型。

7.如权利要求1-4中任一项所述的方法，其特征在于，所述待检测生鲜食品的最终质量信息包括待检测生鲜食品的食品产地，食品种类，质量风险以及所述质量风险对应的概率。

8.如权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：

在所述终端设备的显示界面呈现所述待检测生鲜食品的最终质量信息。

9.一种食品检测装置，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行以下过程：

根据所述终端设备的内存资源确定搜索空间和构建单元，其中，所述构建单元为神经网络模型中通过基本操作连接得到的一种神经网络结构单元，所述构建单元用于搭建神经网络模型；

堆叠多个所述构建单元以得到搜索网络；

在所述搜索空间内对所述搜索网络中的构建单元的网络结构进行优化，以得到优化后的目标构建单元，其中，在对所述搜索网络中的构建单元的网络结构进行优化的过程中，所述搜索空间逐渐变小，所述构建单元的数量逐渐增加，所述搜索空间的减小和所述构建单元的数量增加使得在对所述搜索网络中的构建单元的网络结构进行优化的过程中对所述终端设备的内存资源的占用值小于预设的第一内存阈值；

基于所述目标构建单元搭建初始食品质量检测模型，所述初始食品检测模型为神经网络模型；

基于训练图像集对所述初始食品质量检测模型进行训练，以得到训练完成后的目标食品质量检测模型，其中，所述训练图像集包括多个生鲜食品的图像以及所述多个生鲜食品的图像对应的标记信息，其中，每个生鲜食品的图像对应的标记信息包括所述生鲜食品的产地，食品种类，质量风险以及所述质量风险对应的概率；

响应于用户的第一拍摄操作，对待检测生鲜食品进行拍照，以得到所述待检测生鲜食品的初始图像；

对所述初始图像的亮度值进行判断；

在所述初始图像的亮度值小于预设的第一亮度值的情况下，在所述终端设备的显示界面呈现第一提示信息，所述第一提示信息用于提示用于用户重新拍摄图像；

在接收到所述用户的重新拍摄操作后，在所述终端设备的显示界面呈现第二提示信息，所述第二提示信息用于提示所述用户将亮度值提高到所述第一亮度值或者所述第一亮度值以上；

接收到所述用户的亮度值调节操作，所述亮度值调节操作用于将所述终端设备拍摄图像时的亮度值调节到所述第一亮度值或者所述第一亮度值以上；

响应于所述用户的第二拍摄操作，在亮度值达到所述第一亮度值或者所述第一亮度值以上的情况下对所述生鲜食品重新进行拍摄，以得到所述待检测生鲜食品的目标图像；

对所述目标图像进行卷积处理，以得到所述目标图像的全局特征；

根据所述目标图像的纹理布局将所述目标图像划分成M个子图像，其中，M为大于1的正整数；

分别对所述M个子图像进行卷积处理，以提取所述M个子图像的图像特征，得到所述目标图像的M个局部特征；

将所述目标图像的全局特征和所述M个局部特征进行拼接，以得到所述目标图像的目标图像特征；

将所述目标图像特征输入到所述目标食品质量检测模型中进行处理，以得到所述生鲜食品的第一初始质量信息，所述第一初始质量信息包括所述待检测生鲜食品的食品产地，食品种类，质量风险以及所述质量风险对应的概率；

向云端服务器发送查询请求信息，以得到所述待检测生鲜食品的第二初始质量信息，所述第二初始质量信息包括所述待检测生鲜食品的食品产地，食品种类，质量风险以及所述质量风险对应的概率；

根据所述第一初始质量信息和所述第二初始质量信息生成所述待检测生鲜食品的最终质量信息。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于电子设备执行的程序代码，所述程序代码用于执行如权利要求1-8中任一项所述的方法。

Images