CN110795959A - 一种切片食材智能化识别方法和装置 - Google Patents

一种切片食材智能化识别方法和装置 Download PDF

Info

Publication number
CN110795959A
CN110795959A CN201810860835.2A CN201810860835A CN110795959A CN 110795959 A CN110795959 A CN 110795959A CN 201810860835 A CN201810860835 A CN 201810860835A CN 110795959 A CN110795959 A CN 110795959A
Authority
CN
China
Prior art keywords
food material
food materials
network
food
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810860835.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810860835.2A priority Critical patent/CN110795959A/zh
Publication of CN110795959A publication Critical patent/CN110795959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种切片食材智能化识别方法和装置,通过安装在智能冰箱或装置中的可移动或固定摄像头,获取智能冰箱或装置中的切片食材图像,采用预训练好的卷积神经网络,对食材图像进行智能识别,获取切片食材的种类、状态(新鲜程度)以及数量,提高了识别效率。本装置针对新加入的或者无法识别正确的食材,可通过人工反馈,自动调整神经网络参数,提升了识别精度。该装置可根据识别出的食材数量、种类和性状,推荐个性化食材搭配方案、食材数量预警和食材新鲜度警示,同时可以对智能冰箱或装置进行温度、湿度控制,提升其智能化水平。本实施例提出的装置中,安装了可移动摄像头亦可采用固定摄像头,用于获取智能冰箱或装置中的食材图像。

Description

一种切片食材智能化识别方法和装置
技术领域
本发明涉及图像处理技术领域,家用电器控制领域,特别涉及一种切片食材智能化识别方法和装置。
背景技术
近年来,随着移动互联网技术和人工智能技术的发展,尤其是深度学习方法的出现,基于图像识别的智能家居不断发展,人们对智能化水平较高的智能冰箱或装置的需求也越来越高。然而在智能冰箱或装置的食材识别方面,尤其是对切片食材的识别,由于食材种类繁多,切片食材形态迥异,食材识别的准确率不够稳定。而且当模型部署好之后,对于新出现的食材种类或者识别不正确的食材,需要花费较长时间对模型进行更新。除此之外,基于智能识别的结果,无法人性化得为用户提供食材搭配方案、食材数量预警和食材新鲜度警示。
发明内容
本发明提供了一种切片食材智能化识别方法和装置,解决了以上所述的技术问题。
本发明解决上述技术问题的技术方案如下:
依据本发明一个方面,提供了一种切片食材智能化识别方法,包括以下过程:
过程一:通过安装在智能冰箱或装置中的可移动摄像头,获取智能冰箱或装置中的切片食材图像;
过程二:建立用于智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练;
过程三:采用预训练好的卷积神经网络对实时拍摄的食材图像进行智能识别,获取切片食材的种类、状态(新鲜程度)以及数量;
过程四:针对新加入的或者无法识别正确的食材,可以通过人工反馈,自动调整神经网络参数,不断提升装置的识别精度。
过程五:根据一段时间内识别出的食材数量、食材种类和食材状态,给出最佳的个性化食材搭配方案、食材数量预警和食材新鲜度警示,同时可以对智能冰箱或装置进行温度、湿度控制。
本发明的有益效果是:本发明的智能化识别方法,基于可移动摄像头获得的切片食材图像,进行多次识别,提高了识别稳定性;采用一个卷积神经网络进行训练,分别得到三个不同的识别结果,包括切片食材类别、状态和数量,提升了识别效率;针对新加入的或者无法识别正确的食材,通过人工反馈,自动调整神经网络参数,提升了识别精度;基于一段时间内的识别结果,统计分析出个性化的食材搭配、数量预警、新鲜度警示,同时可以对智能冰箱或装置进行温度、湿度控制,提升了智能化水平。
本发明所述过程一具体为:
在智能冰箱或装置中,安装可移动摄像头,针对电器中的同一个位置,该装置可同时拍摄两张图像。同时,摄像头可上下左右进行移动拍摄,获取更多角度的图像,为模型训练和后续识别阶段,提供跟多的样本,有利于提升识别的稳定性。摄像头所处的工作环境,其照度是固定的,食材存储环境温度湿度稳定,冷藏肉类表面无霜,冷藏蔬菜状态自然。
本发明所述过程二具体为:
本发明提出了一种基于卷积神经网络的切片食材智能化识别方法,训练过程具体包括以下步骤:
S1,采集智能冰箱或装置中的多种食材切片不同角度、不同状态的图像样本;
S2,构建卷积神经网络,所述卷积神经网络包括候选框网络、分类网络和回归网络,分别用于预测食材的数量、种类和状态;
S3,形成多个输入文件,每个输入文件包括多种食材图像样本,以及对应的类别和状态量化分数,首次训练还包含候选框网络、分类网络和回归网络的初始化参数;
S4,在GPU服务器平台启动并行训练任务,通过获取所述输入文件,训练并输出所述食材图像样本上的至少一个目标候选区域,目标类别,状态量化分数;
S5,根据上一步获取的至少一个所述目标候选区域,目标类别,状态量化分数,结合输入的多个文件,包括食材类别和状态量化分数,采用反向传播算法对所述候选框网络、分类网络和回归网络进行一次训练,以优化所述网络的参数;
S6重复步骤S3~S5,直到所述卷积神经网络的预设损失函数的函数值达到预设值或者达到最大迭代次数。
进一步,所述步骤S2中,构建卷积神经网络,所述卷积神经网络包括候选框网络、分类网络和回归网络:
所构建的卷积神经网络,包含一个输入和三个输出,其中候选框网络、分类网络和回归网络,共享卷积层。候选框网络主要用于识别食材图像中的食材位置,采用候选框的方式标注出来;分类网络主要用于识别出图像中的食材种类;回归网络主要用于预测食材的状态分数,以评价食材的新鲜程度。
具体的,本方案提出的卷积神经网络基于Mask R-CNN卷积神经网络,Mask R-CNN使用卷积神经网络直接产生候选区域,该部分网络架构称之为候选框网络。分类网络和回归网络共享候选框网络的卷积层,后面的全连接层分别设置不同的结点数,加上不同的损失函数。三个神经网络融合到了一起,使用端到端的网络进行候选框检测、分类和回归。无论在训练速度上还是识别精度上都得到了很大的提高,从而进一步提高了对家用电器内食材的识别速度,提高了用户体验感受。
本发明所述过程四具体为:
针对新加入的一种新类型的食材,通过修改分类网络的结点数,在后台多卡GPU服务器上进行并行训练,可快速习得对新类型食材的识别能力。
针对无法识别正确的食材,采用在线学习的思想,不断自动调整网络模型参数,使得食材可以被正确识别。具体的,对每个样本的识别结果进行判断,若识别结果正确,则当前样本识别结束,直接进入下一个样本的识别阶段;若识别错误,则此样本被重新载入到训练过程中,依据正确结果对神经网络模型的权值进行更新,得到新的训练模型。
依据本发明的另一方面,还提供了一种切片食材智能化识别装置,包括图像获取模块、模型训练模块、识别模块、反馈模块以及控制模块和统计分析模块。装置在初次安装使用时,其图像获取模块已经预先安装,模型训练模块已经预训练完成,后续根据实际情况,用户可自行或后台升级,以提升识别精度和广度。其中,模型训练模块,通过采用预先标注的食材图像数据集,在GPU服务器平台进行并行训练,得到了训练完成的初始化神经网络。
所述图像获取模块用于获取智能冰箱或装置中的食材图像,主要通过可移动摄像头进行图像采集;
所述模型训练模块用于建立智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练;
所述识别模块用于对所述食材图像进行智能识别,采用预训练好的卷积神经网络,获取切片食材的种类、状态(新鲜程度)以及数量;
所述反馈模块用于针对新加入的或者无法识别正确的食材,可以通过人工反馈,不断提升装置的识别精度。
进一步,还包括控制模块,所述控制模块用于根据食材类型和食材的状态,采用对应的控制方法对智能冰箱或装置的温度、湿度进行控制。该模块主要是基于识别出的食材类型和食材的当前状态,结合不同食材类型的适宜储藏温度湿度,使智能冰箱或装置自行进行控制或提醒用户调整食材的存储位置。
采用上述进一步方案的有益效果是:本进一步技术方案可以根据食材类型和食材的状态,提供更加细致的控制方案,从而提高用户的使用感受,发挥冰箱或装置智能化储藏的功能。
进一步,还包括统计分析模块,所述统计分析模块用于根据食材数量、食材种类和食材状态,给出最佳的食材搭配方案、食材数量预警和食材新鲜度警示。根据实时的图像数据,智能冰箱或装置不断更新当前冰箱或装置中的食材数量、食材种类和食材新鲜度分数。对于食材数量低于设定阈值的食材,智能冰箱或装置通过显示屏和手机APP的方式收到预警通知。根据冰箱或装置中食材的种类,自动推荐健康营养的食材搭配方案,并智能推荐做菜菜谱。当冰箱或装置中的某种食材,其状态即新鲜程度低于预先设定的分数时,及时通过显示屏和手机APP向用户推送警示信息,提醒用户及时处理即将变质或已经变质的食材。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实践了解到。
附图说明
图1为本发明一实施例提供的图像采集模块,即可移动摄像头的结构示意图;
图2为本发明一实施例提供的一种切片食材智能化识别方法的流程示意图;
图3为本发明一实施例提供的食材智能化识别方法中模型训练的流程示意图;
图4为本发明一实施例提供的一种切片食材智能化识别方法中过程四(人工反馈)的流程示意图;
图5为本发明一实施例提供的一种切片食材智能化识别装置的组成示意图;
图6为本发明一实施例提供的食材智能化识别装置中控制模块的流程示意图;
图7为本发明一实施例提供的食材智能化识别装置中统计分析模块的流程示意图;
图8为本发明一实施例提供的智能冰箱或装置的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
本实施例提出了一种切片食材智能化识别方法和装置,通过安装在智能冰箱或装置中的可移动摄像头,获取智能冰箱或装置中的切片食材图像,采用预训练好的卷积神经网络,对食材图像进行智能识别,获取切片食材的种类、状态(新鲜程度)以及数量,提高了识别效率。本发明提出的装置,针对新加入的或者无法识别正确的食材,可以通过人工反馈,自动调整神经网络参数,提升了装置的识别精度。根据一段时间内识别出的食材数量、食材种类和食材状态,该装置给出最佳的个性化食材搭配方案、食材数量预警和食材新鲜度警示,同时可以对智能冰箱或装置进行温度、湿度控制,提升了装置的智能化水平。
本实施例提出的装置中,安装了可移动摄像头,用于获取智能冰箱或装置中的食材图像。如图1所示(图1为本发明一实施例提供的图像采集模块,即可移动摄像头的结构示意图),图1A--9为装置中摄像头及拍摄照明设施;图1A--51为装置中的螺柱;图1A--52为装置中的螺母,图1B--2为食材盒。该装置中的可移动摄像头位于冰箱或装置的螺母上,螺柱旋转完成螺母和摄像头的位移形成可移动载体的装置,对食材盒里面的食材进行拍摄,螺母和摄像头的横向和纵向移动可对应拍摄不同位置的食材图像。摄像头安装在一个可移动载体的装置上,可根据不同需要,移动到不同位置拍摄食材的图像。系统通过对多张图像的识别,同时确定食材的种类等属性,提升了系统的准确度和稳定性。
本实施例建立了用于智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练。卷积神经网络(Convolutional Neural Networks,简称CNNs)是神经网络中极其重要的一种,目前已被广泛应用在图像和视频识别、语音处理、推荐系统以及自然语言处理等领域。卷积神经网络是受动物视觉系统的启发而被提出的。随着大数据技术和图像处理技术的发展,卷积神经网络发挥越来越重要的作用,其网络结构决定着它可以直接接受原始图像作为输入,大大简化了图像的预处理工作。一般常见的卷积神经网络由卷积层、非线性变换层、池化层和全连接层等组成。
对卷积神经网络模型进行训练包括以下步骤:
采用卷积层对输入图片进行卷积处理。卷积层是指由一系列滤波器(即卷积核)对上一层的特征映射进行卷积操作的过程。每一个卷积核在进行一次卷积时,只作用于特征映射的局部邻域,每次提取该邻域的特征。每一个卷积核在对不同邻域进行卷积时,其权值是共享的,这就大大减小了卷积操作中的参数数目。图像中的相邻区域是相关的,不相邻的区域一般是无关的。也就是说,在图像的某个区域提取的特征,在其他区域也可以提取到,所以可以采用权值共享从图像的不同区域提取相同的模式。同时,不同的卷积核对不同的特征映射分别进行卷积,以提取不同的特征。
非线性变换层对卷积之后的结果进行非线性激活,常见的非线性变换函数有Sigmoid函数、ReLu函数等。通过非线性激活函数的变换,模型能够更好地拟合非线性映射,有效的特征可以更好地被保留。
如果说卷积的功能是提取上一层特征映射的特征,那么池化层则是对提取的
相似特征进行组合。常见的池化方法有最大池化、平均池化等,其中最大池化是
指取局部区域最大的特征值作为池化计算的结果。池化计算使得特征维数大大降低,同时使得特征得到了组合,减少了网络训练过程中的计算量,加快了模型训练的进度。同时,池化的引入,使得网络学习到的特征对输入的微小变化具有不变形的特性,增强了模型的泛化能力。
全连接层一般处在深度卷积神经网络的最后部分,其主要功能是对特征进行再次组合,改变特征的维度。随着网络层数地不断加深,由卷积层、池化层等提取的局部特征,在全连接层等高层被重新组合,从而得到了输入图像的全局特征。
全连接层的后面是不同的损失函数。损失函数计算模型输出和实际输出的误差,通过反向运算修正各层参数,从而使损失函数值最小,完成训练过程。
具体到本发明中,如图2流程图所示,首先采用可移动摄像头获取多个切片食材样本,对获取的样本进行标注,用于后续对构建的卷积神经网络进行预训练。其次,建立用于智能识别切片食材类型、食材状态和食材数量的卷积神经网络。所构建的卷积神经网络,包含一个输入和三个输出,其中候选框网络、分类网络和回归网络,共享卷积层。候选框网络主要用于识别食材图像中的食材位置,采用候选框的方式标注出来;分类网络主要用于识别出图像中的食材种类;回归网络主要用于预测食材的状态分数,以评价食材的新鲜程度。本方案提出的卷积神经网络基于Mask R-CNN卷积神经网络,Mask R-CNN使用卷积神经网络直接产生候选区域,该部分网络架构称之为本发明中的候选框网络。分类网络和回归网络共享候选框网络的卷积层,后面的全连接层分别设置不同的结点数,加上不同的损失函数。对于分类网络,采用softmax损失函数;对于回归网络,采用均方误差损失函数。三个神经网络融合到了一起,使用端到端的网络进行候选框检测、分类和回归。无论在训练速度上还是识别精度上都得到了很大的提高,从而进一步提高了对家用电器内食材的识别速度,提高了用户体验感受。
本实施例具体到建立的卷积神经网络的训练过程,如图3所示:
S1,采集智能冰箱或装置中的多种食材切片不同角度、不同状态的图像样本;
S2,构建卷积神经网络,所述卷积神经网络包括候选框网络、分类网络和回归网络,分别用于预测食材的数量、种类和状态;
S3,形成多个输入文件,每个输入文件包括多种食材图像样本,以及对应的类别和状态量化分数,首次训练还包含候选框网络、分类网络和回归网络的初始化参数;
S4,在GPU服务器平台启动并行训练任务,通过获取所述输入文件,训练并输出所述食材图像样本上的至少一个目标候选区域,目标类别,状态量化分数;
S5,根据上一步获取的至少一个所述目标候选区域,目标类别,状态量化分数,结合输入的多个文件,包括食材类别和状态量化分数,采用反向传播算法对所述候选框网络、分类网络和回归网络进行一次训练,以优化所述网络的参数;
S6重复步骤S3~S5,直到所述卷积神经网络的预设损失函数的函数值达到预设值或者达到最大迭代次数。
本实施例中,所述的一种切片食材智能化识别方法,其中一个重要特点就是可进行人工反馈,自动更新模型参数,不断提升装置的识别精度,如图4所示。
针对新加入的一种新类型的食材,通过修改分类网络的结点数,在后台多卡GPU服务器上进行并行训练,可快速习得对新类型食材的识别能力。
针对无法识别正确的食材,采用在线学习的思想,不断自动调整网络模型参数,使得食材可以被正确识别。具体的,对每个样本的识别结果进行判断,若识别结果正确,则当前样本识别结束,直接进入下一个样本的识别阶段;若识别错误,则此样本被重新载入到训练过程中,依据正确结果对神经网络模型的权值进行更新,得到新的训练模型。
本实施例中,所述的一种切片食材智能化识别装置的组成结构图,如图5所示,
包括图像获取模块、模型训练模块、识别模块、反馈模块。装置在初次安装使用时,其图像获取模块已经预先安装,模型训练模块已经预训练完成,后续根据实际情况,用户可自行或后台升级,以提升识别精度和广度。其中,模型训练模块,通过采用预先标注的食材图像数据集,在GPU服务器平台进行并行训练,得到了训练完成的初始化神经网络。
所述图像获取模块用于获取智能冰箱或装置中的食材图像,主要通过可移动摄像头进行图像采集;
所述模型训练模块用于建立智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练;
所述识别模块用于对所述食材图像进行智能识别,将采集到的食材图像,直接输入到预训练好的卷积神经网络中,经过神经网络的前向传播后,即可获取切片食材的种类、状态(新鲜程度)以及数量;
所述反馈模块用于针对新加入的或者无法识别正确的食材,可以通过人工反馈,不断提升装置的识别精度。
优选实施例中,所述的切片食材智能化识别系统还包括控制模块,如图6所示,所述控制模块用于根据食材类型和食材的状态,采用对应的控制方法对智能冰箱或装置的温度、湿度进行控制。该模块主要是基于识别出的食材类型和食材的当前状态,结合不同食材类型的适宜储藏温度湿度,使智能冰箱或装置自行进行控制或提醒用户调整食材的存储位置。本进一步技术方案可以根据食材类型和食材的状态,提供更加细致的控制方案,从而提高用户的使用感受,发挥冰箱或装置智能化储藏的功能。
优选实施例中,所述的切片食材智能化识别系统还包括统计分析模块,如图7所示,所述统计分析模块用于根据食材数量、食材种类和食材状态,给出最佳的食材搭配方案、食材数量预警和食材新鲜度警示。根据实时的图像数据,智能冰箱或装置不断更新当前冰箱或装置中的食材数量、食材种类和食材新鲜度分数。对于食材数量低于设定阈值的食材,智能冰箱或装置通过显示屏和手机APP的方式收到预警通知。根据冰箱或装置中食材的种类,自动推荐健康营养的食材搭配方案,并智能推荐做菜菜谱。当冰箱或装置中的某种食材,其状态即新鲜程度低于预先设定的分数时,及时通过显示屏和手机APP向用户推送警示信息,提醒用户及时处理即将变质或已经变质的食材。
如图8所述,为另一实施例提供的智能冰箱或装置的结构示意图,所述智能冰箱或装置包括以上所述的切片食材智能化识别装置。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种切片食材智能化识别方法和装置,其特征在于:
通过安装在智能冰箱或装置中的可移动摄像头,获取智能冰箱或装置中的切片食材图像;
建立用于智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练;
采用预训练好的卷积神经网络对实时获取的食材图像进行智能识别,获取切片食材的种类、状态(新鲜程度)以及数量;
针对新加入的或者无法识别正确的食材,可以通过人工反馈,自动调整神经网络参数,不断提升装置的识别精度;
根据一段时间内识别出的食材数量、食材种类和食材状态,给出最佳的个性化食材搭配方案、食材数量预警和食材新鲜度警示,同时可以对智能冰箱或装置进行温度、湿度控制。
2.根据权利要求1所述的可移动摄像头,其特征在于,摄像头可以从不同的角度对食材进行拍摄,获取食材更多角度的图像。
3.根据权利要求1所述的建立智能识别食材的卷积神经网络,其特征在于,所述步骤具体为:
S1,采集智能冰箱或装置中的多种食材切片不同角度、不同状态的图像样本;
S2,构建卷积神经网络,所述卷积神经网络包括候选框网络、分类网络和回归网络,分别用于预测食材的数量、种类和状态;
S3,形成多个输入文件,每个输入文件包括多种食材图像样本,以及对应的类别和状态量化分数,首次训练还包含候选框网络、分类网络和回归网络的初始化参数;
S4,在GPU服务器平台启动并行训练任务,通过获取所述输入文件,训练并输出所述食材图像样本上的至少一个目标候选区域,目标类别,状态量化分数;
S5,根据上一步获取的至少一个所述目标候选区域,目标类别,状态量化分数,结合输入的多个文件,包括食材类别和状态量化分数,采用反向传播算法对所述候选框网络、分类网络和回归网络进行一次训练,以优化所述网络的参数;
S6重复步骤S3~S5,直到所述卷积神经网络的预设损失函数的函数值达到预设值。
4.根据权利要求3所述的食材图像的智能化识别方法,其特征在于,所述步骤S2中,构建卷积神经网络,所述卷积神经网络包括候选框网络、分类网络和回归网络:
所构建的卷积神经网络,包含一个输入和三个输出,其中候选框网络、分类网络和回归网络,共享卷积层。候选框网络主要用于识别食材图像中的食材位置,采用候选框的方式标注出来;分类网络主要用于识别出图像中的食材种类;回归网络主要用于预测食材的状态分数,以评价食材的新鲜程度。
5.一种切片食材智能化识别装置,其特征在于,包括图像获取模块、模型训练模块、识别模块和反馈模块,
所述图像获取模块用于获取智能冰箱或装置中的食材图像,主要通过可移动摄像头进行图像采集;
所述模型训练模块用于建立智能识别切片食材类型、食材状态和食材数量的卷积神经网络,并采用提前获取的图像对所述卷积神经网络进行预训练;
所述识别模块用于对所述食材图像进行智能识别,采用预训练好的卷积神经网络,获取切片食材的种类、状态(新鲜程度)以及数量;
所述反馈模块用于针对新加入的或者无法识别正确的食材,可以通过人工反馈,不断提升装置的识别精度。
6.一种切片食材智能化识别装置,其特征在于,装置在初次安装使用时,其图像获取模块已经预先安装,模型训练模块已经预训练完成,后续根据实际情况,用户可自行或后台升级,以提升识别精度和广度。其中,模型训练模块,通过采用预先标注的食材图像数据集,在GPU服务器平台进行并行训练,得到了训练完成的初始化神经网络。
7.根据权利要求5所述的一种切片食材智能化识别装置的反馈模块,其特征在于,针对新加入的或者无法识别正确的食材,可以通过人工反馈,不断提升装置的识别精度。具体地,采用在线学习的思想,对每个新样本的识别结果进行判断,若识别结果正确,则当前样本识别结束,直接进入下一个样本的识别阶段;若识别错误,则此样本被重新载入到训练过程中,依据正确结果对神经网络模型的权值进行更新,得到新的训练模型。针对新加入的或者无法识别正确的食材,人工给出正确的结果,然后通过迭代更新原有的网络模型,使得模型可以正确识别食材,由此不断提升装置的识别精度。
8.根据权利要求1所述的对食材图像智能识别,其特征在于,还包括控制模块,所述控制模块用于根据食材类型和食材的状态,采用对应的控制方法对智能冰箱或装置的温度、湿度进行控制。
9.根据权利要求1所述的对食材图像智能识别,其特征在于,还包括统计分析模块,所述统计分析模块用于根据食材数量、食材种类和食材状态,给出最佳的食材搭配方案、食材数量预警和食材新鲜度警示。
CN201810860835.2A 2018-08-01 2018-08-01 一种切片食材智能化识别方法和装置 Pending CN110795959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810860835.2A CN110795959A (zh) 2018-08-01 2018-08-01 一种切片食材智能化识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810860835.2A CN110795959A (zh) 2018-08-01 2018-08-01 一种切片食材智能化识别方法和装置

Publications (1)

Publication Number Publication Date
CN110795959A true CN110795959A (zh) 2020-02-14

Family

ID=69426067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810860835.2A Pending CN110795959A (zh) 2018-08-01 2018-08-01 一种切片食材智能化识别方法和装置

Country Status (1)

Country Link
CN (1) CN110795959A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN113768394A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 智能洗手液机、出液控制方法、介质与电子设备
CN114234517A (zh) * 2021-12-17 2022-03-25 珠海格力电器股份有限公司 一种食材智能推荐方法、装置、存储介质及其智能冰箱

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130149676A1 (en) * 2011-12-12 2013-06-13 Yukie J. Tokuda System and methods for virtual cooking with recipe matching
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN107527060A (zh) * 2016-06-20 2017-12-29 青岛海尔智能技术研发有限公司 一种冷藏装置存储物管理系统和冷藏装置
CN108151434A (zh) * 2017-12-15 2018-06-12 北京小米移动软件有限公司 食材保鲜的方法、系统、服务器、冰箱以及终端
CN108224894A (zh) * 2018-01-08 2018-06-29 合肥美的智能科技有限公司 基于深度学习的食材新鲜度识别方法、装置、冰箱和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130149676A1 (en) * 2011-12-12 2013-06-13 Yukie J. Tokuda System and methods for virtual cooking with recipe matching
CN107527060A (zh) * 2016-06-20 2017-12-29 青岛海尔智能技术研发有限公司 一种冷藏装置存储物管理系统和冷藏装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN108151434A (zh) * 2017-12-15 2018-06-12 北京小米移动软件有限公司 食材保鲜的方法、系统、服务器、冰箱以及终端
CN108224894A (zh) * 2018-01-08 2018-06-29 合肥美的智能科技有限公司 基于深度学习的食材新鲜度识别方法、装置、冰箱和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768394A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 智能洗手液机、出液控制方法、介质与电子设备
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN114234517A (zh) * 2021-12-17 2022-03-25 珠海格力电器股份有限公司 一种食材智能推荐方法、装置、存储介质及其智能冰箱

Similar Documents

Publication Publication Date Title
CN106897661B (zh) 一种食材图像的智能化识别方法、系统和家用电器
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN108846314A (zh) 一种基于深度学习的食材辨识系统和食材辨识方法
CN110795959A (zh) 一种切片食材智能化识别方法和装置
US11037029B2 (en) Multi-stage image recognition for a non-ideal environment
CN111611889B (zh) 基于改进卷积神经网络的农田微型虫害识别装置
CN108197635B (zh) 烹饪方式的展示方法及装置、抽油烟机
CN107038413A (zh) 食谱推荐方法、装置及冰箱
CN108766528A (zh) 一种饮食管理系统及其构建方法、一种食材管理方法
US20180197287A1 (en) Process of using machine learning for cannabis plant health diagnostics
CN109711449A (zh) 一种基于全卷积网络的图像分类算法
CN110119479A (zh) 一种餐馆推荐方法、装置、设备及可读存储介质
CN109064460A (zh) 基于多时序属性元素深度特征的小麦重度病害预测方法
CN111626969B (zh) 一种基于注意力机制的玉米病害图像处理方法
CN109829364A (zh) 一种表情识别方法、装置和推荐方法、装置
KR20220128145A (ko) 딥러닝 모듈을 이용한 음식 추천 방법
CN111260658B (zh) 一种用于图像分割的深度强化学习方法
CN113536105A (zh) 推荐模型训练方法和装置
Pramudhita et al. Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture
CN112084825A (zh) 烹饪评价方法、烹饪推荐方法、计算机设备及存储介质
CN108053418A (zh) 一种动物背景建模方法及装置
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
Tan et al. Automated tomato grading system using computer vision (CV) and deep neural network (DNN) algorithm
Li et al. A comparative study on point cloud down-sampling strategies for deep learning-based crop organ segmentation
CN118097085B (zh) 一种地形图风格自动迁移的方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214

WD01 Invention patent application deemed withdrawn after publication