CN111860073A - 一种食材图像识别的方法及装置、家电设备 - Google Patents

一种食材图像识别的方法及装置、家电设备 Download PDF

Info

Publication number
CN111860073A
CN111860073A CN201910363205.9A CN201910363205A CN111860073A CN 111860073 A CN111860073 A CN 111860073A CN 201910363205 A CN201910363205 A CN 201910363205A CN 111860073 A CN111860073 A CN 111860073A
Authority
CN
China
Prior art keywords
food material
model
material image
sparse
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910363205.9A
Other languages
English (en)
Inventor
高洪波
刘兵
刘彦甲
俞国新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Co Ltd, Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Co Ltd
Priority to CN201910363205.9A priority Critical patent/CN111860073A/zh
Publication of CN111860073A publication Critical patent/CN111860073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Nutrition Science (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种食材图像识别的方法及装置、家电设备，属于家电设备技术领域。所述方法包括：建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型；对稠密模型进行稀疏化处理，生成稀疏模型；获取家电设备中的食材图像；根据稀疏模型对食材图像进行识别，确定食材类型。还提供了一种食材图像识别的装置、家电设备。本公开的有益效果：利用经过稀疏化处理的卷积神经网络模型进行家电设备中食材的识别，降低了对数字信号处理器的性能的要求。

Description

一种食材图像识别的方法及装置、家电设备
技术领域
本申请涉及家电设备技术领域，例如涉及一种食材图像识别的方法及装置、家电设备。
背景技术
目前，对于家电设备(比如，烤箱、微波炉和冰箱)，通常利用云端的强大算力来识别家电设备中食材的类型，在网络环境不理想的情况下，就会存在网络延迟，在没有网络的情况下，家电设备食材图像识别的功能就不可用。随着人工智能技术的发展，尤其是深度学习方法的出现，在图像识别方面有了实际的应用，比如利用卷积神经网络模型实现图像识别。此种图像识别的方式无需利用网络，但是，由于利用卷积神经网络模型进行图像识别的计算复杂度较大，对数字信号处理器的性能的要求较高。
发明内容
本公开实施例提供了一种食材图像识别的方法及装置、家电设备，旨在解决利用现有卷积神经网络模型进行图像识别对数字信号处理器的要求较高的技术问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
本公开实施例，提供了一种食材图像识别的方法及装置、家电设备、电子设备，利用经过稀疏化处理的卷积神经网络模型进行家电设备中食材的识别，降低了对数字信号处理器的性能的要求。
本公开实施例提供了一种食材图像识别的方法。
在一些可选实施例中，所述方法包括：
建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型；
对稠密模型进行稀疏化处理，生成稀疏模型；
获取家电设备中的食材图像；和
根据稀疏模型对食材图像进行识别，确定食材类型。
本公开实施例提供了一种食材图像识别的装置。
在一些可选实施例中，所述装置包括：
模型训练单元，被配置为建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型；
模型稀疏化单元，被配置为对稠密模型进行稀疏化处理，生成稀疏模型；
图像获取单元，被配置为获取家电设备中的食材图像；和
图像识别单元，被配置为根据稀疏模型对食材图像进行识别，确定食材类型。
本公开实施例提供了一种家电设备。
在一些可选实施例中，所述家电设备包括上述的食材图像识别的装置。
本公开实施例提供了一种电子设备。
在一些可选实施例中，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述的食材图像识别的方法。
本公开实施例提供了一种计算机可读存储介质。
在一些可选实施例中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行上述的食材图像识别的方法。
本公开实施例提供了一种计算机程序产品。
在一些可选实施例中，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的食材图像识别的方法。
本公开实施例提供的一些技术方案可以实现以下技术效果：利用经过稀疏化处理的卷积神经网络模型进行家电设备中食材的识别，降低了对数字信号处理器的性能的要求。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的食材图像识别的方法的流程示意图；
图2是本公开实施例提供的食材图像识别的方法的流程示意图；
图3是本公开实施例提供的稠密模型进行稀疏化处理的流程示意图；
图4是本公开实施例提供的食材图像识别的装置的结构示意图；
图5是本公开实施例提供的食材图像识别的装置的结构示意图；以及
图6是本公开实施例提供的电子设备的结构示意图。
附图标记:
1-模型训练单元；2-模型稀疏化单元；3-图像获取单元；4-图像识别单元；5-权重修正单元；6-模型量化单元；7-控制单元。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
在一些可选实施例中，如图1所示，提供了一种食材图像识别的方法，具体包括以下步骤：
S101：建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型。
这里，原始食材图像数据集为预先准备的家电设备中的多种食材类型的食材图像。按照预设比例将原始图像数据集划分为训练集和测试集，利用训练集和测试集对卷积神经网络模型进行训练，生成稠密模型。
可选地，原始图像数据集中的图片数量与食材的类型数量存在如下关系：
N＝(1.1n-1×N0)×n
其中，N为原始图像数据集中的图片数量，N0为预设的单种食材时的图片数量，n为食材的类型数量。
比如，当预设的单种食材时的图片数量N0为140，食材的类型数量n为21时，原始图像数据集中的图片数量为19728。按照4：1的比例划分训练集和测试集，训练集中的图片数量为15782，测试集中的图片数量为3946。
在图像识别置信度精度相同的情况下，食材的类型数量越多，对于卷积神经网络模型的精准性要求越高。随着食材的类型数量的增加，单种食材时的图片数量随之增加，可以提高训练卷积神经网络模型的精准性，进而提高图像识别的置信度精度。根据食材的类型数量灵活调整原始食材图像数据集中的图像数量，在提升卷积神经网络模型的精准性的前提下，可以降低卷积神经网络模型训练的计算量和参数量，降低对数字信号处理器等硬件的性能要求。
可选地，训练集中的原始食材图像的缩放尺寸(比如180*180)大于测试集中的原始食材图像的缩放尺寸(比如160*160)。训练集中的原始食材图像的缩放尺寸大于测试集中的原始食材图像的缩放尺寸，主要是为了数据增强，提高卷积神经网络模型的泛化能力。
可选地，原始食材图像数据集中的原始食材图像是通过对初始食材图像进行泛化处理获得的。其中，对初始食材图像的泛化处理包括翻转、旋转、缩放、裁剪、平移、添加噪声中的一种或一种以上。一方面，原始图像数据集中的图像数量繁多，采集工作量大，通过对初始食材图像进行泛化处理，可以增加图像数量，降低图像采集难度；另一方面，通过对初始食材图像进行泛化处理，创造出更多的数据，可以使得卷积神经网络具有更好的泛化效果。
S102：对稠密模型进行稀疏化处理，生成稀疏模型。
对于经过对卷积神经网络模型进行训练生成的稀疏模型来说，计算复杂度和参数量都非常大，且存在大量信息冗余，对于数字信号处理器等硬件的性能提出了很高的要求。因此，需要对稠密模型进行稀疏化处理，降低模型的复杂度，减少模型的参数量，以适应配置较低的硬件，扩大模型的适用范围。
可选地，如图3所示，步骤S102具体包括：
S102a：按照稠密模型的神经元和连接的敏感度由低到高的顺序，对稠密模型的神经元中的参数量进行排序。
卷积神经网络包括卷积层、池化层和全连接层，其中，卷积层中，定义一个卷积核(相当于权重)，用于提取输入图片每个小部分里具有的特征；池化层用于降低卷积层输出的特征向量的维度；全连接层用于生成一个等于需要的食材类型数量的分类器，这一层中的每个神经元都将和上一层的每个神经元连接。
可选地，遍历稠密模型的权重，利用归并算法，按照稠密模型的权重的时间复杂度对稠密模型的神经元中的参数量进行排序。
可选地，利用O(nlogn)来表示归并算法的时间复杂度，其中的n代表输入权重数据的量。当输入权重数据增大n倍时，耗时增大nlogn倍，这里的log是以2为底的，比如，当数据增大256倍时，耗时增大256*8＝2048倍，这个复杂度高于线性低于平方。
S102b：根据预设的稀疏化比值，确定排序后的神经元中的待删除参数量。
由于全连接层中存在多个神经元，预先设定一系列的稀疏化比值p1,p2,…,pn，每一百分比对应一个神经元。根据每一神经元中总的参数量Cn和与该神经元相对应的百分比pn计算出待删除的参数量R1,R2,…,Rn,其中，Rn＝C*pn。
S102c：删除所有待删除参数量的连接，生成稀疏模型。
对于排序的前n个参数，直接将神经元和连接变为零，将稠密模型变为稀疏模型。
S103：获取家电设备中的食材图像。
可选地，利用工业相机采集家电设备中的食材图像，工业相机内置图像处理器，可以预置调整食材图像的曝光参数和颜色参数调节至预设参数范围内，保证食材图像的采集质量。
S104：根据稀疏模型对食材图像进行识别，确定食材类型。
这里，利用稀疏模型对家电设备中的食材图像进行识别，确定的食材类型为预存的原始图像数据集中食材的食材类型中的其中一种。
这样，利用经过稀疏化处理的卷积神经网络模型进行家电设备中食材的识别，降低了对数字信号处理器等硬件的性能的要求。
在一些可选实施例中，如图2所示，提供了一种食材图像识别的方法，具体包括以下步骤：
S201：建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型。
S202：对稠密模型进行稀疏化处理，生成稀疏模型。
S203：利用原始食材图像数据集，修正稀疏模型的权重。
在对稠密模型进行稀疏化处理的过程中，会带来模型的精度损失。利用原始食材图像数据集，修正稀疏模型的权重，这样可以将稀疏模型的精度恢复至原稠密模型。经过多轮次对稠密模型的稀疏化处理，将稠密模型转换为稀疏模型，在保持稠密模型的原有精度的基础上，大幅度降低了食材图像识别过程中的计算复杂度和参数量。
S204：利用原始食材图像数据集，对稀疏模型的权重进行量化。
可选地，步骤S204包括：利用原始食材图像数据集做概率分布和校准，获得稀疏模型的权重值的动态范围；对动态范围以预设定点数进行非线性量化，获得共享权重值；将所有权重值替换为共享权重值。
稀疏模型的类型通常为32位的浮点模型，在存储和计算上对数字信号处理器和块存储器的资源消耗较大，通过对稀疏模型的权重进行量化，将稀疏模型的类型转换为预设位数(8位)的定点模型。对稀疏模型的权重进行量化可以用更少的位数代表每一权重来进一步压缩精简网络。卷积神经网络对低精度权重值具有非常高的容忍度，因此，极度粗略的权重值并不会降低预测精度。研究表明，在不降低稀疏模型的精度的前提下，消耗的计算和存储资源降至原类型为浮点类型的1/4，进一步降低了食材图像识别过程中的计算复杂度，降低了对硬件性能的要求。
S205：获取家电设备中的食材图像。
S206：根据稀疏模型对食材图像进行识别，确定食材类型。
S207：获取与食材类型相对应的家电设备的运行参数。
这里，运行参数与家电设备的设备功能相对应。家电设备本地预存有与食材类型相对应的各种家电设备的运行参数，比如，“大虾；储存温度，-4℃(℃：摄氏度)；烘焙温度，120℃；烘焙时间，2min(min:分钟)；微波加热时间，1min”、“鸡翅；储存温度，-6℃；烘焙温度，240℃；烘焙时间，4min；微波加热时间，3min”。在确定食材类型为大虾后，获取家电设备的设备功能为“烤箱；烘焙温度调节；烘焙时间调节”时，则获取与大虾相对应的烤箱的运行参数为“烘焙温度，120℃；烘焙时间，2min”；获取家电设备的设备功能为“烤箱；烘焙时间调节”时，则获取与大虾相对应的烤箱的运行参数为“烘焙时间，2min”。这样，获取与家电设备的设备功能相对应的家电设备的运行参数以控制家电设备的运行，家电设备的运行参数适应于其自身的功能，更为灵活。
S208：根据运行参数控制家电设备运行。
当与大虾相对应的烤箱的运行参数为“烘焙温度，120℃；烘焙时间，2min”，控制烤箱在120℃的烘焙温度条件下，烘焙2min；当与大虾相对应的烤箱的运行参数为“烘焙时间，2min”，控制烤箱烘焙2min。
这样，对经过稀疏化处理的稀疏模型进一步进行训练，保持模型的原有精度的基础，并对稀疏模型的权重进行量化，用更少的位数来代表每一权重来进一步压缩精简网络，降低了模型在存储和计算上对于数字信号处理器和块存储器的资源消耗。同时，选取与家电设备的设备功能相适应的运行参数以控制家电设备自动运行，无需人工操作，提升用户体验，方便灵活。
在一些可选实施例中，如图4所示，提供了一种食材图像识别的装置，包括：
模型训练单元1，被配置为建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型；
模型稀疏化单元2，被配置为对稠密模型进行稀疏化处理，生成稀疏模型；
图像获取单元3，被配置为获取家电设备中的食材图像；
图像识别单元4，被配置为根据稀疏模型对食材图像进行识别，确定食材类型。
可选地，模型稀疏化单元2具体被配置为：
按照稠密模型的神经元和连接的敏感度由低到高的顺序，对稠密模型的神经元进行排序；
根据预设的稀疏化比值，确定排序后的神经元中的待删除神经元；
删除所有待删除神经元的连接，生成稀疏模型。
在一些可选实施例中，如图5所示，提供了一种食材图像识别的装置，包括：
模型训练单元1，被配置为建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对卷积神经网络模型进行训练，生成稠密模型；
模型稀疏化单元2，被配置为对稠密模型进行稀疏化处理，生成稀疏模型；
权重修正单元5，被配置为利用原始食材图像数据集，修正稀疏模型的权重；
模型量化单元6，被配置为利用原始食材图像数据集，对稀疏模型的权重进行量化；
图像获取单元3，被配置为获取家电设备中的食材图像；
图像识别单元4，被配置为根据稀疏模型对食材图像进行识别，确定食材类型；
控制单元7，被配置为：
获取与食材类型相对应的家电设备的运行参数；
根据运行参数控制家电设备运行；
其中，运行参数与家电设备的设备功能相对应。
可选地，模型量化单元6具体被配置为：
利用原始食材图像数据集做概率分布和校准，获得稀疏模型的权重值的动态范围；
对动态范围以预设定点数进行非线性量化，获得共享权重值；
将所有权重值替换为共享权重值。
本公开实施例还提供了一种家电设备(例如：烤箱、微波炉和冰箱等)，包含上述的食材图像识别的装置。
本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述食材图像识别的方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述食材图像识别的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例还提供了一种电子设备，其结构如图6所示，该电子设备包括：
至少一个处理器(processor)60，图6中以一个处理器60为例；和存储器(memory)61，还可以包括通信接口(Communication Interface)62和总线63。其中，处理器60、通信接口62、存储器61可以通过总线63完成相互间的通信。通信接口62可以用于信息传输。处理器60可以调用存储器61中的逻辑指令，以执行上述实施例的食材图像识别的方法。
此外，上述的存储器61中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的食材图像识别的方法。
存储器61可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (19)

1.一种食材图像识别的方法，其特征在于，包括：
建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对所述卷积神经网络模型进行训练，生成稠密模型；
对所述稠密模型进行稀疏化处理，生成稀疏模型；
获取家电设备中的食材图像；和
根据所述稀疏模型对所述食材图像进行识别，确定食材类型。
2.根据权利要求1所述的方法，其特征在于，所述对所述稠密模型进行稀疏化处理，生成稀疏模型，包括：
按照所述稠密模型的神经元和连接的敏感度由低到高的顺序，对所述稠密模型的神经元中的参数量进行排序；
根据预设的稀疏化比值，确定排序后的所述神经元中的待删除参数量；
删除所有所述待删除参数量的连接，生成所述稀疏模型。
3.根据权利要求1所述的方法，其特征在于，还包括：
利用所述原始食材图像数据集，修正所述稀疏模型的权重。
4.根据权利要求1所述的方法，其特征在于，还包括：
利用所述原始食材图像数据集，对所述稀疏模型的权重进行量化。
5.根据权利要求4所述的方法，其特征在于，所述利用所述原始食材图像数据集，对所述稀疏模型的权重进行量化，包括：
利用所述原始食材图像数据集做概率分布和校准，获得所述稀疏模型的权重值的动态范围；
对所述动态范围以预设定点数进行非线性量化，获得共享权重值；
将所有所述权重值替换为所述共享权重值。
6.根据权利要求1所述的方法，其特征在于，所述原始食材图像数据集包括训练集和测试集，所述训练集中的原始食材图像的缩放尺寸大于所述测试集中的原始食材图像的缩放尺寸。
7.根据权利要求1所述的方法，其特征在于，所述原始食材图像数据集中的原始食材图像是通过对初始食材图像进行泛化处理获得的。
8.根据权利要求7所述的方法，其特征在于，所述泛化处理包括翻转、旋转、缩放、裁剪、平移、添加噪声中的一种或一种以上。
9.根据权利要求1所述的方法，其特征在于，还包括：
获取与所述食材类型相对应的所述家电设备的运行参数；
根据所述运行参数控制所述家电设备运行；
其中，所述运行参数与所述家电设备的设备功能相对应。
10.一种食材图像识别的装置，其特征在于，包括：
模型训练单元，被配置为建立用于检测食材类型的卷积神经网络模型，并利用原始食材图像数据集，对所述卷积神经网络模型进行训练，生成稠密模型；
模型稀疏化单元，被配置为对所述稠密模型进行稀疏化处理，生成稀疏模型；
图像获取单元，被配置为获取家电设备中的食材图像；和
图像识别单元，被配置为根据所述稀疏模型对所述食材图像进行识别，确定食材类型。
11.根据权利要求10所述的装置，其特征在于，所述模型稀疏化单元具体被配置为：
按照所述稠密模型的神经元和连接的敏感度由低到高的顺序，对所述稠密模型的神经元进行排序；
根据预设的稀疏化比值，确定排序后的所述神经元中的待删除神经元；
删除所有所述待删除神经元的连接，生成所述稀疏模型。
12.根据权利要求10所述的装置，其特征在于，还包括：
权重修正单元，被配置为利用所述原始食材图像数据集，修正所述稀疏模型的权重。
13.根据权利要求10所述的装置，其特征在于，还包括：
模型量化单元，被配置为利用所述原始食材图像数据集，对所述稀疏模型的权重进行量化。
14.根据权利要求13所述的装置，其特征在于，所述模型量化单元具体被配置为：
利用所述原始食材图像数据集做概率分布和校准，获得所述稀疏模型的权重值的动态范围；
对所述动态范围以预设定点数进行非线性量化，获得共享权重值；
将所有所述权重值替换为所述共享权重值。
15.根据权利要求10所述的装置，其特征在于，所述原始食材图像数据集包括训练集和测试集，所述训练集中的原始食材图像的缩放尺寸大于所述测试集中的原始食材图像的缩放尺寸。
16.根据权利要求10所述的装置，其特征在于，所述原始食材图像数据集中的原始食材图像是通过对初始食材图像进行泛化处理获得的。
17.根据权利要求16所述的装置，其特征在于，所述泛化处理包括翻转、旋转、缩放、裁剪、平移、添加噪声中的一种或一种以上。
18.根据权利要求10所述的装置，其特征在于，还包括：
控制单元，被配置为：
获取与所述食材类型相对应的所述家电设备的运行参数；
根据所述运行参数控制所述家电设备运行；
其中，所述运行参数与所述家电设备的设备功能相对应。
19.一种家电设备，其特征在于，包括如权利要求10至18中任一项所述的食材图像识别的装置。
CN201910363205.9A 2019-04-30 2019-04-30 一种食材图像识别的方法及装置、家电设备 Pending CN111860073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910363205.9A CN111860073A (zh) 2019-04-30 2019-04-30 一种食材图像识别的方法及装置、家电设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910363205.9A CN111860073A (zh) 2019-04-30 2019-04-30 一种食材图像识别的方法及装置、家电设备

Publications (1)

Publication Number Publication Date
CN111860073A true CN111860073A (zh) 2020-10-30

Family

ID=72966010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910363205.9A Pending CN111860073A (zh) 2019-04-30 2019-04-30 一种食材图像识别的方法及装置、家电设备

Country Status (1)

Country Link
CN (1) CN111860073A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778918A (zh) * 2017-01-22 2017-05-31 北京飞搜科技有限公司 一种应用于手机端的深度学习图像识别系统及实现方法
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN109117742A (zh) * 2018-07-20 2019-01-01 百度在线网络技术（北京）有限公司 手势检测模型处理方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN106778918A (zh) * 2017-01-22 2017-05-31 北京飞搜科技有限公司 一种应用于手机端的深度学习图像识别系统及实现方法
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN109117742A (zh) * 2018-07-20 2019-01-01 百度在线网络技术（北京）有限公司 手势检测模型处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109478144B (zh) 一种数据处理装置和方法
Wang et al. Multi-scale dilated convolution of convolutional neural network for image denoising
US8971643B2 (en) Method and system for optimized delta encoding
KR20190089777A (ko) 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN110929865A (zh) 网络量化方法、业务处理方法及相关产品
CN111147862A (zh) 一种基于目标编码的端到端图像压缩方法
CN115861715B (zh) 基于知识表示增强的图像目标关系识别算法
CN113424200A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
CN117688984A (zh) 神经网络结构搜索方法、装置及存储介质
AU2019100352A4 (en) A Flower-Image Search System Based on Deep Learning
CN117201693B (zh) 一种物联网图像压缩方法、装置、终端设备及介质
EP3803712A1 (en) An apparatus, a method and a computer program for selecting a neural network
CN111860073A (zh) 一种食材图像识别的方法及装置、家电设备
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
CN111542838B (zh) 一种卷积神经网络的量化方法、装置及电子设备
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN116177858A (zh) 高纯石英坩埚的制备方法及其系统
CN111767419A (zh) 图片搜索方法、装置、设备及计算机可读存储介质
CN117348837A (zh) 浮点精度模型的量化方法、装置、电子设备以及存储介质
CN109800793A (zh) 一种基于深度学习的目标检测方法和系统
CN113553917B (zh) 一种基于脉冲迁移学习的办公设备识别方法
CN111429388A (zh) 一种图像处理方法、装置和终端设备
Hanumantharaju et al. A new framework for retinex-based colour image enhancement using particle swarm optimisation
CN114065913A (zh) 模型量化方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination