CN107798277A - 食材识别系统和方法、食材模型训练方法、冰箱和服务器 - Google Patents

食材识别系统和方法、食材模型训练方法、冰箱和服务器 Download PDF

Info

Publication number
CN107798277A
CN107798277A CN201610802809.5A CN201610802809A CN107798277A CN 107798277 A CN107798277 A CN 107798277A CN 201610802809 A CN201610802809 A CN 201610802809A CN 107798277 A CN107798277 A CN 107798277A
Authority
CN
China
Prior art keywords
food materials
image
refrigerator
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610802809.5A
Other languages
English (en)
Inventor
杨世清
石周
唐红强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Midea Intelligent Technologies Co Ltd
Original Assignee
Hefei Midea Intelligent Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Midea Intelligent Technologies Co Ltd filed Critical Hefei Midea Intelligent Technologies Co Ltd
Priority to CN201610802809.5A priority Critical patent/CN107798277A/zh
Publication of CN107798277A publication Critical patent/CN107798277A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/003—Arrangement or mounting of control or safety devices for movable devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种食材识别系统，该食材识别系统包括：冰箱和服务器，其中，冰箱包括图像采集装置，图像采集装置用于采集冰箱内食材的图像；服务器获得冰箱内食材的图像，并根据食材模型对该图像进行识别以获得食材信息，食材模型为通过深度学习算法训练而获得的神经网络。该食材识别系统，具有较高的识别能力和模型泛化能力。本发明还公开了食材识别方法、食材模型训练方法和冰箱、服务器。

Description

食材识别系统和方法、食材模型训练方法、冰箱和服务器
技术领域
本发明属于电器制造技术领域，尤其涉及一种食材识别系统，以及食材识别方法、食材模型训练方法以及冰箱和服务器。
背景技术
随着集成电路、人工智能、互联网技术的发展，传统的白家电业出现了新的定位，例如，冰箱不仅仅承载了保存食物的功能，也成为家庭网络的一部分，可为家庭成员提供更多的智能化服务。其中，食物识别作为前端信息采集的模块，为后续的食物库的建立提供依据。
传统的图像识别技术在复杂场景下识别率较低，实时性不高，不能够很好地应用于冰箱内的大量食材识别。在就是传统的识别算法计算复杂度，不易用于嵌入式系统。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种食材识别系统，该食材识别系统，识别率高，模型泛化能力强。
本发明还提出一种食材识别方法、食材模型训练方法以及冰箱和服务器。
为了解决上述问题，本发明一方面提出的食材识别系统，包括：冰箱，所述冰箱包括图像采集装置，所述图像采集装置用于采集冰箱内食材的图像；服务器，所述服务器获得所述冰箱内食材的图像，并根据食材模型对所述图像进行识别以获得食材信息，所述食材模型为通过深度学习算法训练而获得的神经网络。
本发明实施例的食材识别系统，将本地拍照和远程识别结合，利用服务器的运算能力，将深度学习算法应用于图像识别，识别率提高，可以更好地应用于对冰箱内数量较多的食材的识别。
进一步地，所述图像采集装置包括：摄像模块，用于采集所述冰箱内食材的图像；通信模块，用于将所述冰箱内食材的图像发送至所述服务器；和控制模块，用于分别对所述摄像模块和所述通信模块进行控制。
所述图像采集装置还包括：照明模块，用于对冰箱内食材所处环境进行照明，更加方便摄像模块采集食材图像。
具体地，所述控制模块，在接收到所述冰箱的控制器发出的关门信号之后，控制所述摄像模块采集所述冰箱内食材的图像，并控制所述通信模块将所述图像发送至所述服务器。
进一步地，所述食材模型通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法确定模型参数以获得所述食材模型。
具体地，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络。
本发明另一方面提出的食材识别方法，包括以下步骤：获得冰箱内食材的图像；根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
本发明实施例的食材识别方法，通过采用深度学习方法来识别食材信息，识别率提高，可以更好地应对冰箱内比较复杂的食材识别。
其中，所述食材模型通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法来确定模型参数以获得所述食材模型。
具体地，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
为了解决上述问题，本发明又一方面实施例提出的食材模型训练方法，包括以下步骤：获得预先采集和标定的冰箱内食材的图像作为训练图像；根据深度学习算法对所述训练图像进行处理来确定模型参数以获得食材模型。
本发明实施例的食材模型训练方法，通过采用深度学习算法，以冰箱内食材图像作为输入数据，获得食材模型可以应用于冰箱内食材的识别，提高识别率。
具体地，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
其中，所述卷积神经网络包括卷积层、池化层、激励层和全连接层，第一层的输入特征为所述训练图像，每层的输出特征作为下一层的输入特征，根据深度学习算法对所述训练图像进行处理进一步包括：卷积层对于输入特征通过卷积运算进行特征压缩；池化层对输入特征进行池化处理；激励层将输入特征通过激励函数得到输出特征，并对所述输出特征进行归一化处理；全连接层的输入特征和输出特征所有结点之间有权重连接。其中，将输入数据进行池化(降采样)，可以减少参数的冗余度。输入经过激励函数之后的数据进行归一化处理，可以提高反向传播的有效性，提高模型泛化能力。
通常地，所述卷积神经网络包括多个的卷积层、池化层和激励层，以及所述卷积神经网络尾部的全连接层，其中，卷积层的不同卷积核获取不同的输出特征。对输入参数通过不同的卷积核进行多次卷积运算，参数更加全局化。
另外，该食材模型训练方法还包括：根据实际食材信息对所述食材模型的模型参数进行调整，可以保证模型的泛化能力和学习能力。
为了解决上述问题，本发明再一方面提出的冰箱，包括：图像采集装置，所述图像采集装置用于采用冰箱内食材的图像，并将所述图像传输至服务器，以使所述服务器根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
本发明实施例的冰箱，通过图像采集装置将采集的食材的图像发送至服务器，为服务器采用深度学习算法对冰箱内食材的识别提供数据基础。
进一步地，所述图像采集装置包括：摄像模块，用于采集所述冰箱内食材的图像；通信模块，用于将所述冰箱内食材的图像发送至所述服务器；和控制模块，用于分别对所述摄像模块和所述通信模块进行控制。
所述图像采集装置还包括：照明模块，用于对冰箱内食材所处环境进行照明，更加方便采集食材图像。
具体地，所述控制模块，在接收到所述冰箱的控制器发出的关门信号之后，控制所述摄像模块采集所述冰箱内食材的图像，并控制所述通信模块将所述图像发送至所述服务器。
为了解决上述问题，本发明又一方面提出的服务器，所述服务器，获得所述冰箱内食材的图像，并根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
本发明实施例的服务器，基于其强大的运算能力，将深度学习算法应用于图像识别，方法简单，识别率提高，可以更好地应用于对冰箱内数量较多的食材的识别。
其中，所述食材模型通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法来确定模型参数以获得所述食材模型。
具体地，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
附图说明
图1是根据本发明实施例的食材识别系统的框图；
图2是根据本发明的一个实施例的食材识别系统的框图；
图3是根据本发明的另一个实施例的冰箱的框图；
图4是根据本发明实施例的食材识别方法的流程图；
图5是根据本发明实施例的食材模型训练方法的流程图；
图6是根据本发明的一个具体实施例的基于卷积神经网络算法的处理流程图；
图7是根据本发明的另一个具体实施例的对训练图像进行特征提取的流程图；
图8是根据本发明的又一个具体实施例的食材模型训练过程的流程图；
图9是根据本发明的一个实施例的冰箱的框图；以及
图10是根据本发明的另一个实施例的冰箱的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的食材识别系统、食材识别方法、食材模型训练方法和冰箱和服务器。
图1是根据本发明的一个实施例的食材识别系统的框图，如图1所示，该食材识别系统1000包括冰箱100和服务器200。
冰箱100包括图像采集装置10，图像采集装置10用于采集冰箱内食材的图像。冰箱100与服务器200可以进行数据交互。服务器200获得冰箱内食材的图像，并根据食材模型对获得图像进行识别以获得食材信息，例如食材的品类及其坐标，其中，食材模型为通过深度学习算法训练而获得的神经网络，将深度学习算法引入冰箱内食材的识别，通过增加神经网络层数可以更好地输出和输入的映射关系，提高识别准确度。
本发明实施例的食材识别系统1000，将本地拍照和远程识别结合，利用服务器200的运算能力，将深度学习算法应用于图像识别，方法简单，识别率提高，可以更好地应用于对冰箱100内数量较多的食材的识别。
进一步地，如图2所示，图像采集装置10包括摄像模块11、通信模块12和控制模块13。其中，摄像模块11用于采集冰箱100内食材的图像；通信模块12用于将冰箱100内食材的图像发送至服务器200；控制模块13用于分别对摄像模块11和通信模块12进行控制。
如图2所示，图像采集装置10还包括照明模块14，照明模块14用于对冰箱100内食材所处环境进行照明，方便摄像模块11拍摄以获得食材图像。
其中，控制模块13在接收到冰箱100的控制器发出的关门信号之后，控制摄像模块11采集冰箱内食材的图像，并控制通信模块12将该图像发送至服务器200。
具体地，如图3所示，相较于传统冰箱，本发明实施例中的冰箱，在硬件上可以设置图像采集装置10，包括控制模块13例如CPU(Central Processing Unit,中央处理器)及其相关外设，冰箱100的控制电路01通过控制器02例如MCU(Microcontroller Unit，微控制单元)进行控制，CPU与MCU可以进行数据交互，CPU外围电路可以挂载相关的外设，在本发明的实施例中，相关外设包括照明模块14、摄像模块11和通信模块12例如WIFI模块。其中，CPU控制摄像模块11配合照明模块14完成本地食材图像的拍摄。在进行食材识别过程中，当MCU检测到关门信号时，意味着冰箱内的食材可能会发生变化，此时，控制模块13控制摄像模块11和照明模块14协同拍摄图像，将拍摄的图像通过WIFI模块将拍摄的图像上传至服务器200，服务器200进行食材信息的识别，之后，服务器200可以件识别信息反馈给本地或者提供给相关人员，获得识别结果。
在本发明的实施例中，部署于服务器200上的食材模型可以通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于该训练图像根据深度学习算法确定模型参数以获得食材模型。其中，食材模型可以包括卷积神经网络、递归神经网络和循环神经网络中的一种，可以通过BP算法确定模型参数。
具体来说，食材模型训练可以在离线端完成，在冰箱内或者模拟冰箱内环境下拍摄食材图像并经过手工标记各种食材的位置，通过深度学习算法的操作获得输入矢量，进而与预先的标定结果进行全连接，通过大量的训练图像进行训练确定模型的参数，相当于确定函数关系中的系数，参数训练完成即获得食材模型，将食材模型部署在服务器200上。对于食材模型的训练过程以下有详细说明。
下面参照附图描述根据本发明另一方面实施例的食材识别方法。
图4是根据本发明实施例的食材识别方法的流程图，如图4所示，该食材识别方法包括以下步骤：
S1，获得冰箱内食材的图像。例如，通过图像采集装置采集冰箱内食材图像，并发送至服务器。
S2，根据食材模型对图像进行识别以获得食材信息，其中，食材模型为通过深度学习算法训练而获得的神经网络。
具体地，食材模型通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于该训练图像根据深度学习算法确定模型参数以获得食材模型。其中，食材模型可以包括卷积神经网络、递归神经网络和循环神经网络中的一种，可以通过BP算法确定模型参数。
本发明实施例的食材识别方法，通过采用深度学习方法来识别食材信息，识别率提高，方法简单，可以更好地应对冰箱内比较复杂的食材识别。
下面对本发明实施例的食材模型训练方法进行说明。图5是根据本发明的实施例的食材模型训练方法的流程图，如图5所示，该食材模型训练方法包括以下步骤：
S10，获得预先采集和标定的冰箱内食材的图像作为训练图像，例如通过冰箱的图像采集装置采集冰箱内食材图像或者拍摄模拟冰箱环境下的图像作为训练图像，并标定食材的位置，以及上传至食材模型训练端，食材模型训练可以在离线端进行。
S20，根据深度学习算法对训练图像进行处理来确定模型参数以获得食材模型。
在本发明的实施例中，食材模型可以包括卷积神经网络、递归神经网络和循环神经网络中的一种。本领域技术人员了解，神经网络的模型参数的训练过程可以通过BP算法实现，该算法已经多有记载，在这里不再赘述。对于不同的神经网络有不同的处理流程，其在不同数据集上表现的不同主要是由神经网络的结构决定。对于相同的神经网络结构其输入数据不同，其模型参数也是不同的。在本发明实施例中，食材模型由冰箱内食材图像作为输入数据，根据深度学习方法确定模型参数，进而将该食材模型部署于识别服务器上，应用于冰箱内食材识别，可以提高识别率，方便复杂情况的识别。
本发明实施例的食材模型训练方法，通过采用深度学习算法，以冰箱内食材图像作为输入数据，获得食材模型可以应用于冰箱内食材的识别，识别率提高。
下面以卷积神经网络为例，对食材模型即食材神经网络的训练过程进行说明。基于卷积神经网络的深度学习方法，通过深层的网络可以更好地拟合输入食材图像和输出识别结果之间的关系，具有较高的识别率。
在本发明的实施例中，卷积神经网络包括卷积层、池化层、激励层和全连接层，第一层的输入特征为训练图像，每层的输出特征作为下一层的输入特征，根据深度学习算法对训练图像进行处理进一步包括：卷积层对于输入特征通过卷积运算进行特征压缩；池化层对输入特征进行池化处理，将输入数据进行池化(降采样)，可以减少参数的冗余度；激励层将输入特征通过激励函数得到输出特征，并对所述输出特征进行归一化处理，常用的激励函数包括Relu，Maxout，sigmoid等。其中，输入经过激励函数之后的数据进行归一化处理，可以提高反向传播的有效性，提高模型泛化能力；全连接层的输入特征和输出特征所有结点之间有权重连接，即将前一层的输出数据和下一层的输出数据进行全连接，全连接层通常在网络的尾部，此时最后一层的数据为训练图像的标定结果。
概括地说，卷积神经网络的处理流程如图6所示，对于输入的训练图像，首先进行特征提取得到特征图像即进行卷积运算，对于特征图像进行降采样即进行池化处理，继而，归一化处理后得到的特征矢量作为全连接层数据输入到神经网络。通过大量的图像训练确定食材模型的参数，从而获得食材模型。当然，食材模型可以根据实际情况和需要对网络结构进行相应调整和设计。
具体来说，食材模型在采用卷积神经网络结构时，获得冰箱内食材图像即训练图像之后，对训练图像进行卷积运算以获得特征图像，并对该特征图像进行池化处理。通过卷积和池化的操作可以降低输入矢量包含的冗余信息，降低维度，大大地降低运算量。
下面对采用卷积神经网络结构的食材模型的训练的各个步骤进一步说明。
如图7所示，卷积神经网络的特征提取过程，包括：S710，获得一幅训练图像；S720，采用某种卷积核对训练图像进行卷积运算，S730，增加偏置；S740，获得特征图像。
其中，通过选定的卷积核对训练图像进行处理，首先，是基于局部感知野的原理。一般认为，人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后，在更高层将局部的信息综合起来就得到了全局的信息。
其次，可以认为图像的各个部分的统计特征是相同的，这也意味着在这一部分学习的特征也能用在另一部分上，所以对于此训练图像上的所有位置，都能使用同样的学习特征。就可以选用同样的卷积核进行处理，得到一副特征图像。
通过卷积运算，可以实现对待处理图像的降维。用一种特征描述图像会有信息量的丢失，可以采用不同的卷积核分别对训练图像进行卷积操作，得到一系列的特征图像。
在通过卷积运算获得了特征图像之后，下一步可以利用这些特征去做分类。理论上讲，可以用所有提取得到的特征去训练分类器，但是特征图像表达的只是图像的某种特征，依然存在着比较大的冗余度。利用静态图片的空间相关性，可以通过降采样的方式进一步降低冗余度。这种聚合的操作就叫做池化，根据池化的方法，也称为平均池化或者最大池化。
为了防止训练数据和测试数据的分布不同，导致泛化能力降低的问题，以及激励函数导致数据分布发生变化，在激励层之后将数据进行归一化操作，即将通过激励函数的数据进行归一化处理。同时，如果每批训练数据的分布不同，采用归一化处理也可以使训练速度增加。归一化处理可以简单的将每层的输入参数重新规整至0均值、1为方差的分布。通过归一化处理，可以提高泛化能力，提高训练速度。
食材模型可以在离线端完成训练，如图8所示，食材模型训练过程包括：S810，训练图像经过手工标记各种食材的位置；S820，卷积运算；S830，池化处理；S840，归一化操作得到输入矢量；S850，将归一化处理后的数据与训练图像的标定结果进行全连接。
参照图6所示，采用的是一层卷积运算，而在实际应用中，通常地，卷积神经网络包括多个的卷积层、池化层和激励层，以及卷积神经网络尾部的全连接层。即言，对训练图像进行多次的卷积运算、池化处理以及归一化，其中，卷积层的不同卷积核可以理解为获取不同的输出特征。采用一层卷积运算获得的特征往往是局部的，层数越高则获得的特征就会越全面化，所以，采用多层卷积可以使得获得特征更加全局化，可以根据需要对食材模型进行特定的设计。
另外，可以根据实际食材信息对食材模型的模型参数进行调整。具体地，上传至服务器的食材图像可以通过人工标定的方式确定实际食材信息，并将实际食材信息与识别结果进行对比，对于识别错误的图像，或者之前食材模型中没有包含的食物，可以通过上述食材模型的训练过程进行再训练，来调整食材模型参数。
相较于相关技术中无法应对食物种类的变化、新包装的更换等情况，以及对于识别种类增加，固定的食材模型无法应对，本申请的食材训练方法，可以根据食材信息对食材模型的模型参数进行调整，适应新的食材种类。另外，相对于相关技术中，对于识别结果没有有效的监测，针对识别率较低的食物无法进行优化，本申请的方法，采用监督学习的方式训练食材模型，并对识别结果进行检测，以及对模型参数调整，可以提高模型的泛化能力和学习能力。
下面参照附图描述根据本发明的有一方面实施例提出的冰箱。
图9是根据本发明的一个实施例的冰箱的框图，如图9所示，该冰箱100包括图像采集装置10。图像采集装置10用于采用冰箱内食材的图像，并将该图像传输至服务器，以使服务器根据食材模型对图像进行识别以获得食材信息，其中，食材模型为通过深度学习算法训练而获得的神经网络。
本发明实施例的冰箱100，通过图像采集装置10将采集的食材的图像发送至服务器，为服务器采用深度学习算法对冰箱内食材的识别提供数据基础。
进一步地，如图10所示，该图像采集装置10包括摄像模块11、通信模块12和控制模块13。其中，摄像模块11用于采集冰箱内食材的图像；通信模块12用于将冰箱内食材的图像发送至服务器；控制模块13用于分别对摄像模块11和通信模块12进行控制。
参照图10所示，图像采集装置10还包括照明模块14，照明模块14用于对冰箱100内食材所处环境进行照明，方便摄像模块11拍摄以获得食材图像。
其中，控制模块13在接收到冰箱100的控制器发出的关门信号之后，控制摄像模块11采集冰箱内食材的图像，并控制通信模块12将该图像发送至服务器200。
下面对本发明实施例的服务器进行说明。服务器100中可以部署食材模型。具体来说，服务器200对冰箱内食材进行识别时，服务器100获得冰箱内食材的图像，并根据食材模型对该图像进行识别以获得食材信息，例如食材的品类及其坐标，其中，食材模型为通过深度学习算法训练而获得的神经网络。将深度学习算法引入冰箱内食材的识别，通过增加神经网络层数可以更好地输出和输入的映射关系，提高识别准确度。
本发明实施例的服务器200，基于其强大的运算能力，将深度学习算法应用于图像识别，方法简单，识别率提高，可以更好地应用于对冰箱内数量较多的食材的识别。
其中，食材模型通过以下方式训练来获得：以预先采集和标定的冰箱内食材的图像作为训练图像，基于该训练图像根据深度学习算法确定模型参数以获得食材模型。在本发明的实施例中，食材模型可以包括卷积神经网络、递归神经网络和循环神经网络中的一种，可以通过BP算法确定模型参数。
具体来说，食材模型训练可以在离线端完成，拍摄的冰箱内的食材图像或者拍摄模拟冰箱环境下的食材图像并经过手工标记各种食材的位置，通过深度学习算法的操作获得输入矢量，进而与预先的标定结果进行全连接，通过大量的图像进行训练确定模型参数，相当于确定函数关系中的系数，参数训练完成即获得食材模型，将食材模型部署在服务器200上，从而，在进行图像识别时，服务器200可以将获得的冰箱内的食材图像作为输入，根据该食材模型实现对食材的位置和品类的识别，并提供识别结果，识别结果可以反馈会冰箱或者提供给相应人员。
综上所述，本发明实施例提供了食材识别系统、食材识别方法以及食材模型训练方法和冰箱、服务器，并且将深度学习算法应用在食材识别上，以本地摄像和在线识别结合的方式，利用服务器的运算能力进行图像识别。其中，在食材模型训练阶段，采集大量食材图像，对图像中的食材进行标记例如4点标记，对食材在空间坐标信息和像素信息经过处理，为各种食材建立深度神经网络模型。在食材模型训练过程中，采用特征映射的方法提取图像的各种特征参数，即保留图像的特征，并去处冗余度，大幅度减小运算。在识别阶段，将本地图像上传后，在服务器端匹配食材模型，生成食材以及其坐标。在检验阶段，通过人工标定被测图像的食材和位置，对比服务器的识别结果，得到识别率结果，并通过再训练调整模型参数，提升实际性能。
需要说明的是，在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (21)

1.一种食材识别系统，其特征在于，包括：
冰箱，所述冰箱包括图像采集装置，所述图像采集装置用于采集冰箱内食材的图像；
服务器，所述服务器获得所述冰箱内食材的图像，并根据食材模型对所述图像进行识别以获得食材信息，所述食材模型为通过深度学习算法训练而获得的神经网络。
2.如权利要求1所述的食材识别系统，其特征在于，所述图像采集装置包括：
摄像模块，用于采集所述冰箱内食材的图像；
通信模块，用于将所述冰箱内食材的图像发送至所述服务器；和
控制模块，用于分别对所述摄像模块和所述通信模块进行控制。
3.如权利要求2所述的食材识别系统，其特征在于，所述图像采集装置还包括：
照明模块，用于对冰箱内食材所处环境进行照明。
4.如权利要求2所述的食材识别系统，其特征在于，所述控制模块，在接收到所述冰箱的控制器发出的关门信号之后，控制所述摄像模块采集所述冰箱内食材的图像，并控制所述通信模块将所述图像发送至所述服务器。
5.如权利要求1所述的食材识别系统，其特征在于，所述食材模型通过以下方式训练来获得：
以预先采集和标定的所述冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法确定模型参数以获得所述食材模型。
6.如权利要求5所述的食材识别系统，其特征在于，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
7.一种食材识别方法，其特征在于，包括以下步骤：
获得冰箱内食材的图像；
根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
8.如权利要求7所述的食材识别方法，其特征在于，所述食材模型通过以下方式训练来获得：
以预先采集和标定的所述冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法确定模型参数以获得所述食材模型。
9.如权利要求8所述的食材识别方法，其特征在于，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
10.一种食材模型训练方法，其特征在于，包括以下步骤：
获得预先采集和标定的冰箱内食材的图像作为训练图像；
根据深度学习算法对所述训练图像进行处理来确定模型参数以获得食材模型。
11.如权利要求10所述的食材模型训练方法，其特征在于，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
12.如权利要求11所述的食材模型训练方法，其特征在于，其中，所述卷积神经网络包括卷积层、池化层、激励层和全连接层，第一层的输入特征为所述训练图像，每层的输出特征作为下一层的输入特征，根据深度学习算法对所述训练图像进行处理进一步包括：
卷积层对于输入特征通过卷积运算进行特征压缩；
池化层对输入特征进行池化处理；
激励层将输入特征通过激励函数得到输出特征，并对所述输出特征进行归一化处理；
全连接层的输入特征和输出特征所有结点之间有权重连接。
13.如权利要求12所述的食材模型训练方法，其特征在于，所述卷积神经网络包括多个的卷积层、池化层和激励层，以及所述卷积神经网络尾部的全连接层，其中，卷积层的不同卷积核获取不同的输出特征。
14.如权利要求10所述的食材模型训练方法，其特征在于，还包括：根据实际食材信息对所述食材模型的模型参数进行调整。
15.一种冰箱，其特征在于，包括：
图像采集装置，所述图像采集装置用于采用冰箱内食材的图像，并将所述图像传输至服务器，以使所述服务器根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
16.如权利要求15所述的冰箱，其特征在于，所述图像采集装置包括：
摄像模块，用于采集所述冰箱内食材的图像；
通信模块，用于将所述冰箱内食材的图像发送至所述服务器；和
控制模块，用于分别对所述摄像模块和所述通信模块进行控制。
17.如权利要求16所述的冰箱，其特征在于，所述图像采集装置还包括：
照明模块，用于对冰箱内食材所处环境进行照明。
18.如权利要求16所述的冰箱，其特征在于，所述控制模块，在接收到所述冰箱的控制器发出的关门信号之后，控制所述摄像模块采集所述冰箱内食材的图像，并控制所述通信模块将所述图像发送至所述服务器。
19.一种服务器，其特征在于，所述服务器，获得所述冰箱内食材的图像，并根据食材模型对所述图像进行识别以获得食材信息，其中，所述食材模型为通过深度学习算法训练而获得的神经网络。
20.如权利要求19所述的服务器，其特征在于，所述食材模型通过以下方式训练来获得：
以预先采集和标定的冰箱内食材的图像作为训练图像，基于所述训练图像根据所述深度学习算法确定模型参数以获得所述食材模型。
21.如权利要求19所述的服务器，其特征在于，所述食材模型包括卷积神经网络、递归神经网络和循环神经网络中的一种。
CN201610802809.5A 2016-09-05 2016-09-05 食材识别系统和方法、食材模型训练方法、冰箱和服务器 Pending CN107798277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610802809.5A CN107798277A (zh) 2016-09-05 2016-09-05 食材识别系统和方法、食材模型训练方法、冰箱和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610802809.5A CN107798277A (zh) 2016-09-05 2016-09-05 食材识别系统和方法、食材模型训练方法、冰箱和服务器

Publications (1)

Publication Number Publication Date
CN107798277A true CN107798277A (zh) 2018-03-13

Family

ID=61530467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610802809.5A Pending CN107798277A (zh) 2016-09-05 2016-09-05 食材识别系统和方法、食材模型训练方法、冰箱和服务器

Country Status (1)

Country Link
CN (1) CN107798277A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
CN108615015A (zh) * 2018-04-28 2018-10-02 海信（山东）冰箱有限公司 一种冰箱内部食材的识别方法、设备及图像识别系统
CN108846314A (zh) * 2018-05-08 2018-11-20 天津大学 一种基于深度学习的食材辨识系统和食材辨识方法
CN109145973A (zh) * 2018-08-10 2019-01-04 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池缺陷的方法和装置
CN110659642A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 图像处理方法、装置、系统以及计算机可读介质
CN110689516A (zh) * 2018-06-19 2020-01-14 佛山市顺德区美的电热电器制造有限公司 一种质量检测的方法、装置以及计算机存储介质
CN110857831A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 控制冰箱温度的方法及装置
CN110858279A (zh) * 2018-08-22 2020-03-03 格力电器（武汉）有限公司 食材识别方法及装置
CN110969047A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 识别食材的方法、装置和冰箱
WO2020073601A1 (zh) * 2018-10-09 2020-04-16 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
CN111435455A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 图片的处理方法和装置
CN111611993A (zh) * 2019-02-25 2020-09-01 青岛海尔智能技术研发有限公司 冰箱中食材体积识别的方法、装置及计算机存储介质
CN111692830A (zh) * 2019-03-13 2020-09-22 青岛海尔电冰箱有限公司 冰箱的控制方法及采用该控制方法的冰箱
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
CN112579802A (zh) * 2020-10-28 2021-03-30 深圳市农产品质量安全检验检测中心(深圳市动物疫病预防控制中心) 农产品种类模型库建立方法
CN113124635A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113269208A (zh) * 2021-06-12 2021-08-17 四川虹美智能科技有限公司 基于物联网冰箱的食材识别系统
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN113915840A (zh) * 2021-10-18 2022-01-11 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
CN113915841A (zh) * 2021-10-18 2022-01-11 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
CN114485037A (zh) * 2022-02-11 2022-05-13 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
WO2023065933A1 (zh) * 2021-10-18 2023-04-27 海信冰箱有限公司 冰箱、冰箱管理系统及冰箱管理系统的控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103335485A (zh) * 2013-02-07 2013-10-02 江苏大学 基于物联网技术的智能冰箱及其存储食品管理方法
CN103604273A (zh) * 2013-11-13 2014-02-26 四川长虹电器股份有限公司 智能冰箱食品管理的方法
CN104636757A (zh) * 2015-02-06 2015-05-20 中国石油大学(华东) 一种基于深度学习的食物图像识别方法
CN104916090A (zh) * 2015-04-27 2015-09-16 小米科技有限责任公司 提示信息发送方法及装置
CN105120226A (zh) * 2015-09-09 2015-12-02 合肥华凌股份有限公司 图像采集装置、方法及冰箱
CN105164481A (zh) * 2013-04-10 2015-12-16 Lg电子株式会社 利用影像识别的冰箱的保管品目管理方法及其冰箱
CN105512676A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种智能终端上的食物识别方法
CN105758108A (zh) * 2016-03-09 2016-07-13 北京京东尚科信息技术有限公司 用于智能冷藏设备的信息反馈方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103335485A (zh) * 2013-02-07 2013-10-02 江苏大学 基于物联网技术的智能冰箱及其存储食品管理方法
CN105164481A (zh) * 2013-04-10 2015-12-16 Lg电子株式会社 利用影像识别的冰箱的保管品目管理方法及其冰箱
CN103604273A (zh) * 2013-11-13 2014-02-26 四川长虹电器股份有限公司 智能冰箱食品管理的方法
CN104636757A (zh) * 2015-02-06 2015-05-20 中国石油大学(华东) 一种基于深度学习的食物图像识别方法
CN104916090A (zh) * 2015-04-27 2015-09-16 小米科技有限责任公司 提示信息发送方法及装置
CN105120226A (zh) * 2015-09-09 2015-12-02 合肥华凌股份有限公司 图像采集装置、方法及冰箱
CN105512676A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种智能终端上的食物识别方法
CN105758108A (zh) * 2016-03-09 2016-07-13 北京京东尚科信息技术有限公司 用于智能冷藏设备的信息反馈方法和装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615015A (zh) * 2018-04-28 2018-10-02 海信（山东）冰箱有限公司 一种冰箱内部食材的识别方法、设备及图像识别系统
CN108846314A (zh) * 2018-05-08 2018-11-20 天津大学 一种基于深度学习的食材辨识系统和食材辨识方法
CN108357517A (zh) * 2018-05-21 2018-08-03 北京京天威科技发展有限公司 动车组列车运行故障信息检测方法和系统
CN110689516A (zh) * 2018-06-19 2020-01-14 佛山市顺德区美的电热电器制造有限公司 一种质量检测的方法、装置以及计算机存储介质
CN110659642A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 图像处理方法、装置、系统以及计算机可读介质
CN109145973A (zh) * 2018-08-10 2019-01-04 北京百度网讯科技有限公司 用于检测单晶硅太阳能电池缺陷的方法和装置
CN110858279A (zh) * 2018-08-22 2020-03-03 格力电器（武汉）有限公司 食材识别方法及装置
CN110857831A (zh) * 2018-08-23 2020-03-03 珠海格力电器股份有限公司 控制冰箱温度的方法及装置
CN110969047A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 识别食材的方法、装置和冰箱
WO2020073601A1 (zh) * 2018-10-09 2020-04-16 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
CN111435455A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 图片的处理方法和装置
CN111611993A (zh) * 2019-02-25 2020-09-01 青岛海尔智能技术研发有限公司 冰箱中食材体积识别的方法、装置及计算机存储介质
CN111692830A (zh) * 2019-03-13 2020-09-22 青岛海尔电冰箱有限公司 冰箱的控制方法及采用该控制方法的冰箱
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
CN113124635A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113124636B (zh) * 2019-12-31 2022-05-24 海信集团有限公司 冰箱
CN112579802A (zh) * 2020-10-28 2021-03-30 深圳市农产品质量安全检验检测中心(深圳市动物疫病预防控制中心) 农产品种类模型库建立方法
CN113269208A (zh) * 2021-06-12 2021-08-17 四川虹美智能科技有限公司 基于物联网冰箱的食材识别系统
CN113606858A (zh) * 2021-08-10 2021-11-05 长虹美菱股份有限公司 一种冰箱温度设置及修正提醒装置和控制方法
CN113915840A (zh) * 2021-10-18 2022-01-11 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
CN113915841A (zh) * 2021-10-18 2022-01-11 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
WO2023065933A1 (zh) * 2021-10-18 2023-04-27 海信冰箱有限公司 冰箱、冰箱管理系统及冰箱管理系统的控制方法
CN114485037A (zh) * 2022-02-11 2022-05-13 海信（山东）冰箱有限公司 一种冰箱及其食材定位方法
CN114485037B (zh) * 2022-02-11 2024-04-05 海信冰箱有限公司 一种冰箱及其食材定位方法

Similar Documents

Publication Publication Date Title
CN107798277A (zh) 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN109670532B (zh) 生物体器官组织图像的异常识别方法、装置及系统
DE112019005671T5 (de) Bestimmen von assoziationen zwischen objekten und personen unter verwendung von maschinenlernmodellen
Gouda et al. Skin cancer classification using ResNet
Blok et al. The effect of data augmentation and network simplification on the image‐based detection of broccoli heads with Mask R‐CNN
CN110349156A (zh) 眼底图片中病变特征的识别方法和装置、存储介质
WO2018040105A1 (zh) 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN110472611A (zh) 人物属性识别的方法、装置、电子设备及可读存储介质
CN108776786A (zh) 用于生成用户真伪识别模型的方法和装置
KR20180055070A (ko) 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치
CN107944399A (zh) 一种基于卷积神经网络目标中心模型的行人重识别方法
CN107423721A (zh) 人机交互动作检测方法、装置、存储介质及处理器
CN111666800A (zh) 一种行人重识别模型训练方法及行人重识别方法
Krishna et al. Classification of Glaucoma Optical Coherence Tomography (OCT) Images Based on Blood Vessel Identification Using CNN and Firefly Optimization.
CN113807183A (zh) 模型训练方法及相关设备
KR20190015656A (ko) Ｉｏｔ 기반 과수 모니터링 시스템 및 방법
CN110705564B (zh) 图像识别的方法和装置
KR102410285B1 (ko) Cctv 영상 데이터를 통한 낙상 사고 감지 방법 및 시스템
WO2020050973A9 (en) Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
TW202100944A (zh) 基於立體視覺的生物自動量測系統及其量測方法
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
KR20210041328A (ko) 인공지능 기반 얼굴 인식 장치 및 방법
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
CN110399782A (zh) 儿童自动照顾现场应对装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication