CN106897661B - 一种食材图像的智能化识别方法、系统和家用电器 - Google Patents

一种食材图像的智能化识别方法、系统和家用电器 Download PDF

Info

Publication number
CN106897661B
CN106897661B CN201710007842.3A CN201710007842A CN106897661B CN 106897661 B CN106897661 B CN 106897661B CN 201710007842 A CN201710007842 A CN 201710007842A CN 106897661 B CN106897661 B CN 106897661B
Authority
CN
China
Prior art keywords
food material
candidate region
neural network
layer
area network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710007842.3A
Other languages
English (en)
Other versions
CN106897661A (zh
Inventor
戴江
张俊
王岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Midea Intelligent Technologies Co Ltd
Original Assignee
Hefei Hualing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hualing Co Ltd filed Critical Hefei Hualing Co Ltd
Priority to CN201710007842.3A priority Critical patent/CN106897661B/zh
Publication of CN106897661A publication Critical patent/CN106897661A/zh
Application granted granted Critical
Publication of CN106897661B publication Critical patent/CN106897661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G06F19/3475—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明特别涉及一种食材图像的智能化识别方法、系统和家用电器。方法包括以下步骤：建立卷积神经网络，并采用Map/Reduce并行方式对卷积神经网络进行训练；获取智能电器中的食材图像；采用训练结束的卷积神经网络对食材图像进行识别，获取食材类型和食材在家用电器中的位置。本发明采用Map/Reduce并行方式对卷积神经网络进行训练，极大地提高了所述卷积神经网络的训练速度，即使家用电器中出现了新的食材需要对卷积神经网络进行更新也不需要花费过多时间，从而提高了家用电器中食材识别效率。

Description

一种食材图像的智能化识别方法、系统和家用电器
技术领域
本发明涉及家用电器控制领域，特别涉及一种食材图像的智能化识别方法、系统和家用电器。
背景技术
随着人工智能技术的发展，尤其是深度学习方法的出现，在图像识别开始具有实用化的价值。然而在家用电器的食材识别方面，由于食材种类的繁多，训练速度很慢。而当模型部署好之后，出现了新的种类后，需要对模型进行更新，这个时间过长会在很大程度上影响这段时间食材识别的识别率。
发明内容
本发明提供了一种食材图像的智能化识别方法、系统和家用电器，解决了以上所述的技术问题。
本发明解决上述技术问题的技术方案如下：
依据本发明一个方面，提供了一种食材图像的智能化识别方法，包括以下步骤：
步骤1，建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
步骤2，获取智能电器中的食材图像；
步骤3，采用步骤1训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置。
本发明的有益效果是：本发明的智能化识别方法采用Map/Reduce并行方式对卷积神经网络进行训练，极大地提高了所述卷积神经网络的训练速度，即使家用电器中出现了新的食材需要对卷积神经网络进行更新也不需要花费过多时间，从而提高了家用电器中食材识别效率。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，还包括步骤4，具体为：根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。
采用上述进一步方案的有益效果是：本发明的进一步技术方案中可以根据食材类型和食材在家用电器中的位置，提供更加细致的控制方案，从而提高用户的使用感受。
进一步，所述步骤1具体为：
S1，采集智能电器中的食材图像样本；
S2，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
S3，形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
S4，在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
S5，在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
S6，采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
S7，重复步骤S3～S6，直到所述区域网络的预设损失函数的函数值达到预设值。
进一步，所述步骤S4中，每个Mapper端输出所述食材图像样本上的目标候选区域的具体步骤包括：
根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；
对所述得分进行排序，并按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
采用上述进一步方案的有益效果是：本进一步技术方案采用了Faster R-CNN卷积神经网络，Faster R-CNN使用卷积神经网络直接产生候选区域，将候选区域和常规卷积神经网络分类模型融合到了一起，使用端到端的网络进行目标检测，无论在训练速度上还是识别精度上都得到了很大的提高，从而进一步提高了对家用电器内食材的识别速度，提高了用户体验感受。同时，本进一步技术方案采用了Map/Reduce并行方式，将获取目标候选区域和训练分类模型交由不同机器进行处理，从而更好的利用多计算机的运算能力，进一步缩短模型训练和更新的周期。
依据本发明的另一方面，还提供了一种食材图像的智能化识别系统，包括模型训练模块、图像获取模块和识别模块，
所述模型训练模块用于建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
所述图像获取模块用于获取智能电器中的食材图像；
所述识别模块用于采用训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置。
本发明的有益效果是：本发明的智能化识别系统采用Map/Reduce并行方式对卷积神经网络进行训练，极大地提高了所述卷积神经网络的训练速度，即使家用电器中出现了新的食材需要对卷积神经网络进行更新也不需要花费过多时间，从而提高了家用电器中食材识别效率。
进一步，还包括控制模块，所述控制模块用于根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。
采用上述进一步方案的有益效果是：本进一步技术方案可以根据食材类型和食材在家用电器中的位置，提供更加细致的控制方案，从而提高用户的使用感受。
进一步，所述模型训练模块包括：
采集单元，用于采集智能电器中的食材图像样本；
构建单元，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
切片单元，用于形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
Map单元，用于在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
Reduce单元，用于在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
参数调整单元，用于采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
控制单元，用于驱动切片单元根据调整后的所述区域神经网络的参数形成新的输入文件，并依次驱动Map单元、Reduce单元和参数调整单元，直到所述区域神经网络的预设损失函数的函数值达到预设值。
进一步，Map单元具体用于根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；并对所述得分进行排序，按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
采用上述进一步方案的有益效果是：本进一步技术方案采用了Faster R-CNN卷积神经网络，Faster R-CNN使用卷积神经网络直接产生候选区域，将候选区域和常规卷积神经网络分类模型融合到了一起，使用端到端的网络进行目标检测，无论在训练速度上还是识别精度上都得到了很大的提高，从而进一步提高了对家用电器内食材的识别速度，提高了用户体验感受。同时，该实施例采用了Map/Reduce并行方式，将获取目标候选区域和训练分类模型交由不同机器进行处理，从而更好的利用多计算机的运算能力，进一步缩短模型训练和更新的周期。
为了解决本发明的技术问题，还提供了一种家用电器，包括以上所述的食材图像的智能化识别系统。
进一步，所述家用电器为冰箱、微波炉或者烤箱。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明一实施例提供的一种食材图像的智能化识别方法的流程示意图；
图2为本发明另一实施例提供的一种食材图像的智能化识别方法的流程示意图；
图3为本发明一实施例提供的食材图像的智能化识别方法中步骤1的流程示意图；
图4为本发明一实施例提供的一种食材图像的智能化识别系统的结构示意图；
图5为本发明另一实施例提供的一种食材图像的智能化识别系统的结构示意图；
图6为本发明一实施例提供的食材图像的智能化识别系统中模型训练模块的结构示意图；
图7为本发明一实施例提供的家用电器的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
卷积神经网络(Convolutional Neural Network,CNN)是近年来发展起来的高效识别方法，尤其是在图像识别和模式分类领域引起了广泛重视。对卷积神经网络模型进行训练包括以下步骤：
1、采用卷积层对输入图片进行卷积处理。所述卷积层包括卷积核，通过选定的卷积核对图片进行处理首先是基于局部感知野的原理。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。其次，可以认为图像的各个部分的统计特征是相同的，这也意味着在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征，就可以选用同样的卷积核进行处理，得到特征图像。
2、对卷积后的数据进行池化处理。池化的作用是通过降采样的方式进一步降低冗余度。这是利用静态图片的空间相关性，可以认为经过卷积得到的特征图表述了图像的某种特征，邻近各点之间具有较强的相关性，可以利用降采样降低冗余。
3、经过若干次卷积和池化后得到最终的特征图。通常卷积和池化的操作会进行若干次，之后得到最终的特征图。
4、在特征图和输出之间建立全连结；
5、建立全连接之后可以通过损失函数计算模型输出和实际输出的差，通过反向运算修正各层参数，从而使损失函数值最小，完成训练过程。将训练完成的卷积神经网络模型对输入图像进行运算，即可得到输入图像的类别或者位置数据。位置数据通常采用(x，y，w，h)表示，x，y为坐标值，w为宽度，h为高度，上述位置数据在输入图像上的显示结果即是一个框住输入图像中目标检测物体的矩形框。
具体到本发明中，可以采用训练好的神经网络图像对家用电器，比如冰箱、微波炉等的食材进行识别，获取食材类别和食材在家用电器中所处的位置。具体的，家用电器食材识别可以认为是近似背景下，多种不同前景物体的检测和识别。家用电器中食材的拍摄场景固定，可以认为具有相似的背景，而识别的物体种类不同，位置也随机摆放，可以看作不同的前景。检测的任务是检测出每种食材的位置，通常用(x,y,w,h)表示，其中(x,y)代表食材左上角的坐标，w为其宽度，h为其高度；而识别的任务是分辨出检测到的食材属于那种类型。
图1为本发明实施例提供的一种食材图像的智能化识别方法的流程示意图，如图1所示，包括以下步骤：
步骤1，建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
步骤2，获取智能电器中的食材图像；
步骤3，采用步骤1训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置。
本实施例的智能化识别方法采用Map/Reduce并行方式对卷积神经网络进行训练，极大地提高了所述卷积神经网络的训练速度，即使家用电器中出现了新的食材需要对卷积神经网络进行更新也不需要花费过多时间，从而提高了家用电器中食材识别效率。
在优选实施例中，还包括步骤4，如图2所示，具体为：根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。比如当家用电器为冰箱时，根据食材种类可以得到该食材的最佳冷藏温度或者冷冻温度，再结合该食材在冰箱中的位置，可以单独对该位置所处区域的温度进行控制或者提醒用户更换食材在冰箱中的位置，使每个食材都能得到最合适的冷藏温度或者冷冻温度。再比如家用电器为烤箱时，根据食材种类可以得到该食材的最佳烹饪温度和烹饪时间，再结合该食材在烤箱中的位置，可以单独对该位置所处区域的温度进行控制，以得到最好的烹饪效果。
一个优选的实施例中，所述步骤1具体包括以下步骤，如图3所示，
S1，采集智能电器中的食材图像样本；
S2，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
S3，形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
S4，在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
S5，在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
S6，采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
S7，重复步骤S3～S6，直到所述区域网络的预设损失函数的函数值达到预设值。
该实施例中，所述节点数目和所述输入文件的个数一致,每个节点的Mapper端分别获取一个所述输入文件，根据所述输入文件即可对区域网络进行训练，并通过区域网络在所述食材图像样本上生成至少一个目标候选区域。该实施例中，步骤S4中每个Mapper端输出所述食材图像样本上的目标候选区域的具体步骤为：根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；对所述得分进行排序，并按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
上述优选实施例中，采用了Faster R-CNN卷积神经网络，Faster R-CNN使用卷积神经网络直接产生候选区域，将候选区域和常规卷积神经网络分类模型融合到了一起，使用端到端的网络进行目标检测，无论在训练速度上还是识别精度上都得到了很大的提高，从而进一步提高了对家用电器内食材的识别速度，提高了用户体验感受。同时，本实施例采用了Map/Reduce并行方式，将获取目标候选区域和训练分类模型交由不同机器进行处理，从而更好的利用多计算机的运算能力，进一步缩短模型训练和更新的周期。当然在其他的实施例中，还可以采用其他的并行训练方案，比如将用于训练的食材图像样本进行切片，不同机器对相应部分的食材图像样本进行完整训练，最后对训练结果进行融合，得到神经网络模型。
图4为本发明实施例提供的一种食材图像的智能化识别系统的结构示意图，如图4所示，包括模型训练模块、图像获取模块和识别模块，
所述模型训练模块用于建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
所述图像获取模块用于获取智能电器中的食材图像；
所述识别模块用于采用训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置。
本实施例的智能化识别系统采用Map/Reduce并行方式对卷积神经网络进行训练，极大地提高了所述卷积神经网络的训练速度，即使家用电器中出现了新的食材需要对卷积神经网络进行更新也不需要花费过多时间，从而提高了家用电器中食材识别效率。
优选实施例中，所述食材图像的智能化识别系统还包括控制模块，如图5所示，所述控制模块用于根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。比如当家用电器为冰箱时，控制模块根据食材种类可以得到该食材的最佳冷藏温度或者冷冻温度，再结合该食材在冰箱中的位置，可以单独对该位置所处区域的温度进行控制或者提醒用户更换食材在冰箱中的位置，使每个食材都能得到最合适的冷藏温度或者冷冻温度。再比如家用电器为烤箱时，控制模块根据食材种类可以得到该食材的最佳烹饪温度和烹饪时间，再结合该食材在烤箱中的位置，可以单独对该位置所处区域的温度进行控制，以得到最好的烹饪效果。
图6为一个优选实施例中所述模型训练模块的结构示意图，如图6所示，所示模型训练模块包括：
采集单元，用于采集智能电器中的食材图像样本；
构建单元，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
切片单元，用于形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
Map单元，用于在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
Reduce单元，用于在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
参数调整单元，用于采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
控制单元，用于驱动切片单元根据调整后的所述区域神经网络的参数形成新的输入文件，并依次驱动Map单元、Reduce单元和参数调整单元，直到所述区域神经网络的预设损失函数的函数值达到预设值。上述优选实施例中，所述Map单元具体用于根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；并对所述得分进行排序，按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
上述优选实施例中，采用了Faster R-CNN卷积神经网络，Faster R-CNN使用卷积神经网络直接产生候选区域，将候选区域和常规卷积神经网络分类模型融合到了一起，使用端到端的网络进行目标检测，无论在训练速度上还是识别精度上都得到了很大的提高，从而进一步提高了对家用电器内食材的识别速度，提高了用户体验感受。同时，该实施例采用了Map/Reduce并行方式，将获取目标候选区域和训练分类模型交由不同机器进行处理，从而更好的利用多计算机的运算能力，进一步缩短模型训练和更新的周期。当然在其他的实施例中，还可以采用其他的并行训练方案，比如将用于训练的食材图像样本进行切片，不同机器对相应部分的食材图像样本进行完整训练，最后对训练结果进行融合，得到神经网络模型。
如图7所述，为另一实施例提供的家用电器的结构示意图，所述家用电器包括以上所述的食材图像的智能化识别系统。具体实施例中，所述家用电器为冰箱、微波炉或者烤箱。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种食材图像的智能化识别方法，其特征在于，包括以下步骤：
步骤1，建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
步骤2，获取智能电器中的食材图像；
步骤3，采用步骤1训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置；
所述步骤1具体为：
S1，采集智能电器中的食材图像样本；
S2，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
S3，形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
S4，在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
S5，在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
S6，采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
S7，重复步骤S3～S6，直到所述区域网络的预设损失函数的函数值达到预设值。
2.根据权利要求1所述的食材图像的智能化识别方法，其特征在于，还包括步骤4，具体为：根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。
3.根据权利要求1所述的食材图像的智能化识别方法，其特征在于，所述步骤S4中，每个Mapper端输出所述食材图像样本上的至少一个目标候选区域的具体步骤包括：
根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；
对所述得分进行排序，并按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
4.一种食材图像的智能化识别系统，其特征在于，包括模型训练模块、图像获取模块和识别模块，
所述模型训练模块用于建立用于检测食材类型和食材位置的卷积神经网络，并采用Map/Reduce并行方式对所述卷积神经网络进行训练；
所述图像获取模块用于获取智能电器中的食材图像；
所述识别模块用于采用训练结束的卷积神经网络对所述食材图像进行识别，获取食材类型和食材在家用电器中的位置；
所述模型训练模块包括：
采集单元，用于采集智能电器中的食材图像样本；
构建单元，构建卷积神经网络，所述卷积神经网络包括区域网络和分类网络，所述区域网络包括至少一个卷积层、至少一个池化层和两个全连接层；
切片单元，用于形成多个输入文件，每个输入文件包括食材图像样本、区域网络中池化层的模型参数、全连接层的模型参数和卷积层中的至少一个卷积核；
Map单元，用于在hadoop平台各个节点的Mapper端启动Map任务，每个Mapper端分别获取所述输入文件，并输出所述食材图像样本上的至少一个目标候选区域；
Reduce单元，用于在hadoop平台各个节点的Reducer端启动Reduce任务，每个Reducer端获取至少一个所述目标候选区域，并采用至少一个所述目标候选区域和反向传播算法对所述分类网络进行一次训练，以优化所述分类网络的参数；
参数调整单元，用于采用训练后的所述分类网络对所述区域网络进行初始化，以使所述区域网络与所述分类网络共享卷积层，并调整所述区域网络中池化层和全连接层的参数；
控制单元，用于驱动切片单元根据调整后的所述区域神经网络的参数形成新的输入文件，并依次驱动Map单元、Reduce单元和参数调整单元，直到所述区域神经网络的预设损失函数的函数值达到预设值。
5.根据权利要求4所述的食材图像的智能化识别系统，其特征在于，还包括控制模块，所述控制模块用于根据食材类型和食材在家用电器中的位置，采用对应的控制方法对家用电器进行控制。
6.根据权利要求4所述的食材图像的智能化识别系统，其特征在于，Map单元具体用于根据所述输入文件采用所述区域网络中的卷积层和池化层对所述食材图像样本进行处理，生成特征图像，将所述特征图像输入到所述区域网络的两个全连接层，一个全连接层输出至少一个候选区域，所述候选区域为所述食材图像样本中目标食材所处的区域；另一个全连接层输出每个候选区域为目标候选区域的得分；并对所述得分进行排序，按照排序结果对所述候选区域进行筛选，生成至少一个目标候选区域。
7.一种家用电器，其特征在于，包括权利要求4～6任一所述的食材图像的智能化识别系统。
8.根据权利要求7所述的家用电器，其特征在于，所述家用电器为冰箱、微波炉或者烤箱。
CN201710007842.3A 2017-01-05 2017-01-05 一种食材图像的智能化识别方法、系统和家用电器 Active CN106897661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710007842.3A CN106897661B (zh) 2017-01-05 2017-01-05 一种食材图像的智能化识别方法、系统和家用电器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710007842.3A CN106897661B (zh) 2017-01-05 2017-01-05 一种食材图像的智能化识别方法、系统和家用电器

Publications (2)

Publication Number Publication Date
CN106897661A CN106897661A (zh) 2017-06-27
CN106897661B true CN106897661B (zh) 2020-03-27

Family

ID=59199213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710007842.3A Active CN106897661B (zh) 2017-01-05 2017-01-05 一种食材图像的智能化识别方法、系统和家用电器

Country Status (1)

Country Link
CN (1) CN106897661B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563439A (zh) * 2017-08-31 2018-01-09 湖南麓川信息科技有限公司 一种识别清洗食材图片的模型及识别食材类别的方法
CN108197635B (zh) * 2017-11-29 2020-05-29 珠海格力电器股份有限公司 烹饪方式的展示方法及装置、抽油烟机
CN108038509B (zh) * 2017-12-21 2020-08-04 合肥美的智能科技有限公司 基于图像识别模型的图像识别方法和装置
CN108256580A (zh) * 2018-01-19 2018-07-06 中山市宾哥网络科技有限公司 基于深度学习的商品图像标注方法及其装置
CN108629767B (zh) * 2018-04-28 2021-03-26 Oppo广东移动通信有限公司 一种场景检测的方法、装置及移动终端
CN108829723B (zh) * 2018-05-08 2022-06-10 天津大学 基于复杂网络和深度学习的可交互智能冰箱健康服务终端
CN108846314A (zh) * 2018-05-08 2018-11-20 天津大学 一种基于深度学习的食材辨识系统和食材辨识方法
CN108766529A (zh) * 2018-05-16 2018-11-06 北京豆果信息技术有限公司 一种智能食谱推荐方法及系统
CN110772122B (zh) * 2018-07-31 2022-01-11 佛山市顺德区美的电热电器制造有限公司 烘干方法、装置、烘烤设备和计算机可读存储介质
CN110795959A (zh) * 2018-08-01 2020-02-14 周维 一种切片食材智能化识别方法和装置
CN109434844B (zh) * 2018-09-17 2022-06-28 鲁班嫡系机器人（深圳）有限公司 食材处理机器人控制方法、装置、系统、存储介质及设备
CN110969047A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 识别食材的方法、装置和冰箱
CN111329324A (zh) * 2018-12-18 2020-06-26 珠海格力电器股份有限公司 一种煲汤机的煲汤控制方法、装置、存储介质及煲汤机
CN111435229A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 控制烹饪模式的方法、装置和烹饪器具
CN110084244B (zh) * 2019-03-14 2023-05-30 上海达显智能科技有限公司 基于图像识别物体的方法、智能设备及应用
CN111860073A (zh) * 2019-04-30 2020-10-30 青岛海尔智能技术研发有限公司 一种食材图像识别的方法及装置、家电设备
CN111503990B (zh) * 2020-04-10 2021-06-01 海信集团有限公司 一种冰箱及食材识别方法
CN113465251B (zh) * 2020-05-28 2022-10-18 海信集团有限公司 智能冰箱及食材识别方法
CN113983737A (zh) * 2021-10-18 2022-01-28 海信（山东）冰箱有限公司 冰箱及冰箱的食材定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103363776A (zh) * 2012-03-30 2013-10-23 海尔集团公司 远程自适应调节温度的家电系统及温度调节方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103363776A (zh) * 2012-03-30 2013-10-23 海尔集团公司 远程自适应调节温度的家电系统及温度调节方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于 MapＲeduce的卷积神经网络算法研究;马焕芳等;《中国体视学与图像分析》;20151231;第2033页右栏第2段-2035页右栏第2段，附图1-5 *
基于快速区域卷积神经网络的交通标志识别算法研究;钟晓明;《2016中国汽车工程学会年会论文集》;20161026;第340页左栏第1段-第345页左栏第3段，附图1-3 *

Also Published As

Publication number Publication date
CN106897661A (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
CN106897661B (zh) 一种食材图像的智能化识别方法、系统和家用电器
Roy et al. Real-time growth stage detection model for high degree of occultation using DenseNet-fused YOLOv4
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及系统
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN111563601A (zh) 使用联合语义向量进行表示学习
CN107680106A (zh) 一种基于Faster R‑CNN的显著性目标检测方法
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN109191498B (zh) 基于动态记忆和运动感知的目标检测方法及系统
CN111626090B (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN109685806B (zh) 图像显著性检测方法及装置
CN113724155B (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
CN106097385A (zh) 一种目标跟踪的方法和装置
CN113221663A (zh) 一种实时手语智能识别方法、装置及系统
CN108986127A (zh) 图像分割神经网络的训练方法及图像分割方法、装置
Rajeswari et al. A modified ant colony optimization based approach for image edge detection
CN111223101B (zh) 点云处理方法、点云处理系统和存储介质
CN113177470A (zh) 行人轨迹预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180314

Address after: 230601 Building No. 198, building No. 198, Mingzhu Avenue, Anhui high tech Zone, Anhui

Applicant after: Hefei Midea Intelligent Technology Co., Ltd.

Address before: 230601 Hefei economic and Technological Development Zone, Fairview Road, Anhui

Applicant before: Hefei Hualing Co., Ltd.

Applicant before: Hefei Midea Refrigerator Co., Ltd.

Applicant before: Midea Group Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant