CN112784641A - 食材投料方法、装置及炒菜机 - Google Patents

食材投料方法、装置及炒菜机 Download PDF

Info

Publication number
CN112784641A
CN112784641A CN201911086272.7A CN201911086272A CN112784641A CN 112784641 A CN112784641 A CN 112784641A CN 201911086272 A CN201911086272 A CN 201911086272A CN 112784641 A CN112784641 A CN 112784641A
Authority
CN
China
Prior art keywords
food material
food
information
box
feeding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911086272.7A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911086272.7A priority Critical patent/CN112784641A/zh
Publication of CN112784641A publication Critical patent/CN112784641A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J2201/00—Devices having a modular construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Multimedia (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

本发明适用于家用电器技术领域，提供了一种食材投料方法、装置及炒菜机，该方法包括：采集当前烹饪下食材盒内的图像信息；根据图像信息识别出食材盒内各格所盛放食材的食材信息；当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。本发明通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放不便利的问题。

Description

食材投料方法、装置及炒菜机
技术领域
本发明属于家用电器技术领域，尤其涉及一种食材投料方法、装置及炒菜机。
背景技术
随着科技的不断发展和生活节奏的加快，厨房逐渐成为人们关注的重点。与传统的用户自己动手炒菜的手工式厨房相比，能够自动或者半自动进行烹饪的智能炒菜机可以为用户带来较大的生活便利，使得人们可以不用再考虑烹煮时间和烹煮方式等问题，智能炒菜机能够自动进行烹饪，从而更好的让人们享受美味。
但现有智能炒菜机使用过程中，食材需要摆放在食材盒内的固定位置，在烹饪时需按固定顺序进行食材的投放，使得造成需要严格按照固定顺序投料的不便。
发明内容
本发明实施例的目的在于提供一种食材投料方法，旨在解决现有炒菜机使用过程中，由于需要严格按照顺序进行食材摆放所导致的用户操作不便利的问题。
本发明实施例是这样实现的，一种食材投料方法，所述方法包括：
采集当前烹饪下食材盒内的图像信息；
根据图像信息识别出食材盒内各格所盛放食材的食材信息；
当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。
更进一步的，所述将食材盒内所对应的目标食材进行投料的步骤包括：
根据所述烹饪指令，确定出所需投料的目标食材信息；
根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
将食材盒内料框序号中的目标食材进行投料。
更进一步的，所述根据图像信息识别出食材盒内各格所盛放食材的食材信息的步骤包括：
将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像；
将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息。
更进一步的，所述将食材盒内料框序号中的目标食材进行投料的步骤之后，所述方法还包括：
获取投料后料框序号内的图像信息；
将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；
根据比对结果判断是否投料完全；
若否，则将食材盒内料框序号中的目标食材继续投料。
更进一步的，所述采集当前烹饪下食材盒内的图像信息的步骤之后包括：
获取完成烹饪所需的所有食材信息；
根据所有食材信息和食材盒内的各个食材信息进行比对，判断食材盒内是否完全包括所有食材信息；
若否，则根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息，以提示食材盒内缺少烹饪所需的缺省食材信息。
本发明实施例的另一目的在于提供一种食材投料装置，所述装置包括：
采集模块，用于采集当前烹饪下食材盒内的图像信息；
识别模块，用于根据图像信息识别出食材盒内各格所盛放食材的食材信息；
控制模块，用于当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。
更进一步的，所述控制模块包括：
第一确定单元，用于根据所述烹饪指令，确定出所需投料的目标食材信息；
第二确定单元，用于根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
控制单元，用于将食材盒内料框序号中的目标食材进行投料。
更进一步的，所述识别模块包括：
处理单元，用于将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
第三确定单元，用于对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
第四确定单元，用于根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像；
识别单元，用于将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息。
更进一步的，所述控制单元用于：
获取投料后料框序号内的图像信息；
将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；
根据比对结果判断是否投料完全；
若否，则将食材盒内料框序号中的目标食材继续投料。
更进一步的，所述装置还包括：
获取模块，用于获取完成烹饪所需的所有食材信息；
判断模块，用于根据所有食材信息和食材盒内的各个食材信息进行比对，判断食材盒内是否完全包括所有食材信息；
提示模块，用于当所述判断模块判断食材盒内未完全包括所有食材信息时，根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息，以提示食材盒内缺少烹饪所需的缺省食材信息。
本发明实施例的另一目的在于提供一种炒菜机，所述炒菜机包括上述的食材投料装置。
本发明实施例，通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放的不便利的问题。
附图说明
图1是本发明第一实施例提供的食材投料方法的流程图；
图2是本发明第二实施例提供的食材投料方法的流程图；
图3是本发明第三实施例提供的食材投料装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
现有的炒菜机使用过程中，食材需要严格按照固定顺序进行食材的摆放，进而导致用户操作不便利，因此，本发明实施例通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放的不便利的问题。
实施例一
请参阅图1，是本发明第一实施例提供的食材投料方法的流程图，包括步骤：
步骤S10，采集当前烹饪下食材盒内的图像信息；
其中，炒菜机中设有多格食材盒，每格食材盒的大小可以相同也可以不相同，每个食材盒均对应一料框序号，该炒菜机内设有拍摄设备，该拍摄设备可以为摄像头或具有拍摄功能的任意装置，该拍摄设备用于对当前烹饪下所有食材盒内的图像信息进行采集；
具体的，该步骤中，当炒菜机接收到用户发出的炒菜指令时，对应发送采集指令至拍摄设备，以触发拍摄设备对图像信息的采集；
此外，本实施例中，食材盒的底部设有重力传感器，当接收到炒菜指令时，判断重力传感器的当前检测值是否大于检测阈值，若否，则发出错误提示，以提示用户当前在食材盒中并未承载烹饪食材，优选的，该错误提示可以采用语音提示、光线提示、短信提示或图像提示的方式对用户进行提示；
步骤S20，根据图像信息识别出食材盒内各格所盛放食材的食材信息；
其中，可以采用图像识别的方式以进行食材信息的对应识别，以确定各格内所盛放食材的种类和名称，此外，该步骤中，还可以基于重力传感器对应进行各格食材重量的获取，以计算对应食材的食材量；
具体的，该步骤中基于神经网络模型的方式以对应进行食材信息的识别，对于该神经网络模型的训练包括以下步骤：
(1)首先通过炒菜机采集到的食材图像，同时利用其完成标签的制作。并将训练集转化成Tensorflow指定的数据文件格式(tf.data)；
(2)对训练图片的均值进行计算，进一步对其进行数据增广操作和白化处理；
(3)定义网络参数和训练参数；
(4)对网络进行训练，主要是通过采用随机梯度下降的方法对构建的网络模型进行迭代，每迭代一次就检测一次梯度，从而得到各个网络层的权重和偏置值的最优解。具体的，将训练数据分批送入Tensorflow网络进行训练，通过训练可得到对于当前训练样本最优的权重参数，将最优的网络参数保存到本地供后续的食材类别识别使用。；
(5)测试网络：利用(4)步骤训练好的网络结构模型对测试集中的食物图片进行测试，得到分类的准确度；
此外，本实施例中，神经网络模型通过对得到的图像信息进行料框区域分割，同时进行降噪处理。将处理后的图像输入训练好的卷积神经网络进行识别，对网络输出的结果进行处理，得到对应食材的检测框和置信度。进一步对得到结果中的检测框进行裁剪，然后再通过对置信度值进行降序排列，取置信度值最高的K个检测框，最后结合通过对top-k检测结果对应检测框和其置信度进行非极大值抑制处理，从而得到食材类别及检测框位置，通过检测框中心点和不同的料框中心点进行比对，最终得到食材对应的类别和其所属的料框序号。
更进一步的，为确保神经网络模型的结果能够获得最佳的准确率，该步骤中，通过提取炒菜机的预设菜谱得到食材对应的类别，并通过事先构建好的食材类别相似度数据库，计算神经网络模型输出每个类别跟每个实际食材类别之间的相似度，同时将相似度最高的类别做为最终的食材识别结果，从而大大提高食材识别的准确率；
步骤S30，当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料；
其中，该烹饪指令可以基于用户的投料指令或预设菜谱的方式进行触发，例如该烹饪指令可以在用户对炒菜机的触控控制下进行触发，以对应进行目标食材的投料；
优选的，当本地存储有预设菜谱时，该预设菜谱中存储多个投料时间与目标食材之间的对应关系，即当判断到计时时间等于投料时间时，针对对应目标食材进行该烹饪指令的发送，本实施例中，当完成步骤S20中各个食材信息的识别后开始计时，以得到该计时时间；
此外，本实施例中，还可基于步骤S20中各个食材信息的识别，以使与菜谱库进行匹配，以得到目标菜谱，并根据该目标菜谱中存储的投料时间对应进行烹饪指令的发送；
具体的，该步骤中可以采用机械臂的方式对应进行目标食材的投料，即当判断到任一目标食材需要进行投料时，获取该目标食材对应的食材盒料框序号，以使根据该标号查询操作控制指令，最终根据该操作控制指令对应控制机械臂进行目标食材的投料；
此外，本实施例中还可以采用投料器的方式对应进行食材的投料，即在食材盒的底部设有投料器，当判断到目标食材需要进行投料时，获取该目标食材对应的食材盒料框序号，以使投料器根据该料框序号控制对应食材盒进行翻转，以达到食材投料效果；
本实施例中，通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放的不便利的问题，通过在远程服务器对食材训练和识别，大大降低了智能炒菜机的硬件需求，以及提高了食材识别的速度。此外，可以实现一台服务器对多台炒菜机的请求进行响应，通过融合神经网络模型对食材的识别结果和菜谱提取得到的食材类别信息，大大提升了食材识别结果的准确率，本实施例方案简单、高效、易于实施且可行性强。
实施例二
请参阅图2，是本发明第二实施例提供的食材投料方法的流程图，包括步骤：
步骤S11，采集当前烹饪下食材盒内的图像信息，将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
其中，炒菜机中设有多格食材盒，每格食材盒的大小可以相同也可以不相同，每个食材盒均对应一料框序号，该炒菜机内设有拍摄设备，该拍摄设备可以为摄像头或具有拍摄功能的任意装置，该拍摄设备用于对当前烹饪下所有食材盒内的图像信息进行采集，该炒菜机内设有照明设备，该照明设备用于方便拍摄设备对图像信息的采集；
具体的，该步骤中，当炒菜机接收到用户发出的炒菜指令时，对应发送采集指令至拍摄设备，以触发拍摄设备对图像信息的采集，该炒菜指令可以采用语音指令、按键指令或触控指令的方式进行传输，该触控指令可以基于锅盖的方式进行触发，即在锅盖与炒菜机之间设有触控感应器，当判断到锅盖与炒菜机完成装配时，发出该炒菜指令；
步骤S21，对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
其中，将通过将图像信息中的当前帧图像作为前景，前一帧图像作为背景，通过当前帧和背景帧相减来获得差分图像，通过对差分图像进行二值化处理，并通过对二值化的结果利用形态学开操作，去除一些细小的突出，再进行闭操作，填补一些小洞和缝隙，从而得到较理想的新添加食材的掩膜；
步骤S31，根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像，将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息；
其中，将上述分割的结果输入神经网络模型进行目标检测及分类，对目标分类的结果进行数量统计，让后对统计结果进行降序排序，将top-1对应的类别做为最终的结果输出；
步骤S41，获取完成烹饪所需的所有食材信息，并根据所有食材信息和食材盒内的各个食材信息进行比对；
其中，本地存储有食材信息表，因此，该步骤可以基于食材信息表的获取以进行所有食材信息的获取；优选的，当本地存储有预设菜谱时，该步骤可以基于该预设菜谱以进行所有食材信息的获取，该步骤中，可以采用文字匹配或图像匹配的方式以对应进行所有食材信息和食材盒内各个食材信息之间的比对；
步骤S51，判断食材盒内是否完全包括所有食材信息；
其中，通过判断所有食材信息与食材盒内各个食材信息之间的数量和种类是否均相同，以判定食材盒内是否完全包括所有食材信息；
当步骤S51的判断结果为否时，执行步骤S61；
步骤S61，根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息；
其中，通过发出该提示信息的设计，以提示用户食材盒内缺少烹饪所需的缺省食材信息；
当步骤S51的判断结果为是时，直接执行步骤S71；
步骤S71，当获取到对于目标食材的烹饪指令时，根据所述烹饪指令确定出所需投料的目标食材信息，根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
具体的，该步骤中可以采用机械臂的方式对应进行目标食材的投料，即当判断到任一目标食材需要进行投料时，获取该目标食材对应的食材盒料框序号，以使根据该标号查询操作控制指令，最终根据该操作控制指令对应控制机械臂进行目标食材的投料；
此外，本实施例中还可以采用投料器的方式对应进行食材的投料，即在食材盒的底部设有投料器，当判断到目标食材需要进行投料时，获取该目标食材对应的食材盒料框序号，以使投料器根据该料框序号控制对应食材盒进行翻转，以达到食材投料效果；
步骤S81，将食材盒内料框序号中的目标食材进行投料，并获取投料后料框序号内的图像信息；
该步骤中，通过获得的每个料框的食材的分类结果，结合预设菜谱或目标菜谱中的食材投放时序，生成控制料框投放食材的动作指令。例如，炒菜机中的料框装有的食材分别007，009，012，003。此外，通过预设菜谱或目标菜谱信息得知在时刻1投放食材003，时刻2投放食材007，时刻3投放009，时刻4投放012。从而生成时刻1第4料框的执行机构动作信号，时刻2第1料框的执行机构动作信号，时刻3第2料框的执行机构动作信号，时刻4第3料框的执行机构动作信号，最终实现智能炒菜机的智能投料任务；
步骤S91，将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；
其中，通过基于投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息之间的比对设计，以使判定当前是否已完成食料的所有投料步骤；
步骤S101，根据比对结果判断是否投料完全；
当步骤S101的判断结果为否时，执行步骤S111；
步骤S111，将食材盒内料框序号中的目标食材继续投料；
优选的，所述将食材盒内料框序号中的目标食材继续投料的步骤之后，所述方法还包括：
获取当前目标食材的投料次数，当判断到投料次数大于投料阈值时，针对当前目标食材发出投料错误提示，以提示用户当前目标食材的投料步骤出现了错误，优选，该步骤中，可以采用语音、文字或图像的方式针对对应食材发出提示；
本实施例中，通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放的不便利的问题，本实施例基于食材添加时序曲线的绘制，有效的提高了食材投放的准确性，且通过可以在远程服务器对食材训练和识别，大大降低了智能炒菜机的硬件需求，以及提高了食材识别的速度。此外，可以实现一台服务器对多台炒菜机的请求进行响应，通过融合神经网络模型对食材的识别结果和菜谱提取得到的食材类别信息，大大提升了食材识别结果的准确率，本实施例方案简单、高效、易于实施且可行性强。
实施例三
请参阅图3，是本发明第三实施例提供的食材投料装置100的结构示意图，包括：采集模块10、识别模块20和控制模块30，其中：
采集模块10，用于采集当前烹饪下食材盒内的图像信息；
识别模块20，用于根据图像信息识别出食材盒内各格所盛放食材的食材信息；
控制模块30，用于当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。
具体的，所述控制模块30包括：
第一确定单元31，用于根据所述烹饪指令，确定出所需投料的目标食材信息；
第二确定单元32，用于根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
控制单元33，用于将食材盒内料框序号中的目标食材进行投料。
本实施例中，所述识别模块20包括：
处理单元21，用于将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
第三确定单元22，用于对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
第四确定单元23，用于根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像；
识别单元24，用于将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息。
此外，本实施例中，所述控制单元33用于：获取投料后料框序号内的图像信息；将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；根据比对结果判断是否投料完全；若否，则将食材盒内料框序号中的目标食材继续投料。
更进一步的，所述装置还包括：
获取模块40，用于获取完成烹饪所需的所有食材信息；
判断模块50，用于根据所有食材信息和食材盒内的各个食材信息进行比对，判断食材盒内是否完全包括所有食材信息；
提示模块60，用于当所述判断模块50判断食材盒内未完全包括所有食材信息时，根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息，以提示食材盒内缺少烹饪所需的缺省食材信息。
本实施例中，通过采集当前烹饪下食材盒内的图像信息，并根据该图像信息确定出食材盒内各格的食材信息，此时当获取到对于目标食材的烹饪指令时，将食材盒内对应的目标食材进行投料，避免了现有需要严格按照顺序进行食材的摆放的不便利的问题。
本实施例还提供了一种炒菜机，所述炒菜机包括上述的食材投料装置100。
本实施例还提供了一种存储介质，其上存储有上述食材投料装置100中所使用的计算机程序，该程序在执行时，包括如下步骤：
采集当前烹饪下食材盒内的图像信息；
根据图像信息识别出食材盒内各格所盛放食材的食材信息；
当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。所述的存储介质，如：ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将存储装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
本领域技术人员可以理解，图3中示出的组成结构并不构成对本发明的食材投料装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1-2中的食材投料方法亦采用图3中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述食材投料装置中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述食材投料装置的存储设备(图未示)内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种食材投料方法，其特征在于，所述方法包括：
采集当前烹饪下食材盒内的图像信息；
根据图像信息识别出食材盒内各格所盛放食材的食材信息；
当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。
2.如权利要求1所述的食材投料方法，其特征在于，所述将食材盒内所对应的目标食材进行投料的步骤包括：
根据所述烹饪指令，确定出所需投料的目标食材信息；
根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
将食材盒内料框序号中的目标食材进行投料。
3.如权利要求1所述的食材投料方法，其特征在于，所述根据图像信息识别出食材盒内各格所盛放食材的食材信息的步骤包括：
将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像；
将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息。
4.如权利要求2所述的食材投料方法，其特征在于，所述将食材盒内料框序号中的目标食材进行投料的步骤之后，所述方法还包括：
获取投料后料框序号内的图像信息；
将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；
根据比对结果判断是否投料完全；
若否，则将食材盒内料框序号中的目标食材继续投料。
5.如权利要求1所述的食材投料方法，其特征在于，所述采集当前烹饪下食材盒内的图像信息的步骤之后包括：
获取完成烹饪所需的所有食材信息；
根据所有食材信息和食材盒内的各个食材信息进行比对，判断食材盒内是否完全包括所有食材信息；
若否，则根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息，以提示食材盒内缺少烹饪所需的缺省食材信息。
6.一种食材投料装置，其特征在于，所述装置包括：
采集模块，用于采集当前烹饪下食材盒内的图像信息；
识别模块，用于根据图像信息识别出食材盒内各格所盛放食材的食材信息；
控制模块，用于当获取到对于目标食材的烹饪指令时，将食材盒内所对应的目标食材进行投料。
7.如权利要求6所述的食材投料装置，其特征在于，所述控制模块包括：
第一确定单元，用于根据所述烹饪指令，确定出所需投料的目标食材信息；
第二确定单元，用于根据所述目标食材信息与各格所盛放食材的食材信息进行比对，确定出食材盒内盛放目标食材的料框序号；
控制单元，用于将食材盒内料框序号中的目标食材进行投料。
8.如权利要求6所述的食材投料装置，其特征在于，所述识别模块包括：
处理单元，用于将当前烹饪下食材盒内的图像信息与未装料的食材盒内各格的图像信息进行帧差处理得到差分图像；
第三确定单元，用于对差分图像进行二值化处理及形态学操作得到食材盒内各格所盛放食材的食材图像掩膜；
第四确定单元，用于根据食材图像掩膜从当前烹饪下食材盒内的图像信息中分割出各格的食材图像；
识别单元，用于将各格的食材图像进行神经网络的处理，识别出食材盒内各格所盛放食材的食材信息。
9.如权利要求7所述的食材投料装置，其特征在于，所述控制单元用于：
获取投料后料框序号内的图像信息；
将投料后料框序号内的图像信息与未装料的食材盒内各格的图像信息进行比对；
根据比对结果判断是否投料完全；
若否，则将食材盒内料框序号中的目标食材继续投料。
10.如权利要求6所述的食材投料装置，其特征在于，所述装置还包括：
获取模块，用于获取完成烹饪所需的所有食材信息；
判断模块，用于根据所有食材信息和食材盒内的各个食材信息进行比对，判断食材盒内是否完全包括所有食材信息；
提示模块，用于当所述判断模块判断食材盒内未完全包括所有食材信息时，根据所有食材信息和食材盒内的各个食材信息，确定出食材盒内所缺少的缺省食材信息，并发出包括缺省食材信息的提示信息，以提示食材盒内缺少烹饪所需的缺省食材信息。
11.一种炒菜机，其特征在于，所述炒菜机包括权利要求6-10任意一项所述的食材投料装置。
CN201911086272.7A 2019-11-08 2019-11-08 食材投料方法、装置及炒菜机 Withdrawn CN112784641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911086272.7A CN112784641A (zh) 2019-11-08 2019-11-08 食材投料方法、装置及炒菜机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911086272.7A CN112784641A (zh) 2019-11-08 2019-11-08 食材投料方法、装置及炒菜机

Publications (1)

Publication Number Publication Date
CN112784641A true CN112784641A (zh) 2021-05-11

Family

ID=75748299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086272.7A Withdrawn CN112784641A (zh) 2019-11-08 2019-11-08 食材投料方法、装置及炒菜机

Country Status (1)

Country Link
CN (1) CN112784641A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791071A (zh) * 2021-09-13 2021-12-14 广东鲜食代科技集团有限公司 一种循环上菜装置及其控制方法
CN116532046A (zh) * 2023-07-05 2023-08-04 南京邮电大学 一种面向螺芴氧杂蒽的微流自动化投料装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113791071A (zh) * 2021-09-13 2021-12-14 广东鲜食代科技集团有限公司 一种循环上菜装置及其控制方法
CN116532046A (zh) * 2023-07-05 2023-08-04 南京邮电大学 一种面向螺芴氧杂蒽的微流自动化投料装置及方法
CN116532046B (zh) * 2023-07-05 2023-10-10 南京邮电大学 一种面向螺芴氧杂蒽的微流自动化投料装置及方法

Similar Documents

Publication Publication Date Title
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN106371337B (zh) 智能烹饪控制方法、智能厨房控制系统和智能厨房系统
US12102259B2 (en) System and method for collecting and annotating cooking images for training smart cooking appliances
US20220287498A1 (en) Method and device for automatically cooking food
CN109237582A (zh) 基于图像识别的吸油烟机控制方法、控制系统、吸油烟机
CN112784641A (zh) 食材投料方法、装置及炒菜机
CN107752794B (zh) 烘焙方法及装置
CN107388296B (zh) 一种基于程序云的烟灶联动控制方法
CN111198529A (zh) 一种烹饪设备、烹饪方法、装置、电子设备及存储介质
CN112784640A (zh) 一种菜谱制作方法、装置及炒菜机
CN108961267A (zh) 图片处理方法、图片处理装置及终端设备
CN112817237A (zh) 一种烹饪控制方法、装置、设备及存储介质
AU2017380938B2 (en) Food preparation entity
CN114275416B (zh) 基于图像识别的厨余垃圾分类方法、装置、设备及介质
CN108898082A (zh) 图片处理方法、图片处理装置及终端设备
CN117465862A (zh) 智能垃圾桶管理方法和装置
CN112426060A (zh) 控制方法、烹饪器具、服务器和可读存储介质
CN117541988A (zh) 一种再生资源回收系统的物体检测方法
CN110974038B (zh) 食材熟度确定方法、装置、烹饪控制设备和可读存储介质
CN110288643A (zh) 烹饪器具、烹饪方法和计算机可读存储介质
CN110857787B (zh) 一种油烟机集油盒的集油量检测方法和油烟机
CN112420162A (zh) 食谱的智能化推荐方法及装置、智能橱柜
CN116300511B (zh) 一种厨房电器联动控制方法及控制系统
CN111248716B (zh) 食材的烹饪控制方法、图像处理方法、装置及烹饪设备
CN107122926A (zh) 食物烹调远程下单的方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210511

WW01 Invention patent application withdrawn after publication