CN112749587A - 烘焙模具规格检测的方法及装置、厨电设备 - Google Patents

烘焙模具规格检测的方法及装置、厨电设备 Download PDF

Info

Publication number
CN112749587A
CN112749587A CN201911045086.9A CN201911045086A CN112749587A CN 112749587 A CN112749587 A CN 112749587A CN 201911045086 A CN201911045086 A CN 201911045086A CN 112749587 A CN112749587 A CN 112749587A
Authority
CN
China
Prior art keywords
mold
baking
information
area
baking mold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911045086.9A
Other languages
English (en)
Inventor
刘彦甲
苏明月
高进宝
李玉强
冯浩
王华伟
王京华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201911045086.9A priority Critical patent/CN112749587A/zh
Priority to PCT/CN2020/071670 priority patent/WO2021082284A1/zh
Publication of CN112749587A publication Critical patent/CN112749587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00Cooking-vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本申请涉及智能设备技术领域,公开一种烘焙模具规格检测的方法及装置、厨电设备。该方法包括:获取放置了烘焙模具的厨电设备的工作区域的图像;通过卷积神经网络模型,对所述图像进行训练,确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息;根据所述位置图像信息和所述分割图像信息,确定所述烘焙模具的设定表面的面积信息;根据保存的模具面积与模具规格的对应关系,确定所述面积信息对应的模具规格。这样,提高了确定烘焙模具规格信息的准确性。

Description

烘焙模具规格检测的方法及装置、厨电设备
技术领域
本申请涉及智能设备技术领域,例如涉及烘焙模具规格检测的方法及装置、厨电设备。
背景技术
目前,厨电设备,例如:烤箱,微波炉,空气炸锅等等都具有烤制食物的功能,一般,可通过识别食材的种类,以及通过重量检测装置确定食材的尺寸以及重量,从而,确定厨电设备烤制食物的设定温度以及设定时间,达到烤制食材的目的。
但是,在厨电设备中增加重量检测装置,例如重力传感器,会增加厨电设备的制造成本,并且,重量检测装置的性能、使用寿命等等都会影响食材的尺度以及重量,导致食材的尺寸以及重量不够准确。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种烘焙模具规格检测的方法、装置和厨电设备,以解决厨电设备确定烘焙模具规格信息不够准确的技术问题。
在一些实施例中,所述方法包括:
获取放置了烘焙模具的厨电设备的工作区域的图像;
通过卷积神经网络模型,对所述图像进行训练,确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息;
根据所述位置图像信息和所述分割图像信息,确定所述烘焙模具的设定表面的面积信息;
根据保存的模具面积与模具规格的对应关系,确定所述面积信息对应的模具规格。
在一些实施例中,所述装置包括:
图像获取模块,被配置为获取放置了烘焙模具的厨电设备的工作区域的图像;
模型训练模块,被配置为通过卷积神经网络模型,对所述图像进行训练,确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息;
面积确定模块,被配置为根据所述位置图像信息和所述分割图像信息,确定所述烘焙模具的设定表面的面积信息;
规格确定模块,被配置为根据保存的模具面积与模具规格的对应关系,确定所述面积信息对应的模具规格。
在一些实施例中,所述烘焙模具规格检测的装置,包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行上述烘焙模具规格检测方法
在一些实施例中,所述厨电设备包括:上述烘焙模具规格检测的装置。
本公开实施例提供的烘焙模具规格检测的方法、装置和厨电设备,可以实现以下技术效果:
对厨电设备的工作区域的图像,通过卷积神经网络模型,进行深度学习,得到厨电设备中放置食材的烘焙模具的规格信息,这样,可确定烘焙模具内食材的规格信息,从而,不需增加任何硬件设备,即可确定模具的规格,减少了厨电设备的制造资源,并且,不依赖重量测量硬件设备的性能,提高了确定模具规格信息的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是本公开实施例提供的一种烘焙模具规格检测方法的流程示意图;
图2是本公开实施例提供的一种MobileNet模型训练的示意图;
图3是本公开实施例提供的一种二值化掩码矩阵的示意图;
图4是本公开实施例提供的一种对位相乘的示意图;
图5是本公开实施例提供的一种烘焙模具规格检测方法的流程示意图;
图6是本公开实施例提供的一种烘焙模具规格检测装置的结构示意图;
图7是本公开实施例提供的一种烘焙模具规格检测装置的结构示意图;
图8是本公开实施例提供的一种烘焙模具规格检测装置的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或多个实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
本公开实施例中,对厨电设备的工作区域的图像,通过卷积神经网络模型,进行深度学习,得到厨电设备中放置食材的烘焙模具的规格信息,这样,可确定烘焙模具内食材的规格信息,进一步进行食材的烘焙控制。
图1是本公开实施例提供的一种烘焙模具规格检测方法的流程示意图。如图1所示,烘焙模具规格检测的过程包括:
步骤101:获取放置了烘焙模具的厨电设备的工作区域的图像。
本公开实施例中,厨电设备包括:烤箱、微波炉、空气炸锅等等具有烤制功能的设备。这些厨电设备可对放入烘焙模具中的食材进行烘焙或烤制。烘焙模具是只可以放置食材并且具有一定形状的物体,例如:与蛋糕对应的烘焙模具,与面包对应的烘焙模具等等,因此,一般确定了烘焙模具的规格信息,即可确定烘焙模具内食材的规格信息。
厨电设备中可配置有图像采集装置,从而,可通过图像采集装置,获取到放置了烘焙模具的厨电设备的工作区域的图像。
步骤102:通过卷积神经网络模型,对图像进行训练,确定烘焙模具在厨电设备中的位置图像信息,以及,烘焙模具的设定表面的分割图像信息。
卷积神经网络(CNN)已经普遍应用在计算机图像处理领域,并且已经取得了不错的效果。目前,为了追求分类准确度,模型深度越来越深,模型复杂度也越来越高。本实施例中可采用不同的神经网络模型,分别对图像进行训练,得到烘焙模具在厨电设备中的位置图像信息,以及,烘焙模具的设定表面的分割图像信息。其中,可通过神经压缩网络模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置对应的网格映射矩阵;还可通过实例分割网络模型,对图像进行训练,得到烘焙模具的设定表面的二值化掩码矩阵。
厨电设备,例如:烤箱、空气炸锅等等,可能有一层、两层或多层烤架,烘焙模具可以放入不同的烤架上,因此,可以通过神经压缩网络模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置,即可确定烘焙模具在那一层烤架上。
其中,MobileNet是一种轻量级神经压缩网络模型,具有体积小、精度高的优点,能够在保证精度的同时降低响应时延,并且,能够达到快速收敛的效果,用这种轻量级的网络训练同时能够降低计算量,从而降低了对硬件设备的要求。
可选地,通过MobileNet模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置对应的网格映射矩阵。当然,在其他一些实施例中,其他类型的神经压缩网络模型,也可对图像进行训练,得到烘焙模具在厨电设备中的位置图像信息。
图2是本公开实施例提供的一种MobileNet模型训练的示意图。在本实施例中,获取到烤箱工作区域的图像后,输入到MobileNet模型中,进行训练,可确定烘焙模具在烤箱中的层次位置,如图2所示,可确定第1层次,并可得到对应网格映射矩阵。网格映射矩阵是一个与相机拍摄图片同等大小的二维矩阵,每个元素的值代表相应位置实际对应的面积。
Mask-RCNN是一种实例分割网络模型,通过Mask-RCNN算法模型可同时完成分割任务、定位以及分类任务,得到图像对应的掩码图像。本实施例,在训练Mask-RCNN时仅对模具设定表面进行标注,而不是标注整个模具,因为模具上表面对判断容器规格更有帮助,在一些实施例中,设定表面可为模具上表面。通过训练得到的Mask-RCNN对模具种类进行判断并获得对应二值化掩码矩阵。其中,模具种类可包括:海绵蛋糕模具、吐司模具等。
可选地,通过Mask-RCNN模型,对图像进行训练,得到烘焙模具的设定表面的二值化掩码矩阵以及模具的种类信息。
图3是本公开实施例提供的一种二值化掩码矩阵的示意图。在本实施例中,获取的图像输入Mask-RCNN模型中,根据图像中每个像素进行实例分割,并精确进行信息标注,从而可实现烘焙模具的种类判断与精确位置分割,得到如图3所示的二值化掩码矩阵。
当然,在其他一些实施例中,其他类型的实例分割网络模型,也可对图像进行训练,得到烘焙模具的设定表面的分割图像信息。
步骤103:根据位置图像信息和分割图像信息,确定烘焙模具的设定表面的面积信息。
已经获知了烘焙模具的位置图像信息和分割图像信息,从而,可确定烘焙模具的设定表面的面积信息,可包括:位置图像信息和分割图像信息中,同一像素对应的位置图像信息和分割图像信息进行运算处理,例如:相加、相乘,或加权相加等等。然后保留处理后满足设定条件的信息,并根据保留的信息,得到烘焙模具的设定表面的面积信息。例如:保留不等于0的信息,或大于设定值的信息,并将保留的信息求和,求差,或加权相加等等,得到烘焙模具的设定表面的面积信息。即将同一像素对应的位置图像信息和分割图像信息进行第一运算处理,并保留处理后满足设定条件的信息,并根据保留的信息,进行第二运算处理,得到烘焙模具的设定表面的面积信息。
在一些实施例中,可将网格映射矩阵和二值化掩码矩阵进行对位相乘处理,得到烘焙模具的设定表面的区域矩阵信息;对区域矩阵信息中的元素值进行求和处理,得到烘焙模具的设定表面的面积信息。
图4是本公开实施例提供的一种对位相乘的示意图。如图4所示,将网格映射矩阵和二值化掩码矩阵进行对位相乘,即可屏蔽掉图像中的背景区域仅保留模具设定表面对应区域,即图4中结果矩阵为烘焙模具的设定表面的区域矩阵信息,而二值化矩阵即为本实施例中的二值化掩码矩。
然后,对区域矩阵信息中的元素值进行求和处理,得到烘焙模具的设定表面的面积信息。如图4所示,区域矩阵信息即结果矩阵中各个元素值进行求和,分别为0.4+1.5+0.3+1.1+0.6+0.4=4.3,从而,得到了烘焙模具的设定表面的面积。
步骤104:根据保存的模具面积与模具规格的对应关系,确定面积信息对应的模具规格。
一般模具规格都是标准的,例如:6寸、7寸、8寸,这样,可预先配置模具面积与模具规格的对应关系,例如配置模具上表面面积与模具规格的对应关系,从而,可根据配置保存的对应关系,确定上述过程中面积信息对应的模具规格。
在一些实施例中,针对不同种类的食物,对应的烘焙模具也有不同的种类,即模具种类可包括:海绵蛋糕模具、吐司模具等。这样,针对不用种类的模具,可以预先配置保存不同的模具面积与模具规格的对应关系,从而,在通过Mask-RCNN模型确定了模具种类信息的情况下,可保存的对应的关系中,确定与模具种类信息匹配的对应的关系,然后,在匹配的对应关系中,确定面积信息对应的模具规格。当然,烘焙模具的种类信息也可通过其他方式获取,例如:根据用户输入的指令信息,获取烘焙模具的种类信息。
可见,本公开实施例中,对厨电设备的工作区域的图像,通过卷积神经网络模型,进行深度学习,得到厨电设备中放置食材的烘焙模具的规格信息,这样,可确定烘焙模具内食材的规格信息,进一步进行食材的烘焙控制。不需增加任何硬件设备,即可识别模具规格,减少了厨电设备的制造资源,并且,不依赖重量测量硬件设备的性能,提高了确定模具规格信息的准确性。
厨电设备中放入模具是为了对食材进行烘焙或者烤制,因此,确定面积信息对应的模具规格之后,还包括:根据烘焙模具的模具规格,对放入烘焙模具的食材进行烘焙控制。
可选地,在通过Mask-RCNN模型确定了模具种类信息的情况下,即可确定模具种类信息对应的烘焙工艺,而烘焙模具的模具规格可确定烘焙工艺中具体参数,例如:烘焙时间,烘焙温度等等,从而,运行已确定参数的烘焙工艺,即可实现对放入烘焙模具的食材的烘焙控制。当然,也可根据烘焙模具的模具规格对应的烘焙时间,烘焙温度等等烘焙参数,直接进行烘焙控制。
可见,确定烘焙模具内食材的规格信息,进一步进行食材的烘焙控制。可见,不需增加任何硬件设备,在进行食材种类的识别过程中,也可确定食材的规格,减少了厨电设备的制造资源,并且,不依赖重量测量硬件设备的性能,提高了确定食材规格信息的准确性。
下面将操作流程集合到具体实施例中,举例说明本发明实施例提供的烘焙模具规格检测过程。
本公开一实施例中,烤箱中保存了与模具种类匹配的,模具面积与模具规格的对应关系。
图5是本公开实施例提供的一种烘焙模具规格检测方法的流程示意图。如图5所示,烘焙模具规格检测过程包括:
步骤501:获取放置了烘焙模具的烤箱的工作区域的图像。
烤箱中内置了摄像头,从而,可通过摄像头获取烤箱的工作区域的图像。
步骤502:通过MobileNet模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置对应的网格映射矩阵。
步骤503:通过Mask-RCNN模型,对图像进行训练,得到烘焙模具的设定表面的二值化掩码矩阵以及模具的种类信息。
步骤502与步骤503的先后顺序不做限定,可同时进行,也可先后进行。
步骤504:将网格映射矩阵和二值化掩码矩阵进行对位相乘处理,得到烘焙模具的设定表面的区域矩阵信息。
步骤505:对区域矩阵信息中的元素值进行求和处理,得到烘焙模具的设定表面的面积信息。
步骤506:确定与模具的种类信息匹配的模具面积与模具规格的对应关系,并根据匹配的对应关系确定与面积信息对应的模具规格。
可见,本实施例中,可烤箱中工作区域的图像,通过卷积神经网络模型,进行深度学习,得到放置食材的烘焙模具的规格信息,这样,可确定烘焙模具内食材的规格信息,从而,不需增加任何硬件设备,即可确定模具的规格,减少了烤箱的制造资源,并且,不依赖重量测量硬件设备的性能,提高了确定模具规格信息的准确性。
根据上述烘焙模具规格检测的过程,可构建一种烘焙模具规格检测的装置。
图6是本公开实施例提供的一种烘焙模具规格检测装置的结构示意图。如图6所示,烘焙模具规格检测装置包括:图像获取模块610、模型训练模块620、面积确定模块630以及规格确定模块640。
图像获取模块610,被配置为获取放置了烘焙模具的厨电设备的工作区域的图像。
模型训练模块620,被配置为通过卷积神经网络模型,对图像进行训练,确定烘焙模具在厨电设备中的位置图像信息,以及,烘焙模具的设定表面的分割图像信息。
面积确定模块630,被配置为根据位置图像信息和分割图像信息,确定烘焙模具的设定表面的面积信息。
规格确定模块640,被配置为根据保存的模具面积与模具规格的对应关系,确定面积信息对应的模具规格。
在一些实施例中,模型训练模块620,具体被配置为通过神经压缩网络模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置对应的网格映射矩阵;通过实例分割网络模型,对图像进行训练,得到烘焙模具的设定表面的二值化掩码矩阵。
在一些实施例中,面积确定模块630,具体被配置为将网格映射矩阵和二值化掩码矩阵进行对位相乘处理,得到烘焙模具的设定表面的区域矩阵信息;对区域矩阵信息中的元素值进行求和处理,得到烘焙模具的设定表面的面积信息。
在一些实施例中,还包括:烘焙控制模块,被配置为根据烘焙模具的模具规格,对放入烘焙模具的食材进行烘焙控制。
下面举例说明本公开实施例提供的烘焙模具规格检测装置进行烘焙模具规格检测过程。
图7是本公开实施例提供的一种烘焙模具规格检测装置的结构示意图。如图7所示,烘焙模具规格检测装置包括:图像获取模块610、模型训练模块620、面积确定模块630以及规格确定模块640,还可包括:烘焙控制模块650。
其中,图像获取模块610可获取放置了烘焙模具的厨电设备的工作区域的图像。
这样,模型训练模块620可通过MobileNet模型,对图像进行训练,得到烘焙模具在厨电设备中的层次位置对应的网格映射矩阵,以及通过Mask-RCNN模型,对图像进行训练,得到烘焙模具的设定表面的二值化掩码矩阵以及模具的种类信息。
从而,面积确定模块630可将网格映射矩阵和二值化掩码矩阵进行对位相乘处理,得到烘焙模具的设定表面的区域矩阵信息,并对区域矩阵信息中的元素值进行求和处理,得到烘焙模具的设定表面的面积信息。
已预先保存了与模具种类匹配的,模具面积与模具规格的对应关系。从而,规格确定模块640可确定与模具的种类信息匹配的模具面积与模具规格的对应关系,并根据匹配的对应关系确定与面积信息对应的模具规格。
由于在通过Mask-RCNN模型确定了模具种类信息的情况下,即可确定模具种类信息对应的烘焙工艺,而烘焙模具的模具规格可确定烘焙工艺中具体参数,例如:烘焙时间,烘焙温度等等,从而,烘焙控制模块650可根据确定了参数的烘焙工艺,对放入烘焙模具的食材进行烘焙控制。
可见,本实施例中,烘焙模具规格检测装置获取厨电设备内的工作区域的图像后,通过卷积神经网络模型,进行深度学习,得到厨电设备中放置食材的烘焙模具的规格信息,这样,可确定烘焙模具内食材的规格信息,进一步进行食材的烘焙控制。不需增加任何硬件设备,在进行食材种类的识别过程中,也可确定烘焙模具以及食材的规格,减少了厨电设备的制造资源,并且,不依赖重量测量硬件设备的性能,提高了确定食材规格信息的准确性。
本公开实施例提供了一种烘焙模具规格检测的装置,其结构如图8所示,包括:
处理器(processor)100和存储器(memory)101,还可以包括通信接口(Communication Interface)102和总线103。其中,处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令,以执行上述实施例的烘焙模具规格检测的方法。
此外,上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的烘焙模具规格检测的方法。
存储器101可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器101可以包括高速随机存取存储器,还可以包括非易失性存储器。
本公开实施例提供了一种厨电设备,包含上述的烘焙模具规格检测装置。
本公开实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为执行上述烘焙模具规格检测方法。
本公开实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述烘焙模具规格检测方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质,也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括一个或多个指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质,包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。当用于本申请中时,虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件,但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如,在不改变描述的含义的情况下,第一元件可以叫做第二元件,并且同样第,第二元件可以叫做第一元件,只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件,但可以不是相同的元件。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种烘焙模具规格检测的方法,其特征在于,包括:
获取放置了烘焙模具的厨电设备的工作区域的图像;
通过卷积神经网络模型,对所述图像进行训练,确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息;
根据所述位置图像信息和所述分割图像信息,确定所述烘焙模具的设定表面的面积信息;
根据保存的模具面积与模具规格的对应关系,确定所述面积信息对应的模具规格。
2.根据权利要求1所述的方法,其特征在于,所述确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息包括:
通过神经压缩网络模型,对所述图像进行训练,得到所述烘焙模具在所述厨电设备中的层次位置对应的网格映射矩阵;
通过实例分割网络模型,对所述图像进行训练,得到所述烘焙模具的设定表面的二值化掩码矩阵。
3.根据权利要求2所述的方法,其特征在于,所述确定所述烘焙模具的设定表面的面积信息包括:
将所述网格映射矩阵和所述二值化掩码矩阵进行对位相乘处理,得到所述烘焙模具的设定表面的区域矩阵信息;
对所述区域矩阵信息中的元素值进行求和处理,得到所述烘焙模具的设定表面的面积信息。
4.根据权利要求1所述的方法,其特征在于,所述确定所述面积信息对应的模具规格之后,还包括:
根据所述烘焙模具的模具规格,对放入所述烘焙模具的食材进行烘焙控制。
5.一种烘焙模具规格检测的装置,其特征在于,包括:
图像获取模块,被配置为获取放置了烘焙模具的厨电设备的工作区域的图像;
模型训练模块,被配置为通过卷积神经网络模型,对所述图像进行训练,确定所述烘焙模具在所述厨电设备中的位置图像信息,以及,所述烘焙模具的设定表面的分割图像信息;
面积确定模块,被配置为根据所述位置图像信息和所述分割图像信息,确定所述烘焙模具的设定表面的面积信息;
规格确定模块,被配置为根据保存的模具面积与模具规格的对应关系,确定所述面积信息对应的模具规格。
6.根据权利要求5所述的装置,其特征在于,
所述模型训练模块,具体被配置为通过神经压缩网络模型,对所述图像进行训练,得到所述烘焙模具在所述厨电设备中的层次位置对应的网格映射矩阵;通过实例分割网络模型,对所述图像进行训练,得到所述烘焙模具的设定表面的二值化掩码矩阵。
7.根据权利要求6所述的装置,其特征在于,
所述面积确定模块,具体被配置为将所述网格映射矩阵和所述二值化掩码矩阵进行对位相乘处理,得到所述烘焙模具的设定表面的区域矩阵信息;对所述区域矩阵信息中的元素值进行求和处理,得到所述烘焙模具的设定表面的面积信息。
8.根据权利要求5所述的装置,其特征在于,还包括:
烘焙控制模块,被配置为根据所述烘焙模具的模具规格,对放入所述烘焙模具的食材进行烘焙控制。
9.一种烘焙模具规格检测的装置,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在执行所述程序指令时,执行如权利要求1至4任一项所述的方法。
10.一种厨电设备,其特征在于,包括如权利要求5或9所述的装置。
CN201911045086.9A 2019-10-30 2019-10-30 烘焙模具规格检测的方法及装置、厨电设备 Pending CN112749587A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911045086.9A CN112749587A (zh) 2019-10-30 2019-10-30 烘焙模具规格检测的方法及装置、厨电设备
PCT/CN2020/071670 WO2021082284A1 (zh) 2019-10-30 2020-01-13 烘焙模具规格检测的方法及装置、厨电设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911045086.9A CN112749587A (zh) 2019-10-30 2019-10-30 烘焙模具规格检测的方法及装置、厨电设备

Publications (1)

Publication Number Publication Date
CN112749587A true CN112749587A (zh) 2021-05-04

Family

ID=75640655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911045086.9A Pending CN112749587A (zh) 2019-10-30 2019-10-30 烘焙模具规格检测的方法及装置、厨电设备

Country Status (2)

Country Link
CN (1) CN112749587A (zh)
WO (1) WO2021082284A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128543A1 (en) * 2017-12-30 2019-07-04 Midea Group Co., Ltd. Food preparation method and system based on ingredient recognition
CN109214406B (zh) * 2018-05-16 2021-07-09 长沙理工大学 基于D-MobileNet神经网络的图像分类方法
CN109008887A (zh) * 2018-06-28 2018-12-18 青岛海尔智能技术研发有限公司 一种洗鞋方法、装置、洗鞋机及计算机可读存储介质
CN110084244B (zh) * 2019-03-14 2023-05-30 上海达显智能科技有限公司 基于图像识别物体的方法、智能设备及应用

Also Published As

Publication number Publication date
WO2021082284A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
US11618155B2 (en) Multi-sensor array including an IR camera as part of an automated kitchen assistant system for recognizing and preparing food and related methods
CN107752794B (zh) 烘焙方法及装置
CN110084244B (zh) 基于图像识别物体的方法、智能设备及应用
US20180211139A1 (en) System and method for providing a recipe
CN110956217A (zh) 食物成熟度识别方法、装置以及计算机存储介质
CN110826574A (zh) 食材成熟度确定的方法、装置、厨电设备及服务器
CN110989464B (zh) 基于烹饪曲线的烹饪方法、装置、存储介质及烹饪设备
CN112426060A (zh) 控制方法、烹饪器具、服务器和可读存储介质
CN112750158A (zh) 食材体积检测的方法及装置、厨电设备
CN111493672B (zh) 食材烹饪方法、装置及烹饪器具
CN112784640A (zh) 一种菜谱制作方法、装置及炒菜机
CN112749587A (zh) 烘焙模具规格检测的方法及装置、厨电设备
CN113592938A (zh) 用于烘烤设备中食材体积检测的方法及装置、烘烤设备
CN114266959A (zh) 食材的烹饪方法及装置、存储介质、电子装置
CN111860211B (zh) 餐具和参照物识别方法、装置及存储介质
CN110652221B (zh) 一种烤箱烟雾监控方法及装置、存储介质
CN114903343A (zh) 一种自动蒸烤的方法、装置及其蒸烤箱
CN108898572B (zh) 光斑提取方法
CN110556172A (zh) 玻片归档方法、设备终端、玻片归档系统和可读存储介质
CN111178159A (zh) 一种食谱处理方法、装置、服务器及存储介质
CN111160168A (zh) 烹饪箱内部食物的识别方法、识别装置、计算机存储介质
CN112579211A (zh) 一种智能的烹饪提示方法、装置和系统
CN110972346B (zh) 数据处理方法及装置
CN103744332B (zh) 一种烤制时间控制方法
WO2022065074A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination