CN114938920A - 一种烤箱及其控制方法 - Google Patents

一种烤箱及其控制方法 Download PDF

Info

Publication number
CN114938920A
CN114938920A CN202210688017.5A CN202210688017A CN114938920A CN 114938920 A CN114938920 A CN 114938920A CN 202210688017 A CN202210688017 A CN 202210688017A CN 114938920 A CN114938920 A CN 114938920A
Authority
CN
China
Prior art keywords
food
camera
oven
baking tray
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210688017.5A
Other languages
English (en)
Inventor
崔书龙
龚连发
刘文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Home Appliances Group Co Ltd
Hisense Shandong Kitchen and Bathroom Co Ltd
Original Assignee
Hisense Home Appliances Group Co Ltd
Hisense Shandong Kitchen and Bathroom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Home Appliances Group Co Ltd, Hisense Shandong Kitchen and Bathroom Co Ltd filed Critical Hisense Home Appliances Group Co Ltd
Priority to CN202210688017.5A priority Critical patent/CN114938920A/zh
Publication of CN114938920A publication Critical patent/CN114938920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00Baking; Roasting; Grilling; Frying
    • A47J37/06Roasters; Grills; Sandwich grills
    • A47J37/0623Small-size cooking ovens, i.e. defining an at least partially closed cooking cavity
    • A47J37/0664Accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Food Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electric Stoves And Ranges (AREA)

Abstract

本申请实施例提供了一种烤箱及其控制方法,尤其涉及烤箱技术领域,用于获取待烹饪的食物图像,并确定待烹饪食物的准确的放置位置。该烤箱包括:箱体;门体;凸出结构;凸出结构与箱体相连接;第一摄像组件,镶嵌在凸出结构远离箱体的一侧表面上,第一摄像组件的采集面朝向箱体的底部所在的平面,第一摄像组件包括第一摄像头和第二摄像头,第一摄像头和第二摄像头构成双目摄像头;控制器,被配置为:通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄而得到的第一双目图像;基于双目测距原理,对第一双目图像进行处理,得到烤盘在烤箱中的层架位置。

Description

一种烤箱及其控制方法
技术领域
本申请涉及烤箱技术领域,尤其涉及一种烤箱及其控制方法。
背景技术
随着科学技术的发展,越来越多的家电产品也正向着多样性的方向发展,烤箱的种类也越来越多样。烤箱使用过程中,对食物的实时观测、例如拍摄视频和照片,不仅是用户的需求,也是烤箱智能化发展的方向之一。
目前,为获取烤箱内部的图像,大多在烤箱内部安装一个摄像头,虽然可以拍摄到食物的图像,但是拍摄的图像不够清晰,并且烤箱也不能根据摄像头拍摄到图像准确判断食物的放置位置,据此匹配的烹饪程序也不够合适,不能得到更好的烹饪效果。
发明内容
本申请提供一种烤箱及其控制方法,用于获取待烹饪的食物图像,并确定待烹饪食物的准确的放置位置。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种烤箱,包括:
箱体,设置有用于取放食物的烹饪腔口;
门体,一端与箱体转动连接,另一端为自由端;门体处于闭合状态时,覆盖烹饪腔口且与箱体形成烹饪腔;
凸出结构,设置于烹饪腔口的边缘,且凸出结构位于闭合状态的门体自由端所在的一侧;凸出结构与箱体相连接;
第一摄像组件,镶嵌在凸出结构远离箱体的一侧表面上,第一摄像组件的采集面朝向箱体的底部所在的平面,第一摄像组件包括第一摄像头和第二摄像头,第一摄像头和第二摄像头构成双目摄像头;
控制器,被配置为:
通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄而得到的第一双目图像;
基于双目测距原理,对第一双目图像进行处理,得到烤盘在烤箱中的层架位置。
本申请实施例提供的技术方案至少带来以下有益效果:由于第一摄像组件位于烤箱外部,则第一摄像组件拍摄图像时没有烤箱内部油烟的干扰,更加清晰。烤箱的控制器可以基于双目测距原理,对第一摄像组件拍摄得到的第一双目图像进行处理,可以更加准确的确定烤盘在烤箱中的层架位置。这样,在后续的烹饪过程中,控制器可以根据准确的烤盘层架位置,控制其他电器元件工作,能够得到更好的烹饪效果。
在一些实施例中,烤箱的控制器,被配置为通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄而得到的第一双目图像,具体执行以下步骤:响应于用户打开门体的操作,控制第一摄像组件进行拍摄,得到第一视频;对第一视频中的每个双目图像进行特征识别;在首次从第一视频中的双目图像中识别到烤盘特征之后,对烤盘进行运动跟踪;基于对烤盘的运动跟踪,将第一视频中在烤盘处于非运动状态时拍摄得到的双目图像作为第一双目图像。这样,通过对第一视频中的每个双目图像进行特征识别,以及对烤盘的运动追踪,可以准确判断烤盘的运动状态,从而准确的确定第一视频中烤盘处于非运动状态的第一双目图像。
在一些实施例中,烤箱的控制器,还被配置为:基于对烤盘的运动跟踪,将第一视频中在烤盘处于运动状态时拍摄得到的双目图像作为第二双目图像;对第二双目图像进行特征识别,确定烤盘上食物的类型信息;基于烤盘上食物的类型信息,确定推荐层架位置;发出第一提示信息,第一提示信息用于向用户指示适用于烤盘的推荐层架位置。这样,烤箱的控制器通过对第二双目图像进行特征识别,可以确定出烤盘上食物的类型信息,进而可以根据食物的类型信息向用户推荐层架位置,并向用户指示适用于烤盘的推荐层架位置,以使得用户将烤盘放置在推荐层架位置上,从而使得食物能够达到更好的烹饪效果。
在一些实施例中,烤箱还包括:第二摄像组件,第二摄像组件设置在烹饪腔内,且位于烹饪腔的侧壁中与门体相对的侧壁上,第二摄像组件的采集面朝向烹饪腔口;烤箱的控制器,还被配置为:控制第二摄像组件拍摄以得到第三图像;基于第一双目图像和第三图像,对烤盘上的食物进行三维建模,得到第一食物模型;根据第一食物模型,确定食物的属性信息,食物的属性信息包括食物的种类、食物的体积或者食物的种类中的至少一项;根据食物的属性信息,确定烹饪程序;执行烹饪程序。这样,烤箱的控制器可以根据第一双目图像与第三图像,对烤盘上的食物进行三维建模,可以得到更加准确更加完整的第一食物模型,控制器可以据此确定烤盘上食物的属性信息,进而匹配更贴合食物属性信息的烹饪程序,从而实现更好的烹饪效果。
在一些实施例中,烤箱的控制器,还被配置为:在执行完烹饪程序之后,响应于用户打开门体的操作,控制第一摄像组件拍摄以得到第四双目图像,以及控制第二摄像组件拍摄以得到第五图像;基于第四双目图像和第五图像,对烤盘上的食物进行三维建模,得到第二食物模型;根据第二食物模型,确定食物的成分信息,食物的成分信息包括食物的水分占比、脂肪占比或者能量占比中的至少一项。这样,在控制器执行完成烹饪程序之后,通过对食物的二次建模得到第二食物模型,可以准确清晰的确定食物的各种成分信息,使得用户对食物的营养成分更加清楚了解。
在一些实施例中,烤箱的控制器,还被配置为:在执行烹饪程序的过程中,控制第二摄像组件拍摄以得到第六图像;对第六图像进行前景区域和背景区域划分;从划分得到的前景区域中检测烤盘上的食物的轮廓边缘;根据烤盘上的食物的轮廓边缘,对第六图像进行背景虚化处理;显示背景虚化处理后的第六图像。这样,通过对第六图像进行背景虚化处理,可以使得第六图像中的杂物被隐藏,第六图像也更加美观,可以提升用户的观看感受。
在一些实施例中,烤箱的控制器,还被配置为:在门体处于关闭状态时,获取第一摄像组件拍摄得到的第二视频;对第二视频中的各个双目图像进行特征识别;响应于首次从第二视频的双目图像中识别到预设人体特征,控制门体开启。这样,当烤箱的控制器从第二视频的双目图像中识别到预设人体特征时,控制器控制门体自动开启,而无需用户手动操作开门,当用户遇到特殊情况时,可以方便用户使用烤箱。例如,当用户手中拿有食物无法手动打开门体时,用户将脚伸到第一摄像组件的拍摄范围内,控制器从第一摄像组件拍摄的第二视频中识别到用户的脚,则控制门体打开,无需用户手动操作门体打开,用户使用烤箱也更加方便。
第二方面,本申请实施例提供一种烤箱的控制方法,该方法包括:通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄得到第一双目图像;基于双目测距原理,对第一双目图像进行处理,得到烤盘在烤箱中的层架位置。
在一些实施例中,通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄得到第一双目图像,具体包括:响应于用户打开门体的操作,控制第一摄像组件进行拍摄,得到第一视频;对第一视频中的每个双目图像进行特征识别;在首次从第一视频中的双目图像中识别到烤盘特征之后,对烤盘进行运动跟踪;基于对烤盘的运动跟踪,将第一视频中在烤盘处于非运动状态时拍摄得到的双目图像作为第一双目图像。
在一些实施例中,该控制方法还包括:基于对烤盘的运动跟踪,将第一视频中在烤盘处于运动状态时拍摄得到的双目图像作为第二双目图像;对第二双目图像进行特征识别,确定烤盘上食物的类型信息;基于烤盘上食物的类型信息,确定推荐层架位置;发出第一提示信息,第一提示信息用于向用户指示适用于烤盘的推荐层架位置。
第三方面,本申请实施例提供一种控制器,包括:一个或多个处理器;一个或多个存储器;其中,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,控制器执行第二方面所提供的任一种控制方法。
第四方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当计算机指令在计算机上控制时,使得计算机执行第二方面以及可能的实现方式中提供的方法。
第五方面,本发明实施例提供一种计算机程序产品,该计算机程序产品可直接加载到存储器中,并含有软件代码,该计算机程序产品经由计算机载入并执行后能够实现如第二方面以及可能的实现方式中提供的方法。
需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与控制器的处理器封装在一起的,也可以与控制器的处理器单独封装,本申请对此不作限定。
本申请中第二方面至第五方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。
附图说明
图1为本申请实施例提供的一种烤箱的整体结构示意图;
图2为本申请实施例提供的一种摄像组件的安装示意图;
图3为本申请实施例提供的一种摄像组件的结构示意图一;
图4为本申请实施例提供的一种摄像组件的采集角度示意图;
图5为本申请实施例提供的一种摄像组件的结构示意图二;
图6为本申请实施例提供的一种摄像组件的结构示意图三;
图7为本申请实施例提供的一种显示屏的安装示意图一;
图8为本申请实施例提供的一种显示屏的安装示意图二;
图9为本申请实施例提供的一种摄像组件的结构示意图四;
图10为本申请实施例提供的一种摄像组件的结构示意图五;
图11为本申请实施例提供的又一种烤箱的结构示意图;
图12为本申请实施例提供的一种烤箱的电路系统架构图;
图13为本申请实施例提供的一种烤箱的控制方法流程图;
图14为本申请实施例提供的又一种烤箱的控制方法流程图;
图15为本申请实施例提供的又一种烤箱的控制方法流程图;
图16为本申请实施例提供的又一种烤箱的控制方法流程图;
图17为本申请实施例提供的又一种烤箱的控制方法流程图;
图18为本申请实施例提供的又一种烤箱的控制方法流程图;
图19为本申请实施例提供的一种烤箱的烹饪过程示意图。
具体实施方式
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
如背景技术所述,当摄像头安装在烤箱内部时,虽然可以拍摄到烤箱内部的图像,但是拍摄到的图像不够清晰,也不能据此准确判断待烹饪食物在烤箱内部的放置位置,根据待烹饪食物的放置位置匹配到的烹饪程序也不能得到更好的烹饪效果。
有鉴于此,本申请提供一种烤箱,通过在烤箱外部的凸出结构上安装有双摄像头的第一摄像组件,可以拍摄到用户将食物放入烤箱的过程,并且第一摄像组件拍摄得到的图像也更加清晰,可以据此准确确定食物在烤箱内的放置位置。而且第一摄像组件位于烤箱外部,不受烤箱工作时烤箱内部高温的损害,所以无需特意增加第一摄像组件的耐高温性能,还可以节约制造成本。
在本申请实施例中,烤箱是具有烘烤功能或者蒸汽加热功能的烹饪设备。例如,烤箱可以是电烤箱、具有烤箱功能的集成灶等,对此不作限定。
为进一步对本申请的方案进行描述,图1所示为本申请实施例提供的一种烤箱的整体结构示意图。如图1所示,烤箱10包括:箱体11、门体12以及第一摄像组件13。
在一些实施例中,箱体11顶侧设有顶板110、两侧分别设有侧板111、后侧设有后板112(未图示)、底部设有底板113(未图示)以及前侧设有前板114其中,前板114上设置有用于取放食物的烹饪腔口,且前板114在烹饪腔口边缘处远离底板113的一端向外凸出形成有凸出结构115,凸出结构115位于闭合状态的门体12自由端所在的一侧。其中,箱体11可以如图1所示近似为长方体,也可以为其他形状。
在一些实施例中,门体12一端通过门铰链组件与箱体11的底板113转动连接,另一端为自由端。在门体12处于闭合状态时,覆盖烹饪腔口且与箱体11形成烹饪腔,烹饪腔与前板114上开设的烹饪腔口连通。在需要进行烹饪时,利用门体12将烹饪腔打开,将待烹饪食物从烹饪腔口放入烹饪腔内,然后再利用门体12将烹饪腔闭合,开启电源进行烹饪。在烹饪结束后,再将食物取出,以此实现对食物的烹饪。
在一些实施例中,门体12上还可设置观察窗,用以观察烤箱10内食物的烹饪状况。观察窗通常采用耐高温的透明玻璃材质,通过观察窗的透明玻璃,用户可以清楚看到食物在烤箱内部的烹饪情况,便于用户确认烤箱10是否处于正常运行的状态。
在一些实施例中,门体12上还可设置门把手,用于为用户打开烤箱门时提供施力点,方便用户打开烤箱10的门体12。
在一些实施例中,第一摄像组件13,镶嵌在凸出结构115远离箱体11的一侧表面上,第一摄像组件13的采集面朝向箱体11的底部所在的平面。这样,第一摄像组件13位于烤箱外部,可以避免烤箱10工作时的高温造成第一摄像组件13损坏。另外,第一摄像组件13的采集面朝向箱体11的底部所在的平面,不仅可以采集到烤箱10内部的图像,还可以采集到烤箱10的门体12外部的一部分图像。当用户放入或取出食物时,第一摄像组件13能够采集到食物在烤箱10外的图像,食物在烤箱10外面时,不受烤箱10内部油烟的影响,第一摄像组件13采集到的食物图像也更加清晰。
在一些实施例中,如图2所示,凸出结构115上设置有凹槽,第一摄像组件13的至少一部分位于凹槽内。这样,通过将第一摄像组件13镶嵌在凸出结构115的凹槽内,使得第一摄像组件13与凸出结构115结合的更加牢固。
在一些实施例中,参照图3,第一摄像组件13包括:摄像头壳体130,第一摄像头131以及第二摄像头132。其中,摄像头壳体130内设置有摄像头安装腔,第一摄像头131和第二摄像头132沿烹饪腔的宽度方向并排且间隔设置在摄像头安装腔内,烹饪腔的宽度方向与烹饪腔的深度方向垂直,且与箱体的底部所在的平面平行。这样,第一摄像头131和第二摄像头132并排设置,共同组成了具有双摄像头的第一摄像组件13,可以基于双目测距原理从第一摄像组件13拍摄得到的图片中获取到摄像组件与物体之间的距离,可以实现烤箱10对食物的三维建模等功能。
在一些实施例中,第一摄像头131和第二摄像头132的采集面均朝向箱体11的底部所在的平面,第一摄像组件13采集图像的视角范围可如图4中的阴影部分所示。
可选的,摄像头壳体130可以如图2所示呈圆柱形设置在凸出结构115上,也可以为其他形状(例如长方体等)。
目前,双摄方案主要有两种应用方式:
方式一、利用双摄像头产生立体视觉,获取影像的景深信息,进而利用影像的景深信息进行距离相关的应用(例如对物体进行背景虚化等)、3D拍摄及建模的相关应用、光学变焦的相关应用等。
方式二、利用双摄像头拍摄到的两张不同的图片进行融合,进而得到质量更好的图像。
当两个摄像头之间的距离越大时,得到的景深精度也更高;当两个摄像头之间的距离越近时,拍摄得到的图像差异就越小,两个图像融合时产生的错误也更少,得到的图像质量也更高。
基于双摄方案的这两种应用方式,双摄组件中两个摄像头的组合可以是以下几种组合中的任意一种:
组合1、彩色摄像头+彩色摄像头。其中,彩色摄像头采用RGB色彩模式,通过红(red,R)、绿(greed,G)、蓝(blue,B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
这种组合拍摄到的图像计算得到的景深也更精确,可以实现对图像中物体的背景虚化和重新对焦(即先拍照后对焦)。
组合2、彩色摄像头+黑白摄像头。其中,黑白摄像头没用色彩滤镜,感光性能大幅提升,可以记录高解析度的物体轮廓和细节。
通过将彩色摄像头和黑白摄像头组合在一起,可以提升暗光环境下图像的成像质量,即使光线不好也能得到清晰的图像。
组合3、广角摄像头+长焦摄像头。其中,广角摄像头的焦距较短,视角较宽,景深也较长;长焦摄像头的焦距较长,视角较小,景深也较短。
通过将广角摄像头和长焦摄像头组合在一起,可以实现光学变焦,远处、近处的物体都能拍摄清楚。
组合4、彩色摄像头+深度摄像头。其中,深度摄像头具有深度测量功能,可以更准确的感知周围的环境变化。
通过将彩色摄像头和深度摄像头组合在一起,可以实现对图像中物体的三维建模等。
在本申请实施例中,第一摄像组件13中第一摄像头131和第二摄像头132的组合可以是彩色摄像头和深度摄像头的组合,以更好地实现待烹饪食物的三维建模效果。
这样,通过在摄像头壳体130中沿烹饪腔的宽度方向并排且间隔设置第一摄像头和第二摄像头,可以采集到两组图像,进而烤箱可以根据这两组图像,利用景深测距技术测得食物距离第一摄像组件的距离,进而确定食物在烤箱内的放置位置,从而使得烤箱可以根据食物的放置位置更好地进行烹饪过程。
在一些实施例中,如图5所示,第一摄像组件13还包括:门开关按键133,设置在摄像头壳体130的外表面,且远离箱体11的一侧;门开关按键133用于控制门体12的开合。这样,在需要放入食物时,用户只需点击门开关按键133,即可打开门体12,更加方便快捷。
在一些实施例中,如图6所示,第一摄像组件13还包括:第一显示屏134,设置在摄像头壳体130远离箱体11的底部的一侧,且与摄像头壳体130相连接,第一显示屏134与第一摄像头131和第二摄像头132电连接,第一显示屏134用于显示第一摄像头131和第二摄像头132采集的图像或者烤箱10的控制面板。其中,第一显示屏134可以设置为圆形、椭圆形、正方形等,本申请实施例对此不做具体限制。这样,通过在摄像头壳体130远离箱体11的底部的一侧设置第一显示屏134,可以显示第一摄像组件13采集到的图像,使得用户对烤箱10内食物的烹饪过程更加清楚,提升用户的使用体验。或者,用户也可以在第一显示屏134上设置或者查看烤箱10的工作参数(例如烤箱10的工作时长、加热温度等),使得用户能够更深入的了解食物的烹饪过程。
可选的,第一显示屏134可以是液晶显示屏、有机发光二极管(organic light-emitting diode,OLED)显示屏。显示屏的具体类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示屏可以根据需要做性能和配置上一些改变。
在一些实施例中,如图6所示,第一摄像组件13还包括:连接部135,设置于第一显示屏134和摄像头壳体130之间,连接部135的一端卡接于摄像头壳体130上,另一端与第一显示屏134转动连接。这样,第一显示屏134可以转动,无需用户移动观看角度,只需转动第一显示屏134,就能让用户观看到第一显示屏134显示的图像,可以提升用户使用体验。
在一些实施例中,第一显示屏134与连接部135之间的转动角度范围包括30°~45°。例如,第一显示屏134与连接部135之间的转动角度为30°时,第一显示屏134的安装状态可以如图7所示,第一显示屏134与连接部135之间的转动角度为45°时,第一显示屏134的安装状态可以如图8所示。
这样,通过设置第一显示屏134与连接部135之间的转动角度范围在30°~45°之间,使得用户观看第一显示屏134的显示内容时获得更为舒适的观看感受,更能满足用户需求。
在一些实施例中,如图9或图10所示,第一摄像组件13还包括:透明保护壳体136,设置在第一摄像头131与第二摄像头132靠近箱体11的底部的一侧,罩设于第一摄像头131和第二摄像头132的采集面上,透明保护壳体136与摄像头壳体130相连接。其中,透明保护壳体136可以是钢化玻璃材质,也可以是其他坚硬的透明材质,本申请对此不作限制。
这样,透明保护壳体136与摄像头壳体130形成了一个可以容纳第一摄像头131和第二摄像头132的密闭空间,既可以保护这两个摄像头避免受到外界碰撞造成损伤,而且,透明保护壳体136也不会影响第一摄像头131和第二摄像头132采集图像的效果。
在一些实施例中,如图9或图10所示,第一摄像组件13还包括:加热器137,设置在第一摄像头131和第二摄像头132中的至少一个摄像头的采集面与透明保护壳体136之间,用于加热透明保护壳体136。这样,在烹饪完成之后,透明保护壳体136被加热器137加热,不会因为遇到食物被拿出烤箱10时蒸腾的热气而起雾,第一摄像头131和第二摄像头132仍然可以采集到清晰的图像。
可选的,加热器137的加热温度上限可设置为45℃。这样,既可以加热透明保护壳体136,避免热气在透明保护壳体136上凝结形成水雾,影响第一摄像头131和第二摄像头132采集图像的效果,又可以避免加热器137的加热温度过高对第一摄像头131和第二摄像头132造成损坏。
在一些实施例中,在烹饪腔内还设置有烤盘装置14,烤盘装置包括烤盘层架141以及可取出的烤盘142。烤盘层架141可以根据烹饪腔的大小分为多个层级,例如,如图1所示,烤盘层架141分为第一层架1411、第二层架1412、第三层架1413、第四层架1414以及第五层架1415。其中,烤盘层架141用于支撑烤盘142。根据用户的烹饪需求,烤盘142可以在烤盘层架141的多个层级上移动,以获得更好的烹饪效果。
可选的,烤盘装置14也可以替换为可旋转的托盘装置,托盘装置包括托盘本体以及驱动电机,托盘本体用于盛放待烹饪的食物,驱动电机驱动托盘本体旋转,使得食物烹饪更加均匀快速。或者,烤盘装置14也可以替换为可转动的烤架装置,烤架装置包括多根可漏油的骨架结构以及驱动电机,骨架结构用于穿插待烘烤的食物,驱动电机驱动骨架结构旋转,使得食物烘烤更加均匀,且烘烤过程中产生的油也可以漏下,得到更美味的食物。
在一些实施例中,如图11所示,烤箱10还包括:第二摄像组件15,设置在烹饪腔内,且位于烹饪腔的侧壁中与门体12相对的侧壁上,第二摄像组件15的采集面朝向烹饪腔口。这样,通过在烤箱10内部增设第二摄像组件15,可以与第一摄像组件13采集图像的视角结合,全面采集烤箱10内部的图像,也能够更加精准地确定烤箱10内食物的放置位置。
图12示例性的示出了烤箱10的电路系统架构图。
如图12所示,烤箱10还包括:加热元件16、温度传感器17、定时装置18、语音提示装置19、人机交互装置20、通信装置21、供电电源22以及控制器23。
其中,第一摄像组件13、第二摄像组件15、加热元件16、温度传感器17、定时装置18、语音提示装置19、人机交互装置20、通信装置21以及供电电源22均与控制器23连接。
在一些实施例中,加热元件16指具有加热功能的加热组件,用于对烤箱10内部的食物进行加热,使得烤箱10内的食物被烹饪成熟。其中,加热元件16可设置在箱体11内的上部和下部,还可增设在箱体11内的四侧面上,其数量可设置为多个。特别地,当烤箱包含第二摄像组件15时,应将第二摄像组件15设置在加热元件16的冷端,避免加热元件16工作时的高温损坏第二摄像组件15。
在一些实施例中,温度传感器17指能检测温度并可以将检测的温度值转换成可用输出信号的传感器,可用于检测烤箱10内部的温度。其中,温度传感器17可以设置在箱体11内的上部和下部,还可增设在箱体11内的四侧面上,其数量可设置为多个。
在一些实施例中,定时装置18用于对烤箱10的烹饪时间进行限定。当超过用户限定的烹饪时长时,控制器23可以控制加热元件16停止工作或者降低加热功率,进而完成烤箱对食物的烹饪。
在一些实施例中,语音提示装置19用于根据程序播放语音提示信息。其中,语音提示信息的内容可以是烤箱10的生产厂家预先设定的,也可以是用户通过人机交互装置20自行设定的。示例性的,在控制器23判断烤箱10内的食物已烹饪成熟时,控制器23可以控制语音提示装置19播放“食物烹饪成熟”等提示信息。
在一些实施例中,人机交互装置20,用于实现用户与烤箱10之间的交互。人机交互装置20可以包括物理按键或者触控显示面板中的一项或多项。例如用户可以通过人机交互装置20指示烤箱10开始执行烹饪程序,或者,用户也可以通过人机交互装置20设定烤箱10工作的温度、运行时长等工作参数。
在一些实施例中,通信装置21是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信装置21可以包括无线通信技术(Wi-Fi)模块,蓝牙模块,有线以太网模块和近距离无线通信技术(near field communication,NFC)模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。通信装置21可以用于与其他设备或通信网络通信(如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local area networks,WLAN)等)。
在一些实施例中,控制器23可以通过通信装置21可以用于与用户使用的终端设备进行通信。示例性的,在烤箱10完成烹饪程序之后,控制器23可以通过通信装置21向用户使用的终端设备发送提示信息,例如“食物已烹饪完成”等,提示用户烹饪程序已经完成了,可以从烤箱10中取出食物。
在一些实施例中,供电电源22在控制器23的控制下,将外部电源输入的电力为烤箱10提供电源供电支持。
在一些实施例中,控制器23是指可以根据指令操作码和时序信号,产生操作控制信号,指示烤箱10执行控制指令的装置。示例性的,控制器23可以为中央处理器(centralprocessing unit,CPU)、通用处理器网络处理器(network processor,NP)、数字信号处理器(digital signal processing,DSP)、可编程逻辑器件(programmable logic device,PLD)、微处理器、微控制器或它们的任意组合。控制器还可以是其它具有处理功能的装置,例如电路、器件或软件模块,本申请实施例对此不做任何限制。
示例性的,控制器23可以通过温度传感器17感知烤箱内部各个位置的温度,进而判断是否需要调整加热元件16的加热功率或者加热时长,使得烹饪出的食物具有更好的口感和颜色。
下面结合说明书附图,对本申请的具体方案进行详细描述。
本申请实施例提供一种烤箱的控制方法,如图13所示,该方法包括以下步骤:
S101、控制器通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄而得到的第一双目图像。
其中,双目图像为同一被摄对象对应的两个不同角度的拍摄图像。在本申请实施例中,双目图像包括第一通道图像和第二通道图像。其中,第一通道图像为所述第一摄像组件中第一摄像头拍摄的图像,第二通道图像为所述第一摄像组件中第二摄像头拍摄的图像。
在一些实施例中,控制器通过第一摄像组件获取对放置在烤箱中的烤盘进行拍摄而得到的第一双目图像,可以具体实现为:响应于用户打开门体的操作,控制器控制第一摄像组件进行拍摄,得到第一视频之后,再对第一视频中的每个双目图像进行特征识别;在首次从第一视频中的双目图像中识别到烤盘特征之后,控制器对烤盘进行运动跟踪,基于对烤盘的运动跟踪,控制器将第一视频中在烤盘处于非运动状态时拍摄得到的双目图像作为第一双目图像。
其中,控制器对第一视频中的每个双目图像进行特征识别,可以通过将第一视频中的每个双目图像输入至烤盘特征识别模型中,得到烤盘特征的识别结果。
示例性的,可以根据机器学习算法,预先训练特征识别模型。进而将第一视频中的每个双目图像输入至预先训练好的特征识别模型中,以此来得到烤盘特征的识别结果,识别结果指示了第一视频中的双目图像中是否存在烤盘特征。
在一些实施例中,利用基于机器学习算法的特征识别模型进行检测可以有多种不同的检测形式和实现方法。例如,利用支持向量机算法(support vector machine,SVM)、梯度提升迭代决策树算法(gradient boosting decision tree,GBDT)、随机森林算法(random forest,RF)等得到传统的基于机器学习算法的人体区域识别模型,也可以利用卷积神经网络算法(convolutional neural networks,CNN)、循环神经网络算法(recurrentneural networks,RNN)、长期短记忆网络算法(long short-term memory,LSTM)得到基于深度学习的烤盘特征识别模型。
容易理解的是,深层次的卷积神经网络可以在海量的训练数据中自动提取和学习图像中更本质的特征,将深度卷积神经网络应用于基于双目图像的烤盘特征检测中,将显著增强分类效果,并进一步提升烤盘特征检测的准确性。
在一些实施例中,控制器对烤盘进行运动跟踪,可以通过背景差分法、帧间差分法或者光流法确定烤盘的运动状态以及运动位置。
例如,以帧间差分法为例,控制器首先对第一视频的每个双目图像的相邻帧之间进行差值计算,从而确定烤盘的位置、形状等信息,进而可以确当烤盘处于运动状态或者烤盘处于非运动状态。
S102、控制器基于双目测距原理,对第一双目图像进行处理,得到烤盘在烤箱中的层架位置。
其中,双目测距原理即为模拟人眼的成像原理,对第一摄像组件中两个摄像头拍摄得到的两幅图像进行处理,从而得到图像中物体与第一摄像组件之间的距离。
双目测距实际操作分为4个步骤:
步骤一、相机标定。
由于光学透镜的特性以及装配方面的误差,摄像头最终的成像会存在畸变,因此,需要标定出双摄组件中两个摄像头各自的内部参数(焦距、成像原点、畸变参数),以及两个摄像头之间的相对位置(旋转矩阵和平移向量)。
步骤二、双目校正。
根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变参数)和双目相对位置关系(旋转矩阵和平移向量),分别对第一摄像头与第二摄像头拍摄得到的图像(为方面表述,以下称为左右视图)进行消除畸变和行对准,使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点。
步骤三、双目匹配。
通过双目匹配,把同一场景在左右视图上对应的像素点匹配起来,可以得到视差图。得到视差数据之后,通过数学公式即可计算出深度信息。
步骤四、计算深度信息。
根据双目匹配的结果,计算双目图像中每个像素的深度,从而可以得到双目图像中各个物体相对于第一摄像组件的垂直距离。
因此,基于双目测距原理,控制器对第一双目图像进行处理,可以得到烤盘与第一摄像组件之间的垂直距离,再根据预设的烤盘层架与第一摄像组件之间的垂直距离,可以确定烤盘放置的烤盘层架位置。例如,控制器对第一双目图像进行处理之后,得到烤盘与第一摄像组件之间的垂直距离为30cm,而第一层架、第二层架、第三层架、第四层架以及第五层架与第一摄像组件之间的垂直距离分别为10cm、20cm、30cm、40cm、50cm,则可以确定烤盘放置的层架位置为第三层架。
在一些实施例中,确定烤盘放置的层架位置之后,烤箱的控制器可以根据烤盘放置的层架位置,调整加热元件的工作状态。例如,假设烤盘层架位置分为第一层架、第二层架、第三层架、第四层架以及第五层架,在这五个层架处均设置有加热元件,当烤箱的控制器确定烤盘放置在第三层架处时,控制器可以控制第一层架、第二层架、第四层架以及第五层架处的加热元件停止工作或者减少工作时间,以节省电能。
图13所示技术方案至少带来以下有益效果:由于第一摄像组件位于烤箱外部,则第一摄像组件拍摄图像时没有烤箱内部油烟的干扰,更加清晰。烤箱的控制器可以基于双目测距原理,对第一摄像组件拍摄得到的第一双目图像进行处理,可以更加准确的确定烤盘在烤箱中的层架位置。这样,在后续的烹饪过程中,控制器可以根据准确的烤盘层架位置,控制其他电器元件工作,能够得到更好的烹饪效果。
在一些实施例中,在烤盘还未放入烤箱的层架上时,烤箱的控制器可以向用户推荐适合的层架,以为用户提供更好的适应体验。具体的,如图14所示,本申请实施例还提供一种烤箱的控制方法,该方法包括以下步骤:
S201、控制器基于对烤盘的运动跟踪,将第一视频中在烤盘处于运动状态时拍摄得到的双目图像作为第二双目图像。
其中,第一视频中可以包含多张烤盘处于运动状态的双目图像,控制器可以选取其中任意一张双目图像作为第二双目图像。
S202、控制器对第二双目图像进行特征识别,确定烤盘上食物的类型信息。
其中,烤盘上食物的类型信息可以分为多个类别,例如:主食类(米饭、面条、粉条等)、肉类(鸡肉、鱼肉等)、素菜类(青菜、菌菇等)等。
作为一种可能的实现方式,控制器通过将第二双目图像输入至特征识别模型中,进而确定烤盘上食物的类型信息。具体识别方法可参照上文,此处不再赘述。
S203、控制器基于烤盘上食物的类型信息,确定推荐层架位置。
作为一种可能的实现方式,烤盘上食物的类型信息与烤盘放置的层架位置之间存在对应关系,控制器可以根据此对应关系确定推荐层架位置。
示例性的,假设烤盘上食物的类型信息分为主食类、肉类、素菜类,烤盘的层架位置从上到下依次为第一层架、第二层架、第三层架、第四层架、第五层架,加热元件安装在第三层架处。当控制器从第二双目图像中识别出肉类时,则控制器可以确定推荐层架位置为第三层架,使得肉类更靠近加热元件,能够快速烹饪成熟,节省用户时间。当控制器从第二双目图像中识别出主食类或素菜类时,则控制器可以确定推荐层架位置为除第三层架之外的其他层架。应理解,主食类或素菜类与肉类一同放入烤箱时,同样的温度下主食类与素菜类总是比肉类先成熟,则应当将主食类或者素菜类放在离加热元件稍远的位置,延缓主食类与素菜类食物的成熟时间,尽可能地使得肉类食物与主食类与素菜类食物一同成熟,得到更好的烹饪效果。
S204、控制器发出第一提示信息。
其中,第一提示信息用于向用户指示适用于烤盘的推荐层架位置。
可选的,第一提示信息可以是图文的形式,控制器控制第一显示屏显示图文形式的第一提示信息以向用户指示适用于烤盘的推荐层架位置;或者,第一提示信息也可以是语音的形式,控制器控制语音提示装置发出语音形式的第一提示信息,向用户指示适用于烤盘的推荐层架位置。
图14所示技术方案至少带来以下有益效果:烤箱的控制器通过对第二双目图像进行特征识别,可以确定出烤盘上食物的类型信息,进而可以根据食物的类型信息向用户推荐层架位置,并向用户指示适用于烤盘的推荐层架位置,以使得用户将烤盘放置在推荐层架位置上,从而使得食物能够达到更好的烹饪效果。
在一些实施例中,如图15所示,本申请实施例还提供一种烤箱的控制方法,该方法包括以下步骤:
S301、控制器控制第二摄像组件拍摄以得到第三图像。
响应于用户打开门体的操作,控制器即可控制第二摄像组件拍摄得到第三图像。由于第二摄像组件安装在烤箱内烹饪腔的后侧壁上,所以第二摄像组件拍摄得到的第三图像中包含食物的侧面轮廓信息,例如食物的厚度、宽度等信息。
S302、控制器基于第一双目图像和第三图像,对烤盘上的食物进行三维建模,得到第一食物模型。
在一些实施例中,烤箱的控制器基于第一双目图像,可以获取烤盘上食物与第一摄像组件之间的垂直距离、烤盘上食物的种类、以及烤盘上的各种类食物之间的距离,进而控制器可以根据这些信息获取第一双目图像中食物的整体轮廓,并对食物的整体轮廓进行平面建模,此视角为TOP视角。基于第三图像,烤箱的控制器可以获取到烤盘上食物的侧面宽度信息,控制器可以据此对食物的侧面轮廓进行建模,进而获取到食物的厚度信息,此视角为Front视角。基于食物在TOP视角上的平面建模以及食物在Front视角的侧面轮廓建模,控制器可以得到三维形式的第一食物模型,复现食物在烤箱内的形状信息。
S303、控制器根据第一食物模型,确定食物的属性信息。
其中,食物的属性信息包括食物的种类、食物的体积或者食物的种类中的至少一项。
S304、控制器根据食物的属性信息,确定烹饪程序。
可选的,控制器根据食物的属性信息,确定食物的重量,再根据用户的历史烹饪记录,匹配烹饪程序。
示例性的,控制器根据第一食物模型,可以确定食物体积为125cm3,食物种类为牛排,则可以确定食物的重量为150g。以往烹饪记录中,用户选择“老烤”模式的次数最多,则控制器可以根据食物的重量,匹配能够烹饪出“老烤”效果的烹饪程序,最终烹饪效果更能满足用户需求。
可选的,用户也可以自行输入烹饪参数(例如烹饪时长、加热温度等),控制器按照用户输入的烹饪参数控制烤箱内各电器元件工作。
可选的,控制器确定烹饪程序之后,可以在第一显示屏上显示该烹饪程序,用户可以通过点击执行该烹饪程序的控件,指示控制器执行该烹饪程序。
S305、控制器执行烹饪程序。
图15所示技术方案至少带来以下有益效果:烤箱的控制器可以根据第一双目图像与第三图像,对烤盘上的食物进行三维建模,可以得到更加准确更加完整的第一食物模型,控制器可以据此确定烤盘上食物的属性信息,进而匹配更贴合食物属性信息的烹饪程序,从而实现更好的烹饪效果。
在一些实施例中,如图16所示,本申请实施例还提供一种烤箱的控制方法,该方法包括以下步骤:
S401、在执行完烹饪程序之后,响应于用户打开门体的操作,控制器控制第一摄像组件拍摄以得到第四双目图像,以及控制第二摄像组件拍摄以得到第五图像。
在一些实施例中,响应于用户打开门体的操作,控制器控制第一摄像组件拍摄得到一组视频数据,从这组视频数据中对食物进行特征识别,确定食物处于烤箱外的双目图像为第四双目图像。这样,食物位于烤箱外部,没有烤箱内油烟的干扰,第一摄像组件拍摄得到的第四双目图像也更加清晰。
S402、控制器基于第四双目图像和第五图像,对烤盘上的食物进行三维建模,得到第二食物模型。
其中,第二食物模型中包含食物的形状、颜色以及成熟度。
S403、根据第二食物模型,控制器确定食物的成分信息。
其中,食物的成分信息包括食物的水分占比、脂肪占比或者能量占比中的至少一项。
可选的,在控制器确定食物的成分信息之后,控制器可以将食物的成分信息发送给服务器,服务器将本次烹饪的食物的成分信息作为用户的健康档案记录下来。在后续烤箱的烹饪过程中,烤箱的控制器可以根据服务器记录的用户的健康档案,为用户智能匹配烹饪程序。
图16所示技术方案至少带来以下有益效果:在控制器执行完成烹饪程序之后,通过对食物的二次建模得到第二食物模型,可以准确清晰的确定食物的各种成分信息,使得用户对食物的营养成分更加清楚了解。
在一些实施例中,如图17所示,本申请实施例还提供一种烤箱的控制方法,该方法包括以下步骤:
S501、在执行烹饪程序的过程中,控制器控制第二摄像组件拍摄以得到第六图像。
可选的,第六图像也可以是在食物烹饪完成之后、用户取出食物的过程中,控制器控制第一摄像组件拍摄得到的。
S502、控制器对第六图像进行前景区域和背景区域划分。
其中,前景区域指食物在图像中所在的区域,背景区域指除了食物所在区域以外的区域。
在一些实施例中,控制器可以利用预设分类模型对第六图像进行前景区域和背景区域划分。其中,预设分类模型可以是预先训练好的分类模型,比如深度学习模型、决策树、逻辑回归模型等。为提高区域识别的准确度,具体在本实施例中,可以通过训练具有语义分割功能的深度学习模型得到预设分类模型。
对第六图像的前景区域和背景区域的具体划分方法可以如下:
首先,可以为第六图像中的每个像素点打上语义标签,并根据所述语义标签生成语义分割图。既可以对输入至预设分类模型的第六图像进行卷积、池化、非线性变换等操作,得到第六图像的特征图,根据第六图像的特征图对第六图像进行逐像素识别,根据识别结果为每个像素点打上语义标签,比如,可以用不同的颜色表示不同的语义,根据所述语义标签生成语义分割图,在语义分割图中,不同的分割区域用不同的颜色表示,不同的分割区域表示不同的对象。例如,红色分割区域表示肉类食物,绿色区域表示素菜类,蓝色分割区域表示主食类,黄色区域为烤盘等。
接下来,预测所述语义分割图中的各个分割区域为前景区域还是背景区域,并输出预测结果。即利用预设分类模型预测每个分割区域包含的像素点所属的类别,如果该分割区域的像素点的类别预测结果为前景,则该分割区域为前景区域;反之,如果该分割区域的像素点的类别预测结果为背景,则该分割区域为背景区域。
以上将图像的语义分割和深度学习技术结合起来,进行区域识别,不仅能够识别前景和背景,还能准确识别出前景所在区域及背景所在的区域,提高了识别的准确度。
S503、控制器从划分得到的前景区域中检测烤盘上的食物的轮廓边缘。
具体地,可以先确定前景区域中的食物。例如,可以通过对第六图像进行食物特征识别确定前景区域中的食物。在确定前景区域中的食物之后,可以采用边缘检测算法从前景区域中检测食物的轮廓边缘。边缘检测,主要是要检测出图像中像素的值有突变的地方,常用的边缘检测算法包括:Canny算法、Roberts算法、Sobel算法、Prewitt算法等。边缘检测算法具体实现方式可参考相关文件的描述,此处不再赘述。
S504、控制器根据烤盘上的食物的轮廓边缘,对第六图像进行背景虚化处理。
具体地,可以对食物以外的区域进行虚化处理,并采用图像锐化算法强化食物的轮廓边缘,以最大程度地突出食物。对食物以外的区域进行虚化处理可以包括:对背景区域以及前景区域内除食物以外的区域进行虚化处理,其中,背景区域的虚化程度可以大于前景区域内除食物以外的区域的虚化程度,这样使得前景与背景之间有自然的过渡,提升虚化效果。
S505、控制器控制显示器显示背景虚化处理后的第六图像。
可选的,控制器可以将背景虚化处理后的第六图像发送给用户使用的其他家电设备或者终端设备上,例如电视机、手机等,使得用户可以在其他设备上也能观看到食物的烹饪过程。而且,第六图像经控制器背景虚化处理过,更能突出食物主体,更加美观,方便用户将处理过的图像分享给其他用户。
图17所示技术方案至少带来以下有益效果:通过对第六图像进行背景虚化处理,可以使得第六图像中的杂物被隐藏,第六图像也更加美观,可以提升用户的观看感受。
在一些实施例中,控制器还可以根据烤盘上食物的类型信息,对第一摄像组件拍摄得到的双目图像或者第二摄像组件拍摄的图像进行分层处理。
示例性的,在烹饪完成之后、用户取出食物的过程中,第一摄像组件拍摄得到的图像中包含肉类食物区域、素菜类食物区域以及烤盘等物体所在的背景区域。肉食类食物应突出食物的变化过程,则控制器可以对肉食类食物区域进行锐化、修复处理,使得图像中的肉食类食物看起来更加美观。素菜类食物应突出颜色特征,则控制器可以对素菜类食物区域进行美化处理。控制器还可以在肉食类食物区域以及素菜类食物区域中对各类食材进行标注说明,使用户更加直观地看到这些食物的营养成分。对于背景区域,大多是烤盘、锡纸等杂物,不够美观,则控制器可以对背景图像进行虚化、修复或者替换处理,使得图像更加美观。
在一些实施例中,在食物的烹饪过程中,控制器还可以将第二摄像组件拍摄的视频数据,以及在食物放入烤箱的过程中第一摄像组件拍摄的视频数据,组合在一起,并控制第一显示屏显示该组合视频,或者将该组合视频发送给其他家电设备或者用户使用的终端设备。这样,用户在观看食物的烹饪过程时,还可以回顾食物开始烹饪前的图像,多角度观看食物各个阶段的样子,使得食物的烹饪过程更加有趣,更有看点,能够增加用户的使用乐趣。
在一些实施例中,如图18所示,本申请实施例还提供一种烤箱的控制方法,包括以下步骤:
S601、在门体处于关闭状态时,控制器获取第一摄像组件拍摄得到的第二视频。
可选的,门体的开合状态,可以通过门开关传感器来确定。或者,也可以对第一摄像组件拍摄得到的双目图像进行图像识别,确定门体处于预设位置时,即可决定门体处于关闭状态。
S602、控制器对第二视频中的各个双目图像进行特征识别。
S603、响应于首次从第二视频的双目图像中识别到预设人体特征,控制器控制门体开启。
其中,预设人体特征可以是具有特定形状的连通区域,例如手的形状、脚的形状等。
图18所示技术方案至少带来以下有益效果:当烤箱的控制器从第二视频的双目图像中识别到预设人体特征时,控制器控制门体自动开启,而无需用户手动操作开门,当用户遇到特殊情况时,可以方便用户使用烤箱。例如,当用户手中拿有食物无法手动打开门体时,用户将脚伸到第一摄像组件的拍摄范围内,控制器从第一摄像组件拍摄的第二视频中识别到用户的脚,则控制门体打开,无需用户手动操作门体打开,用户使用烤箱也更加方便。
下面示例性的介绍烤箱完成烹饪过程的完整流程:
如图19所示,烹饪过程开始:
(1)响应于用户打开门体的操作,控制器控制摄像组件开始工作;
(2)第一摄像组件和第二摄像组件拍摄用户将食物放入烤箱的过程;
(3)通过第一摄像组件拍摄得到的双目图像,控制器确定烤盘放置的层架位置以及食物的平面信息;
(4)通过第二摄像组件拍摄得到的图像,控制器确定食物的侧面信息;
(5)根据食物的平面信息以及侧面信息,控制器建立第一食物模型,并对拍摄得到的食物图片进行背景虚化处理;
(6)根据第一食物模型以及烤箱的历史使用记录,控制器匹配出具有不同烘烤效果的多个烹饪曲线,例如:嫩烤效果的烹饪程序、正常烤效果的烹饪程序、上色烤效果的烹饪程序;
(7)用户选择烹饪程序,控制器执行该烹饪程序;
(8)在烹饪过程中,控制器可以通过温度传感器监测烤盘放置位置处的温度,进而调整加热元件的加热功率;
(9)在烹饪过程中,若用户打开烤箱再次放入食物,第一摄像组件再次获取食物的双目图像;
(10)控制器根据第一摄像组件再次获取的食物的双目图像,控制语音提示装置发出提示信息,向用户指示适用于再次放入烤箱的食物的推荐层架位置,并调整烹饪程序;
(11)烹饪完成后,摄像组件再次拍摄用户取出食物的过程,据此建立第二食物模型;
(12)根据第二食物模型,控制器确定食物的成分信息;
(13)控制器将烹饪完成的食物的成分信息,上传至用户的饮食健康档案中;
(14)烹饪结束。
可以看出,上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,本申请实施例提供了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本申请实施例还提供了一种计算机可读存储介质,包括计算机执行指令,当其在计算机上运行时,使得计算机执行上述实施例提供的任意一种控制方法。
本申请实施例还提供了一种包含计算机执行指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的任意一种控制方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种烤箱,其特征在于,包括:
箱体,设置有用于取放食物的烹饪腔口;
门体,一端与所述箱体转动连接,另一端为自由端;所述门体处于闭合状态时,覆盖所述烹饪腔口且与所述箱体形成烹饪腔;
凸出结构,设置于所述烹饪腔口的边缘,且所述凸出结构位于所述闭合状态的所述门体自由端所在的一侧;所述凸出结构与所述箱体相连接;
第一摄像组件,镶嵌在所述凸出结构远离所述箱体的一侧表面上,所述第一摄像组件的采集面朝向所述箱体的底部所在的平面,所述第一摄像组件包括第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头构成双目摄像头;
控制器,被配置为:
通过所述第一摄像组件获取对放置在所述烤箱中的烤盘进行拍摄而得到的第一双目图像;
基于双目测距原理,对所述第一双目图像进行处理,得到所述烤盘在所述烤箱中的层架位置。
2.根据权利要求1所述的烤箱,其特征在于,
所述控制器,被配置为通过所述第一摄像组件获取对放置在所述烤箱中的烤盘进行拍摄而得到的第一双目图像,具体执行以下步骤:
响应于用户打开所述门体的操作,控制所述第一摄像组件进行拍摄,得到第一视频;
对所述第一视频中的每个双目图像进行特征识别;
在首次从所述第一视频中的双目图像中识别到烤盘特征之后,对所述烤盘进行运动跟踪;
基于对所述烤盘的运动跟踪,将所述第一视频中在所述烤盘处于非运动状态时拍摄得到的双目图像作为所述第一双目图像。
3.根据权利要求2所述的烤箱,其特征在于,
所述控制器,还被配置为:
基于对所述烤盘的运动跟踪,将所述第一视频中在所述烤盘处于运动状态时拍摄得到的双目图像作为第二双目图像;
对所述第二双目图像进行特征识别,确定所述烤盘上食物的类型信息;
基于所述烤盘上食物的类型信息,确定推荐层架位置;
发出第一提示信息,所述第一提示信息用于向用户指示适用于所述烤盘的推荐层架位置。
4.根据权利要求1所述的烤箱,其特征在于,所述烤箱还包括:
第二摄像组件,所述第二摄像组件设置在所述烹饪腔内,且位于所述烹饪腔的侧壁中与所述门体相对的侧壁上,所述第二摄像组件的采集面朝向所述烹饪腔口;
所述控制器,还被配置为:
控制所述第二摄像组件拍摄以得到第三图像;
基于所述第一双目图像和所述第三图像,对所述烤盘上的食物进行三维建模,得到第一食物模型;
根据所述第一食物模型,确定所述食物的属性信息,所述食物的属性信息包括所述食物的种类、所述食物的体积或者所述食物的种类中的至少一项;
根据所述食物的属性信息,确定烹饪程序;
执行所述烹饪程序。
5.根据权利要求4所述的烤箱,其特征在于,
所述控制器,还被配置为:
在执行完所述烹饪程序之后,响应于用户打开所述门体的操作,控制所述第一摄像组件拍摄以得到第四双目图像,以及控制所述第二摄像组件拍摄以得到第五图像;
基于所述第四双目图像和所述第五图像,对所述烤盘上的食物进行三维建模,得到第二食物模型;
根据所述第二食物模型,确定所述食物的成分信息,所述食物的成分信息包括所述食物的水分占比、脂肪占比或者能量占比中的至少一项。
6.根据权利要求4所述的烤箱,其特征在于,
所述烤箱还包括显示器;
所述控制器,还被配置为:
在执行所述烹饪程序的过程中,控制所述第二摄像组件拍摄以得到第六图像;
对所述第六图像进行前景区域和背景区域划分;
从所述划分得到的前景区域中检测所述烤盘上的食物的轮廓边缘;
根据所述烤盘上的食物的轮廓边缘,对所述第六图像进行背景虚化处理;
控制所述显示器显示所述背景虚化处理后的第六图像。
7.根据权利要求1至6任一项所述的烤箱,其特征在于,
所述控制器,还被配置为:
在所述门体处于关闭状态时,获取所述第一摄像组件拍摄得到的第二视频;
对所述第二视频中的各个双目图像进行特征识别;
响应于首次从所述第二视频的双目图像中识别到预设人体特征,控制所述门体开启。
8.一种烤箱的控制方法,其特征在于,所述方法包括:
通过第一摄像组件获取对放置在所述烤箱中的烤盘进行拍摄得到第一双目图像;
基于双目测距原理,对所述第一双目图像进行处理,得到所述烤盘在所述烤箱中的层架位置。
9.根据权利要求8所述的方法,其特征在于,所述通过第一摄像组件获取对放置在所述烤箱中的烤盘进行拍摄得到第一双目图像,具体包括:
响应于用户打开门体的操作,控制所述第一摄像组件进行拍摄,得到第一视频;
对所述第一视频中的每个双目图像进行特征识别;
在首次从所述第一视频中的双目图像中识别到烤盘特征之后,对所述烤盘进行运动跟踪;
基于对所述烤盘的运动跟踪,将所述第一视频中在所述烤盘处于非运动状态时拍摄得到的双目图像作为所述第一双目图像。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
基于对所述烤盘的运动跟踪,将所述第一视频中在所述烤盘处于运动状态时拍摄得到的双目图像作为第二双目图像;
对所述第二双目图像进行特征识别,确定所述烤盘上食物的类型信息;
基于所述烤盘上食物的类型信息,确定推荐层架位置;
发出第一提示信息,所述第一提示信息用于向用户指示适用于所述烤盘的推荐层架位置。
CN202210688017.5A 2022-06-17 2022-06-17 一种烤箱及其控制方法 Pending CN114938920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688017.5A CN114938920A (zh) 2022-06-17 2022-06-17 一种烤箱及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688017.5A CN114938920A (zh) 2022-06-17 2022-06-17 一种烤箱及其控制方法

Publications (1)

Publication Number Publication Date
CN114938920A true CN114938920A (zh) 2022-08-26

Family

ID=82911307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688017.5A Pending CN114938920A (zh) 2022-06-17 2022-06-17 一种烤箱及其控制方法

Country Status (1)

Country Link
CN (1) CN114938920A (zh)

Similar Documents

Publication Publication Date Title
US10819905B1 (en) System and method for temperature sensing in cooking appliance with data fusion
US11618155B2 (en) Multi-sensor array including an IR camera as part of an automated kitchen assistant system for recognizing and preparing food and related methods
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
CN106461230B (zh) 具有光图投影仪和照相机的烹饪炊具
EP3243331B1 (en) Devices, systems and methods for auto-delay video presentation
CN111279792A (zh) 监控系统以及食物制备系统
CN108916959A (zh) 火候测量装置、烟机、系统、方法和存储介质
CN109288333A (zh) 捕获和显示外观的装置、系统和方法
CN105245790A (zh) 一种补光方法、装置及移动终端
JP2016051526A (ja) 加熱調理器、加熱調理システム、及び、加熱調理器の制御方法
US11460192B2 (en) System for the preparation of at least one food product and method for operating the relevant system
US20220047109A1 (en) System and method for targeted heating element control
CN114305138A (zh) 一种智能烤箱及其控制方法
CN114450624A (zh) 用于消费者装置的光场显示器
CN114938920A (zh) 一种烤箱及其控制方法
CN217563696U (zh) 一种烤箱
US20210207811A1 (en) Method for preparing a cooking product, cooking device, and cooking device system
US20200254616A1 (en) Robotic Cooking Device
CN111419096A (zh) 一种食物加工的方法、控制器及食物加工设备
EP4372683A1 (en) Domestic appliance having inner space capable of accommodating tray at various heights, and method for acquiring image of domestic appliance
CN106856558B (zh) 具有摄影机自动调派功能的3d影像监控系统及其监控方法
US20240180361A1 (en) Electronic device and method for controlling same
EP4119851A1 (en) Real-time automated cooking cycles using computer vision and deep learning
US20240068670A1 (en) Oven appliances and methods of monitoring cooking utensils therein
CN116012564B (zh) 一种三维模型与实景照片智能融合的设备与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination