CN111684368B - 基于成分识别的食物制备方法和系统 - Google Patents
基于成分识别的食物制备方法和系统 Download PDFInfo
- Publication number
- CN111684368B CN111684368B CN201880078858.6A CN201880078858A CN111684368B CN 111684368 B CN111684368 B CN 111684368B CN 201880078858 A CN201880078858 A CN 201880078858A CN 111684368 B CN111684368 B CN 111684368B
- Authority
- CN
- China
- Prior art keywords
- food
- level
- support platform
- images
- categories
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 436
- 238000002360 preparation method Methods 0.000 title claims abstract description 113
- 239000004615 ingredient Substances 0.000 title claims abstract description 78
- 239000000203 mixture Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000010438 heat treatment Methods 0.000 claims abstract description 31
- 239000000306 component Substances 0.000 claims description 85
- 235000012041 food component Nutrition 0.000 claims description 46
- 238000010411 cooking Methods 0.000 claims description 43
- 239000005428 food component Substances 0.000 claims description 28
- 235000016709 nutrition Nutrition 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 235000013372 meat Nutrition 0.000 description 22
- 239000005417 food ingredient Substances 0.000 description 18
- 238000011065 in-situ storage Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 235000013550 pizza Nutrition 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 235000013311 vegetables Nutrition 0.000 description 7
- 241000251468 Actinopterygii Species 0.000 description 6
- 235000021186 dishes Nutrition 0.000 description 6
- 235000019688 fish Nutrition 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000003303 reheating Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 235000015219 food category Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 241000972773 Aulopiformes Species 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 2
- 235000015278 beef Nutrition 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 235000013330 chicken meat Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 235000015277 pork Nutrition 0.000 description 2
- 235000019515 salmon Nutrition 0.000 description 2
- 235000014347 soups Nutrition 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000015173 baked goods and baking mixes Nutrition 0.000 description 1
- 235000021168 barbecue Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000020979 dietary recommendations Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000002075 main ingredient Substances 0.000 description 1
- 235000013575 mashed potatoes Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012459 muffins Nutrition 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J27/00—Cooking-vessels
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J29/00—Egg-cookers
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J36/00—Parts, details or accessories of cooking-vessels
- A47J36/32—Time-controlled igniting mechanisms or alarm devices
- A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/08—Arrangement or mounting of control or safety devices
- F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J33/00—Camp cooking devices without integral heating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
Landscapes
- Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electric Stoves And Ranges (AREA)
Abstract
一种食物制备系统和方法,包括:在食物支承平台支承第一食物的同时,触发照相机的图像捕获以获得食物支承平台的一个或多个图像;对第一食物进行成分识别,包括:在总体分类器中对相应图像的特征张量进行分类,以识别与第一食物对应的一个或多个第一级食物成分类别;以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中,对相应图像的特征张量进行分类,以识别对应于第一食物的对应的第二级食物成分类别,其中,第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及根据已经执行的成分识别,调整一个或多个加热单元以加热第一食物。
Description
相关申请的交叉引用
本申请要求保护于2017年12月30日提交的美国专利申请No.62/612,426的优先权,其全部公开内容通过引入并入本文。
技术领域
本公开涉及家用电器领域,尤其涉及一种基于成分识别的食物制备方法和系统。
背景技术
传统的电食物制备系统,例如微波炉、炉灶、吐司烤箱、电饭锅、烤炉和蒸锅等,都依赖于对于烹饪温度和烹饪持续时间规格的手动输入。这些传统系统要求用户拥有关于如何在不损害食物安全性要求的情况下将菜肴的不同食物成分加热和烹饪至正确的熟度水平的大量知识和经验。某些较新型的电食物制备系统使得用户能够从一些预设食物选项中进行选择,并根据用户的选择调整烹饪时间和功率水平。但是,针对用户可能希望烹饪的各种各样的食物,这种预设选择菜单太有限或者太广泛而难以确定。
随着人们对改善健康和生活方式的兴趣日益浓厚,人们食用的食物的质量和营养价值对他们来说变得越来越重要。智能设备上的某些应用提供了食物成分及其相应营养信息的数据库。但是,这样的应用通常要求用户输入食物成分的名称和每种成分的数量,以便提供相应的营养价值。该过程繁琐且效率低,严重限制了此类应用的实用性。
一些研究人员建议使用人工智能和深度学习技术来根据菜肴图像自动识别食物成分。但是,由于食物成分可以在菜肴中呈现的形式差异很大,并且捕获图像图像的条件不同的情况下,识别结果非常差。此外,食物成分的数量成千图像的条件不同,因此识别结果非常差。此外,食物成分的数量成百上千,一道菜肴可能包含数十种成分,这使得自动识别模型非常庞大且计算量大,并且难以在纯学术研究环境之外进行部署。而且,这些系统很难按比例放大,因为每次需要向模型中添加新成分时,都必须更改参数的数量以及必须重复对模型的训练。
由于这些原因,需要能够以适度的资源消耗提供一致的食物成分识别,可扩展并且可以调整食物制备控制和/或提供营养推荐的更好的食物制备系统。
发明内容
如在背景技术中所讨论的,传统的食物制备系统在基于自动成分识别来自动控制食物制备方面提供有限的能力。传统的食物成分识别不准确,需要大量的计算资源,并且不容易扩展。本文公开的方法和系统以多种方式解决了传统方法和系统的这些缺点。
例如,在将食物放入食物制备系统中时,原位拍摄用于成分识别的图像。食物制备系统的基础图像有助于有效消除背景,仅保留食物的相关图像信息。另外,给定已经放置食物的食物制备系统的已知尺寸,图像中食物成分的尺寸和比例也是已知的。原位图像获取消除了传统系统中的以下问题:图像获取是在各种各样的条件下进行的,使图像处理变得困难,并且更容易产生错误的识别结果。其他原位图像获取技术也用于进一步提高图像一致性和图像的保真度。
另外,用于成分识别的图像处理分两个阶段进行,即总体分类阶段和详细分类阶段。总体分类阶段将菜肴的食物成分分为粗略类别,例如肉类、蔬菜、谷物等。而详细分类阶段将已识别出类别的食物成分分类为更具体的成分标签,例如肉类下的鱼、鸡肉、牛肉等。食物成分的粗略类别基于食物制备系统的特定使用设置来确定。例如,在烹饪模式下使用微波炉时,使用未加工食物成分类别,例如肉、蔬菜、谷物等;而在再加热模式下使用微波炉时,则使用烹饪方式类别,例如炒菜、烤菜、烤肉、比萨、汤等。通过首先选择粗略类别,由于分类过程更加集中,因此减少了计算模型的尺寸,减少了计算量,并且提高了识别准确度。另外,由于当添加成分时,仅需要更新受影响的粗略类别的详细分类模型,识别系统具有更高的可扩展性。在一些实施例中,通过图像处理仅识别出前n个(例如3个)食物成分,从而进一步降低了计算复杂度、处理时间和存储器使用量。
如本文所公开,食物制备系统包括:食物支承平台,该食物支承平台被配置为支承食物;照相机,该照相机具有指向食物支承平台的视场;一个或多个加热单元,所述一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热;以及食物制备控制单元,该食物制备控制单元用于控制照相机和一个或多个加热单元,食物制备控制单元包括存储指令的存储器和一个或多个处理器,指令在被一个或多个处理器执行时使处理器执行操作,该操作包括:在食物支承平台支承第一食物的同时,触发照相机的图像捕获以获得食物支承平台的一个或多个图像;基于食物支承平台的一个或多个图像对第一食物进行成分识别,包括:在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类,以识别与第一食物对应的一个或多个第一级食物成分类别;在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中,对相应图像的特征张量进行分类,以识别与第一食物对应的第二级食物成分类别,其中,所述第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及根据已经执行的成分识别,调整一个或多个加热单元以加热第一食物。
如本文所公开,在一些实施例中,一种控制食物制备的方法包括:在食物制备系统处执行操作,该食物制备系统包括:食物支承平台,该食物支承平台被配置为支承食物;照相机,该照相机具有指向食物支承平台的视场;一个或多个加热单元,一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热;以及食物制备控制单元,用于控制照相机和一个或多个加热单元,食物制备控制单元包括存储器和一个或多个处理器,所述操作包括:在食物支承平台支承第一食物的同时,触发照相机的图像捕获以获得食物支承平台的一个或多个图像;基于食物支承平台的一个或多个图像对第一食物进行成分识别,包括:在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类,以识别与第一食物对应的一个或多个第一级食物成分类别;以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中,对相应图像的特征张量进行分类,以识别与第一食物对应的第二级食物成分类别,其中,第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及根据已经执行的成分识别,调整一个或多个加热单元以加热第一食物。
在一些实施例中,系统包括执行本文描述的任一方法的处理器和存储器。根据一些实施例,电子设备包括一个或多个处理器,以及存储一个或多个程序的存储器;一个或多个程序被配置为由一个或多个处理器执行,并且一个或多个程序包括用于执行或引起本文描述的任一方法的操作的性能的指令。根据一些实施例,一种非暂时性计算机可读存储介质存储有指令,这些指令在由电子设备执行时使该设备执行或引起执行本文描述的任一方法的操作的性能。根据一些实施例,一种电子设备包括:用于捕获图像的装置,用于加热食物的装置,以及用于执行或引起执行本文描述的任一方法的操作的性能的装置。
根据下面的描述,本申请的各种优点是明显的。
附图说明
以下将结合附图,通过对优选实施例的详细描述来更清楚地理解所公开技术的前述特征和优点以及其附加特征和优点。
为了更清楚地描述本公开技术的实施例中或现有技术中的技术方案,以下简要介绍描述实施例或现有技术所需的附图。显然,以下描述中的附图仅示出了本公开技术的一些实施例,并且本领域普通技术人员仍可以在不付出创造性劳动的情况下从这些附图中得出其他附图。
图1是根据一些实施例的食物制备系统的框图。
图2示出了根据一些实施例的许多示例性食物制备系统。
图3示出了根据一些实施例的食物制备系统的图像获取和图像预处理。
图4A至图4C是根据一些实施例的食物成分识别的框图。
图5是根据一些实施例的利用成分识别的食物制备方法的流程图。
图6是根据一些实施例的食物制备系统的框图。
贯穿附图的多个视图,相似的附图标记指代对应的部分。
具体实施方式
现在将详细参考实施例,其示例在附图中示出。在下面的详细描述中,阐述了许多具体细节以提供对本文提出的主题的详尽理解。但是,对于本领域技术人员将显而易见的是,可以在没有这些具体细节的情况下实践该主题。在其他情况下,没有详细描述公知的方法、过程、组件和电路,以免不必要地使实施例的各方面不清楚。
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本申请实施例的一部分而不是全部。基于本申请的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都落入本申请的保护范围。
图1是根据一些实施例的食物制备系统102的框图。食物制备系统包括用于加热食物的系统,该食物包括烹饪未加工的食物或重新加热之前烹饪过的食物。食物制备系统的示例包括微波炉、火炉、吐司烤箱、对流烤箱、电炊具、烤盘等。食物制备系统102包括能够通过各种方式加热食物的加热系统,各种方式为例如传导方式、对流方式、辐射方式、传导方式等。可以通过安装在食物制备系统上并耦接至加热装置的各种控制装置(例如,旋钮、按钮或应用程序)来控制耗散到食物上的热量或功率、热量耗散到食物上的速率、耗散到食物上的热量的分布和/或热耗散的持续时间。在一些实施例中,控件可由用户手动调节。
如图1所示,在一些实施例中,食物制备系统包括原位图像获取系统104。原位图像获取系统包括一个或多个静止图像照相机或视频照相机,所述一个或多个静止图像照相机或视频照相机安装在食物制备系统内部或附近的位置处,使得照相机的视场涵盖将食物放入其中并烹饪的隔室内部。例如,可以选择性地将照相机安装在智能烤箱的内部顶壁中,该照相机具有可以看到烤箱架顶部的视场。可选地,将另一个照相机安装在烤箱内部的顶侧边缘,该照相机具有从烤箱架上方的侧面可以看到烤箱架的视场。在一些实施例中,将照相机安装在在其中烹饪食物的隔室的外部,并通过透明窗口(例如,隔热窗口)指向食物的位置。在一些实施例中,将照相机放置在隔室的外部或在其上放置食物的平台的上方。原位图像获取系统包括数据存储系统,该数据存储系统用于存储食物烹饪隔室的尺寸、食物烹饪隔室内参考标记的尺寸、照相机与食物烹饪隔室中的各种参考标记之间的距离,使得由照相机拍摄的图像可以用于准确地确定图像中食物的大小和形状。因此,该原位图像获取系统104消除了传统图像获取系统的以下问题:传统图像获取系统需要用户特别注意在图像内或使用图像放置参考标记,而无益于图像内的项的尺寸、位置和方向信息。
在一些实施例中,原位图像获取系统104包括图像捕获触发系统。例如,在一些实施例中,当图像捕获触发系统检测到在照相机的视场中已经发生变化时,触发图像捕获。例如,当烤箱门打开时,烤箱中的照明条件将变化,并且响应于烤箱门的打开将触发图像捕获。在一些实施例中,当食物开始出现在照相机的视场中时,触发图像捕获。在一些实施例中,当完全放入食物并且关闭烤箱门时,触发图像捕获。例如,图像捕获系统响应于检测到烤箱门的打开而启动操作,并且实际上响应于检测到烤箱门的关闭而触发对图像的捕获。在一些实施例中,捕获一系列图像,使得捕获食物在沿着其到达最终放置位置的路径的各个预定位置处的图像。利用食物的不同尺寸和视角的图像,可以帮助提高图像分析的准确性。例如,当烤箱门打开并且食物被部分放入时捕获第一图像,因此该图像仅包括食物的部分。随着将食物进一步放入烤箱,会捕获到另外的图像,这些图像包括食物的越来越大的部分,直到将食物放置在烤箱架上并关闭烤箱门时拍摄最终图像为止。在一些实施例中,图像捕获触发系统还指示照相机在打开烤箱门紧之前捕获并存储烤箱架的图像,作为烤箱内部的基础图像。在一些实施例中,响应于用户的输入,例如在用户已经将食物放入食物烹饪隔室之后,手动触发图像捕获。手动触发更容易实现,而且操作不那么复杂,并且允许用户有目的地捕获最能反映食物特性的图像以进行成分识别。
在一些实施例中,食物制备系统102包括图像处理系统106。图像处理系统106获得由原位图像获取系统捕获的图像,并基于在放入食物之前捕获的基础图像对图像进行预处理,以从图像中去除背景。基础图像捕获了食物制备系统的食物烹饪隔室中的食物支承平台的确切条件,并为包含食物的图像提供了出色的过滤器以消除背景。
在一些实施例中,原位图像获取系统可选地包括用于多个灯的控件,所述多个灯位于食物支承平台周围的不同位置(例如,炊具的底部、烤箱架的顶部、微波炉内部的板等),并且可以通过打开和关闭不同的灯并且在不同的光照条件下捕获图像来增强图像中食物的形状和质地。例如,松饼的形状不同于披萨的形状,肉酱的质地不同于土豆泥的质地。图像中的附加信息将进一步帮助区分食物及其成分。
在一些实施例中,食物制备系统包括成分识别系统108。在去除背景之后,成分识别系统108对食物的图像进行处理以产生食物特征张量。根据成分识别系统的要求可选地生成特征张量。对于基于规则的成分识别系统,特征张量包括基于规则的成分识别系统的各种参数的值。参数可选地包括颜色含量、饱和度、图像特征的尺寸、图像特征的形状、食物的整体形状等。在一些实施例中,成分识别系统使用从大量标记图像或未标记的图像中学习出的机器学习模型来识别输入图像中捕获的食物的成分。对于这样的系统,基于机器学习模型的要求准备特征张量。通过将图像输入到机器学习模型中来执行特征提取,并通过机器学习模型来进行分类。在一些实施例中,机器学习模型是深度神经网络模型,该深度神经网络模型通过大量隐藏层来处理图像。在一些实施例中,使用组合的混合系统用于成分识别。
在一些实施例中,食物制备系统102包括成分数据集成系统110。成分数据集成系统110检索所识别成分的营养数据,并对图像中捕获的食物生成营养评估。在一些实施例中,成分数据集成系统110对已识别出的成分的食谱进行检索,并且基于食谱的要求可选地向用户提供烹饪指令或者自动调整烹饪时间和加热功率。在一些实施例中,成分数据集成系统110检索包括已识别出的成分的多个食谱,并且基于不同食谱的营养信息的比较向用户提供推荐。
在一些实施例中,成分识别系统108仅识别图像中捕获的食物中的前n个主要成分,并且成分数据集成系统110检索包含已识别出的主要成分的食谱,并将食谱中的附加成分识别为食物中的其他成分。在一些实施例中,使用食谱中的附加成分以验证成分识别系统的结果。例如,如果成分识别系统产生成分的四种粗略类别作为食物的可能成分,则仅对前三种成分进行进一步处理,以在食物包含的这前三个成分类别中识别食物成分的具体子类别。第四个类别留下,未指定到可与其他三个类别相比的具体水平。利用食谱中的信息,如果食谱中的附加成分包括来自第四类别的成分,则无需使用成分识别模型就可以进一步指定第四类别,从而节省数据处理时间并提高识别准确度。在一些实施例中,还基于食谱来确定各种成分的数量信息。例如,使用从图像中识别出的主要成分的数量作为基础以确定无法从图像中直接识别的其他成分(例如,油、霜、香料、粉末、磨碎形式或无法识别的形式的成分等),并基于通过图像分析识别的成分和根据检索到的食谱识别的附加成分来提供总体营养信息。
在一些实施例中,食物制备系统102包括控制调整/推荐系统112。控制调整/推荐系统112检索针对已识别的成分和/或已检索的食谱的烹饪指令,以确定用于烹饪或再加热食物的最佳温度和加热功率。在一些实施例中,食物制备系统102自动调节食物制备系统102的加热参数。在一些实施例中,食物制备系统102向用户提供烹饪控制调整建议,并让用户使用食物制备系统102上的物理旋钮和按钮来手动调整烹饪参数。在一些实施例中,控制调整/推荐系统112可选地基于用户的营养和口味偏好提供关于如何根据一种食谱与另一种食谱烹饪食物的推荐。
在一些实施例中,食物制备系统在食物的烹饪或再加热期间继续捕获食物的图像,对食物成分的熟度和外观进行分级,并基于食物的当前外观自动调整烹饪温度和烹饪时间。在一些实施例中,在食物的图像指示食物已经被烹饪到恰当的熟度并且应从烹饪隔室中移除时,控制调整/推荐系统112产生警报。
在一些实施例中,食物制备系统102包括到用户的输入/输出(I/O)接口114,该到用户的I/O接口114可选地包括显示器、扬声器、键盘、触摸屏、语音输入输出接口等。到用户的I/O接口114用于向用户提供推荐、警报和营养信息,以及接收来自用户的控制指令。
在一些实施例中,食物制备系统102包括到外部服务的I/O接口118。外部服务包括:用于食谱、成分识别模型的数据库服务;用于在服务器上进行成分识别的训练语料库等。
在一些实施例中,食物制备系统102包括食物制备控件,该食物制备控件调整加热单元的功率输出、烹饪方法、烹饪温度、热分布、烹饪时间等。烹饪制备控件118包括对手动调整和控制调整/推荐系统112的控制均响应的按钮、旋钮、触摸屏等。
在一些实施例中,食物制备系统120包括食物制备结构,例如在底部具有加热线圈的烹饪容器、感应烹饪表面、具有食物支承表面(例如烤箱架)的烹饪箱。在一些实施例中,食物制备结构120中也包括转动和搅动机构,例如搅拌器、旋转搅拌机、风扇等,以转动或旋转食物,并在食物周围重新分配热量或加热单元。
在一些实施例中,食物制备系统102还包括先前捕获的食物的图像或来自其他类似食物制备系统的图像的图像数据库122。在一些实施例中,食物制备系统102包括成分数据库,该成分数据库包括类别、子类别、特征、营养数据、烹饪方法、各种食物成分的图像和完成的菜肴。在一些实施例中,食物制备系统102还包括通过成分可搜索的食谱数据库,并且包括针对不同食谱中的不同成分的数量信息。在一些实施例中,食物制备系统102还包括营养数据库,该营养数据库包括针对不同食谱和成分的营养信息,以及不同的食谱和成分与用户的相关性(例如,过敏、药物用途等)。食物制备系统102的其他组件基于食物制备系统102的实际使用和用户反馈从数据库中检索信息,并且还在附加信息内更新数据库。
仅出于说明目的提供以上示例。下面相对于其他附图和图示阐述各个组件的功能的更多细节。可以理解,本文所述的一个或多个组件可以独立于其他组件使用。例如,在一些实施例中,成分识别系统和成分数据集成系统可以与原位图像获取系统和图像处理系统分开实现,并且可以用于基于先前从另一食物制备系统捕获的图像来识别成分。
图2示出了根据一些实施例的许多示例性食物制备系统。
如图2所示,吐司烤箱202、微波炉204、电转烤肉烤箱206和电灶台208各自包括相应的照相机(例如照相机210、212、230和232),该照相机指向所讨论的食物制备系统的食物支承表面(例如,吐司烤箱202中的烤箱架、微波炉204中的微波旋转板、电转烤肉烤箱206中的旋转杆、电灶台208中的烹饪表面)。照相机位置被选择为位于食物制备系统(例如,吐司烤箱202、微波炉204、电转烤肉烤箱206)的烹饪隔室的内部,或者位于(例如,如在电灶台208的炉灶面234中的)食物支承表面的正上方。可以包括显示器(例如,显示器218和224)作为输出接口,以向用户提供关于在食物制备系统内部被烹饪或加热的食物的信息和推荐。使用控件220、222、226、228和236来调整食物制备系统的烹饪参数。
图3示出了根据一些实施例的食物制备系统中的图像获取和图像预处理。如图3(a)所示,烤箱中的食物支承表面的基础图像302是在将食物放入到烤箱中之前在打开烤箱门紧之前捕获的或响应于烤箱门的打开而立即捕获的。该图像包括示出了烤箱壁的部分308和示出了烤箱架的部分310。该图像还包括示出了比萨饼石的部分312。在将食物(例如,比萨)放入并平放在比萨饼石上之后,从食物支承表面捕获的图像304包括图像302中的所有组件以及示出比萨的图像部分320。当将基础图像302用作过滤器以过滤掉图像304的背景时,获得了食物(例如,比萨)的原始图像306,该原始图像306具有干净的白色背景和示出食物的部分322。基于这些干净图像(如图3(c)所示)的成分识别比在随机条件下捕获的图像具有更高的识别保真度。在没有在基本相同的条件下捕获到适当的基础图像的情况下的背景去除效果不佳,并且可能产生使识别结果偏差的伪影。通过原位图像捕获和背景过滤,基于图像的成分识别效果更好。
图3(t-1至t-3)示出了在将食物(例如,比萨238)放入食物制备系统(例如烤箱202)中并放置在食物支承表面(例如,烤箱架242上的披萨饼石240)上的同时由照相机210在不同时间点捕获的一系列图像。不同的图像显示从不同的距离和视角看的食物,并提供有关食物的质地、形状和颜色的附加信息以进行成分识别。在一些实施例中,使用相同的基础图像对图像进行过滤,并且将获得食物本身的部分图像。在一些实施例中,部分图像也用于成分识别。在一些实施例中,从部分图像中提取尺寸、形状数据,并将尺寸、形状数据与完整食物的图像信息结合使用以确定成分和成分数量。
图4A至图4C是根据一些实施例的食物成分识别的框图。
在图4A中,示出了成分识别系统108的整体架构。成分识别系统108的输入是在将食物放置在食物支承表面上时(以及可选地当将食物放入食物烹饪隔室到达食物支承表面之前时)在食物制备系统的食物支承表面上捕获的图像。在一些实施例中,输入图像是去除了背景的已过滤图像。在一些实施例中,输入还包括通过其他传感器和输入接口获得的附加信息,例如光谱信息、形状、大小、重量信息等。在一些实施例中,用户选择的烹饪方法也在成分识别中用作一种输入。在一些实施例中,食物制备系统的操作模式用作成分识别的输入。例如,当食物制备系统以生食烹饪模式而不是再加热模式操作时,使用不同的粗略分类和识别方法。输入感测阶段402包括图像捕获、图像预处理、从外部数据库或内部数据库检索的辅助信息、从到用户的I/O接口接收的输入等。在特征提取阶段404中,产生特征张量(例如,特征向量v1、v2、......、vn的有序集合)。特征张量包括不同类型输入的特征向量,例如颜色直方图、形状特征、图像分割数据、权重数据、图像特征向量等。特征张量是基于分类方法的,该分类方法随后被用于对输入数据进行分类,并生成针对不同成分的概率分布。接下来,在总体分类阶段406中,将特征张量用作总体分类器中的输入,以确定食物中成分的总体成分类别。一旦确定了食物中成分的总体成分类别,就执行详细分类阶段408。在详细分类阶段,使用与识别的排序靠前的粗略成分类别对应的详细分类器以进一步确定构成食物的详细成分类别或成分。
图4B示出了针对食物的不同成分的分类器由多层分类器组成,将食物成分分类为多个第一级食物类别,例如水果、肉、蔬菜等的根级分类器412。在一些实施例中,根据所使用的烹饪方法(例如,在食物制备系统的再加热模式下),可以使用一组不同的第一级类别,例如烘焙食物、汤、翻炒、色拉、油炸食物、烧烤等,可以用作第一级食物成分类别,而不是原始成分的实际成分类别。每个第一级食物成分类别对应一个详细的第一级成分分类器。例如,在第一级分类器中,水果分类器414能够使用特征张量或输入特征张量的子部分来进一步对在食物中已经识别出的水果成分进行分类。肉分类器416能够使用特征张量或输入特征张量的子部分进一步对在食物中已经识别出的肉成分进行分类。蔬菜分类器418能够使用特征张量或特征张量的子部分进一步对在食物中已经识别出的蔬菜成分进行分类。换句话说,将分类器组织成树状结构,较小的分类器专注于仅对一类成分而不是所有类别的成分的分类。这样,计算的复杂度更小,并且不必在食物的分类中使用全部分类器,而仅触发最相关和最可能的分类器。而且,也可以减小特征张量的维度,因为与食物中不存在的成分相关的特征不需要被包括在特征张量中作为所选子级别分类器的输入。如图4B所示,一旦使用根级分类器412将食物分类为包括肉类项,则将特征张量输入到与肉类别416对应的第一级分类器420。使用与肉类别对应的第一级分类器420,成分识别系统识别出食物包括两个第二级食物类别中的成分,即鱼肉类别422和牲畜肉类别424。
图4C示出了第二级食物成分类别中的每个类别还具有各自的第二级分类器,该第二级分类器可以采用输入特征张量或输入特征张量的一部分,并确定存在于食物中的一个或多个第三级成分类别或成分。如图4C所示,当将输入特征张量或输入特征张量的一部分输入426到详细分类器,例如,在详细分类阶段428中的鱼肉分类器430和牲畜肉分类器432时,鱼肉分类器430产生包括诸如鲑鱼436、鲈鱼438等的各种类型的鱼肉的食物的概率;牲畜肉分类器432生成包括诸如猪肉440、牛里脊肉442、鸡肉444等的各种牲畜肉的食物的概率。从而完成了对主要成分类别的成分识别。
可以通过基于规则的方法或基于学习的方法来实现食物识别方法和系统。就基于学习的方法而言,本文提出了一种标记和存储方法。除标记方法之外,还通过分支架构实现树状结构识别系统,如图4A至图4C所示。
对于标记方法,为了标记数据,在一些实施例中,生成成分类别列表,并且每个类别在成分类别列表中具有唯一的索引号。仅将前n个主要成分类别标记为输入特征向量。可以根据用户输入来确定数量n,使得在一个输入向量中会有n个参数。每个参数具有大小上限,该大小上限由成分类别列表确定。例如,如果预定义的成分类别列表中有255种成分类别,则每个参数有8位。如果仅标记了前三个主要成分,则每个标记会具有三个参数,因此向量的整体大小为24位。与用长度与所有成分类别的数量相同的矢量来标记食物相比,这将节省用于存储这类标记的计算机资源。
在一些实施例中,对于识别系统,首先建立模型,该模型包含图4A所示的三个部分。第一部分是特征提取模型404,该特征提取模型404可以从图像中提取基本视觉特征。第二部分是总体分类器406,该总体分类器406可以将特征张量分类为一些总体类别。最后一部分是成分识别分支线或详细分类器,该成分识别分支线或详细分类器将识别食物中所含的成分的种类。详细分类器的识别过程会基于总体分类器的结果。
在一些实施例中,可以将输入视为具有混合信息类型的张量,可以使用不同类型的传感器,例如,彩色照相机、深度传感器、质谱仪和手动输入等来获得混合信息类型。
在一些实施例中,可以以基于规则的方法或基于学习的方法来实现特征提取组件,这意味着可以使用不同的特征。当输入由RGB照相机捕获时,提取组件会提取LBP、SIFT、颜色直方图、或者甚至深度学习网络特征图作为将用作后续分类器的输入的输出张量。
对于总体分类器,总体分类器加载由特征提取组件提取的张量并输出总体识别结果。总体识别意味着仅将输入张量分类为一个或多个总体类别。例如,苹果成分将被分类为水果,猪肉成分将被分类为肉。一些带有混合成分的菜肴将被分类为肉菜菜肴。对于一些复杂情况,总体分类器中会包括不止一个分类器来构建树模型,每个分类器上方都具有不同的总体杆。树模型的目的是随着特征张量从树模型的根部流向分支,逐步将图像从较高的总体类别识别为一些较低的具体类别。例如,如图4B所示,具有煎三文鱼的图像将首先被分类为肉。然后,图像将被传送到肉类别的相应分支中,并由下一阶段的分类器分类为鱼肉。此方法将在准确性和速度上增强系统的性能。总体类别具有不同的分支链,每个链是相对于其他链的独立分类器。总体分类器的主要目的是获得用于下一阶段识别的总体信息。
对于详细分类阶段,其将识别食物中包含的具体成分。详细分类器也是多分类器结构。每个分类器都是独立的单元,并且仅可以识别一种类型的成分。换句话说,详细分类器可以识别食物中是否包含成分。当图像中包含成分时,单元将输出表征高概率的高分。单元的数量将由相应类别中成分的种类来确定。
可以通过包括诸如SVM、深度学习网络等的传统算法的不同方法来实现总体分类器和详细分类器中的所有分类单元。
对于整个识别系统,当没有总体分类器将图像分类为特定的总体类别时,特征张量将被传输到每个详细分类器单元中,这非常耗时。为了提高整个系统的速度,引入了树模型,使用总体分类器将任意输入识别为总体类别,然后将特征张量传输到基于总体类别的一些选定单元。例如,由于第二组件的输出显示菜肴图片中仅包含蔬菜的可能性很高,因此特征张量将仅被传输到其目的是对菜肴中包含的确切蔬菜进行分类的这些详细分类器单元,而跳过用于对肉类进行分类的单元。
在传统的“用于烹饪食谱检索的基于深度的成分识别”方法中,一种菜肴标记方法是为每种食物赋予一个零向量,并且向量的长度与成分列表数量相等,这意味着可以识别的成分的数量与向量中参数的数量相同。如果食物包含一种成分,则相应位置的矢量参数将设置为一,其他参数将设置为零。但是,这种标记方法与本文提出的方法相比需要更多的存储空间。全世界有成千上万种成分,传统方法在现实世界中将是棘手的。在本文提出的方法中,标记所需的存储空间取决于食物中包含的前n种主要成分的类别,并且更易于管理。
传统地,多任务网络将具有用于识别食物类别和用于识别成分的单独模型。但是在本文提出的方法中,每种类型的成分都有一个独立的分支线以预测该成分是否包含在食物中。因此,当前公开的系统将更加灵活地向系统中添加新种类的成分,而无需重建整个系统和重新训练整个网络。
图5是根据一些实施例的利用成分识别的食物制备方法500的流程图。该方法在食物制备系统(例如102)处执行,该食物制备系统包括:食物支承平台(例如烤箱架、微波炉旋转板、电转烤肉箱的旋转叉、炉灶的表面等),该食物支承平台被配置为支承食物(例如,披萨、炒菜等);具有指向食物支承平台的视场的照相机(例如照相机210、212等);一个或多个加热单元(例如,食物制备结构120),一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热;以及用于控制照相机和一个或多个加热单元的食物制备控制单元(例如,控制调整推荐系统112和食物制备控件118),该食物制备控制单元包括一个或多个处理器和存储器。该方法包括:在食物支承平台支承第一食物的同时,触发照相机的图像捕获以获得食物支承平台的一个或多个图像(502);基于食物支承平台的一个或多个图像对第一食物进行成分识别(504),包括:在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类,以识别与第一食物对应的一个或多个第一级食物成分类别;在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中,对相应图像的特征张量进行分类,以识别对应于第一食物的对应第二级食物成分类别,其中,第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及根据已经执行的成分识别,调整所述一个或多个加热单元以加热所述第一食物(506)。
在一些实施例中,食物制备系统监测照相机的视场中的内容,并且在监测期间检测照相机的视场中的变化,其中,触发照相机的图像捕获以获得食物支承平台的一个或多个图像包括响应于检测到照相机的视场中的变化而在一段时间内捕获一系列图像。
在一些实施例中,在基于食物支承平台的一个或多个图像对第一食物进行成分识别之前,食物制备系统使用在将第一食物放置在食物支承平台上之前捕获的基础图像对食物支承平台的一个或多个图像中的每个相应图像进行过滤。
在一些实施例中,食物制备系统在总体分类器中对一个或多个图像的相应图像的特征张量进行分类,以通过以下方式来识别与第一食物对应的一个或多个第一级食物成分类别:基于与已针对第一食物识别的一个或多个第一级食物成分类别中的每个类别相对应的各个食物量对一个或多个第一级食物成分类别进行排序;并且从一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别,以使用与预定数量的第一级食物成分类别中的每个类别相对应的各个详细分类器来进行分类。
在一些实施例中,食物制备系统识别第一食物食谱,该第一食物食谱包括针对预定数量的第一级食物成分类别而识别的各个第二级食物成分类别;并且食物制备系统基于第一食物食谱确定第一食物的附加成分,其中附加成分不在针对预定数量的第一级食物成分类别识别出的各个第二级食物成分类别中。
在一些实施例中,食物制备系统基于针对预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于第一食物食谱识别的附加成分,确定第一食物的营养信息。
在一些实施例中,食物制备系统识别第二食物食谱,该第二食物食谱包括针对预定数量的第一级食物成分类别而识别的各个第二级食物成分类别;食物制备系统比较第一食物食谱和第二食物食谱的营养信息;食物制备系统基于第一食物食谱和第二食物食谱的营养信息的比较,提供用于调整烹饪方法的推荐。
该方法和食物制备系统的其他细节在本公开的其他部分中描述,并且为了简洁起见在此不再重复。应当理解,描述图5中的操作的特定顺序仅是示例性的,并不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到重新排序本文描述的操作的各种方式。另外,应当注意,关于本文描述的其他方法和/或过程的本文描述的其他过程的细节也可以类似的方式应用于上述方法500。
图6是根据一些实施例的食物制备系统102的框图。食物制备系统102包括一个或多个处理单元(CPU)602、一个或多个网络接口604、存储器606以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线608。食物制备系统102还包括用户接口610。用户接口610包括使得能够呈现媒体内容的一个或多个输出设备612,所述一个或多个输出设备612包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括包含便于用户输入的用户接口组件的一个或多个输入设备614,例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕获相机或其他输入按钮或控件。在一些实施例中,食物制备系统102还包括传感器,该传感器感测食物制备系统102的操作环境信息。传感器包括但不限于一个或多个热传感器、光传感器、一个或多个照相机、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如,电皮肤电阻传感器、脉搏血氧仪等)、重量传感器、光谱仪和其他传感器。而且,食物制备系统102包括食物制备操作单元626(例如,基于电、感应、气体、辐射等的加热装置)。存储器606包括非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备、或者一个或多个其他非易失性固态存储设备。可选地,存储器606包括远离一个或多个处理单元602的一个或多个存储设备。存储器606、或替代地存储器606内的非易失性存储器包括非易失性计算机可读存储介质。在一些实现方式中,存储器606或存储器606的非暂时性计算机可读存储介质存储以下程序、模块和数据结构、或者以下项的子集或超集:
操作系统616,其包括用于处理各种基本系统服务和用于执行硬件相关任务的过程;
网络通信模块618,其用于通过一个或多个网络接口604(有线或无线)连接到外部服务;
呈现模块620,其用于实现对信息的呈现;
输入处理模块622,其用于检测来自一个或多个输入设备614中的一个输入设备的一个或多个用户输入或交互,并解译检测到的输入或交互;
食物制备控制单元624,其控制食物制备系统102,包括但不限于:用于控制一个或多个照相机和其他传感器的成像控制单元;图像处理系统、成分识别系统、成分数据集成系统、控制调整和推荐系统;以及用于执行本文阐述的其他功能的其他模块。
以上识别元素中的每个元素可以存储在一个或多个之前提到的存储设备中,并且对应于用于执行上述功能的一组指令。以上识别模块或程序(即,指令集)不需要实现为单独的软件程序、过程、模块或数据结构,并且因此这些模块的各种子集可以在各种实现方式中被组合或以其他方式重新布置。在一些实现方式中,可选地,存储器606存储以上识别的模块和数据结构的子集。此外,可选地,存储器606存储以上未描述的附加模块和数据结构。
尽管以上描述了特定实施例,但是将理解,其并不旨在将本申请限制为这些特定实施例。相反,本申请包括在所附权利要求书的精神和范围内的替代、修改和等同物。阐述了许多具体细节以便提供对本文提出的主题的详尽理解。但是,对于本领域的普通技术人员而言,显然可以在没有这些具体细节的情况下实践本主题。在其他情况下,没有详细描述公知的方法、过程、组件和电路,以免不必要地使实施例的各方面不清楚。
Claims (17)
1.一种食物制备系统,包括:
食物支承平台,所述食物支承平台被配置为支承食物;
照相机,所述照相机具有指向所述食物支承平台的视场;
一个或多个加热单元,所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热;以及
食物制备控制单元,所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元,所述食物制备控制单元包括一个或多个处理器和存储指令的存储器,所述指令当由所述一个或多个处理器执行时使所述处理器执行操作,所述操作包括:
在所述食物支承平台支承第一食物的同时,触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像;
基于所述食物支承平台的所述一个或多个图像,对所述第一食物进行成分识别,包括:
在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别;以及
在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对所述相应图像的特征张量进行分类,以识别对应于所述第一食物的对应的第二级食物成分类别,其中,所述第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及
根据已经执行的成分识别,调整所述一个或多个加热单元以加热所述第一食物;其中,
所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别包括:
基于各个食物量对所述一个或多个第一级食物成分类别进行排序,所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别;以及
从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别,以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。
2.根据权利要求1所述的食物制备系统,其中,所述操作包括:
监测所述照相机的视场中的内容;以及
在所述监测期间检测所述照相机的视场中的变化,其中,触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括:响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。
3.根据权利要求2所述的食物制备系统,其中,所述操作包括:
在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前,使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像来对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。
4.根据权利要求1所述的食物制备系统,其中,所述操作还包括:
识别第一食物食谱,所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别;以及
基于所述第一食物食谱确定所述第一食物的附加成分,其中,所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。
5.根据权利要求4所述的食物制备系统,其中,所述操作还包括:
基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分,确定所述第一食物的营养信息。
6.根据权利要求4所述的食物制备系统,其中,所述操作还包括:
识别第二食物食谱,所述第二食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别;
比较所述第一食物食谱和所述第二食物食谱的营养信息;以及
根据对所述第一食物食谱和所述第二食物食谱的营养信息的比较,提供用于调整烹饪方法的推荐。
7.一种用于控制食物制备的方法,包括:
在食物制备系统处执行操作,所述食物制备系统包括:食物支承平台,所述食物支承平台被配置为支承食物;具有指向所述食物支承平台的视场的照相机;一个或多个加热单元,所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热;以及食物制备控制单元,所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元,所述食物制备控制单元包括存储器和一个或多个处理器,所述操作包括:
在所述食物支承平台支承第一食物的同时,触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像;
基于所述食物支承平台的所述一个或多个图像,对所述第一食物进行成分识别,包括:
在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别;以及
在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对相应图像的特征张量进行分类,以识别与所述第一食物对应的第二级食物成分类别,其中,所述第二级食物成分类别是每个第一级食物成分类别的子类别;以及
根据已经执行的成分识别,调整所述一个或多个加热单元以加热所述第一食物;其中,
所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别包括:
基于各个食物量对所述一个或多个第一级食物成分类别进行排序,所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别;以及
从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别,以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。
8.根据权利要求7所述的方法,包括:
监测所述照相机的视场中的内容;以及
在所述监测期间检测所述照相机的视场中的变化,其中,触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。
9.根据权利要求8所述的方法,包括:
在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前,使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。
10.根据权利要求7所述的方法,包括:
识别第一食物食谱,所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别;以及
基于所述第一食物食谱确定所述第一食物的附加成分,其中,所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。
11.根据权利要求10所述的方法,包括:
基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分,确定所述第一食物的营养信息。
12.根据权利要求10所述的方法,包括:
识别第二食物食谱,所述第二食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别;
比较所述第一食物食谱和所述第二食物食谱的营养信息;以及
基于对所述第一食物食谱和所述第二食物食谱的营养信息的比较,提供用于调整烹饪方法的推荐。
13.一种非暂时性计算机可读存储介质,其中:
所述计算机可读存储介质存储指令,所述指令在被食物制备系统的一个或多个处理器执行时,使所述食物制备系统执行操作,
所述食物制备系统包括:
食物支承平台,所述食物支承平台被配置为支承食物;
照相机,所述照相机具有指向所述食物支承平台的视场;
一个或多个加热单元,所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热;以及
食物制备控制单元,所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元;以及
所述操作包括:
在所述食物支承平台支承第一食物的同时,触发照相机的图像捕获以获得所述食物支承平台的一个或多个图像;
基于所述食物支承平台的所述一个或多个图像,对所述第一食物进行成分识别,包括:
在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别;以及
在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对相应图像的特征张量进行分类,以识别对应于所述第一食物的对应的第二级食物成分类别,其中,所述第二级食物成分类别是所述每个第一级食物成分类别的子类别;以及
根据已经执行的成分识别,调整所述一个或多个加热单元以加热所述第一食物;其中,
所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类,以识别与所述第一食物对应的一个或多个第一级食物成分类别包括:
基于各个食物量对所述一个或多个第一级食物成分类别进行排序,所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别;以及
从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别,以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。
14.根据权利要求13所述的计算机可读存储介质,其中,所述操作包括:
监测所述照相机的视场中的内容;以及
在所述监测期间检测所述照相机的视场中的变化,其中,触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括:响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。
15.根据权利要求14所述的计算机可读存储介质,其中,所述操作包括:
在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前,使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。
16.根据权利要求13所述的计算机可读存储介质,其中,所述操作还包括:
识别第一食物食谱,所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别;以及
基于所述第一食物食谱确定所述第一食物的附加成分,其中,所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。
17.根据权利要求16所述的计算机可读存储介质,其中,所述操作还包括:
基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分,确定所述第一食物的营养信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762612426P | 2017-12-30 | 2017-12-30 | |
US62/612,426 | 2017-12-30 | ||
PCT/CN2018/116511 WO2019128543A1 (en) | 2017-12-30 | 2018-11-20 | Food preparation method and system based on ingredient recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111684368A CN111684368A (zh) | 2020-09-18 |
CN111684368B true CN111684368B (zh) | 2021-11-19 |
Family
ID=67057825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880078858.6A Active CN111684368B (zh) | 2017-12-30 | 2018-11-20 | 基于成分识别的食物制备方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11229311B2 (zh) |
EP (1) | EP3685235B1 (zh) |
JP (1) | JP7077506B2 (zh) |
KR (1) | KR102329592B1 (zh) |
CN (1) | CN111684368B (zh) |
WO (1) | WO2019128543A1 (zh) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10694882B2 (en) * | 2016-02-26 | 2020-06-30 | Zezhi Intellectual Property Service | Cooking device with image detection sensor |
WO2019033089A1 (en) * | 2017-08-11 | 2019-02-14 | Brava Home, Inc. | CONFIGURABLE COOKING SYSTEMS AND METHODS |
US11301718B2 (en) * | 2018-12-28 | 2022-04-12 | Vizit Labs, Inc. | Systems, methods, and storage media for training a machine learning model |
US11294950B2 (en) * | 2019-01-18 | 2022-04-05 | Haier Us Appliance Solutions, Inc. | Cooking engagement system equipped with a recipe application for combining third party recipe content |
CN110399804A (zh) * | 2019-07-01 | 2019-11-01 | 浙江师范大学 | 一种基于深度学习的食品检测识别方法 |
US20220276769A1 (en) * | 2019-07-29 | 2022-09-01 | Susumu OKUZAWA | Meal Planning Menu Proposal System |
KR20190096851A (ko) * | 2019-07-30 | 2019-08-20 | 엘지전자 주식회사 | 비전 인식 기반의 조리기 제어 방법 및 제어 장치 |
CN114127674B (zh) * | 2019-08-08 | 2023-08-22 | 诺特可特拉华州有限责任公司 | 对风味进行分类的方法 |
KR102157611B1 (ko) * | 2019-08-12 | 2020-09-18 | 엘지전자 주식회사 | 인공지능 조리 기기 |
KR20210020702A (ko) * | 2019-08-16 | 2021-02-24 | 엘지전자 주식회사 | 인공지능 서버 |
US11112121B2 (en) * | 2019-10-04 | 2021-09-07 | Haier Us Appliance Solutions, Inc. | Cooking engagement system with automatic cooktop monitoring |
CN112749587A (zh) * | 2019-10-30 | 2021-05-04 | 青岛海尔智能技术研发有限公司 | 烘焙模具规格检测的方法及装置、厨电设备 |
US11048976B2 (en) * | 2019-11-11 | 2021-06-29 | Midea Group Co., Ltd. | Method and system for controlling machines based on object recognition |
KR20210074648A (ko) * | 2019-12-12 | 2021-06-22 | 엘지전자 주식회사 | 조리장치 및 조리장치 제어방법 |
KR20210090914A (ko) * | 2020-01-13 | 2021-07-21 | 엘지전자 주식회사 | 인공 지능 조리 기기 및 조리 기기의 동작 방법 |
CN111248716B (zh) * | 2020-01-16 | 2021-09-14 | 珠海格力电器股份有限公司 | 食材的烹饪控制方法、图像处理方法、装置及烹饪设备 |
WO2021184003A1 (en) * | 2020-03-13 | 2021-09-16 | June Life, Inc. | Method and system for sensor maintenance |
WO2021195622A1 (en) | 2020-03-27 | 2021-09-30 | June Life, Inc. | System and method for classification of ambiguous objects |
WO2021230554A1 (ko) * | 2020-05-12 | 2021-11-18 | 삼성전자주식회사 | 단말 장치, 조리 기기, 단말 장치의 제어 방법 및 조리 기기의 제어 방법 |
JP7482683B2 (ja) * | 2020-05-20 | 2024-05-14 | リンナイ株式会社 | 加熱調理システムおよび加熱調理方法、学習装置および学習方法 |
US20220000309A1 (en) * | 2020-07-06 | 2022-01-06 | Kitchen Robotics Ltd | User-Programmable Automated Cooking Apparatus |
KR20220041611A (ko) * | 2020-09-25 | 2022-04-01 | 삼성전자주식회사 | 조리 장치 및 그 제어 방법 |
US20220117274A1 (en) * | 2020-10-20 | 2022-04-21 | June Life, Inc. | Intelligent cooking system and method |
US10962473B1 (en) | 2020-11-05 | 2021-03-30 | NotCo Delaware, LLC | Protein secondary structure prediction |
US11983643B2 (en) * | 2020-11-11 | 2024-05-14 | Haier Us Appliance Solutions, Inc. | Cooking result inference system |
JP2022124203A (ja) * | 2021-02-15 | 2022-08-25 | オリンパス株式会社 | ユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法 |
KR102434856B1 (ko) * | 2021-03-02 | 2022-08-22 | 주식회사 비욘드허니컴 | 식재료 분석장치 |
US12070156B2 (en) | 2021-03-19 | 2024-08-27 | Haier Us Appliance Solutions, Inc. | System and method for detecting food items and managing cooking timers on a cooktop appliance |
KR102412910B1 (ko) * | 2021-04-13 | 2022-06-24 | (주)원팩토리 | 식재료 키트를 이용한 인공지능 학습 조리가 가능한 조리 시스템 및 그 방법 |
US12082742B2 (en) * | 2021-05-01 | 2024-09-10 | Miso Robotics, Inc. | Automated bin system for accepting food items in robotic kitchen workspace |
US11514350B1 (en) | 2021-05-04 | 2022-11-29 | NotCo Delaware, LLC | Machine learning driven experimental design for food technology |
US11348664B1 (en) | 2021-06-17 | 2022-05-31 | NotCo Delaware, LLC | Machine learning driven chemical compound replacement technology |
KR20230011181A (ko) * | 2021-07-13 | 2023-01-20 | 삼성전자주식회사 | 조리 기기 및 그의 제어 방법 |
CN113676706B (zh) * | 2021-08-26 | 2023-09-12 | 广东美的厨房电器制造有限公司 | 烹饪视频生成方法、装置、服务器及控制系统 |
US11544925B1 (en) | 2021-09-01 | 2023-01-03 | GOPIZZA Inc. | Kitchen system with food preparation station |
WO2023034521A1 (en) * | 2021-09-01 | 2023-03-09 | GOPIZZA Inc. | Kitchen system with food preparation station |
US12050662B2 (en) * | 2021-09-07 | 2024-07-30 | Whirlpool Corporation | Generative food doneness prediction |
US11373107B1 (en) | 2021-11-04 | 2022-06-28 | NotCo Delaware, LLC | Systems and methods to suggest source ingredients using artificial intelligence |
US11404144B1 (en) | 2021-11-04 | 2022-08-02 | NotCo Delaware, LLC | Systems and methods to suggest chemical compounds using artificial intelligence |
WO2023189734A1 (ja) * | 2022-03-28 | 2023-10-05 | 富士フイルム富山化学株式会社 | 物体識別装置、物体識別方法及びプログラム |
WO2023229399A1 (ko) * | 2022-05-27 | 2023-11-30 | 삼성전자 주식회사 | 자동 레시피 설정을 통한 커피 제조 방법, 및 이를 수행하기 위한 전자장치 |
KR102440084B1 (ko) * | 2022-06-16 | 2022-09-05 | (주)팩시스 | 자동 포장기 |
KR20240001556A (ko) * | 2022-06-27 | 2024-01-03 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11928769B2 (en) | 2022-07-20 | 2024-03-12 | Samsung Electronics Co., Ltd. | Employing controlled illumination for hyperspectral or multispectral imaging of food in an appliance |
WO2024043493A1 (ko) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | 조리 기기 및 조리 기기의 제어 방법 |
WO2024053907A1 (ko) * | 2022-09-07 | 2024-03-14 | 삼성전자주식회사 | 조리 기기 |
BE1030884B1 (de) * | 2022-09-16 | 2024-04-15 | Miele & Cie | Verfahren zum Betreiben eines Gargeräts |
EP4339516A1 (de) * | 2022-09-16 | 2024-03-20 | Miele & Cie. KG | Verfahren zum betreiben eines gargeräts |
KR20240045864A (ko) * | 2022-09-30 | 2024-04-08 | 삼성전자주식회사 | 조리 기기 및 이의 제어 방법 |
EP4361951A1 (en) * | 2022-10-24 | 2024-05-01 | Electrolux Appliances Aktiebolag | Area calculation of food items using image segmentation |
WO2024090773A1 (ko) * | 2022-10-27 | 2024-05-02 | 엘지전자 주식회사 | 조리 기기 및 그의 동작 방법 |
KR20240116135A (ko) * | 2023-01-20 | 2024-07-29 | 엘지전자 주식회사 | 시각적 조리 가이드를 이용하여 조리 과정을 제어하는 장치 및 방법 |
KR102686000B1 (ko) * | 2023-05-23 | 2024-07-31 | 주식회사 로버스트로봇 | 영상 분석 기반의 자동화 튀김 로봇 시스템 |
US11982661B1 (en) | 2023-05-30 | 2024-05-14 | NotCo Delaware, LLC | Sensory transformer method of generating ingredients and formulas |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104042124A (zh) * | 2014-06-05 | 2014-09-17 | 宁波方太厨具有限公司 | 一种智能烤箱及其工作控制方法 |
CN104246375A (zh) * | 2012-05-08 | 2014-12-24 | 伊莱克斯家用产品股份有限公司 | 用于加工食品的器具及其操作方法 |
CN105740402A (zh) * | 2016-01-28 | 2016-07-06 | 百度在线网络技术(北京)有限公司 | 数字图像的语义标签的获取方法及装置 |
CN105902181A (zh) * | 2016-06-28 | 2016-08-31 | 广东美的厨房电器制造有限公司 | 一种烹饪设备控制方法、控制设备及烹饪设备 |
CN106529564A (zh) * | 2016-09-26 | 2017-03-22 | 浙江工业大学 | 一种基于卷积神经网络的食物图像自动分类方法 |
CN206565858U (zh) * | 2016-12-16 | 2017-10-20 | 宁波方太厨具有限公司 | 一种智能砧板及与该智能砧板联动的烹饪设备 |
CN107393000A (zh) * | 2017-08-24 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、服务器及计算机可读存储介质 |
CN107440475A (zh) * | 2017-04-28 | 2017-12-08 | 浙江苏泊尔家电制造有限公司 | 烹饪的方法、烹饪器具及计算机存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004207843A (ja) | 2002-12-24 | 2004-07-22 | Casio Comput Co Ltd | 画像撮影装置およびプログラム |
JP5434043B2 (ja) | 2008-10-16 | 2014-03-05 | 富士通株式会社 | 画像分析方法、画像分析装置及び画像分析プログラム |
CA2754571C (en) * | 2009-03-05 | 2020-10-13 | Pressco Technology, Inc. | A method and system for digital narrowband, wavelength specific cooking, curing, food preparation, and processing |
JP5274407B2 (ja) | 2009-08-05 | 2013-08-28 | 三菱電機株式会社 | 加熱調理器 |
RU2653733C2 (ru) | 2012-12-04 | 2018-05-14 | Инго СТОРК наз. ВЕРСБОРГ | Контролирующая система для контроля тепловой обработки |
JP2015026122A (ja) | 2013-07-24 | 2015-02-05 | 株式会社ニコン | 画像処理装置 |
JP6300482B2 (ja) | 2013-09-27 | 2018-03-28 | 三菱電機株式会社 | 加熱調理器 |
US20150136760A1 (en) * | 2013-11-15 | 2015-05-21 | Stmicroelectronics (Canada), Inc. | Microwave oven using solid state amplifiers and antenna array |
EP3090239A4 (en) * | 2014-01-03 | 2018-01-10 | Verifood Ltd. | Spectrometry systems, methods, and applications |
JP6586274B2 (ja) | 2014-01-24 | 2019-10-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法 |
CN103955718A (zh) * | 2014-05-15 | 2014-07-30 | 厦门美图之家科技有限公司 | 一种图像主体对象的识别方法 |
DE102014110559A1 (de) * | 2014-07-25 | 2016-01-28 | Rational Aktiengesellschaft | Verfahren zur Steuerung eines Gargeräts |
US9349297B1 (en) * | 2015-09-09 | 2016-05-24 | Fitly Inc. | System and method for nutrition analysis using food image recognition |
CN105938558B (zh) | 2015-03-06 | 2021-02-09 | 松下知识产权经营株式会社 | 学习方法 |
CN107535024B (zh) * | 2015-05-05 | 2020-11-27 | 俊生活公司 | 连接的食品制备系统及其使用方法 |
WO2017033406A1 (ja) | 2015-08-27 | 2017-03-02 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
EP3252381B1 (en) * | 2016-05-31 | 2021-08-04 | Samsung Electronics Co., Ltd. | Cooking oven and controlling method thereof |
CN106419498A (zh) * | 2016-10-27 | 2017-02-22 | 广东格兰仕集团有限公司 | 基于图像识别控制火力和时间的烹饪设备及其控制方法 |
CN107341340A (zh) * | 2017-06-08 | 2017-11-10 | 美的集团股份有限公司 | 食谱推荐方法、系统及终端 |
-
2018
- 2018-11-20 EP EP18895500.9A patent/EP3685235B1/en active Active
- 2018-11-20 KR KR1020207018935A patent/KR102329592B1/ko active IP Right Grant
- 2018-11-20 WO PCT/CN2018/116511 patent/WO2019128543A1/en unknown
- 2018-11-20 JP JP2020535973A patent/JP7077506B2/ja active Active
- 2018-11-20 CN CN201880078858.6A patent/CN111684368B/zh active Active
- 2018-12-21 US US16/230,815 patent/US11229311B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104246375A (zh) * | 2012-05-08 | 2014-12-24 | 伊莱克斯家用产品股份有限公司 | 用于加工食品的器具及其操作方法 |
CN104042124A (zh) * | 2014-06-05 | 2014-09-17 | 宁波方太厨具有限公司 | 一种智能烤箱及其工作控制方法 |
CN105740402A (zh) * | 2016-01-28 | 2016-07-06 | 百度在线网络技术(北京)有限公司 | 数字图像的语义标签的获取方法及装置 |
CN105902181A (zh) * | 2016-06-28 | 2016-08-31 | 广东美的厨房电器制造有限公司 | 一种烹饪设备控制方法、控制设备及烹饪设备 |
CN106529564A (zh) * | 2016-09-26 | 2017-03-22 | 浙江工业大学 | 一种基于卷积神经网络的食物图像自动分类方法 |
CN206565858U (zh) * | 2016-12-16 | 2017-10-20 | 宁波方太厨具有限公司 | 一种智能砧板及与该智能砧板联动的烹饪设备 |
CN107440475A (zh) * | 2017-04-28 | 2017-12-08 | 浙江苏泊尔家电制造有限公司 | 烹饪的方法、烹饪器具及计算机存储介质 |
CN107393000A (zh) * | 2017-08-24 | 2017-11-24 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、服务器及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR102329592B1 (ko) | 2021-11-19 |
EP3685235A4 (en) | 2020-10-21 |
US20190200797A1 (en) | 2019-07-04 |
KR20200092380A (ko) | 2020-08-03 |
JP7077506B2 (ja) | 2022-05-31 |
EP3685235B1 (en) | 2023-03-29 |
EP3685235A1 (en) | 2020-07-29 |
US11229311B2 (en) | 2022-01-25 |
JP2021508811A (ja) | 2021-03-11 |
WO2019128543A1 (en) | 2019-07-04 |
CN111684368A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111684368B (zh) | 基于成分识别的食物制备方法和系统 | |
US20210228022A1 (en) | System and Method for Collecting and Annotating Cooking Images for Training Smart Cooking Appliances | |
US11311135B2 (en) | Image processing by determining combined image distances using dual path analyses | |
US10819905B1 (en) | System and method for temperature sensing in cooking appliance with data fusion | |
JP7332220B2 (ja) | オブジェクト認識に基づく機械制御方法及びそのシステム | |
CN105138682A (zh) | 方便菜与数字菜谱的匹配方法、服务器及终端 | |
CN110488696B (zh) | 一种智能防干烧方法及系统 | |
CN106503442A (zh) | 菜谱的推荐方法和装置 | |
CN107862018A (zh) | 食材烹饪方法的推荐方法和抽油烟机 | |
CN105873478A (zh) | 受调节且受控的烹饪方法和执行该方法的系统 | |
Kitamura et al. | Image processing based approach to food balance analysis for personal food logging | |
JP2021519193A (ja) | 多用途スマート電気炊飯器 | |
CN112817237A (zh) | 一种烹饪控制方法、装置、设备及存储介质 | |
CN110857831A (zh) | 控制冰箱温度的方法及装置 | |
JP2019219766A (ja) | 分析装置、分析システム、及び分析プログラム | |
CN112163006A (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
CN112394149A (zh) | 食材成熟度检测提示的方法及装置、厨电设备 | |
CN116259052A (zh) | 食物熟度识别方法、装置及烹饪设备 | |
CN111178159A (zh) | 一种食谱处理方法、装置、服务器及存储介质 | |
Kaushik et al. | Automated Recipe Generation using Ingredient Classification based on an Image from a Real-Time Photo Station | |
Lin et al. | A Study of Automatic Judgment of Food Color and Cooking Conditions with Artificial Intelligence Technology. Processes 2021, 9, 1128 | |
WO2024042095A1 (en) | Food temperature state determination | |
KR20180110754A (ko) | 음식 적합도에 기초한 요리 정보 제공 방법 및 장치 | |
CN117322780A (zh) | 一种食物的智能烹饪方法、装置、设备及介质 | |
CN114969510A (zh) | 菜谱推荐方法、控制模块、烹饪设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |