CN106774877B - 基于ar增强现实技术和网络商城的烹饪辅助系统 - Google Patents

基于ar增强现实技术和网络商城的烹饪辅助系统 Download PDF

Info

Publication number
CN106774877B
CN106774877B CN201611141086.5A CN201611141086A CN106774877B CN 106774877 B CN106774877 B CN 106774877B CN 201611141086 A CN201611141086 A CN 201611141086A CN 106774877 B CN106774877 B CN 106774877B
Authority
CN
China
Prior art keywords
cooking
unit
seasonings
image
recipe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611141086.5A
Other languages
English (en)
Other versions
CN106774877A (zh
Inventor
童培诚
段会锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kuaichuang Technology Dalian Co ltd
Original Assignee
Kuaichuang Technology Dalian Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuaichuang Technology Dalian Co ltd filed Critical Kuaichuang Technology Dalian Co ltd
Priority to CN201611141086.5A priority Critical patent/CN106774877B/zh
Publication of CN106774877A publication Critical patent/CN106774877A/zh
Application granted granted Critical
Publication of CN106774877B publication Critical patent/CN106774877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Computer Graphics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于AR增强现实技术和网络商城的烹饪辅助系统，包括：视频获取单元，获取烹饪工作区域的图像；视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；第二存储单元，存储指示动画；以及处理单元和显示单元；烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。

Description

基于AR增强现实技术和网络商城的烹饪辅助系统
技术领域
本发明涉及一种基于增强现实技术的烹饪辅助系统，用于替代传统的纸质或者电子版食谱。
背景技术
初涉厨房的人士一般在前几次学习烹饪的过程中，都有比较惨痛的经历，尽管有菜谱引导，但是由于对调料、烹饪器具的十分陌生，比如糖、盐、淀粉等，对于涉厨不深的人来说、区分起来还是比较困难的；对于陈醋、酱油、料酒等的别说初学人士，对于资深人士，也需要闻过之后才能确认。
在一片慌乱的情况下，尤其是在烧开的油锅的压迫下，新手特别容易手忙脚乱，忙中出错，导致放错菜，调料多放、少放或者忘放、控制不住火候的情况此起彼伏的发生，导致做出的菜惨不忍睹、口味更是让人呕吐。
极容易打击出入厨房人士的信心，导致其产生心理阴影，终其一生都不在下厨，甚至导致家庭矛盾、影响家庭和睦不说，也容易动摇社会稳定的根基。
随着图像识别技术和增强现实技术的发展，在AR眼镜视野范围内，对特定的物体进行定位和在帧序列图像中的追踪定位早已是十分成熟的技术。同时，无论是光学透视式的头盔/头戴显示器Head-mounted displays，HMD，也已经广泛应用于虚拟现实系统中，可以在用户真实可见视野下，通过互联大数据通信等大数据加持，为用户呈现更多的精彩纷呈的信息，为解决现实中很多难题都打下了坚实的基础。
发明内容
本发明针对以上问题的提出，而研制的一种基于AR增强现实技术和网络商城的烹饪辅助系统，包括：
视频获取单元，获取烹饪工作区域的图像；
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；
第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；
第二存储单元，存储指示动画；以及处理单元、显示单元和无线通信单元；
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；
所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元。
所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色和标准背景光亮度；
在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，根据当前采集的背景光和标准背景光亮度，调节采集的菜品的颜色，与存储的对应菜品的颜色进行比对，判定菜品烹饪成果，根据颜色的差别给出评分；
还包括菜单生成单元，当不给出烹饪建议时，由所述的视频单元采集烹饪过程中烹饪者动作，根据动作时长生成时间轴进而生成菜单，通过无线通信单元传输至远程服务器，由设置在远程服务器中的网络商城公开上传用户的菜单，同时给出该上传用户的评分，供系统内注册用户下载。
作为优选的实施方式，还具有定义单元；所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
更进一步的，还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
作为优选的实施方式，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。
作为优选的实施方式，所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色；
在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，与存储的对应菜品的颜色进行比对，判定菜品是否处于正常烹饪状态；若超过合适的烹饪状态，则调取所述的第二存储单元中存储的指示动画，在锅具区域进行显示。
由于采用了上述技术方案，本发明公开的一种基于AR增强现实技术和网络商城的烹饪辅助系统，基于数字化食谱和成熟的图像识别技术，能够在烹饪过程中给出实时的烹饪建议，通过时下流行的增强现实技术显示在AR眼镜上，能够使初入厨房的人士也能从容的完成复杂的烹饪过程，采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统模块图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示：一种基于AR增强现实技术和网络商城的烹饪辅助系统，主要包括：视频获取单元，获取烹饪工作区域的图像，考虑到方便时使用者在烹饪过程不会受到实体的视频获取单元的影响，即做到无感，作为优选的实施方式，所述的视频获取单元采用AR增强眼镜的摄像头。但是使用手机等智能终端的摄像头也可，但是不建议烹饪操作者本人使用，建议协助者持握手机等智能终端使用。
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器。由于炊具、灶具等具有较为独特的外形特征，采用通常的视频视频算法，比如成熟的二值化和边缘识别算法即可识别，在存储单元当中存储不同炊具、灶具的形态，与实时获得的图像进行比对即可，并非是本发明的重点。
第一存储单元，存储有包括烹饪菜品时采用的原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱。与纸质菜谱类似，比如原料、佐料和调料加入的时间、加入量等信息。炊具的更换，比如红烧类的菜品，可能涉及油炸锅、炒锅，同时还能存在蒸锅或者汤锅的运行步骤等，均进行存储。
第二存储单元，专门存储指示动画，比如当需要翻炒时，在对应的锅得上方给出不断闪动和或跳动的锅铲动画，同时也可配合必要的语音提示，给予当前的烹饪者的多感官指导。
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。
为了方便算法实现，可以比较难识别的调料、佐料容器，可以在容器上设置专门的识别特征，比如不同形状的标志物图形或者较为明显的数字标志，比如白底黑字的数字等，都可以减少图形识别的运算量和难度。
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导。
相应的，为了扩展设备的可操作性，不断丰富系统中存储的菜谱，作为优选的实施方式，还设有无线通信单元，与远程的系统服务器沟通，下载菜谱。当系统基于AR眼镜时，可利用眼镜的3G/4G无线通信单元和wifi通信模块，进行远程通信下载和存储。
所述的存储单元可以采用内部集成存储介质或者扩展存储介质等。
更进一步的，考虑到调料或者佐料容器数量较多，而且比较难以通过图形识别算法识别出来，而基于标志物可能影响餐具容器的美观，故作为优选的实施方式，还在于具有定义单元；
所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
作为优选的实施方式，所述的定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
更进一步的，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示，在烹饪过程中，可通过视频、音频等识别烹饪开始的时间，比如通过音频识别在炒锅热油状态下菜会有明显的声音；煤气灶在点火时也会产生明显的“噗”声，通过采集这些较为明显的声音，可以作为时间轴开始的标志。
同样的，在烹饪过程中必不可少的加入原材料的过程，需要烹饪者将原材料移植锅具上方倒入锅中，通过在人眼附近的摄像头，可以采集到双臂、盛放容器和手等明显特征，可默认倒入的是正确菜品(之前有明显标志物指示)，单纯识别作为加入特定原材料的时间点，作为后续时间轴运行的标记。
所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色和标准背景光亮度；
在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，根据当前采集的背景光和标准背景光亮度，调节采集的菜品的颜色，与存储的对应菜品的颜色进行比对，判定菜品烹饪成果，根据颜色的差别给出评分；
还包括菜单生成单元，当不给出烹饪建议时，由所述的视频单元采集烹饪过程中烹饪者动作，根据动作时长生成时间轴进而生成菜单，通过无线通信单元传输至远程服务器，由设置在远程服务器中的网络商城公开上传用户的菜单，同时给出该上传用户的评分，供系统内注册用户下载。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于AR增强现实技术和网络商城的烹饪辅助系统，其特征在于包括：
视频获取单元，获取烹饪工作区域的图像；
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；
第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；
第二存储单元，存储指示动画；以及处理单元、显示单元、无线通信单元和视频记录单元；
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；
所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元；
所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色和标准背景光亮度；
在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，根据当前采集的背景光和标准背景光亮度，调节采集的菜品的颜色，与存储的对应菜品的颜色进行比对，判定菜品烹饪成果，根据颜色的差别给出评分；
还包括菜谱生成单元，由所述的视频获取单元采集烹饪过程中烹饪者动作，根据动作时长生成时间轴进而生成菜谱，通过无线通信单元传输至远程服务器，由设置在远程服务器中的网络商城公开上传用户的菜谱，同时给出该上传用户的评分，供系统内注册用户下载。
2.根据权利要求1所述的基于AR增强现实技术和网络商城的烹饪辅助系统，其特征还在于定义单元；
所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
3.根据权利要求2所述的基于AR增强现实技术和网络商城的烹饪辅助系统，其特征还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
4.根据权利要求1所述的基于AR增强现实技术和网络商城的烹饪辅助系统，其特征还在于所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。
CN201611141086.5A 2016-12-12 2016-12-12 基于ar增强现实技术和网络商城的烹饪辅助系统 Active CN106774877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611141086.5A CN106774877B (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和网络商城的烹饪辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611141086.5A CN106774877B (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和网络商城的烹饪辅助系统

Publications (2)

Publication Number Publication Date
CN106774877A CN106774877A (zh) 2017-05-31
CN106774877B true CN106774877B (zh) 2020-07-28

Family

ID=58875991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611141086.5A Active CN106774877B (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和网络商城的烹饪辅助系统

Country Status (1)

Country Link
CN (1) CN106774877B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577176A (zh) * 2017-08-16 2018-01-12 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统
CN109582260A (zh) * 2017-09-29 2019-04-05 佛山市顺德区美的电热电器制造有限公司 一种虚拟现实vr的显示方法、设备及系统
CN107993511A (zh) * 2017-12-31 2018-05-04 武汉烽火云创软件技术有限公司 基于体感操控的虚拟烹饪训练系统及方法
CN108491998A (zh) * 2018-02-09 2018-09-04 广州美易来智能电器有限公司 一种用于智能评价美食复制效果的方法和系统
CN108527388A (zh) * 2018-04-20 2018-09-14 成都昂联科技有限公司 一种基于行为分析的厨房智能机器人及其操作方法
CN108402885B (zh) * 2018-05-25 2020-12-01 朱喜龙 基于大数据的自助炒菜机
CN109344696A (zh) * 2018-08-14 2019-02-15 上海常仁信息科技有限公司 一种基于菜品识别的评分系统和方法
US10504384B1 (en) 2018-10-12 2019-12-10 Haier Us Appliance Solutions, Inc. Augmented reality user engagement system
CN112183914B (zh) * 2019-07-05 2024-03-01 杭州海康威视系统技术有限公司 一种菜项的评价方法及装置
US11544925B1 (en) 2021-09-01 2023-01-03 GOPIZZA Inc. Kitchen system with food preparation station

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867634A (zh) * 2016-04-25 2016-08-17 张锦浩 一种虚拟家庭烹饪学习系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867634A (zh) * 2016-04-25 2016-08-17 张锦浩 一种虚拟家庭烹饪学习系统

Also Published As

Publication number Publication date
CN106774877A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106774874B (zh) 基于ar增强现实技术和基于颜色评价的烹饪辅助系统
CN106774877B (zh) 基于ar增强现实技术和网络商城的烹饪辅助系统
CN106774876B (zh) 基于ar增强现实技术和菜谱生成的烹饪辅助系统
WO2019033843A1 (zh) 烹饪器具的控制方法、装置和系统
US20130171304A1 (en) System and method for culinary interaction
CN106485052A (zh) 一种智能烹饪系统及方法
CN105243270B (zh) 饮食监控方法、装置、系统及餐饮家具
WO2005088542A1 (ja) 食材調理操作認識システム及び食材調理操作認識プログラム
CN108916959A (zh) 火候测量装置、烟机、系统、方法和存储介质
EP2437642B1 (en) Apparatus for cooking and method of helping a user to cook
JP2010061383A (ja) 自動レシピ作成装置およびプログラム
CN113473890B (zh) 烹饪机器人、烹饪机器人控制装置和控制方法
US20170353820A1 (en) Device for assisting in brewing a beverage
CN111012176A (zh) 一种智能茶具的控制方法及系统
O’Hagan ‘Foodstagramming’in early 20th-century postcards: a transhistorical perspective
JP7511128B2 (ja) 調理習得支援システムおよび調理習得支援方法
WO2020179407A1 (ja) データ処理装置、データ処理方法
Black Recipes for cosmopolitanism: cooking across borders in the South Asian diaspora
WO2016148124A1 (ja) ワインの味覚評価システムに用いられる携帯端末
CN106774878A (zh) 基于ar增强现实技术的烹饪辅助系统
JP2009151616A (ja) イベント演出システム
Bradley More Cake Please—We’re British! Locating British Identity in Contemporary TV Food Texts, The Great British Bake Off and Come Dine With Me
CN106355521A (zh) 防饮食过敏系统及其使用方法
CN113474134B (zh) 烹饪机器人、烹饪机器人控制装置和控制方法
Marinaccio Cucina Nostra: Italian American Foodways on Television.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 116023 No. 1111, Block B, 32 Torch Road, Dalian High-tech Industrial Park, Liaoning Province

Applicant after: KUAICHUANG TECHNOLOGY (DALIAN) Co.,Ltd.

Address before: 116000 Dalian, Liaoning hi tech Zone Torch Road, No. 32 venture building, block B, 1101

Applicant before: DALIAN VINCENT SOFTWARE TECH. Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant