CN106791777A - 基于ar增强现实技术和无线通信技术的烹饪辅助系统 - Google Patents

基于ar增强现实技术和无线通信技术的烹饪辅助系统 Download PDF

Info

Publication number
CN106791777A
CN106791777A CN201611140386.1A CN201611140386A CN106791777A CN 106791777 A CN106791777 A CN 106791777A CN 201611140386 A CN201611140386 A CN 201611140386A CN 106791777 A CN106791777 A CN 106791777A
Authority
CN
China
Prior art keywords
culinary art
unit
cooking
wireless communication
cooker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611140386.1A
Other languages
English (en)
Inventor
童培诚
段会锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd filed Critical DALIAN WENSENTE SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201611140386.1A priority Critical patent/CN106791777A/zh
Publication of CN106791777A publication Critical patent/CN106791777A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于AR增强现实技术和无线通信技术的烹饪辅助系统，包括：视频获取单元，获取烹饪工作区域的图像；视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；第二存储单元，存储指示动画；以及处理单元和显示单元；烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。

Description

基于AR增强现实技术和无线通信技术的烹饪辅助系统
技术领域
本发明涉及一种基于增强现实技术的烹饪辅助系统，用于替代传统的纸质或者电子版食谱。
背景技术
初涉厨房的人士一般在前几次学习烹饪的过程中，都有比较惨痛的经历，尽管有菜谱引导，但是由于对调料、烹饪器具的十分陌生，比如糖、盐、淀粉等，对于涉厨不深的人来说、区分起来还是比较困难的；对于陈醋、酱油、料酒等的别说初学人士，对于资深人士，也需要闻过之后才能确认。
在一片慌乱的情况下，尤其是在烧开的油锅的压迫下，新手特别容易手忙脚乱，忙中出错，导致放错菜，调料多放、少放或者忘放、控制不住火候的情况此起彼伏的发生，导致做出的菜惨不忍睹、口味更是让人呕吐。
极容易打击出入厨房人士的信心，导致其产生心理阴影，终其一生都不在下厨，甚至导致家庭矛盾、影响家庭和睦不说，也容易动摇社会稳定的根基。
随着图像识别技术和增强现实技术的发展，在AR眼镜视野范围内，对特定的物体进行定位和在帧序列图像中的追踪定位早已是十分成熟的技术。同时，无论是光学透视式的头盔/头戴显示器Head-mounted displays，HMD，也已经广泛应用于虚拟现实系统中，可以在用户真实可见视野下，通过互联大数据通信等大数据加持，为用户呈现更多的精彩纷呈的信息，为解决现实中很多难题都打下了坚实的基础。
发明内容
本发明针对以上问题的提出，而研制的一种基于AR增强现实技术和无线通信技术的烹饪辅助系统，包括：
视频获取单元，获取烹饪工作区域的图像；
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；
第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；
第二存储单元，存储指示动画；以及处理单元、显示单元和无线通信单元；
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；
所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元。
作为优选的实施方式，还具有定义单元；所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
更进一步的，还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
作为优选的实施方式，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。
作为优选的实施方式，所述的食谱中还存储有不同烹饪时长和烹饪条件下、不同菜品的颜色；
由于采用了上述技术方案，本发明公开的一种基于AR增强现实技术和无线通信技术的烹饪辅助系统，基于数字化食谱和成熟的图像识别技术，能够在烹饪过程中给出实时的烹饪建议，通过时下流行的增强现实技术显示在AR眼镜上，能够使初入厨房的人士也能从容的完成复杂的烹饪过程，采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统模块图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示：一种基于AR增强现实技术和无线通信技术的烹饪辅助系统，主要包括：视频获取单元，获取烹饪工作区域的图像，考虑到方便时使用者在烹饪过程不会受到实体的视频获取单元的影响，即做到无感，作为优选的实施方式，所述的视频获取单元采用AR增强眼镜的摄像头。但是使用手机等智能终端的摄像头也可，但是不建议烹饪操作者本人使用，建议协助者持握手机等智能终端使用。
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器。由于炊具、灶具等具有较为独特的外形特征，采用通常的视频视频算法，比如成熟的二值化和边缘识别算法即可识别，在存储单元当中存储不同炊具、灶具的形态，与实时获得的图像进行比对即可，并非是本发明的重点。
第一存储单元，存储有包括烹饪菜品时采用的原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱。与纸质菜谱类似，比如原料、佐料和调料加入的时间、加入量等信息。炊具的更换，比如红烧类的菜品，可能涉及油炸锅、炒锅，同时还能存在蒸锅或者汤锅的运行步骤等，均进行存储。
第二存储单元，专门存储指示动画，比如当需要翻炒时，在对应的锅得上方给出不断闪动和或跳动的锅铲动画，同时也可配合必要的语音提示，给予当前的烹饪者的多感官指导。
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。
为了方便算法实现，可以比较难识别的调料、佐料容器，可以在容器上设置专门的识别特征，比如不同形状的标志物图形或者较为明显的数字标志，比如白底黑字的数字等，都可以减少图形识别的运算量和难度。
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导。
相应的，为了扩展设备的可操作性，不断丰富系统中存储的菜谱，作为优选的实施方式，还设有无线通信单元，与远程的系统服务器沟通，下载菜谱。当系统基于AR眼镜时，可利用眼镜的3G/4G无线通信单元和wifi通信模块，进行远程通信下载和存储。
所述的存储单元可以采用内部集成存储介质或者扩展存储介质等。
更进一步的，考虑到调料或者佐料容器数量较多，而且比较难以通过图形识别算法识别出来，而基于标志物可能影响餐具容器的美观，故作为优选的实施方式，还在于具有定义单元；
所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
作为优选的实施方式，所述的定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
更进一步的，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示，在烹饪过程中，可通过视频、音频等识别烹饪开始的时间，比如通过音频识别在炒锅热油状态下菜会有明显的声音；煤气灶在点火时也会产生明显的“噗”声，通过采集这些较为明显的声音，可以作为时间轴开始的标志。
同样的，在烹饪过程中必不可少的加入原材料的过程，需要烹饪者将原材料移植锅具上方倒入锅中，通过在人眼附近的摄像头，可以采集到双臂、盛放容器和手等明显特征，可默认倒入的是正确菜品(之前有明显标志物指示)，单纯识别作为加入特定原材料的时间点，作为后续时间轴运行的标记。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于AR增强现实技术和无线通信技术的烹饪辅助系统，其特征在于包括：
视频获取单元，获取烹饪工作区域的图像；
视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；
第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；
第二存储单元，存储指示动画；以及处理单元、显示单元和无线通信单元；
烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；
烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；
持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；
所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元。
2.根据权利要求1所述的基于AR增强现实技术和无线通信技术的烹饪辅助系统，其特征还在于定义单元；
所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。
3.根据权利要求2所述的基于AR增强现实技术和无线通信技术的烹饪辅助系统，其特征还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。
4.根据权利要求1所述的基于AR增强现实技术和无线通信技术的烹饪辅助系统，其特征还在于所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。
CN201611140386.1A 2016-12-12 2016-12-12 基于ar增强现实技术和无线通信技术的烹饪辅助系统 Pending CN106791777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611140386.1A CN106791777A (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和无线通信技术的烹饪辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611140386.1A CN106791777A (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和无线通信技术的烹饪辅助系统

Publications (1)

Publication Number Publication Date
CN106791777A true CN106791777A (zh) 2017-05-31

Family

ID=58876069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611140386.1A Pending CN106791777A (zh) 2016-12-12 2016-12-12 基于ar增强现实技术和无线通信技术的烹饪辅助系统

Country Status (1)

Country Link
CN (1) CN106791777A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质
CN110613314A (zh) * 2018-06-20 2019-12-27 佛山市顺德区美的电热电器制造有限公司 一种烹饪提示方法及设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
DE102012204229A1 (de) * 2012-03-16 2013-09-19 BSH Bosch und Siemens Hausgeräte GmbH Vorrichtung für ein Gargerät und Gargerät
KR20140139696A (ko) * 2013-05-28 2014-12-08 주홍찬 증강현실을 이용한 레시피 콘텐츠 서비스 장치 및 방법
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN205563458U (zh) * 2016-03-25 2016-09-07 深圳青橙视界数字科技有限公司 智能头戴设备及智能穿戴系统
CN106202269A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种获取增强现实操作指导的方法、装置及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
DE102012204229A1 (de) * 2012-03-16 2013-09-19 BSH Bosch und Siemens Hausgeräte GmbH Vorrichtung für ein Gargerät und Gargerät
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
KR20140139696A (ko) * 2013-05-28 2014-12-08 주홍찬 증강현실을 이용한 레시피 콘텐츠 서비스 장치 및 방법
CN205563458U (zh) * 2016-03-25 2016-09-07 深圳青橙视界数字科技有限公司 智能头戴设备及智能穿戴系统
CN106202269A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种获取增强现实操作指导的方法、装置及移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110613314A (zh) * 2018-06-20 2019-12-27 佛山市顺德区美的电热电器制造有限公司 一种烹饪提示方法及设备、存储介质
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质

Similar Documents

Publication Publication Date Title
CN106774874A (zh) 基于ar增强现实技术和基于颜色评价的烹饪辅助系统
CN106774877A (zh) 基于ar增强现实技术和网络商城的烹饪辅助系统
CN106774876A (zh) 基于ar增强现实技术和菜谱生成的烹饪辅助系统
CN104146586B (zh) 一种智能烹饪设备及智能烹饪设备的工作方法
US11375842B2 (en) Method for controlling a cooking appliance
AU2015311069B2 (en) Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
CN204698314U (zh) 一种智能厨房烹饪系统
CN109541985A (zh) 一种烹饪器具的控制方法及烹饪器具
CN206596942U (zh) 一种智能烹饪系统
CN106377153A (zh) 一种智能烹饪系统及烹饪方法
CN109640751A (zh) 用于烹饪系统的辅助按钮
CN107844142A (zh) 烹饪系统、移动终端及电子菜谱生成、辅助烹饪方法
CN108255078A (zh) 烹饪器具的控制方法、控制系统、烹饪器具和终端
CN107219799A (zh) 一种烹饪数据自动控制系统及控制方法
CN107198391A (zh) 一种上妆指导美颜镜子
CN103856637A (zh) 提醒食用存储食品的手机及提醒食用存储食品的方法
CN106791777A (zh) 基于ar增强现实技术和无线通信技术的烹饪辅助系统
CN104266450A (zh) 提醒食品保质期方法
US20220097239A1 (en) Cooking robot, cooking robot control device, and control method
CN207516774U (zh) 一种烹饪数据自动控制系统
CN206213908U (zh) 一种智能烤箱及其系统
CN106774878A (zh) 基于ar增强现实技术的烹饪辅助系统
KR20130015512A (ko) 사용자 제어 장치를 통해 제어되는 재료 혼합장치 및 방법
CN113488140A (zh) 一种电子菜谱处理方法及终端、电子设备、存储介质
Hegarty et al. Gastronomy: A phenomenon of cultural expressionism and an aesthetic for living

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531