CN111723760A - 一种适用于智慧厨房系统的数字菜谱生成方法及装置 - Google Patents

一种适用于智慧厨房系统的数字菜谱生成方法及装置 Download PDF

Info

Publication number
CN111723760A
CN111723760A CN202010599423.5A CN202010599423A CN111723760A CN 111723760 A CN111723760 A CN 111723760A CN 202010599423 A CN202010599423 A CN 202010599423A CN 111723760 A CN111723760 A CN 111723760A
Authority
CN
China
Prior art keywords
article
action
item
actions
articles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010599423.5A
Other languages
English (en)
Other versions
CN111723760B (zh
Inventor
李�赫
孙雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruying Intelligent Technology Co ltd
Original Assignee
Beijing Ruying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruying Intelligent Technology Co ltd filed Critical Beijing Ruying Intelligent Technology Co ltd
Priority to CN202010599423.5A priority Critical patent/CN111723760B/zh
Publication of CN111723760A publication Critical patent/CN111723760A/zh
Application granted granted Critical
Publication of CN111723760B publication Critical patent/CN111723760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种适用于智慧厨房的数字菜谱生成的方法及装置，用以生成较快捷的数字菜谱供智慧厨房的机械臂读取并实现其菜肴制作的过程。所述方法包括：对人为烹饪视频进行多模态特征识别，实现物体(食材、厨具等)检测和人体姿态、动作、行为的识别分析；对检测的物体之间的交互关系以及物体与人的交互关系进行理解分析；生成机械臂可接受的最佳动作姿态及控制命令序列，封装成数字菜谱。

Description

一种适用于智慧厨房系统的数字菜谱生成方法及装置
技术领域
本发明涉及计算机及通信技术领域，特别涉及一种适用于智慧厨房系统的数字菜谱生成方法及装置。
背景技术
随着科学技术的发展，人工智能技术已走进了人们的生活，尤其是走进了厨房。智能烹饪器具、厨房用机械臂等人工智能设备，可以越来越多取代人工劳动。智能烹饪器具和厨房用机械臂能够工作的前提，是有数字菜谱，厨房用机械臂可运行该数字菜谱，以根据该数字菜谱完成烹饪动作。那么，如何教快捷的生成数字菜谱，则是业内亟待解决的问题。
发明内容
本发明提供一种适用于智慧厨房系统的数字菜谱生成方法及装置，用以实现较快捷的生成数字菜谱。
本发明提供一种适用于智慧厨房系统的数字菜谱生成方法，包括：
对人为烹饪视频进行多模态特征识别，识别出物品和动作；
按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
针对每个物品和动作，生成相应的可执行命令；
将所述可执行命令封装成数字菜谱。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例可根据厨师的烹饪视频自动生成适用于机械臂的数字菜谱，可方便快捷的实现将真人烹饪视频转换成数字菜谱。
可选的，所述方法还包括：
根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系；
在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序；
和/或
根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系；
在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例将烹饪视频中物品出现的顺序调整为适合于机械臂操作的顺序，这样生成的菜谱，有助于机械臂更好的执行。
可选的，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系；
所述根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系，包括：
确定所述物品所属的物品类别；
根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系；
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系；
所述根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系，包括：
确定所述物品所属的物品类别；
根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例根据物品类别进行排序，使得更新后的顺序更合理。
可选的，所述第一关联关系和所述第二关联关系包括位置关联关系。
可选的，在针对每个物品和动作，生成相应的可执行命令之前，所述方法还包括：
根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品；
当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例实现了将真人烹饪视频中厨师所采用的物品更换为适合于机械臂采用的物品。
可选的，对人为烹饪视频进行多模态特征识别，至少包括下列之一：
对人为烹饪视频进行图像识别；
对人为烹饪视频进行语音识别；
对人为烹饪视频进行字幕识别。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例提供多种识别方式，以获取较多的信息。
可选的，当对人为烹饪视频进行至少两种多模态特征识别时，所述方法还包括：
将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例中多种信息可以互相补充、互相融合，有助于生成更完整、准确的数字菜谱。
可选的，针对每个物品，生成相应的可执行命令，包括：
针对每个物品，生成识别所述物品的可执行命令；
生成抓取所述物品的可执行命令。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例实现了更适用于机械臂执行的可执行命令。
可选的，所述动作包括动作的起始条件和结束条件。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例中的动作为更适用于机械臂执行的动作。
可选的，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例根据真人烹饪视频得到适用于机械臂执行的动作条件。
可选的，所述动作包括对外部设备的操作动作；
所述根据每个所述动作，生成相应的可执行命令，包括：
根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例可将厨师的人为动作更改为远程控制命令，减少了机械臂的动作，使得执行过程更智能、快捷。
本发明提供一种适用于智慧厨房系统的数字菜谱生成装置，包括：
识别模块，用于对人为烹饪视频进行多模态特征识别，识别出物品和动作；
排序模块，用于按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
生成模块，用于针对每个物品和动作，生成相应的可执行命令；
封装模块，用于将所述可执行命令封装成数字菜谱。
可选的，所述装置还包括：
第一判断模块，用于根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系；
第一更新模块，用于在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序；
和/或
第二判断模块，用于根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系；
第二更新模块，用于在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
可选的，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系；
所述第一判断模块确定所述物品所属的物品类别；根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系；
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系；
所述第二判断模块确定所述物品所属的物品类别；根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
可选的，所述第一关联关系和所述第二关联关系包括位置关联关系。
可选的，所述装置还包括：
第三判断模块，用于根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品；
替换模块，用于当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
可选的，所述识别模块，至少包括下列之一：
图像识别子模块，用于对人为烹饪视频进行图像识别；
语音识别子模块，用于对人为烹饪视频进行语音识别；
字幕识别子模块，用于对人为烹饪视频进行字幕识别。
可选的，当对人为烹饪视频进行至少两种多模态特征识别时，所述装置还包括：
融合模块，用于将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
可选的，所述生成模块，包括：
第一生成子模块，用于针对每个物品，生成识别所述物品的可执行命令；
第二生成子模块，用于生成抓取所述物品的可执行命令。
可选的，所述动作包括动作的起始条件和结束条件。
可选的，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
可选的，所述动作包括对外部设备的操作动作；
所述生成模块包括：
第三生成子模块，用于根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
本发明提供一种适用于智慧厨房系统的数字菜谱生成装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对人为烹饪视频进行多模态特征识别，识别出物品和动作；
按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
针对每个物品和动作，生成相应的可执行命令；
将所述可执行命令封装成数字菜谱。
本发明提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现所述方法的步骤。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中适用于智慧厨房系统的数字菜谱生成方法流程图；
图2为本发明实施例中适用于智慧厨房系统的数字菜谱生成方法流程图；
图3为本发明实施例中适用于智慧厨房系统的数字菜谱生成方法流程图；
图4为本发明实施例中适用于智慧厨房系统的数字菜谱生成装置结构图；
图5为本发明实施例中适用于智慧厨房系统的数字菜谱生成装置结构图；
图6为本发明实施例中适用于智慧厨房系统的数字菜谱生成装置结构图；
图7为本发明实施例中识别模块的结构图；
图8为本发明实施例中适用于智慧厨房系统的数字菜谱生成装置结构图；
图9为本发明实施例中生成模块的结构图；
图10为本发明实施例中生成模块的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
相关技术中，适用于机械臂的数字菜谱，需要专业技术人员以写代码的方式生成。但是，编程人员可能不熟悉烹饪，且编写代码需要花费较多时间和人力。
为解决上述问题，本申请的发明人发现，有许多展示厨师烹饪过程的美食节目，通过对这些美食烹饪视频的识别和分析，自动生成适用于机械臂的数字菜谱。
参见图1，本实施例中适用于智慧厨房系统的数字菜谱生成方法包括：
步骤101：对人为烹饪视频进行多模态特征识别，识别出物品和动作。
步骤102：按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序。
步骤103：针对每个物品和动作，生成相应的可执行命令。
步骤104：将所述可执行命令封装成数字菜谱。
本实施例针对机械臂的操控特点，对人为烹饪视频进行多模态特征识别，颜色特征、纹理特则、边缘特征、音频特征、文本特征等均可以是多模态特征，通过对上述一种或多种的多模态特征进行识别，可以识别出物品和动作。有别于适用于智能锅的数字菜谱，能够模拟人类的动作行为，实现配菜，菜肴制作和装盘自动化，是机械臂的特点和优势，因此，本实施例不仅识别人为烹饪视频中的物品，还有识别其中真人的烹饪动作。动作如：搅拌(鸡蛋)、切菜等。
在进行多模态特征识别过程中，得到识别结果的物品和动作时，得出识别结果的顺序不一定是视频播放顺序。所以，本实施例还按照视频播放顺序对物品和动作进行排序，这样得到的顺序更符合烹饪过程，机械臂按照该顺序抓取物品和执行动作，有利于更好的完成烹饪过程。
本实施例针对得到的物品和动作，生成适用于机械臂的可执行命令，生成适用于机械臂的数字菜谱。将这样的数字菜谱输入到机械臂的控制系统中，可控制机械臂通过完成该数字菜谱对应的烹饪过程，完成菜肴的制作。
本实施例实现对真人烹饪视频的智能分析，自动生成适用于机械臂的数字菜谱。生成菜谱的过程节省了大量人力且快捷，便于批量生成数字菜谱。
本实施例中的物品包括食材(含调料等)、器皿(如盘、碗等)、工具(如搅拌器等)和外部设备(如锅、电子称、油烟机、灶具等)等。
可选的，所述方法还包括：步骤A1-步骤A2，和/或，步骤A3-步骤A4。
步骤A1：根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系。
步骤A2：在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序。
本实施例中，按照视频播放顺序，物品1在前，物品2在后，且物品1和物品2在视频中的距离比较近，但是为了更符合机械臂的操作，先对物品2操作，再对物品1操作，所以可以按照第一关联关系调换物品1和物品2的顺序。其中，第一关联关系包括物品1和物品2的对应关系和顺序关系。其中，物品1和物品2在视频中的距离可以是视频帧数、相对时间等。例如，物品1和物品2之间的视频帧数小于预设的视频帧数阈值(如240帧)，则确定物品1和物品2的距离相近。又如，物品1和物品2之间的相对时间小于预设的时长阈值(如10秒)，则确定物品1和物品2的距离相近。其中，如果物品1出现在连续的多个视频帧中，以最后一个视频帧作为物品1的位置。如果物品2出现在连续的多个视频帧中，以第一个视频帧作为物品2的位置。即，以物业1和物品2之间的最小距离作为物业1和物品2之间的距离。
例如，视频中先出现了青菜，后出现了菜板。但是对于机械臂来说青菜需要放在菜板上，所以需要先确定菜板的位置，才能确定青菜移动的终点位置(即菜板位置)，机械臂先拿取菜板，再拿取青菜会更合适。因此，在生成数字菜谱的过程中，对换青菜和菜板的顺序会更符合需求。即，青菜和菜板符合第一关联关系中的对应关系，然后判断青菜和菜板的顺序是否符合第一关联关系中的顺序关系，如果不符合，则按照第一关联关系中的顺序关系更新青菜和菜板的顺序。
步骤A3：根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系。
步骤A4：在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
本实施例中，按照视频播放顺序，物品1在前，动作1在后，且物品1和动作1在视频中的距离比较近，但是为了更符合机械臂的操作，先执行动作1，再对物品1操作，所以可以按照第一关联关系调换物品1和动作1的顺序。其中，第一关联关系包括物品1和动作1的对应关系和顺序关系。
可选的，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系。
所述步骤A1包括：步骤A11-步骤A12。
步骤A11：确定所述物品所属的物品类别。
步骤A12：根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系。
本实施例可以根据物品类别来判断两个物品是否需要调换顺序。比如视频中先出现了食材，后出现器皿，而食材需要放入器皿中，也就是说器皿的位置是抓取食材的终点位置，那么第一关联关系约定了器皿在前食材在后，即机械臂先抓取器皿再抓取食材，此时需调换食材和器皿的顺序。
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系。
所述步骤A3包括：步骤A31-步骤A32。
步骤A31：确定所述物品所属的物品类别。
步骤A32：根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
本实施例可以根据物品类别来判断物品与动作之间的顺序是否需要调换。
可选的，所述第一关联关系和所述第二关联关系包括位置关联关系。
本实施例中，位置关联关系可以理解成为一种视觉交互关系，即存在一种视觉上的关联。例如，物品1和物品2同时出现在一帧图像中，且物品1和物品2的位置坐标接近，如物品1与物品2上下叠放(如食材放在菜板上或器皿中)，或者如物品1和物品2并排放置等。即，竖直或水平坐标接近或相同。根据第一关联关系中为物品1和物品2配置的顺序，判断是否要调换物品1与物品2的顺序。
又如，根据视频确定动作和该动作的关联物品，关联物品包括使用的根据和操作对象，如切菜动作，关联物品包括菜刀和食材。该动作发生的姿态和位置与关联物品的位置存在关联，即坐标接近，且出现在相同视频帧中。根据第二关联关系中为物品和动作配置的顺序，判断是否要调换关联物品与该动作的顺序。
另外，两个物品或物品和动作出现在同一个视频帧中，那么这两个物品或物品和动作之间没有先后顺序，那么也可以根据第一关联关系和第二关联关系确定其顺序。
可选的，在针对每个物品和动作，生成相应的可执行命令之前，所述方法还包括：步骤B1-步骤B2。
步骤B1：根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品。
步骤B2：当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
本实施例中，第一物品可以是适合于厨师使用的物品，如筷子。但是第一物品不适合于机械臂，而机械臂可能使用搅拌器，那么此时需要将筷子替换为搅拌器。第三关联关系中的第一物品均为适合于厨师使用的物品，或者是视频环境中出现的物品(例如蒸烤一体锅)。第二物品为适合于机械臂使用的物品，或者是实际应用场景中的物品(例如蒸锅)，以及实际应用场景中没有视频中的该第一物品。
可选的，步骤101至少包括下列之一：步骤C1-步骤C3。
步骤C1：对人为烹饪视频进行图像识别。
步骤C2：对人为烹饪视频进行语音识别。
步骤C3：对人为烹饪视频进行字幕识别。
本实施例中，可以对单个视频帧进行逐帧识别，以识别物品。还可以对连续的多个视频帧进行识别，以识别动作。其中，可以预设有物品和动作的图像特征库。
本实施例可以将视频中的语音转换为文字，再从文字中识别出物品(主要是名词)和动作(主要是动词)。其中，可以预设有物品和动作的词库。
本实施例可以从视频中提取出字幕文字，再从文字中识别出物品和动作。
图像、语音和字幕的识别过程可以采用传统机器学习和深度学习等算法模型来实现。例如，利用深度学习模型提取图像特征，语义特征和文本特征，并将多模态特征聚合编码为该视频的压缩表示，再利用深度学习模型将视频的压缩表示解码成一个个机械臂的控制指令，进而生成数字菜谱。
可选的，当对人为烹饪视频进行至少两种多模态特征识别时，所述方法还包括：步骤D1。
步骤D1：将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
本实施例中，通过图像、语音和字幕分别识别出的物品和动作可能不完全相同，此时可进行相互配准和融合，如采用集成学习等多种融合算法。例如，通过图像识别得到物品盐，但是无法清除盐的分量。通过语音识别得到加1勺盐，再与图像识别结果结合，融合后的结果为1勺盐。又如，通过图像识别得到物品1，未得到物品2，通过语音识别得到物品2，则融合后的结果为物品1和物品2。又如，通过图像识别得到食材1，通过语音识别得到对食材1进行切丁的动作，图像展示了切丁后的食材1，但是未包含切丁的过程。则融合后的结果为食材1和对食材1进行切丁的动作。又如，通过图像识别得到物品1，通过语音识别得到物品2，以及语音中的语义为“如果用物品2会更好”，则融合后的结果为用物品2替换物品1。因此，融合处理可以包括：增加物品或动作、替换物品或动作、完善物品或动作的信息(如物品的分量等)和调整物品和动作的顺序等。
本实施例通过多种识别方式的结合，有助于得到更准确、完善的菜谱。
可选的，所述步骤103包括：步骤E1-步骤E2。
步骤E1：针对每个物品，生成识别所述物品的可执行命令。
步骤E2：生成抓取所述物品的可执行命令。
本实施例中，对于机械臂来说，当数字菜谱中出现一个物品时，机械臂需要先在周围环境中识别出该物品，然后再抓取该物品，因此机械臂执行了识别物品和抓取物品两条命令。故，在生成数字菜谱的过程中，本实施例生成了别所述物品的可执行命令和抓取所述物品的可执行命令。使得生成的数字菜谱更符合对机械臂的操控。
可选的，所述动作包括动作的起始条件和结束条件。
本实施例中，能够模拟真人的行为动作，是机械臂的优势和特点。在完成烹饪的过程中，机械臂需要执行若干动作，这些动作可能连续也可能不连续。所以，本实施例通过对视频的分析，为动作配置了起始条件和结束条件，这样可生成有准确、完善的数字菜谱，以便于机械臂可以更好的完成各个动作，实现相应菜肴的烹饪。
可选的，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
本实施例中的姿态信息(起始姿态和结束姿态)可以是六维坐标。动作的起始姿态可以是前一个动作的结束姿态，也可以是某个物品的所在位置。以物品为例，前面介绍了物品的可执行命令包括识别物品和抓取物品，所以识别物品的可执行命令的结果就是抓取物品的可执行命令的输入，即识别出物品时便可确定该物品的位置，进而可以确定抓取动作的起始姿态。
关于动作的起始时间，可以是相对时间也可以是绝对时间。例如，灶具点火后等待5秒钟，待锅烧热再执行下一个动作，该动作的起始时间就是点火后5秒钟。
关于外部设备的第一参数阈值，第一参数阈值包括温度、火力、时间、状态等。机械臂可以接收外部设备发来的各个参数值，或者机械臂通过摄像头拍摄到的外部设备的显示装置以获得各个参数值。判断各个参数值是否满足相应的第一参数阈值，若满足，则开始下一个动作。例如，当锅里的水温达到100度，机械臂抓取食材放入锅中。
关于所述目标物品的第一图像特征信息，预先存有各种物品的各种状态下的第一图像特征信息。机械臂可以通过摄像头获取目标物品的当前图像特征信息，判断当前图像特征信息是否与相应的第一图像特征信息匹配，若匹配，则开始下一个动作。例如，在煮虾时，虾变成红色，确定虾已熟，即虾的颜色符合预设的已熟的第一图像特征信息，则机械臂可执行捞取虾的动作。
关于动作的结束条件，可以是将物品放到某个位置(即结束姿态)，也可以是重复某动作达到一定的时长(如搅拌鸡蛋10秒钟)，也可能是重复某个动作达到一定次数(如抓取3个鸡蛋，执行3次抓取鸡蛋的动作，然后结束抓取鸡蛋的动作)。
可选的，所述动作包括对外部设备的操作动作。
所述步骤103包括：步骤F1。
步骤F1：根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
例如，在视频中，厨师将食材放入电饭锅后，点击“开始”烹饪的按钮。根据该图像特征，可以生成识别和点击“开始”烹饪的按钮的动作的可执行命令。但是，还可以有另一种实现方式，如果该电饭锅是智能电饭锅，可以与机械臂进行通信，那么机械臂可以向电饭锅发送表示开始烹饪的通知消息，电饭锅收到该通知消息后自动开始烹饪。故，根据该图像特征，可以生成向电饭锅发送表示开始烹饪的通知消息(即远程控制命令)。节省了机械臂的操作过程，以发送远程控制命令的方式代替动作的执行，实现过程更快捷方便。
下面通过几个实施例详细介绍实现过程。
参见图2，本实施例中适用于智慧厨房系统的数字菜谱生成方法包括：
步骤201：对人为烹饪视频进行多模态特征识别，识别出物品和动作。
步骤202：按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序。
步骤203：根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系。若不存在所述第一关联关系，则继续步骤205。
步骤204：在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序。
步骤205：根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品。当所述物品不为所述第一物品时，继续步骤207。
步骤206：当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
其中，步骤202-步骤204是排序过程，步骤205-步骤206是替换物品的过程，这是两个相对独立的过程，执行顺序可以互换或同步进行。
步骤207：针对每个物品和动作，生成相应的可执行命令。
步骤208：将所述可执行命令封装成数字菜谱。
参见图3，本实施例中适用于智慧厨房系统的数字菜谱生成方法包括：
步骤301：对人为烹饪视频进行多模态特征识别，识别出物品和动作。该步骤可以进行视频、音频、字幕等多种识别方式。
步骤302：将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
步骤303：按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序。
步骤304：针对每个物品，生成识别所述物品的可执行命令。
步骤305：生成抓取所述物品的可执行命令。
步骤306：针对每个动作，生成识别动作执行对象的可执行命令。
步骤307：生成对执行对象执行动作的可执行命令。
步骤308：根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
其中，步骤304-步骤308均是生成可执行命令的过程，按照前面的排序依次生成各个可执行命令。
步骤309：将所述可执行命令封装成数字菜谱。
上述实施例可根据实际需要进行自由组合。
通过以上描述介绍了生成菜谱的实现过程，该过程可由装置实现，下面对该装置的内部结构和功能进行介绍。
参见图4，本实施例中适用于智慧厨房系统的数字菜谱生成装置包括：识别模块401、排序模块402、生成模块403和封装模块404。
识别模块401，用于对人为烹饪视频进行多模态特征识别，识别出物品和动作。
排序模块402，用于按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序。
生成模块403，用于针对每个物品和动作，生成相应的可执行命令。
封装模块404，用于将所述可执行命令封装成数字菜谱。
可选的，如图5所示，所述装置还包括：第一判断模块501和第一更新模块502，和/或，包括第二判断模块503和第二更新模块504。
第一判断模块501，用于根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系。
第一更新模块502，用于在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序。
第二判断模块503，用于根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系。
第二更新模块504，用于在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
可选的，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系。
所述第一判断模块501确定所述物品所属的物品类别；根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系。
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系。
所述第二判断模块503确定所述物品所属的物品类别；根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
可选的，所述第一关联关系和所述第二关联关系包括位置关联关系。
可选的，如图6所示，所述装置还包括：第三判断模块601和替换模块602。
第三判断模块601，用于根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品。
替换模块602，用于当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
可选的，如图7所示，所述识别模块401，至少包括下列之一：图像识别子模块701、语音识别子模块702和字幕识别子模块703。
图像识别子模块701，用于对人为烹饪视频进行图像识别。
语音识别子模块702，用于对人为烹饪视频进行语音识别。
字幕识别子模块703，用于对人为烹饪视频进行字幕识别。
可选的，如图8所示，当对人为烹饪视频进行至少两种多模态特征识别时，所述装置还包括：融合模块801。
融合模块801，用于将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
可选的，如图9所示，所述生成模块403，包括：第一生成子模块901和第二生成子模块902。
第一生成子模块901，用于针对每个物品，生成识别所述物品的可执行命令。
第二生成子模块902，用于生成抓取所述物品的可执行命令。
可选的，所述动作包括动作的起始条件和结束条件。
可选的，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
可选的，所述动作包括对外部设备的操作动作。
如图10所示，所述生成模块403包括：第三生成子模块1001。
第三生成子模块1001，用于根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
一种适用于智慧厨房系统的数字菜谱生成装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对人为烹饪视频进行多模态特征识别，识别出物品和动作；
按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
针对每个物品和动作，生成相应的可执行命令；
将所述可执行命令封装成数字菜谱。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现所述方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

1.一种适用于智慧厨房系统的数字菜谱生成方法，其特征在于，包括：
对人为烹饪视频进行多模态特征识别，识别出物品和动作；
按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
针对每个物品和动作，生成相应的可执行命令；
将所述可执行命令封装成数字菜谱。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系；
在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序；
和/或
根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系；
在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
3.如权利要求2所述的方法，其特征在于，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系；
所述根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系，包括：
确定所述物品所属的物品类别；
根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系；
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系；
所述根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系，包括：
确定所述物品所属的物品类别；
根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
4.如权利要求2所述的方法，其特征在于，所述第一关联关系和所述第二关联关系包括位置关联关系。
5.如权利要求1所述的方法，其特征在于，在针对每个物品和动作，生成相应的可执行命令之前，所述方法还包括：
根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品；
当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
6.如权利要求1所述的方法，其特征在于，对人为烹饪视频进行多模态特征识别，至少包括下列之一：
对人为烹饪视频进行图像识别；
对人为烹饪视频进行语音识别；
对人为烹饪视频进行字幕识别。
7.如权利要求6所述的方法，其特征在于，当对人为烹饪视频进行至少两种多模态特征识别时，所述方法还包括：
将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
8.如权利要求1所述的方法，其特征在于，针对每个物品，生成相应的可执行命令，包括：
针对每个物品，生成识别所述物品的可执行命令；
生成抓取所述物品的可执行命令。
9.如权利要求1所述的方法，其特征在于，所述动作包括动作的起始条件和结束条件。
10.如权利要求9所述的方法，其特征在于，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
11.如权利要求1所述的方法，其特征在于，所述动作包括对外部设备的操作动作；
所述根据每个所述动作，生成相应的可执行命令，包括：
根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
12.一种适用于智慧厨房系统的数字菜谱生成装置，其特征在于，包括：
识别模块，用于对人为烹饪视频进行多模态特征识别，识别出物品和动作；
排序模块，用于按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
生成模块，用于针对每个物品和动作，生成相应的可执行命令；
封装模块，用于将所述可执行命令封装成数字菜谱。
13.如权利要求12所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于根据预设的物品与物品之间的第一关联关系，判断排序后的相近的两个所述物品是否存在所述第一关联关系；
第一更新模块，用于在存在所述第一关联关系时，根据所述第一关联关系对应的顺序，更新相近的两个所述物品的顺序；
和/或
第二判断模块，用于根据预设的物品与动作之间的第二关联关系，判断排序后的相近的所述物品和所述动作是否存在所述第二关联关系；
第二更新模块，用于在存在所述第二关联关系时，根据所述第二关联关系对应的顺序，更新相近的所述物品和所述动作的顺序。
14.如权利要求13所述的装置，其特征在于，预设的物品与物品之间的第一关联关系，包括：预设的物品类别与物品类别之间的第一关联关系；
所述第一判断模块确定所述物品所属的物品类别；根据预设的物品类别与物品类别之间的第一关联关系，判断排序后的相近的两个所述物品各自对应的第一物品类别之间，是否存在所述关联关系；
预设的物品与动作之间的第二关联关系，包括：预设的物品类别与动作之间的第二关联关系；
所述第二判断模块确定所述物品所属的物品类别；根据预设的物品类别与动作之间的第二关联关系，判断排序后的相近的所述物品对应的物品类别和所述动作是否存在所述第二关联关系。
15.如权利要求13所述的装置，其特征在于，所述第一关联关系和所述第二关联关系包括位置关联关系。
16.如权利要求12所述的装置，其特征在于，所述装置还包括：
第三判断模块，用于根据预设的第一物品与第二物品的第三关联关系，判断所述物品是否为所述第一物品；
替换模块，用于当所述物品为所述第一物品时，用所述第三关联关系中对应的所述第二物品替换所述物品。
17.如权利要求12所述的装置，其特征在于，所述识别模块，至少包括下列之一：
图像识别子模块，用于对人为烹饪视频进行图像识别；
语音识别子模块，用于对人为烹饪视频进行语音识别；
字幕识别子模块，用于对人为烹饪视频进行字幕识别。
18.如权利要求17所述的装置，其特征在于，当对人为烹饪视频进行至少两种多模态特征识别时，所述装置还包括：
融合模块，用于将至少两种多模态特征识别后分别得到的物品和动作，进行彼此融合。
19.如权利要求12所述的装置，其特征在于，所述生成模块，包括：
第一生成子模块，用于针对每个物品，生成识别所述物品的可执行命令；
第二生成子模块，用于生成抓取所述物品的可执行命令。
20.如权利要求12所述的装置，其特征在于，所述动作包括动作的起始条件和结束条件。
21.如权利要求20所述的装置，其特征在于，所述起始条件至少包括下列之一：动作的起始姿态、动作的起始时间、外部设备的第一参数阈值；所述目标物品的第一图像特征信息；
所述动作的结束条件至少包括下列之一：动作的结束姿态；动作的时长；外部设备的第二参数阈值；所述目标物品的第二图像特征信息；动作的次数阈值。
22.如权利要求12所述的装置，其特征在于，所述动作包括对外部设备的操作动作；
所述生成模块包括：
第三生成子模块，用于根据对外部设备的操作动作，生成对所述外部设备的远程控制命令。
23.一种适用于智慧厨房系统的数字菜谱生成装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对人为烹饪视频进行多模态特征识别，识别出物品和动作；
按照所述人为烹饪视频的播放顺序，对所述物品和动作进行排序；
针对每个物品和动作，生成相应的可执行命令；
将所述可执行命令封装成数字菜谱。
24.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至11中任一项所述方法的步骤。
CN202010599423.5A 2020-06-28 2020-06-28 一种适用于智慧厨房系统的数字菜谱生成方法及装置 Active CN111723760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010599423.5A CN111723760B (zh) 2020-06-28 2020-06-28 一种适用于智慧厨房系统的数字菜谱生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010599423.5A CN111723760B (zh) 2020-06-28 2020-06-28 一种适用于智慧厨房系统的数字菜谱生成方法及装置

Publications (2)

Publication Number Publication Date
CN111723760A true CN111723760A (zh) 2020-09-29
CN111723760B CN111723760B (zh) 2023-08-04

Family

ID=72569492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599423.5A Active CN111723760B (zh) 2020-06-28 2020-06-28 一种适用于智慧厨房系统的数字菜谱生成方法及装置

Country Status (1)

Country Link
CN (1) CN111723760B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351224A (zh) * 2020-10-30 2021-02-09 广州富港万嘉智能科技有限公司 自动为食品制作设备的制作视频生成字幕的方法、添加字幕的方法以及相应的装置
CN115245272A (zh) * 2022-09-13 2022-10-28 国网江苏省电力有限公司扬州供电分公司 一种基于ai辅助的自学习烹饪机器人及其学习方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914898A (zh) * 2015-04-17 2015-09-16 珠海优特电力科技股份有限公司 一种数字菜谱的生成方法及系统
US9270811B1 (en) * 2014-09-23 2016-02-23 Amazon Technologies, Inc. Visual options for audio menu
CN106774876A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 基于ar增强现实技术和菜谱生成的烹饪辅助系统
CN107844142A (zh) * 2016-09-18 2018-03-27 王强 烹饪系统、移动终端及电子菜谱生成、辅助烹饪方法
CN110795459A (zh) * 2019-10-31 2020-02-14 珠海优特智厨科技有限公司 一种数字菜谱的生成方法及菜谱创作设备
CN110853729A (zh) * 2019-10-12 2020-02-28 珠海优特智厨科技有限公司 一种生成菜谱的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270811B1 (en) * 2014-09-23 2016-02-23 Amazon Technologies, Inc. Visual options for audio menu
CN104914898A (zh) * 2015-04-17 2015-09-16 珠海优特电力科技股份有限公司 一种数字菜谱的生成方法及系统
CN107844142A (zh) * 2016-09-18 2018-03-27 王强 烹饪系统、移动终端及电子菜谱生成、辅助烹饪方法
CN106774876A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 基于ar增强现实技术和菜谱生成的烹饪辅助系统
CN110853729A (zh) * 2019-10-12 2020-02-28 珠海优特智厨科技有限公司 一种生成菜谱的方法及装置
CN110795459A (zh) * 2019-10-31 2020-02-14 珠海优特智厨科技有限公司 一种数字菜谱的生成方法及菜谱创作设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱佳浩等: "规则库在菜谱设计中的应用前景研究", 《现代食品》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351224A (zh) * 2020-10-30 2021-02-09 广州富港万嘉智能科技有限公司 自动为食品制作设备的制作视频生成字幕的方法、添加字幕的方法以及相应的装置
CN115245272A (zh) * 2022-09-13 2022-10-28 国网江苏省电力有限公司扬州供电分公司 一种基于ai辅助的自学习烹饪机器人及其学习方法

Also Published As

Publication number Publication date
CN111723760B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN111723760B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
CN108681283A (zh) 一种智能烹饪方法及系统
CN109683516A (zh) 辅助烹饪方法、家电设备及计算机存储介质
CN108742125A (zh) 一种可以进行烹饪分享的蒸烤设备及方法
CN107388296B (zh) 一种基于程序云的烟灶联动控制方法
CN109300346A (zh) 智能厨房系统及教学方法
CN112817237A (zh) 一种烹饪控制方法、装置、设备及存储介质
CN110604459A (zh) 一种全封闭无油烟智能炒菜机器人及其控制系统
CN111459054A (zh) 食谱推送方法、设备、存储介质和厨房电器
CN110613314B (zh) 一种烹饪提示方法及设备、存储介质
CN109691864B (zh) 一种烹饪控制方法、装置、烹饪设备及计算机存储介质
CN112016407B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
Reichel et al. Mampf: An intelligent cooking agent for zoneless stoves
CN112199985B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
CN111540054A (zh) 一种基于ar技术的指导方法和装置
CN112199985A (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
CN109407554A (zh) 厨房自动烹饪控制方法、装置、存储介质和计算机设备
CN111419096B (zh) 一种食物加工的方法、控制器及食物加工设备
CN112906758A (zh) 食材新鲜程度识别模型的训练方法、识别方法和设备
CN112025692B (zh) 一种自学习机器人的控制方法、装置和电子设备
CN116259052A (zh) 食物熟度识别方法、装置及烹饪设备
CN111966001B (zh) 一种生成数字菜谱的方法及装置
CN111553304A (zh) 一种信息处理方法、终端和装置
CN112215132A (zh) 用于自适应智慧厨房系统的生成物品信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant