CN111966001A - 一种生成数字菜谱的方法及装置 - Google Patents

一种生成数字菜谱的方法及装置 Download PDF

Info

Publication number
CN111966001A
CN111966001A CN202010870259.7A CN202010870259A CN111966001A CN 111966001 A CN111966001 A CN 111966001A CN 202010870259 A CN202010870259 A CN 202010870259A CN 111966001 A CN111966001 A CN 111966001A
Authority
CN
China
Prior art keywords
information
action
digital menu
module
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010870259.7A
Other languages
English (en)
Other versions
CN111966001B (zh
Inventor
李�赫
孙雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dianke North Electronic Technology (Shandong) Co.,Ltd.
Original Assignee
Beijing Ruying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruying Intelligent Technology Co ltd filed Critical Beijing Ruying Intelligent Technology Co ltd
Priority to CN202010870259.7A priority Critical patent/CN111966001B/zh
Publication of CN111966001A publication Critical patent/CN111966001A/zh
Application granted granted Critical
Publication of CN111966001B publication Critical patent/CN111966001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种生成数字菜谱的方法及装置,用以提供一种适用于机械臂的数字菜谱。所述方法,包括:生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括但不局限于:时间戳、目标位置姿态信息和执行时长;向目标设备发送所述数字菜谱。

Description

一种生成数字菜谱的方法及装置
技术领域
本发明涉及计算机及通信技术领域,特别涉及一种生成数字菜谱的方法及装置。
背景技术
随着科学技术的发展,人工智能技术已走进了人们的生活,尤其是走进了厨房。智能烹饪器具、厨房用机械臂等人工智能设备,可以越来越多取代人工劳动。智能烹饪器具和厨房用机械臂能够工作的前提,是有数字菜谱,厨房用机械臂可运行该数字菜谱,以根据该数字菜谱完成烹饪动作。那么,什么样结构的数字菜谱是机械臂可运行的数字菜谱,这是业内亟待解决的问题。
发明内容
本发明提供一种生成数字菜谱的方法及装置,用以提供一种适用于机械臂的数字菜谱。
本发明提供一种生成数字菜谱的方法,包括:
生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
向目标设备发送所述数字菜谱。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例提供一种数字菜谱的结构,使得该数字菜谱可以适用于机械臂,以便机械臂控制系统可运行该数字菜谱。
可选的,所述生成数字菜谱,包括:
根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例可以根据适合于人的菜谱自动生成适合于机械臂的数字菜谱。实现了数字菜谱的自动生成,减少人为参与。
可选的,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例中数字菜谱可包含更多的命令字段,适合于更多类型的机械臂。
可选的,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例中数字菜谱的第一条命令具有初始化的作用。
可选的,所述目标位置姿态信息包括逻辑位置姿态信息;
所述方法还包括:
根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息;
根据确定的实际位置姿态信息更新所述数字菜谱;或者
所述生成适用于机械臂的数字菜谱,包括:
根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例可以对位置姿态信息进行逻辑标注,使数字菜谱具有通用性。并且通过实际位置姿态信息使数字菜谱具有个性化。
可选的,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例通过偏移量使最终的位置姿态信息更准确。
可选的,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例中的执行动作信息有多种,使机械臂和机械臂控制系统可以执行更多的动作,以便完成更复杂的数字菜谱。
可选的,所述实际动作信息包括目标物品信息;
所述指令传输信息包括设备信息。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例提供了实际动作信息和指令传输信息的具体结构。
可选的,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息;
所述方法还包括:
根据所述实际动作信息加载对应的动作模块;
根据所述动作模块,更新所述数字菜谱;或者
所述生成适用于机械臂的数字菜谱,包括:
根据所述动作模块,生成适用于机械臂的数字菜谱。
本发明的实施例提供的技术方案可以包括以下有益效果:本实施例将一系列动作封装成动作模块,以动作模块作为动作的基本单元,简化了数字菜谱结构,便于数字菜谱快速生成。
本发明提供一种生成数字菜谱的装置,包括:
生成模块,用于生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
发送模块,用于向目标设备发送所述数字菜谱。
可选的,所述生成模块包括:
第一生成子模块,用于根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
可选的,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
可选的,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
可选的,所述目标位置姿态信息包括逻辑位置姿态信息;
所述装置还包括:
实际位置姿态模块,用于根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息;
第一更新模块,用于根据确定的实际位置姿态信息更新所述数字菜谱;或者
所述生成模块包括:
第二生成子模块,用于根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
可选的,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
可选的,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
可选的,所述实际动作信息包括目标物品信息;
所述指令传输信息包括设备信息。
可选的,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息;
所述装置还包括:
加载模块,用于根据所述实际动作信息加载对应的动作模块;
第二更新模块,用于根据所述动作模块,更新所述数字菜谱;或者
所述生成模块包括:
第三生成子模块,用于根据所述动作模块,生成适用于机械臂的数字菜谱。
本发明提供一种生成数字菜谱的装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
向目标设备发送所述数字菜谱。
本发明提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现所述方法的步骤。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中生成数字菜谱的方法流程图;
图2为本发明实施例中操作台的示意图;
图3为本发明实施例中操作台的示意图;
图4为本发明实施例中生成数字菜谱的方法流程图;
图5为本发明实施例中生成数字菜谱的方法流程图;
图6为本发明实施例中生成数字菜谱的装置结构图;
图7为本发明实施例中生成模块的结构图;
图8为本发明实施例中生成数字菜谱的装置结构图;
图9为本发明实施例中生成数字菜谱的装置结构图;
图10为本发明实施例中生成模块的结构图;
图11为本发明实施例中生成数字菜谱的装置结构图;
图12为本发明实施例中生成数字菜谱的装置结构图;
图13为本发明实施例中生成模块的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
相关技术中,什么样结构的数字菜谱是机械臂可运行的数字菜谱,这是业内亟待解决的问题。
为解决上述问题,本实施例提供适合于机械臂的数字菜谱和生成数字菜谱的方法。
参见图1,本实施例中生成数字菜谱的方法包括:
步骤101:生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长。
步骤102:向目标设备发送所述数字菜谱。
本实施例中,目标设备可以是机械臂控制系统、用户的终端设备或云端服务器等。将数字菜谱发送给机械臂控制系统,机械臂控制系统可运行数字菜谱,以控制机械臂完成烹饪。将数字菜谱发送给终端设备,用户可以在社交应用中分享数字菜谱,或者从社交应用中下载数字菜谱,也可以将数字菜谱导入到自己家中的机械臂控制系统。将数字菜谱发送给服务器,可以供用户下载。
本实施例提供了适用于机械臂的数字菜谱的结构。数字菜谱包括一条或多条命令。机械臂控制系统按照数字菜谱中的命令顺序,逐条执行命令,便可控制机械臂完成烹饪。命令字段包括:时间戳、目标位置姿态信息和执行时长。
时间戳的单位为秒,可以采用10位数(位数不作限制)的编码信息。该时间戳可以是绝对时间,用于在该时间向机械臂发出命令,以年月日时分秒为顺序。该时间戳也可以是相对时间,即第一条命令的时间戳为0。
目标位置姿态信息,可以采用浮点七维数组的形式,如(x,y,z,qx,qy,qz,qw)。其中(x,y,z)为机械臂末端(有夹爪的一端)在三维直角坐标系下的位置信息,(qx,qy,qz,qw)为四元数,(qx,qy,qz)三维向量表示转轴,qw是角度分量。目标位置姿态信息也可以采用六维数组的形式,如(x,y,z,px,py,pz),其中(x,y,z)为机械臂末端(有夹爪的一端)在三维直角坐标系下的位置信息,(px,py,pz)为在三维直角坐标系下的欧拉角。目标位置姿态信息还可以采用其它形式,表示出位置和旋转即可,使机械臂可执行。目标位置姿态信息可以是机械臂所执行动作的起始位置或终点位置等。
执行时长,单位可以采用秒,定义了机械臂执行该命令的时长。执行时长可以是一个特定时长,也可以是按照预设的标准速度执行该命令所指示的动作的自然时长。
执行动作信息可以只有一种,可以将机械臂所有可能的动作都拆解为从A到B的直线运动。例如,搅拌这种画圆的运动,也可以将圆拆解为多个很短的直线,也能达到搅拌的效果。所以,本实施例中可以不包含执行动作信息,相当于默认一种执行动作信息。机械臂可以执行更多更复杂的动作,执行动作信息也可以有多种,参见下面的实施例。
末端力控信息可以只有一种,机械臂可以按照该一种末端力控信息夹取所有物品,因此,本实施例中可以不包含末端力控信息,相当于默认一种末端力控信息。末端力控信息也可以有多种,参见下面的实施例。
本实施例中数字菜谱定义了机械臂执行动作的时间、动作的位置姿态等信息,这些信息组合成一条命令,基本涵盖了机械臂执行一个动作所需要的信息。多条命令按序组合,形成适用于机械臂的数字菜谱。
可选的,所述步骤101包括:步骤A1。
步骤A1:根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
本实施例的数字菜谱可以由专业技术人员编辑生成,也可以自动生成。即,可以根据人类可读懂的菜谱自动生成适合于机械臂的数字菜谱。面向人类的菜谱可以是以文字为主的文字菜谱,可以包括图片等。解析其中的文字,从文字内容中提取出物品和动作,并根据物品和动作顺序生成命令,这些命令组合成数字菜谱。
面向人类的菜谱也可以是真人烹饪视频,从真人烹饪视频中识别出物品和动作,并根据物品和动作顺序生成命令,这些命令组合成数字菜谱。
面向人类的菜谱也可以是真人烹饪语音,可以是单独的音频文件,也可以是真人烹饪视频所包含的音频。将语音转换成文字,从文字内容中提取出物品和动作,并根据物品和动作顺序生成命令,这些命令组合成数字菜谱。
本实施例实现了快速生成数字菜谱,并且有助于快速批量生成数字菜谱。
可选的,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
本实施例中,命令标识信息,可以采用int型等,定义了机械臂执行命令的标识和顺序。
执行动作信息,可以采用int型,定义了机械臂在该命令下执行的动作。执行动作信息与对应的动作描述,可以参见表1所示的例子。
表1
Figure BDA0002650872100000091
本实施例以数字编号作为执行动作信息来举例,一个数字编号表示一种动作。可以减少执行动作信息的长度,相当于简化了数字菜谱的结构。机械臂控制系统解析出数字编号便可知相应的动作,进而可控制机械臂执行。
工作机械臂标识信息,可以采用int型等,可标识多个机械臂,定义了哪个机械臂会收到命令并执行该命令。工作机械臂标识信息和其对应的机械臂如表2所示。
表2
工作机械臂标识信息 对应的机械臂
1 左臂
2 右臂
本实施例是以两个机械臂为例,两个机械臂左右分布安装。工作机械臂标识信息是以数字为例,也可以采用字母等其它形式。
末端执行器种类信息,可以采用int型等,可标识多种末端执行器,定义了机械臂执行某动作前使用的末端执行器的种类。如表3所示:
表3
末端执行器种类信息 对应的执行器说明
1 二指夹爪
2 长柄夹爪
3 鸡蛋夹爪
4 搅拌器
本实施例列举了4种适用于机械臂的末端执行器。二指夹爪是类似手指的两个指头的夹爪。长柄夹爪是类似V型的夹爪。鸡蛋夹爪是专门用来夹取鸡蛋的夹爪。
末端力控信息,可以采用浮点六维数组,如(fx,fy,fz,mx,my,mz)。其中(fx,fy,fz)为在x,y,z三个方向上的力度,单位可以为牛顿。其中(mx,my,mz)为在x,y,z三个方向上的力矩,单位可以为牛顿米。
本实施例中的命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息均可以采用数字等简单编号形式,即标识了相应的信息,又长度较短,一方面丰富了数字菜谱的结构,使数字菜谱适用于更多机械臂、更复杂结构的机械臂。另一方面,数字菜谱的结构较为简单,长度较短。
可选的,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
本实施例中,第一条命令可以是一条初始化命令,对机械臂有初始化配置的作用。第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具(如二指夹具)。机械臂末端当前的执行器可能有多种情况,可能为无,可能已有某种执行器。机械臂控制系统在运行第一条命令时根据第一条命令中的执行动作信息对机械臂进行验证和初始化配置。验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。由此可以看出,第一条命令具有初始化配置的作用,不一定必须执行动作。
当然,如果机械臂只有一种末端执行器,可以省略该初始化配置的第一条命令,可以直接是指示具体动作的第一条命令,如拿取某食材或器皿的第一条命令。
可选的,所述目标位置姿态信息包括逻辑位置姿态信息。
所述方法还包括:步骤B1-步骤B2,或者包括步骤B1和步骤B3。
步骤B1:根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息。
步骤B2:根据确定的实际位置姿态信息更新所述数字菜谱。
所述步骤101包括:步骤B3。
步骤B3:根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
本实施例中,目标位置姿态信息可以不是具体的坐标和角度信息,而是用某物品的标识来表示,即该物品的位置姿态信息即为目标位置姿态信息。因此,本实施例中所述目标位置姿态信息包括逻辑位置姿态信息,逻辑位置姿态信息可以是某物品的标识信息。预先配置有逻辑位置姿态信息与实际位置姿态信息的对应关系,实际位置姿态信息即为该物品的具体位置和角度信息。数字菜谱包括逻辑位置姿态信息,更具有通用性。例如,逻辑位置姿态信息为左灶头,那么本次命令可以是将锅放在左灶头上。各个用户家里左灶头的实际位置姿态信息都可能不同。机械臂控制系统获得通用数字菜谱后,再根据本地的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定左灶头对应的实际位置姿态信息,用实际位置姿态信息替换通用数字菜谱中对应的逻辑位置姿态信息,即更新了数字菜谱,相当于生成了适用于该用户的个性化数字菜谱。或者,在生成数字菜谱时,直接用实际位置姿态信息替换通用数字菜谱中对应的逻辑位置姿态信息,即直接生成个性化数字菜谱。
可选的,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
本实施例中,为了使目标位置姿态信息更精准,所以增加了偏移量。例如,盘子放在操作台上,拿盘子的终点的目标位置姿态信息就是操作台上某个点的目标位置姿态信息。牛排放在盘子上,拿牛排的终点的目标位置姿态信息就不仅是盘子或操作台上某个点的目标位置姿态信息,还要增加盘子带来的偏移量。又如,根据命令可以知道牛排的目标位置姿态信息,但是在执行放牛排的动作时,可能存在位置偏差,牛排可能发生少许滑动,这就产生了偏移量。
本实施例中,偏移量可以是根据经验配置的一个固定值,也可以是基于前面的命令所确定的,如根据前面命令中的执行动作信息所指示的物品,根据该物品的尺寸形状等信息确定偏移量。或者,在命令中偏移量为空,机械臂控制系统在执行该命令时,对周围环境进行检测(如图像检测、红外检测等),来确定该偏移量。即,该偏移量有指示机械臂控制系统进行检测的作用。
其中,偏移量与之前的命令有关联性的情况中,当前命令中的逻辑位置姿态信息与之前命令中的逻辑位置姿态信息相同,也就是说,用当前命令中的逻辑位置姿态信息顺序向前查找相同逻辑位置姿态信息的最近一个命令,可以只查找一个命令来确定偏移量,也可以查找所有相同逻辑位置姿态信息的命令,累积确定偏移量。
可选的,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
本实施例中,机械臂不仅可以执行拟人的动作,即依据实际动作信息来实现。还可以执行等待的动作,即暂时静止,也就是说机械臂的实际动作可以是不连续的。还可以执行传输指令的动作,即依据指令传输信息来实现,机械臂控制系统可以与外部设备进行指令交互,例如向智能烤箱发送表示开始烘烤的控制指令。实现了机械臂与外部设备的烹饪配合,共同完成某菜肴的烹饪。
本实施例中执行动作信息的种类丰富,支持的动作也更丰富,使得数字菜谱的结构也更丰富,可支持更复杂的菜谱结构,也就支持实现更多样的菜肴的烹饪。
可选的,所述实际动作信息包括目标物品信息;所述指令传输信息包括设备信息。
本实施例中,前面表1已经介绍了实际动作信息中的动作标识信息(表1中的执行动作信息)。一般动作都有执行的对象,所以,实际动作信息还包括目标物品信息。类似的,指令传输信息除了包括发送命令这样的动作标识信息以外,还包括设备信息。例如,拿取牛排,拿取对应动作标识信息“1”,牛排是目标物品信息,数字菜谱中的实际动作信息为1-牛排。又如,向烤箱发送开始命令,发送开始命令对应动作标识信息“1”,烤箱是设备信息,数字菜谱中的指令传输信息为1-烤箱。执行动作信息的具体结构和形式不限,包含上述信息即可。
本实施例中目标物品信息和设备信息可以是开放性参数,可提供开放性接口来配置目标物品信息和设备信息。有些菜肴的烹饪过程可能是相同的,而食材不同。例如,煎牛排和煎鸡胸肉的过程动作是相同的,仅食材不同。那么更换目标物品信息,便可生成多个数字菜谱。又如,设备信息是烤箱,但是不同用户家里的烤箱的品牌、型号等都不同,烤箱的标识信息也不同。可以根据用户家里具体的烤箱标识信息来配置该设备信息。可以先生成通用数字菜谱,通用数字菜谱中的设备信息是一种通用的标识信息,例如表示出烤箱这类烹饪器具即可。机械臂控制系统下载该通用数字菜谱后,根据用户的个性化配置信息,将通用的设备标识信息替换为个性化设备标识信息,即替换成用户家里烤箱的具体的设备信息,以更新得到个性化数字菜谱。或者,在生成数字菜谱的过程中,直接将通用的设备标识信息替换为个性化设备标识信息。
可选的,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息;
所述方法还包括:步骤C1-步骤C2,或者包括步骤C1和步骤C3。
步骤C1:根据所述实际动作信息加载对应的动作模块。
步骤C2:根据所述动作模块,更新所述数字菜谱。
所述步骤101包括:步骤C3。
步骤C3:根据所述动作模块,生成适用于机械臂的数字菜谱。
本实施例中实际动作信息包括动作标识信息,一个动作标识信息可以对应一个或多个动作。这些动作可以封装成动作模块,即一个动作标识信息可以对应一个动作模块。通用数字菜谱可以只包括动作标识信息,在运行通用数字菜谱时,根据所述实际动作信息加载对应的动作模块。根据所述动作模块,更新通用数字菜谱,得到个性化数字菜谱。或者,在生成数字菜谱时,直接根据所述实际动作信息加载对应的动作模块,根据所述动作模块,生成适用于机械臂的数字菜谱。
本实施例通过动作标识信息对应动作模块这种方式,可简化数字菜谱的结构,便于快速生成数字菜谱。这些动作模块是机械臂可执行动作的基本单元,可在多个数字菜谱中复用。在数字菜谱中增加相应的动作标识信息,便可完成数字菜谱的构建,过程简单快捷,有助于批量生成数字菜谱。
下面列举几个菜谱的示例。
例如,一个面向人类的文本菜谱如下:
煎牛排的菜谱:
洗净的牛排,用厨房用纸搽干表面水分。
把黑胡椒、盐均匀地撒在牛排上,腌制10分钟。
不粘锅烧热,就是水放入锅里,立即会蒸发了。
翻过来,再2分钟,就可以。
盘子里放上事先准备好的西兰花再放上牛排就可以。
可见,上述内容是人类可理解的语言,但是不是机械臂可执行的动作。
对应的数字菜谱如表4所示:
表4
Figure BDA0002650872100000151
Figure BDA0002650872100000161
本实施例中命令标识信息标记了命令,也表示出命令的顺序,如果机械臂控制系统可以知道由上至下逐条执行命令,可以省略该命令标识信息。
本实施例中时间戳是以绝对时间为例,也可以采用相对时间。
本实施例中的工作机械臂标识信息均1,也就是说该数字菜谱可以由一个机械臂完成,因此,该工作机械臂标识信息可以省略。
本实施例中的末端执行器种类信息未采用表3中的数字,是为了增加可读性,实际的数字菜谱中可以采用表3中的数字形式。可以根据本次要执行的动作或要拿取的物品来确定相应的末端执行器种类信息,预先配置有特定动作与末端执行器种类信息的对应关系,以及特定食材与末端执行器种类信息的对应关系,以及默认的末端执行器种类信息,也就是说凡是未出现在上述对象关系中所约定的末端执行器种类信息,均采用默认的末端执行器种类信息。
本实施例中的执行动作信息也未采用表1中的数字,也是为了增加可读性,实际的数字菜谱中可以采用表1中的数字形式。
本实施例中的目标位置姿态信息为逻辑位置姿态信息,标记了图2所示例的操作台上的位置。
本实施例中的末端力控信息为一固定值,也可以根据执行动作信息中的目标物品信息确定对应的末端力控信息,其中,预先配置有物品信息与末端力控信息的对应关系。例如,可以根据不同的食材或不同器皿的重量和硬度等信息配置相应的末端力控信息。
本实施例中的第一条命令为初始化命令,其中的末端执行器种类信息为无,执行动作信息为更换二指夹爪。也就是说默认的末端执行器种类为无,初始状态为空。机械臂控制系统运行第一条命令时,验证机械臂末端当前的状态是否为无,如果是,那么就按照执行动作信息执行,更换二指夹爪。如果不是,那么验证当前末端执行器是否为二指夹爪,如果是,则放弃执行动作,即不需要更换二指夹爪,如果不是二指夹爪,则需要放下当前的末端执行器,再更换二指夹爪。
本实施例中末端执行器可以是无的状态,因此执行动作信息有更换二指夹爪和释放二指夹爪这样的动作。还可能存在一种情况,末端执行器没有无的状态,默认为有二指夹爪的状态。当需要更换为长柄夹爪时,也不需要释放二指夹爪,而是通过二指夹爪来夹取长柄夹爪。所以,可以节省更换二指夹爪和释放二指夹爪这两条命令。简化了数字菜谱的命令数量,也减少了机械臂执行的动作。
例如,一个面向人类的文本菜谱如下:
西红柿炒蛋:
1、将洗净后的西红柿切块待用。
2、将鸡蛋打入碗中,加盐,用筷子充分搅打均匀待用。
3、炒锅放油3汤匙烧热,将鸡蛋放入锅中炒熟盛出待用。
4、将剩余的油烧热,下西红柿片煸炒,放盐、糖炒片刻,倒入鸡蛋翻炒几下出锅即成。
可见,上述内容是人类可理解的语言,但是不是机械臂可执行的动作。
对应的数字菜谱如表5所示:
表5
Figure BDA0002650872100000181
Figure BDA0002650872100000191
Figure BDA0002650872100000201
Figure BDA0002650872100000211
本实施例中,工作机械臂标识信息出现了左、右两种信息,也就是说可以采用左机械臂和右机械臂共同配合完成烹饪。
本实施例中的目标位置姿态信息为逻辑位置姿态信息,标记了图3所示例的操作台上的位置。
下面通过几个实施例详细介绍实现过程。
参见图4,本实施例中生成数字菜谱的方法包括:
步骤401:根据面向人类的菜谱,确定命令字段信息,命令字段信息包括:时间戳、执行动作信息、逻辑位置姿态信息、执行时长和末端力控信息。
步骤402:根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息。
步骤403:根据确定的实际位置姿态信息,生成数字菜谱。
步骤404:向目标设备发送所述数字菜谱。
参见图5,本实施例中生成数字菜谱的方法包括:
步骤501:根据面向人类的菜谱,确定命令字段信息,命令字段信息包括:时间戳、执行动作信息、逻辑位置姿态信息、执行时长和末端力控信息。
步骤502:根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息。
步骤503:根据所述实际动作信息加载对应的动作模块。
步骤504:生成数字菜谱。
步骤505:向目标设备发送所述数字菜谱。
上述实施例可根据实际需要进行自由组合。
通过以上描述介绍了生成数字菜谱的实现过程,该过程可由装置实现,下面对该装置的内部结构和功能进行介绍。
参见图6,本实施例中生成数字菜谱的装置包括:生成模块601和发送模块602。
生成模块601,用于生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长。
发送模块602,用于向目标设备发送所述数字菜谱。
可选的,如图7所示,所述生成模块601包括:第一生成子模块701。
第一生成子模块701,用于根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
可选的,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
可选的,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
可选的,所述目标位置姿态信息包括逻辑位置姿态信息。
如图8、图9所示,所述装置还包括:实际位置姿态模块801和第一更新模块802;或者包括实际位置姿态模块801,所述生成模块601包括:第二生成子模块1001。
实际位置姿态模块801,用于根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息;
第一更新模块802,用于根据确定的实际位置姿态信息更新所述数字菜谱;
如图10所示,所述生成模块601包括:第二生成子模块1001。
第二生成子模块1001,用于根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
可选的,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
可选的,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
可选的,所述实际动作信息包括目标物品信息;
所述指令传输信息包括设备信息。
可选的,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息。
如图11、图12所示,所述装置还包括:加载模块1101和第二更新模块1102;或者,包括加载模块1101,生成模块601包括第三生成子模块1301。
加载模块1101,用于根据所述实际动作信息加载对应的动作模块。
第二更新模块1102,用于根据所述动作模块,更新所述数字菜谱。
如图13所示,所述生成模块601包括:第三生成子模块1301。
第三生成子模块1301,用于根据所述动作模块,生成适用于机械臂的数字菜谱。
一种生成数字菜谱的装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
向目标设备发送所述数字菜谱。
一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现所述方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种生成数字菜谱的方法,其特征在于,包括:
生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
向目标设备发送所述数字菜谱。
2.如权利要求1所述的方法,其特征在于,所述生成数字菜谱,包括:
根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
3.如权利要求1所述的方法,其特征在于,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
4.如权利要求3所述的方法,其特征在于,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
5.如权利要求1所述的方法,其特征在于,所述目标位置姿态信息包括逻辑位置姿态信息;
所述方法还包括:
根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息;
根据确定的实际位置姿态信息更新所述数字菜谱;或者
所述生成适用于机械臂的数字菜谱,包括:
根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
6.如权利要求5所述的方法,其特征在于,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
7.如权利要求1所述的方法,其特征在于,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
8.如权利要求7所述的方法,其特征在于,所述实际动作信息包括目标物品信息;
所述指令传输信息包括设备信息。
9.如权利要求7所述的方法,其特征在于,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息;
所述方法还包括:
根据所述实际动作信息加载对应的动作模块;
根据所述动作模块,更新所述数字菜谱;或者
所述生成适用于机械臂的数字菜谱,包括:
根据所述动作模块,生成适用于机械臂的数字菜谱。
10.一种生成数字菜谱的装置,其特征在于,包括:
生成模块,用于生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
发送模块,用于向目标设备发送所述数字菜谱。
11.如权利要求10所述的装置,其特征在于,所述生成模块包括:
第一生成子模块,用于根据面向人类的菜谱,生成数字菜谱;面向人类的菜谱包括:文字菜谱、真人烹饪视频或真人烹饪语音。
12.如权利要求10所述的装置,其特征在于,所述数字菜谱中的命令字段还至少包括下列之一:命令标识信息、执行动作信息、工作机械臂标识信息、末端执行器种类信息和末端力控信息。
13.如权利要求12所述的装置,其特征在于,所述数字菜谱中的第一条命令中的末端执行器种类信息为无,第一条命令中的执行动作信息为预设类型的夹具,用于指示机械臂控制系统验证机械臂当前的夹具是否为执行动作信息所指示的夹具,如果是,则放弃执行动作信息;如果不是,则根据执行动作信息执行动作。
14.如权利要求10所述的装置,其特征在于,所述目标位置姿态信息包括逻辑位置姿态信息;
所述装置还包括:
实际位置姿态模块,用于根据预先配置的逻辑位置姿态信息与实际位置姿态信息的对应关系,确定所述目标位置姿态信息对应的实际位置姿态信息;
第一更新模块,用于根据确定的实际位置姿态信息更新所述数字菜谱;或者
所述生成模块包括:
第二生成子模块,用于根据确定的实际位置姿态信息,生成适用于机械臂的数字菜谱。
15.如权利要求14所述的装置,其特征在于,所述目标位置姿态信息还包括偏移量,所述偏移量用于指示机械臂控制系统利用环境感知机制进行检测后确定,或者所述偏移量与之前的命令中执行动作信息有关,所述之前的命令中的逻辑位置姿态信息与所述偏移量关联的逻辑位置姿态信息相同。
16.如权利要求10所述的装置,其特征在于,所述执行动作信息至少包括下列之一:实际动作信息、等待指示信息和指令传输信息。
17.如权利要求16所述的装置,其特征在于,所述实际动作信息包括目标物品信息;
所述指令传输信息包括设备信息。
18.如权利要求16所述的装置,其特征在于,所述实际动作信息对应预设的动作模块,所述动作模块封装有一个或多个动作的动作信息;
所述装置还包括:
加载模块,用于根据所述实际动作信息加载对应的动作模块;
第二更新模块,用于根据所述动作模块,更新所述数字菜谱;或者
所述生成模块包括:
第三生成子模块,用于根据所述动作模块,生成适用于机械臂的数字菜谱。
19.一种生成数字菜谱的装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
生成适用于机械臂的数字菜谱;所述数字菜谱中的命令字段包括:时间戳、目标位置姿态信息和执行时长;
向目标设备发送所述数字菜谱。
20.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
CN202010870259.7A 2020-08-26 2020-08-26 一种生成数字菜谱的方法及装置 Active CN111966001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010870259.7A CN111966001B (zh) 2020-08-26 2020-08-26 一种生成数字菜谱的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010870259.7A CN111966001B (zh) 2020-08-26 2020-08-26 一种生成数字菜谱的方法及装置

Publications (2)

Publication Number Publication Date
CN111966001A true CN111966001A (zh) 2020-11-20
CN111966001B CN111966001B (zh) 2022-04-05

Family

ID=73390706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870259.7A Active CN111966001B (zh) 2020-08-26 2020-08-26 一种生成数字菜谱的方法及装置

Country Status (1)

Country Link
CN (1) CN111966001B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035423A (ko) * 2006-10-18 2008-04-23 삼성전자주식회사 연결된 외부기기에서 제공되는 메뉴에 적합한 메뉴화면제공방법 및 이를 적용한 영상기기
CN104914898A (zh) * 2015-04-17 2015-09-16 珠海优特电力科技股份有限公司 一种数字菜谱的生成方法及系统
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
CN108338663A (zh) * 2018-04-27 2018-07-31 四川长虹智能制造技术有限公司 一种炒菜机控制系统、方法及炒菜机
KR20180100806A (ko) * 2017-03-02 2018-09-12 윤형수 전자동 스마트 밥솥 시스템
CN108916959A (zh) * 2018-08-31 2018-11-30 肖红兵 火候测量装置、烟机、系统、方法和存储介质
CN110008055A (zh) * 2019-03-13 2019-07-12 佛山市赛米控电子科技有限公司 一种数字菜谱生成方法及炒菜机、装置、存储介质
CN110179319A (zh) * 2019-05-20 2019-08-30 梁志鹏 一种智能烹饪的方法及装置
CN111053429A (zh) * 2019-12-19 2020-04-24 陈召彬 炒菜机
CN111407140A (zh) * 2020-04-07 2020-07-14 南通市天行信息科技发展有限公司 一种自动炒菜系统
CN111580430A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 烹饪设备的控制方法、装置、烹饪设备及烹饪系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035423A (ko) * 2006-10-18 2008-04-23 삼성전자주식회사 연결된 외부기기에서 제공되는 메뉴에 적합한 메뉴화면제공방법 및 이를 적용한 영상기기
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统
CN104914898A (zh) * 2015-04-17 2015-09-16 珠海优特电力科技股份有限公司 一种数字菜谱的生成方法及系统
KR20180100806A (ko) * 2017-03-02 2018-09-12 윤형수 전자동 스마트 밥솥 시스템
CN108338663A (zh) * 2018-04-27 2018-07-31 四川长虹智能制造技术有限公司 一种炒菜机控制系统、方法及炒菜机
CN108916959A (zh) * 2018-08-31 2018-11-30 肖红兵 火候测量装置、烟机、系统、方法和存储介质
CN110008055A (zh) * 2019-03-13 2019-07-12 佛山市赛米控电子科技有限公司 一种数字菜谱生成方法及炒菜机、装置、存储介质
CN110179319A (zh) * 2019-05-20 2019-08-30 梁志鹏 一种智能烹饪的方法及装置
CN111053429A (zh) * 2019-12-19 2020-04-24 陈召彬 炒菜机
CN111407140A (zh) * 2020-04-07 2020-07-14 南通市天行信息科技发展有限公司 一种自动炒菜系统
CN111580430A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 烹饪设备的控制方法、装置、烹饪设备及烹饪系统

Also Published As

Publication number Publication date
CN111966001B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
US11345040B2 (en) Systems and methods for operating a robotic system and executing robotic interactions
EP3389955A2 (en) Robotic kitchen including a robot, a storage arrangement and containers therefor
Bollini et al. Interpreting and executing recipes with a cooking robot
JP7117104B2 (ja) 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム
JP2017506169A5 (zh)
CN110047338A (zh) 基于虚拟现实的模拟学习方法、装置和计算机介质
CN111723760B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
US11995580B2 (en) Data processing device and data processing method
CN111966001B (zh) 一种生成数字菜谱的方法及装置
Inagawa et al. Japanese recipe interpretation for motion process generation of cooking robot
CN112025692B (zh) 一种自学习机器人的控制方法、装置和电子设备
JP7400726B2 (ja) 情報処理装置、スケジューリング方法及びプログラム
WO2020095688A1 (en) Robot, robot control device, and control method
Oechsner et al. Challenges and Opportunities of Cooperative Robots as Cooking Appliances.
CN112199985B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
CN112016407B (zh) 一种适用于智慧厨房系统的数字菜谱生成方法及装置
CN110477774A (zh) 基于安卓系统控制厨房用搅拌装置及控制方法
WO2021024830A1 (ja) 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具
WO2021200306A1 (ja) 情報処理装置、情報処理端末、情報処理方法
EP4403318A1 (en) Robot system and method for learning one or more new semantic relations in a knowledge base of physical skills
Noh et al. YORI: Autonomous Cooking System Utilizing a Modular Robotic Kitchen and a Dual-Arm Proprioceptive Manipulator
CN115291782A (zh) 自动生成菜谱的方法、系统、计算机可读介质及电子设备
CN118893635A (zh) 一种机械臂的控制方法以及机械臂系统
KR20220119602A (ko) 정보 처리 장치, 정보 처리 방법
Bollini Following recipes with a cooking robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240428

Address after: 255422, No. 65, city street, Qi Zhen Town, Linzi District, Shandong, Zibo

Patentee after: Dianke North Electronic Technology (Shandong) Co.,Ltd.

Country or region after: China

Address before: No.7, 1st floor, building 5, No.108, Beiyuan Road, Chaoyang District, Beijing

Patentee before: Beijing Ruying Intelligent Technology Co.,Ltd.

Country or region before: China