CN114568942A - 基于视觉追随的拉花轨迹采集、拉花控制方法及系统 - Google Patents
基于视觉追随的拉花轨迹采集、拉花控制方法及系统 Download PDFInfo
- Publication number
- CN114568942A CN114568942A CN202111510902.6A CN202111510902A CN114568942A CN 114568942 A CN114568942 A CN 114568942A CN 202111510902 A CN202111510902 A CN 202111510902A CN 114568942 A CN114568942 A CN 114568942A
- Authority
- CN
- China
- Prior art keywords
- garland
- track
- image information
- cup
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 235000013361 beverage Nutrition 0.000 claims abstract description 82
- 238000002360 preparation method Methods 0.000 claims abstract description 80
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 230000009471 action Effects 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 27
- 235000013336 milk Nutrition 0.000 claims description 25
- 239000008267 milk Substances 0.000 claims description 25
- 210000004080 milk Anatomy 0.000 claims description 25
- 239000006260 foam Substances 0.000 claims description 17
- 230000001960 triggered effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 241000842962 Apoda limacodes Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004049 embossing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 235000019219 chocolate Nutrition 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 235000020245 plant milk Nutrition 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 235000020194 almond milk Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000020244 animal milk Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000020197 coconut milk Nutrition 0.000 description 1
- 235000020247 cow milk Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004883 flower formation Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 235000020262 oat milk Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 235000013322 soy milk Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J31/00—Apparatus for making beverages
- A47J31/44—Parts or details or accessories of beverage-making apparatus
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J31/00—Apparatus for making beverages
- A47J31/44—Parts or details or accessories of beverage-making apparatus
- A47J31/52—Alarm-clock-controlled mechanisms for coffee- or tea-making apparatus ; Timers for coffee- or tea-making apparatus; Electronic control devices for coffee- or tea-making apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Food Science & Technology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉追随的拉花轨迹采集、拉花控制方法及系统，其中方法中，根据拉花学习指令控制信息采集设备执行信息采集，获取拉花模仿对象的图像信息；对图像信息进行若干第一特征点标记，构建第一三维坐标系；基于起始时间到结束时间所在的时间序列，获取各第一特征点在第一三维坐标系中的坐标信息，并形成各第一特征点在第一三维坐标系中的坐标轨迹，以便根据坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。本发明通过利用视觉追随获取拉花模仿对象执行拉花时的坐标轨迹，以此来复刻拉花动作，从而使机器人拉出与拉花模仿对象一致的拉花饮品，以此减少拉花饮品学习及制作的人工成本的投入，并且提高消费者拉花制作的体验度。
Description
技术领域
本发明涉及拉花制备技术领域，尤其涉及基于视觉追随的拉花轨迹采集、拉花控制方法及系统。
背景技术
为吸引消费对象以及使拉花饮品的融合度更好，拉花师中衍生出新的职业——拉花师，比如，其利用手腕控制力量将倒入咖啡的奶泡在咖白撞色下形成图案，也就是常说的咖啡拉花。
现有咖啡馆为了吸引客户，会聘请拉花师为一些具有拉花需求的客户进行咖啡拉花，但是由于拉花师采用手工拉花，无法确保拉花图案与客户所需图案一致，影响拉花效果。
现有一种拉花设备，采用两个机械臂模拟拉花师的两只手动作，实现拉花。在准备咖啡和牛奶的过程中，也可让机械臂去触发咖啡机和奶泡机的按钮，让咖啡机和奶泡机分别将咖啡和奶泡注入到2个容器内，每个机械臂抓住一个容器，模拟人手动作，实现拉花。显而易见地，该种方法由于使用到两个机械臂，导致其成本过高。
现还有通过纯机械结构实现拉花，比如两个结构同时运动，以实现拉花，或者，一个结构不动，另外一个结构动作，实现拉花，但是该种设计效率低，动作生硬，只能平面移动，或者平面+高度方向移动，无法倾斜移动，只是画出花型，拉花效果不好，也无法充分进行融合，进而导致口感不好。
还有一种通过食品打印/过滤花型滤网方式实现花型，即表现为，在一杯标准咖啡表面上通过食品级打印机，打印出花型或者通过有固定图案的滤网将粉末漏在咖啡液体表面实现花型，但是该种方法只是表面有花型，实际并不存在融合的过程，口感不好。
可以看出现有饮品拉花技术无法满足饮品拉花领域的市场需求。
发明内容
为解决背景技术中的技术问题，本申请实施例通过提供一种基于视觉追随的拉花轨迹采集、拉花控制方法及系统，实现了饮品拉花动作的自动捕捉，并应用到饮品制备机器人，从而让饮品制备机器人快速复现拉花轨迹。
第一方面，本申请实施例提供了一种基于视觉追随的拉花轨迹采集方法，所述方法包括：
S110：接收触发的拉花学习指令；
S120：根据所述拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具和装有拉花奶泡的第一拉花杯具在内的拉花模仿对象的图像信息；
S130：对所述图像信息中的所述拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各所述第一特征点标记位于所述第一三维坐标系内；
S140：对所述图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的所述图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的所述图像信息所在时间作为拉花学习的结束时间，利用所述起始时间和所述结束时间确定拉花学习的时间段；
S150：基于所述起始时间到所述结束时间所在的时间序列，获取各所述第一特征点在所述第一三维坐标系中的坐标信息，并形成各所述第一特征点在所述第一三维坐标系中的坐标轨迹，以便根据所述坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。
进一步地，在步骤S120中，进一步包括：
S121：根据所述拉花学习指令执行信息采集后，获取检测区域内的若干图像信息；
S122：按照时间序列依次判断各所述图像信息中是否具有包括第一基底杯具和第一拉花杯具在内的拉花模仿对象，输出各所述图像信息的判断结果；
S123：在所述判断结果中，所述图像信息不具有所述拉花模仿对象时，重复步骤S122，进行下一所述图像信息的判断，否则进入步骤S130中。
进一步地，在步骤S150之后，还包括：通过所述第一特征点的坐标轨迹拆解，获取拉花图案轨迹和拉花动作轨迹；
其中，所述拉花图案轨迹表现为标记在所述拉花杯出料口的所述第一特征点的运动轨迹；
所述拉花动作轨迹为通过多个所述第一特征点表现所述第一基底杯具和所述第一拉花杯具移动以及倾斜运动轨迹。
进一步地，对所述结束时间所在的所述图像信息中，将所述咖啡杯中的奶泡图案作为拉花目标图案，所述拉花目标图案与所述拉花图案轨迹以及所述拉花动作轨迹一一对应。
进一步地，在步骤S150之后还包括将获取的所述拉花目标图案、所述拉花图案轨迹和所述拉花动作轨迹进行数据编码转换处理，并对形成的拉花数据包进行保存，以便传输给所述饮品制备机器人，以使所述饮品制备机器人根据触发的所述拉花目标图案执行相应轨迹的饮品拉花。
进一步地，在步骤S122中，判断各所述图像信息中是否具有包括第一基底杯具和第一拉花杯具在内的拉花模仿对象的方法为，
预设拉花模仿对象的多个关键特征信息，将所述关键特征信息与所述图像信息进行匹配，当所述图像信息中包括所有所述关键特征信息时，判断为所述图像信息中具有拉花模仿对象。
进一步地，在步骤S130中，对所述拉花模仿对象进行若干第一特征点标记中，所述第一特征点包括所述关键特征信息，且包括所述关键特征信息在内的所述第一特征点分布于所述第一基底杯具和所述第一拉花杯具上。
第二方面，本申请实施例提供了一种拉花控制方法，采用第一方面任意一项所述的基于视觉追随的拉花轨迹采集方法获取的拉花坐标轨迹，所述方法包括：
S210：接收触发的饮品制作指令，获取图像信息；
S220：根据所述图像信息确定坐标轨迹；
S230：控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对所述执行区域内的第二基底杯具和第二拉花杯具进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制所述饮品制备机器人对所述第二基底杯具和所述第二拉花杯具进行拉花预备姿态复刻，使所述拉花预备姿态中所述第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各所述第二特征点沿第一特征点的坐标轨迹运行，以使所述饮品制备机器人快速复现拉花动作及拉花轨迹。
第三方面，本申请实施例提供了一种基于视觉追随的拉花轨迹采集系统，采用第一方面任意一项所述的方法，所述系统包括：
指令接收模块，配置为接收触发的拉花学习指令；
图像获取模块，配置为根据所述拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具和装有拉花奶泡的第一拉花杯具在内的拉花模仿对象的图像信息；
坐标构建模块，配置为对所述图像信息中的所述拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各所述第一特征点标记位于所述第一三维坐标系内；
时间确定模块，配置为对所述图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的所述图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的所述图像信息所在时间作为拉花学习的结束时间，利用所述起始时间和所述结束时间确定拉花学习的时间段；
坐标轨迹获取模块，配置为基于所述起始时间到所述结束时间所在的时间序列，获取各所述第一特征点在所述第一三维坐标系中的坐标信息，并形成各所述第一特征点在所述第一三维坐标系中的坐标轨迹，以便根据所述坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。
第四方面，本申请实施例提供了一种拉花控制系统，采用第二方面所述的方法，所述系统包括：
S210：接收触发的饮品制作指令，获取图像信息；
S220：根据所述图像信息确定坐标轨迹；
S230：控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对所述执行区域内的第二基底杯具和第二拉花杯具进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制所述饮品制备机器人对所述第二基底杯具和所述第二拉花杯具进行拉花预备姿态复刻，使所述拉花预备姿态中所述第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各所述第二特征点沿第一特征点的坐标轨迹运行，以使所述饮品制备机器人快速复现拉花动作及拉花轨迹。
第五方面，本申请实施例提供了一种电子设备，包括:
一个或多个处理器；
存储器用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面中任一所述的方法。
第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果：
本发明实现了饮品拉花动作的自动捕捉，并自动转换校正后传给饮品制备机器人，从而实现快速复现拉花轨迹。通过本技术方案可以快速做出多种花型，并且效果媲美甚至超越拉花师，从而解放机械工程师和拉花师，让机械和拉花更完美融合，从而解放劳动力。
附图说明
图1为本申请实施例一中的基于视觉追随的拉花轨迹采集方法流程图；
图2为本申请实施例一中的基于视觉追随的拉花轨迹采集方法模拟示意图；
图3为本申请实施例一中的拉花控制方法流程图；
图4为本申请实施例二中基于视觉追随的拉花轨迹采集系统模块图；
图5为本申请实施例二中拉花控制系统模块图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
参考附图1-2所示，本申请实施例提供了一种基于视觉追随的拉花控制方法，方法包括如下几个步骤。
步骤S110：接收触发的拉花学习指令。
针对本实施例的方法步骤，先简单描述实施例中可能用到的应用设备。该些应用设备可以但不限于如下场景中使用。
比如，针对各种奶泡图案的饮品拉花的轨迹数据采集，该方案中可能用到如下几个应用设备，控制主机1、图像采集设备3，通过控制主机1接收拉花学习指令，比如，控制主机1连接有触摸屏(点单屏)，操作人员通过触摸屏触发拉花学习指令，控制主机1根据拉花学习指令控制图像采集设备3打开，然后执行拉花动作的快速捕捉，并与形成的拉花图案相匹配后保存，以此采集出不同拉花图案的拉花动作，从而利用对应的饮品制备机器人即可复刻相应拉花图案的拉花动作，从而制作出对应的拉花饮品。
比如，针对拉花动作的实时学习，该方案中可能用到如下几个应用设备，控制主机1、图案采集设备、饮品制备机器人，控制主机1连接有触摸屏(点单屏)，操作人员通过触摸屏触发拉花学习指令，控制主机1根据拉花学习指令控制图像采集设备3打开，然后执行拉花动作的快速捕捉，获取到正在拉花对象的相关拉花动作，然后反馈给饮品制备机器人，控制饮品制备机器人模仿拉花对象的拉花动作，可以体验人机互动的拉花乐趣。
步骤S120：根据拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具12和装有拉花奶泡的第一拉花杯具11在内的拉花模仿对象的图像信息。
其中，基底溶液包括咖啡溶液、巧克力溶液、抹茶溶液、红丝绒粉溶液等，拉花奶泡不限于白色，可以是有色奶泡，比如在牛奶中掺入适量巧克力执行打奶泡后，获取巧克力色的拉花奶泡。当然也不限于牛奶，可以是任意的动植物奶品，植物奶如豆奶、燕麦奶、杏仁奶、椰奶等奶制品，都可以用来打奶泡拉花。
在步骤S120中，进一步包括：
步骤S121：根据拉花学习指令执行信息采集后，获取检测区域内的若干图像信息。
步骤S122：按照时间序列依次判断各图像信息中是否具有包括第一基底杯具12和第一拉花杯具11在内的拉花模仿对象，输出各图像信息的判断结果。
步骤S123：在判断结果中，图像信息不具有拉花模仿对象时，重复步骤S122，进行下一图像信息的判断，否则进入步骤S130中。
在步骤S122中，判断各图像信息中是否具有包括第一基底杯具12和第一拉花杯具11在内的拉花模仿对象的方法为，预设拉花模仿对象的多个关键特征信息，将关键特征信息与图像信息进行匹配，当图像信息中包括所有关键特征信息时，判断为图像信息中具有拉花模仿对象。
进一步说明，由于本实施例是为了捕捉饮品拉花的动作轨迹，因此本实施例中的信息采集设备可以理解为可以进行动作捕捉的信息采集设备。
其中，信息采集设备可以为一种具有动作捕捉功能的摄像头。
本实施例中主要是为了确定检测区域内具有第一基底杯具12和第一拉花杯具11，那么其关键特征信息可以表现为两种适配的杯体形状，比如说，一种第一拉花杯具11中杯体、杯把，且杯体靠近杯口处具有相连的导流凸起和尖嘴，第一拉花杯具11的杯体内含有拉花奶泡；一种第一基底杯具12中具有杯体，第一基底杯具12的杯体内含有基底溶液，并以此些作为关键特征信息，来表明图像信息中具有拉花模仿对象。
步骤S130：对图像信息中的拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各第一特征点标记位于第一三维坐标系内。
在步骤S130中，对拉花模仿对象进行若干第一特征点标记中，第一特征点包括关键特征信息，且包括关键特征信息在内的第一特征点分布于第一基底杯具12和第一拉花杯具11上。
步骤S140：对图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的图像信息所在时间作为拉花学习的结束时间，利用起始时间和结束时间确定拉花学习的时间段。
步骤S150：基于起始时间到结束时间所在的时间序列，获取各第一特征点在第一三维坐标系中的坐标信息，并形成各第一特征点在第一三维坐标系中的坐标轨迹。
在步骤S150之后，还包括：通过第一特征点的坐标轨迹拆解，获取拉花图案轨迹和拉花动作轨迹；
其中，拉花图案轨迹表现为标记在拉花杯出料口的第一特征点的运动轨迹；
拉花动作轨迹为通过多个第一特征点表现第一基底杯具12和第一拉花杯具11移动以及倾斜运动轨迹。
并且，对结束时间所在的图像信息中，将咖啡杯中的奶泡图案作为拉花目标图案，拉花目标图案与拉花图案轨迹以及拉花动作轨迹一一对应。
在步骤S150之后还包括将获取的拉花目标图案、拉花图案轨迹和拉花动作轨迹进行数据编码转换处理，并对形成的拉花数据包进行保存，以便传输给饮品制备机器人，以使饮品制备机器人根据触发的拉花目标图案执行相应轨迹的饮品拉花。
进一步说明，本实施例中的步骤S110-步骤S120可以作为对应拉花奶泡图像适配的饮品拉花轨迹采集的方法步骤，进而将采集到的饮品拉花轨迹应用到饮品制备机器人中，以便饮品制备机器人模拟复刻拉花轨迹。
实施例二
参考附图3所示，本申请实施例提供了一种拉花控制方法，采用实施例一中任意一项所述的基于视觉追随的拉花轨迹采集方法获得的拉花坐标轨迹，所述方法包括：
S210：接收触发的饮品制作指令，获取图像信息。
S220：根据所述图像信息确定坐标轨迹。
S230：控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对所述执行区域内的第二基底杯具和第二拉花杯具进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制所述饮品制备机器人对所述第二基底杯具和所述第二拉花杯具进行拉花预备姿态复刻，使所述拉花预备姿态中所述第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各所述第二特征点沿第一特征点的坐标轨迹运行，以使所述饮品制备机器人快速复现拉花动作及拉花轨迹。
本步骤中的饮品制备机器人在关节末端位姿和标记位置之间有固定的空间坐标转换关系。执行复刻时，将接收的第一三维坐标系内的坐标等比转换到第二三维坐标系，作为目标第二基底杯具22的目标位置以及第二拉花杯具21的目标位置。从而实现通过饮品制备机器人末端位姿和标记位置的转换关系，获取到饮品制备机器人末端在第二三维坐标系中的目标位姿。通过对饮品制备机器人进行逆向动力学计算，得到饮品制备机器人在目标位姿时，各关节的状态(如速度，加速度，角度等)。最后通过运动规划，控制饮品制备机器人走到目标位姿。
由于本步骤S100-步骤S600中的拉花模仿对象的操作人员未做限定，本实施例中的操作人员可以是经验丰富的拉花师，也可以是初出茅庐的拉花新手，通过经验丰富的拉花师进行饮品拉花运动轨迹的采集，以便提供给饮品制备机器人，从而让饮品制备机器人制作出与拉花师一样水准的拉花饮品；拉花新手使用本方案时，可以让饮品制备机器人复刻拉花新手的饮品拉花运动轨迹，从而体验智能化饮品拉花的乐趣。
可以看出，本发明实现了饮品拉花动作的自动捕捉，并自动转换校正后传给饮品制备机器人，从而让饮品制备机器人快速复现拉花轨迹。通过本方法可以快速做出多种花型，并且效果媲美甚至超越拉花师，从而解放机械工程师和拉花师，让机械和拉花更完美融合，从而解放劳动力。
实施例三
参考附图4所示，本申请实施例提供了一种基于视觉追随的拉花轨迹采集系统，采用实施例一种任意一项的方法，系统包括如下几个模块。
指令接收模块110，配置为接收触发的拉花学习指令；
图像获取模块120，配置为根据拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括第一基底杯具12和第一拉花杯具11在内的拉花模仿对象的图像信息；
坐标构建模块130，配置为对图像信息中的拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各第一特征点标记位于第一三维坐标系内；
时间确定模块140，配置为对图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的图像信息所在时间作为拉花学习的结束时间，利用起始时间和结束时间确定拉花学习的时间段；
坐标轨迹获取模块150，配置为基于起始时间到结束时间所在的时间序列，获取各第一特征点在第一三维坐标系中的坐标信息，并形成各第一特征点在第一三维坐标系中的坐标轨迹，以便根据所述坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。
实施例四
参考附图5所示，本申请实施例提供了一种拉花控制系统，采用实施例二中的拉花控制方法，该系统包括如下模块。
指令接收模块：配置为接收触发的饮品制作指令，获取图像信息。
轨迹确定模块，配置为根据所述图像信息确定坐标轨迹。
拉花控制模块，配置为控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对执行区域内的第二基底杯具22和第二拉花杯具21进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制饮品制备机器人对第二基底杯具22和第二拉花杯具21进行拉花预备姿态复刻，使拉花预备姿态中第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各第二特征点沿第一特征点的坐标轨迹运行，以使饮品制备机器人快速复现拉花动作及拉花轨迹。
实施例五
本申请实施例提供了一种电子设备，包括:
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如实施例一中任一的方法。
本申请实施例还提供了一种计算机可读介质,其上存储有计算机程序，计算机程序被处理器执行时实现如实施例一中任一的方法。
从而使得处理器在执行方法过程中，执行实施例一中的方法时，执行如下步骤：
步骤S100：接收触发的拉花学习指令；
步骤S200：根据拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具12和装有拉花奶泡的第一拉花杯具11在内的拉花模仿对象的图像信息；
步骤S300：对图像信息中的拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各第一特征点标记位于第一三维坐标系内；
步骤S400：对图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的图像信息所在时间作为拉花学习的结束时间，利用起始时间和结束时间确定拉花学习的时间段；
步骤S500：基于起始时间到结束时间所在的时间序列，获取各第一特征点在第一三维坐标系中的坐标信息，并形成各第一特征点在第一三维坐标系中的坐标轨迹。
从而使得处理器在执行方法过程中，执行实施例二中的方法时，执行如下步骤：
步骤S210：接收触发的饮品制作指令，获取图像信息。
步骤S220：根据所述图像信息确定坐标轨迹。
步骤S230：控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对执行区域内的第二基底杯具22和第二拉花杯具21进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制饮品制备机器人对第二基底杯具22和第二拉花杯具21进行拉花预备姿态复刻，使拉花预备姿态中第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各第二特征点沿第一特征点的坐标轨迹运行，以使饮品制备机器人快速复现拉花动作及拉花轨迹。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种基于视觉追随的拉花轨迹采集方法，其特征在于，所述方法包括：
S110：接收触发的拉花学习指令；
S120：根据所述拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具和装有拉花奶泡的第一拉花杯具在内的拉花模仿对象的图像信息；
S130：对所述图像信息中的所述拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各所述第一特征点标记位于所述第一三维坐标系内；
S140：对所述图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的所述图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的所述图像信息所在时间作为拉花学习的结束时间，利用所述起始时间和所述结束时间确定拉花学习的时间段；
S150：基于所述起始时间到所述结束时间所在的时间序列，获取各所述第一特征点在所述第一三维坐标系中的坐标信息，并形成各所述第一特征点在所述第一三维坐标系中的坐标轨迹，以便根据所述坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。
2.如权利要求1所述的基于视觉追随的拉花轨迹采集方法，其特征在于，在步骤S120中，进一步包括：
S121：根据所述拉花学习指令执行信息采集后，获取检测区域内的若干图像信息；
S122：按照时间序列依次判断各所述图像信息中是否具有包括第一基底杯具和第一拉花杯具在内的拉花模仿对象，输出各所述图像信息的判断结果；
S123：在所述判断结果中，所述图像信息不具有所述拉花模仿对象时，重复步骤S122，进行下一所述图像信息的判断，否则进入步骤S130中。
3.如权利要求1所述的基于视觉追随的拉花轨迹采集方法，其特征在于，在步骤S500之后，还包括：通过所述第一特征点的坐标轨迹拆解，获取拉花图案轨迹和拉花动作轨迹；
其中，所述拉花图案轨迹表现为标记在所述拉花杯出料口的所述第一特征点的运动轨迹；
所述拉花动作轨迹为通过多个所述第一特征点表现所述第一基底杯具和所述第一拉花杯具移动以及倾斜运动轨迹。
4.如权利要求3所述的基于视觉追随的拉花轨迹采集方法，其特征在于，对所述结束时间所在的所述图像信息中，将所述第一基底杯具中的奶泡图案作为拉花目标图案，所述拉花目标图案与所述拉花图案轨迹以及所述拉花动作轨迹一一对应。
5.如权利要求4所述的基于视觉追随的拉花轨迹采集方法，其特征在于，在步骤S150之后还包括将获取的所述拉花目标图案、所述拉花图案轨迹和所述拉花动作轨迹进行数据编码转换处理，并对形成的拉花数据包进行保存，以便传输给所述饮品制备机器人，以使所述饮品制备机器人根据触发的所述拉花目标图案执行相应轨迹的饮品拉花。
6.如权利要求2所述的基于视觉追随的拉花轨迹采集方法，其特征在于，在步骤S122中，判断各所述图像信息中是否具有包括第一基底杯具和第一拉花杯具在内的拉花模仿对象的方法为，
预设拉花模仿对象的多个关键特征信息，将所述关键特征信息与所述图像信息进行匹配，当所述图像信息中包括所有所述关键特征信息时，判断为所述图像信息中具有拉花模仿对象。
7.如权利要求6所述的基于视觉追随的拉花轨迹采集方法，其特征在于，在步骤S130中，对所述拉花模仿对象进行若干第一特征点标记中，所述第一特征点包括所述关键特征信息，且包括所述关键特征信息在内的所述第一特征点分布于所述第一基底杯具和所述第一拉花杯具上。
8.一种拉花控制方法，采用权利要求1-7任意一项所述的基于视觉追随的拉花轨迹采集方法获取的拉花坐标轨迹，其特征在于，所述方法包括：
S210：接收触发的饮品制作指令，获取图像信息；
S220：根据所述图像信息确定坐标轨迹；
S230：控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对所述执行区域内的第二基底杯具和第二拉花杯具进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制所述饮品制备机器人对所述第二基底杯具和所述第二拉花杯具进行拉花预备姿态复刻，使所述拉花预备姿态中所述第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各所述第二特征点沿第一特征点的坐标轨迹运行，以使所述饮品制备机器人快速复现拉花动作及拉花轨迹。
9.一种基于视觉追随的拉花轨迹采集系统，采用权利要求1-7任意一项所述的方法，其特征在于，所述系统包括：
指令接收模块，配置为接收触发的拉花学习指令；
图像获取模块，配置为根据所述拉花学习指令控制信息采集设备执行信息采集，获取检测区域内若干具有包括装有基底溶液的第一基底杯具和装有拉花奶泡的第一拉花杯具在内的拉花模仿对象的图像信息；
坐标构建模块，配置为对所述图像信息中的所述拉花模仿对象进行若干第一特征点标记，构建第一三维坐标系，且各所述第一特征点标记位于所述第一三维坐标系内；
时间确定模块，配置为对所述图像信息的拉花预备姿态、拉花结束姿态进行判断，将具有拉花预备姿态的所述图像信息所在时间作为拉花学习的起始时间，将具有拉花结束姿态的所述图像信息所在时间作为拉花学习的结束时间，利用所述起始时间和所述结束时间确定拉花学习的时间段；
坐标轨迹获取模块，配置为基于所述起始时间到所述结束时间所在的时间序列，获取各所述第一特征点在所述第一三维坐标系中的坐标信息，并形成各所述第一特征点在所述第一三维坐标系中的坐标轨迹，以便根据所述坐标轨迹控制饮品制备机器人快速复现拉花动作及拉花轨迹。
10.一种拉花控制系统，采用权利要求8所述的方法，其特征在于，所述系统包括：
指令接收模块：配置为接收触发的饮品制作指令，获取图像信息；
轨迹确定模块，配置为根据所述图像信息确定坐标轨迹；
拉花控制模块，配置为控制饮品制备机器人构建执行区域内的第二三维坐标系，以及对所述执行区域内的第二基底杯具和第二拉花杯具进行若干第二特征点标记，且标记位置与拉花模仿对象的标记位置相同，控制所述饮品制备机器人对所述第二基底杯具和所述第二拉花杯具进行拉花预备姿态复刻，使所述拉花预备姿态中所述第二特征点的坐标信息与第一特征点的坐标信息相同；并基于时间序列控制各所述第二特征点沿第一特征点的坐标轨迹运行，以使所述饮品制备机器人快速复现拉花动作及拉花轨迹。
11.一种电子设备，其特征在于，包括:
一个或多个处理器；
存储器用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510902.6A CN114568942A (zh) | 2021-12-10 | 2021-12-10 | 基于视觉追随的拉花轨迹采集、拉花控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510902.6A CN114568942A (zh) | 2021-12-10 | 2021-12-10 | 基于视觉追随的拉花轨迹采集、拉花控制方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114568942A true CN114568942A (zh) | 2022-06-03 |
Family
ID=81771791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111510902.6A Pending CN114568942A (zh) | 2021-12-10 | 2021-12-10 | 基于视觉追随的拉花轨迹采集、拉花控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114568942A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115270348A (zh) * | 2022-08-08 | 2022-11-01 | 佛山职业技术学院 | 一种获取制造工艺的方法、存储介质及装置 |
| CN115530617A (zh) * | 2022-10-25 | 2022-12-30 | 深圳市越疆科技有限公司 | 咖啡制作方法、设备及系统 |
| CN115530620A (zh) * | 2022-10-25 | 2022-12-30 | 深圳市越疆科技有限公司 | 咖啡拉花轨迹生成方法、咖啡制作方法、相关设备及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353820A1 (en) * | 2015-10-08 | 2017-12-07 | Shun-Chieh CHIANG | Device for assisting in brewing a beverage |
| CN107518769A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 咖啡机、系统及制作咖啡拉花的方法 |
| WO2019180252A1 (en) * | 2018-03-23 | 2019-09-26 | InterProducTec Consulting GmbH & Co. KG | Monitoring system for an apparatus for making beverages |
| KR20190110074A (ko) * | 2019-08-28 | 2019-09-27 | 엘지전자 주식회사 | 모방대상체의 모방 학습을 통해 자율주행이 가능한 로봇 및 로봇의 자율주행 방법 |
| CN113284192A (zh) * | 2021-06-18 | 2021-08-20 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及机械臂控制系统 |
| CN113327281A (zh) * | 2021-06-22 | 2021-08-31 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及拉花系统 |
| CN113352338A (zh) * | 2021-06-22 | 2021-09-07 | 广东智源机器人科技有限公司 | 机械臂控制方法、装置、电子设备以及拉花系统 |
| WO2021237130A1 (en) * | 2020-05-21 | 2021-11-25 | Blue Hill Tech, Inc. | A system and method for teaching a robot to mimic precise human motions for creation of coffee and beverages |
-
2021
- 2021-12-10 CN CN202111510902.6A patent/CN114568942A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353820A1 (en) * | 2015-10-08 | 2017-12-07 | Shun-Chieh CHIANG | Device for assisting in brewing a beverage |
| CN107518769A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 咖啡机、系统及制作咖啡拉花的方法 |
| WO2019180252A1 (en) * | 2018-03-23 | 2019-09-26 | InterProducTec Consulting GmbH & Co. KG | Monitoring system for an apparatus for making beverages |
| KR20190110074A (ko) * | 2019-08-28 | 2019-09-27 | 엘지전자 주식회사 | 모방대상체의 모방 학습을 통해 자율주행이 가능한 로봇 및 로봇의 자율주행 방법 |
| WO2021237130A1 (en) * | 2020-05-21 | 2021-11-25 | Blue Hill Tech, Inc. | A system and method for teaching a robot to mimic precise human motions for creation of coffee and beverages |
| CN113284192A (zh) * | 2021-06-18 | 2021-08-20 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及机械臂控制系统 |
| CN113327281A (zh) * | 2021-06-22 | 2021-08-31 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及拉花系统 |
| CN113352338A (zh) * | 2021-06-22 | 2021-09-07 | 广东智源机器人科技有限公司 | 机械臂控制方法、装置、电子设备以及拉花系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115270348A (zh) * | 2022-08-08 | 2022-11-01 | 佛山职业技术学院 | 一种获取制造工艺的方法、存储介质及装置 |
| CN115270348B (zh) * | 2022-08-08 | 2023-11-07 | 佛山职业技术学院 | 一种获取制造工艺的方法及存储介质 |
| CN115530617A (zh) * | 2022-10-25 | 2022-12-30 | 深圳市越疆科技有限公司 | 咖啡制作方法、设备及系统 |
| CN115530620A (zh) * | 2022-10-25 | 2022-12-30 | 深圳市越疆科技有限公司 | 咖啡拉花轨迹生成方法、咖啡制作方法、相关设备及系统 |
| CN115530620B (zh) * | 2022-10-25 | 2023-08-18 | 深圳市越疆科技股份有限公司 | 咖啡拉花轨迹生成方法、咖啡制作方法、相关设备及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114568942A (zh) | 基于视觉追随的拉花轨迹采集、拉花控制方法及系统 | |
| US11120598B2 (en) | Holographic multi avatar training system interface and sonification associative training | |
| US11779846B2 (en) | Method for creating a virtual object | |
| US9229528B2 (en) | Input apparatus using connectable blocks, information processing system, information processor, and information processing method | |
| CN105413198B (zh) | Ar儿童早教积木系统 | |
| CN107145222B (zh) | 基于Unity三维引擎和VR设备的工具自动绑定系统和方法 | |
| CN108389231B (zh) | 基于棋盘表面图像的棋子定位识别方法及系统 | |
| CN202150897U (zh) | 一种体感控制游戏电视机 | |
| CN101537618A (zh) | 体育场捡球机器人视觉系统 | |
| CN106313049A (zh) | 一种仿人机械臂体感控制系统及控制方法 | |
| CN107803025B (zh) | 一种3d高精度实时瞄准及触发模拟方法 | |
| CN102553232A (zh) | 人体姿态捕捉装置及其实现方法 | |
| CN105353871B (zh) | 一种虚拟现实场景中目标物体的控制方法及装置 | |
| CN113327281A (zh) | 运动捕捉方法、装置、电子设备以及拉花系统 | |
| CN110211661B (zh) | 基于混合现实的手功能训练系统及数据处理方法 | |
| CN111459263B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
| CN114568945A (zh) | 一种自动拉花方法、装置、电子设备及存储介质 | |
| CN108942918A (zh) | 一种基于线结构光的立体定位方法 | |
| US20220245880A1 (en) | Holographic multi avatar training system interface and sonification associative training | |
| CN107728788A (zh) | 一种基于红外超声三维定位体感交互装置 | |
| CN108229678A (zh) | 网络训练方法、操作控制方法、装置、存储介质和设备 | |
| US20180216959A1 (en) | A Combined Motion Capture System | |
| CN111113414B (zh) | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 | |
| JP7129839B2 (ja) | 訓練装置、訓練システム、訓練方法、及びプログラム | |
| EP3085223B1 (en) | System and method for assisting reductive shaping of plants into a desired 3d-shape by removing material |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |