CN116312147A - 基于教学机器人的编程教学方法及系统 - Google Patents
基于教学机器人的编程教学方法及系统 Download PDFInfo
- Publication number
- CN116312147A CN116312147A CN202310527481.0A CN202310527481A CN116312147A CN 116312147 A CN116312147 A CN 116312147A CN 202310527481 A CN202310527481 A CN 202310527481A CN 116312147 A CN116312147 A CN 116312147A
- Authority
- CN
- China
- Prior art keywords
- clamping force
- target
- teaching robot
- pick
- clamping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本申请提供了一种基于教学机器人的编程教学方法及系统,包括:电子设备向教学机器人发送编程文件,教学机器人根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略,根据参考夹取力度执行原始拾取策略,电子设备在判断出教学机器人拾取目标对象失败的情况下,输出第一手动操作界面,以此获取教学机器人成功拾取目标对象时的目标夹取力度;根据目标夹取力度确定目标夹取力度范围;教学机器人获取来自电子设备的目标夹取力度范围,根据目标夹取力度范围更新原始拾取策略中的参考夹取力度范围,并在拾取策略集合中保存更新后的原始拾取策略。这样可以增强教学机器人拾取废弃物的成功率,综合提高用户的编程能力和动手能力。
Description
技术领域
本申请属于编程教学领域和互联网产业的一般数据处理技术领域,具体涉及一种基于教学机器人的编程教学方法及系统。
背景技术
在当前的编程教学中,仅是将调整好的可运行编程文件发送给学生进行学习,用户学习后将该编程文件运用到教学机器人上运行就结束了。使得教学机器人与用户的交互性较弱,学生的编程学习参与度也不高。
发明内容
本申请实施例提供了一种基于教学机器人的编程教学方法及系统,以使得用户在进行编程学习的同时,可以通过用户手动操作反馈的数据来增强教学机器人拾取废弃物的成功率,同时提高用户的成就感,增强用户的学习兴趣和培养用户在对编程内容中相关参数值的写入时的准确度,综合提高用户的编程能力和动手能力。
第一方面,本申请实施例提供了一种基于教学机器人的编程教学方法,包括:
电子设备向教学机器人发送编程文件,所述编程文件中包括根据编程教学内容编写的用于实现废弃物巡检收集功能的控制程序;
所述教学机器人根据所述控制程序执行步骤A和步骤B:
步骤A,根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略,所述目标对象为待拾取废弃物,所述原始拾取策略中包括多个拾取动作步骤,以及所述多个拾取动作步骤中的每个拾取动作步骤的参数信息组,所述多个拾取动作步骤中包括夹取动作步骤和抬起动作步骤,所述夹取动作步骤对应的参数信息组中包括参考夹取力度范围,所述参考夹取力度范围中包括的夹取力度是指用于触发执行所述抬起动作步骤的夹取力度,所述参考夹取力度范围为对所述目标废弃物类别中包含的物体进行分析后得到的用于学习验证的经验值区间;
步骤B,根据参考夹取力度执行所述原始拾取策略,所述参考夹取力度为所述参考夹取力度范围内的任意一个夹取力度;
所述电子设备在判断出所述教学机器人拾取所述目标对象失败的情况下,输出第一手动操作界面,所述第一手动操作界面用于指示用户通过手动操作以控制所述教学机器人拾取所述目标对象,以此获取所述教学机器人成功拾取所述目标对象时的目标夹取力度;
所述电子设备根据所述目标夹取力度确定目标夹取力度范围,所述目标夹取力度范围用于更新所述原始拾取策略中的参考夹取力度范围;
所述教学机器人获取来自所述电子设备的所述目标夹取力度范围,根据所述目标夹取力度范围更新所述原始拾取策略中的所述参考夹取力度范围,并在所述拾取策略集合中保存更新后的原始拾取策略。
第二方面,本申请实施例提供了一种基于教学机器人的编程教学系统,包括电子设备和教学机器人,其中,
所述电子设备,用于执行如上述第一方面中由所述电子设备所执行的步骤;
所述教学机器人,用于执行如上述第一方面中由所述教学机器人所执行的步骤。
第三方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第四方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
第五方面,本申请实施例提供了一种电子设备,所述电子设备用于执行如上述第一方面中由所述电子设备所执行的步骤。
第六方面,本申请实施例提供了一种教学机器人,所述教学机器人用于执行如上述第一方面中由所述教学机器人所执行的步骤。
可以看出,本申请实施例中,首先电子设备向教学机器人发送编程文件,然后教学机器人根据控制程序执行步骤A和步骤B:步骤A,根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略;步骤B,根据参考夹取力度执行所述原始拾取策略;再然后电子设备在判断出所述教学机器人拾取所述目标对象失败的情况下,输出第一手动操作界面,所述第一手动操作界面用于指示用户通过手动操作以控制所述教学机器人拾取所述目标对象,以此获取所述教学机器人成功拾取所述目标对象时的目标夹取力度,再然后所述电子设备根据所述目标夹取力度确定目标夹取力度范围,所述目标夹取力度范围用于更新所述原始拾取策略中的参考夹取力度范围,最后所述教学机器人获取来自所述电子设备的所述目标夹取力度范围,根据所述目标夹取力度范围更新所述原始拾取策略,并在所述拾取策略集合中保存更新后的原始拾取策略。
这样使得用户可以根据编程教学内容学习对废弃物巡检收集功能的控制程度的编写,同时由于编程文件中的参考夹取力度范围是根据经验确定用于用户学习验证的区间值,因此用户还可以通过手动操作的方式反馈夹取力度数据,使得可以根据用户的手动操作逐渐缩小针对某个目标废弃物类别的夹取力度范围,提高教学机器人对该目标废弃物类别的物体的拾取成功率,增强用户在此过程中的成就感,以提高用户的学习兴趣和动手能力。以及可以让用户在手动控制的过程中感知到针对不同类废弃物的夹取力度的参数值的大小,使得用户在编程时写入的夹取力度相关的参数可以更准确。同时可以通过用户手动操作反馈的数据实现教学机器人对编程教学内容中未涉及的废弃物类别的物体的拾取,提高教学机器人的实用性。同时通过参考夹取力度范围内的任意一个参考夹取力度值进行目标对象拾取,还可以在保证夹取成功率的基础上,降低教学机器人在执行夹取动作步骤时的计算负担。教学机器人通过更新后的参考夹取力度范围中的夹取力度去拾取目标对象时,可以使得对目标对象进行拾取时不会力度过小,而无法成功拾取,也不会力度过大,使得教学机器人的动力消耗过大。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于教学机器人的编程教学系统的组成示意图;
图2是本申请实施例提供的一种电子设备的结构示意图;
图3是本申请实施例提供的一种基于教学机器人的编程教学方法的流程示意图;
图4是本申请实施例提供的一种手动控制的调整界面示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
针对上述问题,本申请实施例提供了一种基于教学机器人的编程教学方法及系统,下面结合附图对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种基于教学机器人的编程教学系统的组成示意图。如图1所示,所述基于教学机器人的编程教学系统10中包括电子设备101和教学机器人102,该电子设备101用于辅助用户进行编程学习,然后将学习得到的编程文件应用到教学机器人102中,教学机器人102可以根据获取的编程文件中的编程指令实现废弃物巡检收集功能。进一步地,该基于教学机器人的编程教学系统10中还包括控制手柄,该控制手柄与电子设备101和教学机器人102连接,用于将用户的手动操作信息通过控制手柄发送给电子设备101和教学机器人102,教学机器人102根据该控制手柄发送的控制信息进行废弃物巡检收集,电子设备101可以记录获取的控制信息,并辅助根据用户获取的控制信息更新编程文件中的相关参数,使得教学机器人102可以实现对除编程教学内容中未涉及的其他废弃物准确拾取。
请参阅图2,图2是本申请实施例提供的一种电子设备的结构示意图。如图2所示,所述电子设备101包括处理器120、存储器130、通信接口140以及一个或多个程序131,其中,所述一个或多个程序131被存储在上述存储器130中,且被配置由上述处理器120执行,所述一个或多个程序131包括用于执行下述方法实施例中任一步骤的指令。具体实现中,所述处理器120用于执行如下述方法实施例中由电子设备执行的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信接口140来完成相应操作。
教学机器人102可以包括机械手和移动控制装置,该移动控制装置中包括摄像头,显示设备,控制主板和移动装置等。该摄像头用于在教学机器人102进行废弃物巡检收集时,获取周围环境图像,同时还可以获取机械臂通过前端的夹取装置进行废弃物拾取时的机械臂视角的图像,并将实时获取的图像传送给电子设备或显示设备显示。教学机器人102还同时配置有激光雷达、陀螺仪、里程计,教学机器人102的摄像头还可以是深度摄像头,可以根据陀螺仪数据和里程计数据进行二维扫描建图,教学机器人在进行废弃物巡检时还可以根据深度摄像头获取的周围图像和高精度的雷达数据,在二维扫描图的基础上实现三维建图。且激光雷达可以获取周边环境的信息,里程计和陀螺仪可以计算出教学机器人的姿态和位置。有了这些信息,就可以计算出教学机器人102在三维图像中的准确位姿,方便后续进行路径规划和对教学机器人102进行导航到目的地。还可以通过使用自适应蒙特卡洛定位(adaptive Monte Carlo Localization,AMCL),采用粒子滤波器来跟踪已经知道的三维图像中教学机器人102的位姿,加上里程计和陀螺仪的数据使用算法进行融合,使得教学机器人102在三维图像中的定位更加准确。
在教学机器人102确定待拾取废弃物后,可以根据三维地图通过全局路径规划和局部路径规划,规划出一条可行驶的路线,在前往待拾取废弃物的位置的过程中,遇到障碍物还可以实现动态避障绕行、实时规划路径的功能。根据教学机器人102的差速运动模型,在局部规划中,采取的是动态窗口法(dynamic window approach,DWA)的路径规划算法,该算法会根据采样的速度,从教学机器人102的当前状态执行正向模拟,评估前方模拟产生的每条轨迹,根据算法,选择最高得分的轨迹,并将相关速度发布到教学机器人102底层控制程序中,然后驱动教学机器人102。
教学机器人102底盘前轮组可采用摆式悬挂,前轮组件与车身各为独立组件,通过转轴和大阻力拉簧与车身连接形成悬挂结构。悬挂结构保证了教学机器人102能够通过一些地面矮小障碍物,可以在不平整的路面工况下进行工作,大大提高了教学机器人102的环境适应性,避免了因通过性不好导致货物倾斜或跌落,一定程度上避免了通过性不好导致机器损伤的可能和避免事故的发生。
该教学机器人102的机械手可以为六自由度机械手,可以是由五个双输出轴舵机及一个单输出轴舵机提供动力,其舵机构成六自由度,分别控制旋转云台、1号轴臂、2号轴臂、3号轴臂、4号轴臂、夹取装置(也可以叫作机械爪)。机械臂位于教学机器人102头部位置,云台保证了机械臂工作范围,双输出轴舵机控制轴臂转动实现机械臂自由度运动;单输出轴为机械爪提供动力,使机械爪实现对废弃物的抓紧和放松。机械臂控制技术是指机械臂内部关节采用总线舵机,上位机通过串口通讯读取机械臂内部六个关节舵机的角度值,根据机械臂逆运动学算法反解目标数据得出每个舵机所需转动的角度写入六个关节舵机的角度值。
请参阅图3,图3是本申请实施例提供的一种基于教学机器人的编程教学方法的流程示意图,所述方法包括以下步骤。
步骤201,电子设备向教学机器人发送编程文件。
其中,所述编程文件中包括根据编程教学内容编写的用于实现废弃物巡检收集功能的控制程序。教学机器人在得到编程文件后,会对该编程文件进行解析,然后生成对应的机器语句,使得教学机器人可以根据编程文件中的控制程序进行工作。该基于教学机器人的编程教学系统中还可以包括服务器,该向教学机器人发送编程文件之前,所述方法还包括:电子设备向所述服务器发送编程文件请求,所述编程文件请求中包括废弃物巡检场景和用户的年龄等级;获取来自所述服务器的编程教学内容,该编程教学内容中包括编程教学文件和已编程框架,所述编程教学文件和所述已编程框架与所述废弃物巡检场景和所述用户的年龄等级关联;获取所述用户根据所述编程教学文件在所述已编程框架内输入的编程内容,得到所述编程文件。即在进行编程教学时,首先确定该教学机器人的工作场景,教学机器人在不同的工作场景下夹取废弃物对应路径规划策略不同,例如废弃物巡检场景是家庭中和是小区中对于编程文件中的路径规划就不同,家庭中的路径规划的原则是以最安全的路径到达垃圾处,防止碰伤家具,而小区中的路径规划原则可以是以最快速度到垃圾处。且不同的年龄层级对应的教学内容不同,即获取的已编程框架不同,年龄层级越小,对应的已编程框架中的内容就越丰富。
所述教学机器人根据所述控制程序执行步骤202和步骤203:
步骤202,根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略。
其中,所述目标对象为待拾取废弃物,所述原始拾取策略中包括多个拾取动作步骤,以及所述多个拾取动作步骤中的每个拾取动作步骤的参数信息组,所述多个拾取动作步骤中包括夹取动作步骤和抬起动作步骤,所述夹取动作步骤对应的参数信息组中包括参考夹取力度范围,所述参考夹取力度范围中包括的夹取力度是指用于触发执行所述抬起动作步骤的夹取力度,所述参考夹取力度范围为对所述目标废弃物类别中包含的物体进行分析后得到的用于学习验证的经验值区间。
该原始拾取策略可以是所述拾取策略集合中包括的拾取策略,也可以是原始拾取策略中不包括,电子设备根据目标废弃物类别确定的。或者该拾取策略集合中包括多个预设拾取策略和一个默认拾取策略,每个预设拾取策略对应一个预设废弃物类别,默认拾取策略对应默认废弃物类别,若目标废弃物类别与每个预设废弃物类别都不匹配,则确定目标废弃物类别属于默认废弃物类别,则确定默认拾取策略为原始拾取策略,否则确定匹配的预设拾取策略为原始拾取策略。当经过用户修正得到目标夹取力度范围后,更新拾取策略集合,将目标废弃物类别作为新的预设废弃物类别,该更新后的原始拾取策略作为新的预设废弃物类别对应的预设拾取策略进行保存。
该参考夹取力度范围可以是编程教学内容中的指导范围,即用户在进行编程学习时,获取的编程教学文件中包括有针对该目标废弃物类别的物体的夹取范围。当然,用户在根据编程教学文件撰写编程文件时,也可以是根据用户自己的经验对指导范围中的夹取力度进行更改,得到参考夹取力度范围。由于参考夹取力度范围是用于用户进行学习验证的经验值区间,因此该参考夹取力度范围并不会很准确,也就是说在用户运行教学机器人进行实际废弃物拾取时,会存在对目标物体拾取失败的可能。用户在实际使用时,教学机器人会随机选择参考夹取力度范围内的值执行针对目标对象的抬起动作步骤,则此时就可能会出现目标对象拾取失败的情况,此时就可以根据用户操作对该参考夹取力度范围进行修改调整,在用户操作过程中逐渐提高教学机器人的拾取成功率,使得用户在此过程中的成就感提升,从而提高用户对编程学习的兴趣的同时,增强对用户动手能力的培养。
步骤203,根据参考夹取力度执行所述原始拾取策略。
其中,所述参考夹取力度为所述参考夹取力度范围内的任意一个夹取力度。教学机器人在实际进行废弃物巡检收集的过程中,由于同一个目标废弃物类别中包括的物体的实际重量不同,因此会用参考夹取力度对目标对象进行拾取时,则可能拾取成功,也可能拾取失败。若拾取失败,则此时需要用户通过手动操作反馈夹取力度数据,使得对参考夹取力度进行修改,提高再次拾取该类别的废弃物的成功率。若拾取成功,则教学机器人可以继续利用该参考夹取力度范围进行该废弃物类别的物体的拾取收集,直到出现拾取失败的情况后,根据用户操作更改参考夹取力度范围。也就是说,在用户将编写好的编程文件导入教学机器人后,教学机器人初次对目标废弃物类别中的物体进行拾取时,可以根据随机选择的参考夹取力度使得教学机器人存在拾取成功或拾取失败的可能,通过随机的方式可以增强用户的使用趣味性,即若初次拾取成功,则用户可以立马体验到编写的编程文件应用到教学机器人后带来的反馈结果,从而提高用户的学习兴趣。而若初次拾取失败,则也可以及时根据用户操作反馈夹取力度,以缩小参考夹取力度范围提高后续对同类别的废弃物的拾取的成功率。即本方案从参考夹取力度范围中任意选择一个参考夹取力度进行目标对象拾取,可以同时保障用户的使用体验和教学机器人对目标对象的拾取成功率。
步骤204,所述电子设备在判断出所述教学机器人拾取所述目标对象失败的情况下,输出第一手动操作界面。
其中,所述第一手动操作界面用于指示用户通过手动操作以控制所述教学机器人拾取所述目标对象,以此获取所述教学机器人成功拾取所述目标对象时的目标夹取力度。即教学机器人在查询到原始拾取策略后,会根据原始拾取策略中的参数信息组自动进行目标对象的拾取动作,若拾取目标对象失败,则电子设备会在显示界面上显示第一手动操作界面,使得用户可以通过该第一手动操作界面进行手动操作,控制教学机器人成功拾取目标对象。在所述教学机器人拾取所述目标对象成功的情况下,不对原始拾取策略做更改,即下次再对该目标对象进行拾取时,依然使用该参考夹取力度范围内的任意一个夹取力度进行夹取。
在夹取过程中未抬起目标对象,或者目标对象滑落等都认为教学机器人未抬起目标对象,则此种情况认为拾取目标对象失败。具体实现中,确定教学机器人是否抬起目标对象包括:教学机器人在执行抬起动作步骤后并在执行废弃物存放步骤前,实时检测教学机器人的夹取装置的反馈信息,该反馈信息用于指示夹取装置中是否有废弃物,若有,则确定抬起目标对象,若在此过程中反馈信息指示夹取装置中不包括废弃物,则意味着废弃物在教学机器人执行抬起动作步骤的过程中脱落,或者根据没有夹起该废弃物,则认为未抬起目标对象。教学机器人的拾取动作步骤包括但不限于路径规划步骤,夹取动作步骤,抬起动作步骤和废弃物存放步骤,该废弃物存放步骤即为将废弃物放入存储装置内,该存储装置可以是垃圾桶。或者该教学机器人在执行拾取动作步骤过程中,通过教学机器人的摄像头向电子设备同步拾取过程影像,然后电子设备追踪目标对象即废弃物的移动轨迹,若该移动轨迹与教学机器人的夹取装置不同,则认为未抬起目标对象。或者电子设备会在显示界面上显示拾取过程影像,用户通过对拾取过程影像中目标对象进行观察,若用户认为拾取失败,则发送拾取失败指令。
步骤205,所述电子设备根据所述目标夹取力度确定目标夹取力度范围。
其中,所述目标夹取力度范围用于更新所述原始拾取策略中的参考夹取力度范围。即目标夹取力度可以用于更新参考夹取力度范围的上边界或者下边界,若目标夹取力度比参考夹取力度范围的下边界大,比上边界小,则更新参考夹取力度范围的下边界,得到目标夹取力度范围,若目标夹取力度比参考夹取力度范围的上边界大,则将目标夹取力度作为目标夹取力度范围的上边界,将参考夹取力度范围的上边界作为目标夹取力度范围的下边界。
步骤206,所述教学机器人获取来自所述电子设备的所述目标夹取力度范围,根据所述目标夹取力度范围更新所述原始拾取策略中的所述参考夹取力度范围,并在所述拾取策略集合中保存更新后的原始拾取策略。
其中,若拾取策略集合中原本就包括有目标废弃物类别对应的原始拾取策略,即用户在编程文件中写入了相关内容,则根据该原始拾取策略中的参考夹取力度为目标夹取力度,若拾取策略集合中原本不包括该目标废弃物类别对应的原始拾取策略,即当前的目标对象是在编程时未考虑的,用户实际使用时想要教学机器人拾取的新物体,则此时会将获取的原始拾取策略进行更改,并将该更改后的原始拾取策略保持在拾取策略集合中,使得下次再拾取同类别的废弃物时,教学机器人可以直接从拾取策略集合中查询拾取策略。
可见,本实例中,用户可以根据编程教学内容学习对废弃物巡检收集功能的控制程度的编写,同时在用户将编程文件在教学机器人上运行时,由于编程文件中的参考夹取力度范围是根据经验确定的,因此用户还可以通过手动操作的方式反馈夹取力度数据,使得可以根据与用户的交互过程逐渐缩小针对某个目标废弃物类别的夹取力度范围,以逐渐提高教学机器人对该目标废弃物类别的物体的拾取成功率,增强用户在此过程中的成就感,以提高用户的学习兴趣和动手能力。以及可以让用户在手动控制的过程中感知到针对某类废弃物的相关参数值的大小,使得用户在编程时写入的参数可以更准确,同时可以通过用户手动操作反馈的数据实现教学机器人对编程教学内容中未涉及的废弃物类别的物体的拾取,提高教学机器人的实用性。同时通过参考夹取力度范围内的任意一个参考夹取力度值进行目标对象拾取,还可以在保证夹取成功率的基础上,降低教学机器人在执行夹取动作步骤时的计算负担。教学机器人通过更新后的参考夹取力度范围中的夹取力度去拾取目标对象时,可以使得对目标对象进行拾取时不会力度过小,而无法成功拾取,也不会力度过大,使得教学机器人的动力消耗过大。
在一个可能的实例中,所述输出第一手动操作界面之后,所述方法还包括:所述电子设备获取所述用户通过手动操作控制所述教学机器人拾取所述目标对象的操作过程数据,所述操作过程数据中包括手动操作指示所述教学机器人执行所述夹取动作步骤时的多个实际夹取力度;所述电子设备根据所述多个实际夹取力度生成夹取力度变化曲线,并在所述第一手动操作界面上显示所述夹取力度变化曲线;所述电子设备确定所述多个实际夹取力度中手动操作指示所述教学机器人执行所述抬起动作步骤时的夹取力度值为可选夹取力度;所述电子设备确定所述可选夹取力度中指示所述教学机器人成功抬起所述目标对象时的可选夹取力度为所述目标夹取力度。
其中,用户可以通过手动操作的方式调整教学机器人的实际夹取力度,在用户手动操作过程中,该实际夹取力度可以是一个固定数值,例如第一手动操作界面上包括夹取力度输入部分,用户在该部分中输入一个具体的数值,则该教学机器人的实际夹取力度就为用户输入的数值,则此时的可选夹取力度也为该输入的数值,因此当前的夹取力度变化曲线为折线。该实际夹取力度还可以是一个变化的数值,即用户通过手动操作实时输出一个夹取力度值,然后电子设备将该实时输出的夹取力度值反馈给教学机器人进行目标对象拾取,然后用户可以通过电子设备输出抬起指令,指示教学机器人执行抬起动作步骤,则用户输入抬起指令时反馈给教学机器人的夹取力度值就为可选夹取力度,即教学机器人会以该可选夹取力度执行抬起动作步骤。若教学机器人成功抬起目标对象,则认为该可选夹取力度为目标夹取力度。用户可以多次通过手动操作对目标对象进行抬起,因此可能有多个可选夹取力度,但目标夹取力度为成功抬起目标对象时对应的可选夹取力度。
请参阅图4,图4是本申请实施例提供的一种手动控制的调整界面示意图。图4中所示的夹取力度曲线为连续变化的数值的曲线,可知此时的夹取力度是通过用户的手动操作实时反馈的夹取力度数值。该夹取力度曲线图的横坐标为每个夹取力度值的输出时间,纵坐标为夹取力度的大小。该夹取力度曲线可以仅显示预设时段内的夹取力度变化值,例如该预设时段为距离当前时刻1分钟内的值。使得用户根据夹取力度变化曲线实时感知到夹取力度的变化,便于用户手动操作时对夹取力度的控制更准确。同时,由于用户可能在执行拾取动作步骤时,以不同的实际夹取力度执行了抬起动作步骤,由于可能抬起失败,因此会有多个可选夹取力度,此时也可以同步在显示屏上显示每个可选夹取力度的值,便于用户根据可选夹取力度知道下次手动操作时要输出多大的力。例如图4中用户用2N的可选夹取力度执行抬起动作步骤,此时抬起失败,将该可先夹取力度显示在界面上,则用户可以清晰地感知到2N的力对应手动操作是什么情况,使得下次输出的力能更合适。
可见,本实例中,电子设备根据用户的手动操作确定要修改的预设夹取力度,可以提高教学机器人对目标对象的拾取的成功率,且可以提高用户的参与度,增强用户的学习兴趣,以及提高用户的动手能力和对实际物体与夹取力度之间的关系的感知能力,使得下次写入相关参数时更准确。
在一个可能的实例中,所述电子设备获取所述用户通过手动操作控制所述教学机器人拾取所述目标对象的操作过程数据,包括:获取来自控制手柄的握力数据,所述握力数据用于指示所述用户针对所述控制手柄的握力;将所述握力数据转换为所述实际夹取力度。
其中,第一手动操作界面上包括有连接提醒,该连接提醒用于提示用户将控制手柄与电子设备连接,连接方式包括有线连接或无线连接,无线连接包括网络连接或蓝牙连接等。当电子设备与控制手柄连接成功后,用户在控制手柄上的握力,会实时传输给电子设备,电子设备根据握力计算后得到实际夹取力度,并将该实际夹取力度反馈给教学机器人,教学机器人会根据该实际夹取力度控制夹取装置的夹取力度。同时,第一手动控制界面上会实时显示用户的实际夹取力度供用户参考。
该控制手柄的形状可以与教学机器人的夹取装置的形状相同。例如教学机器人的夹取装置是机械爪,则该控制手柄的形状也为爪的形状,用户可以通过该控制手柄模拟用手夹取垃圾时的握力。即用户只需要用不同的力握住该控制手柄,则用户的实际握力就可以根据该控制手柄传输到电子设备上,由电子设备计算出用户的实际握力反应在该夹取装置上的垃圾夹取力度。用户的握力与实际垃圾夹取力度可以是一比一完全对应的,当然,用户的握力也可以与其对应的实际垃圾夹取力度间存在倍数关系。同时由于第一手动控制界面上会实时显示夹取力度变化曲线和可选夹取力度的值,因此用户可以感觉到每个夹取力度的值对应的用户的实际握力,使得用户下次在写入夹取力度范围的相关参数时可以根据用户拿取物品的实际经验值对参考夹取力度范围进行更改,提高教学机器人的夹取成功率,和提高用户的对物体的夹取力度值的感知能力。
可见,本实例中,根据用户的实际握力控制教学机器人进行废弃物拾取,可以提高用户在进行编程学习时的参与度,增强用户的学习兴趣。且可以提高用户对目标对象的拾取时的夹取力度的确定更准确。
在一个可能的实例中,所述夹取动作步骤对应的参数信息组中还包括参考夹取角度,所述输出第一手动操作界面之前,所述方法还包括:获取来自所述教学机器人的雷达的雷达数据,以及来自所述教学机器人的陀螺仪的陀螺仪数据,以及来自所述教学机器人的里程计的里程数据;获取来自所述教学机器人的深度图像,所述深度图像为所述教学机器人在进行废弃物巡检时通过深度摄像头获取的图像;根据所述雷达数据、所述陀螺仪数据、所述里程数据和所述深度图像进行三维建图,得到三维地图,所述三维地图中包括所述目标对象的三维图像;根据所述三维地图确定所述目标对象的丢弃环境;根据所述丢弃环境确定所述参考夹取角度是否可调整;若是,则输出第二手动操作界面,所述第二手动操作界面上包括所述三维地图和夹取工具,并获取用户对所述控制手柄的移动操作,以及在所述第二手动操作界面上显示所述夹取工具的移动轨迹,所述夹取工具的移动轨迹与所述控制手柄的移动轨迹关联;确定所述夹取工具的移动轨迹对应的终点位置为所述夹取工具针对所述目标对象的夹取位置,所述终点位置位于所述目标对象的三维图像上;获取所述夹取工具在所述夹取位置上相对于所述目标对象的参考角度;根据所述夹取位置和所述参考角度确定目标夹取角度,所述目标夹取角度为所述用户通过手动操作以控制所述教学机器人拾取所述目标对象时的夹取角度。
其中,由于教学机器人对目标对象的夹取角度也可能会影响到对目标对象的拾取的成功率,因此用户还可以先通过控制手柄在三维图像中确定准确的夹取角度,使得教学机器人根据用户手动控制获取的可选夹取力度进行目标对象拾取时,可以采取用户确定的角度。编程文件中包括对夹取角度识别模型的调用指令,当用户通过手动操作确定目标夹取角度,且教学机器人根据该目标夹取角度成功拾取目标对象后,电子设备可以将该目标夹取角度的参数信息反馈给夹取角度识别模型,使得夹取角度识别模型可以根据该目标夹取角度的参数信息进行反馈学习,提高夹取角度的确定的准确度。编程文件中的参考夹取角度的获取方式包括:电子设备根据教学机器人的摄像头获取三维地图,然后确定目标对象在三维地图中的位置信息以及该目标对象在三维地图的周边物体信息,然后电子设备根据该位置信息和周边物体信息调用夹取角度识别模型,得到预设夹取角度。
用户在使用过程中,可以通过移动控制手柄的方式控制夹取工具在三维地图中移动,当用户确定移动到要夹取的位置后,可以确定此时夹取工具在目标对象的三维图像中的位置和该夹取工具相对于目标对象的角度,根据位置和角度确定目标夹取角度。
可见,本实例中,通过手动操作的方式让用户通过控制手柄确定夹取角度,可以实现对教学机器人的远程操作,以及提高对夹取角度的确定的准确度,提高目标对象的拾取成功率。
在一个可能的实例中,所述根据所述丢弃环境确定所述参考夹取角度是否可调整,包括:根据所述三维地图以及所述目标对象的三维图像,所述参考夹取角度确定多条参考移动轨迹,所述多条参考移动轨迹用于指示所述教学机器人执行所述抬起动作步骤时,所述教学机器人的机械臂的移动轨迹;确定所述多条参考移动轨迹中是否存在至少一条目标移动轨迹,所述目标移动轨迹上不存在遮挡物;若否,则确定所述参考夹取角度可调整。
其中,在教学机器人夹取目标对象时,同一个夹取角度在执行抬起动作步骤时可以对应多条移动轨迹,即机械臂控制夹取装置抬起目标对象时抬起的轨迹,若这多条轨迹上都存在遮挡物,则意味着该参考夹取角度可以调整。例如目标对象位于花丛中,则以原本的参考夹取角度抬起目标对象的过程中可能会对机械臂移动造成阻碍,或者会对周围植物造成破坏,则此时就认为存在遮挡物。若目标对象周围物体不会对机械臂的抬起动作和后续移动造成阻碍,且预估机械臂对周围物体的破坏程度小于预设阈值,则认为不存在遮挡物,否则就认为存在遮挡物。也就是说,即使移动轨迹上存在物体,但该物体也可能不是遮挡物。预估破坏程度可以根据该轨迹上存在的物体的类型确定。例如若参考夹取角度为从目标对象的正前方夹取物体并抬起,而该目标对象处于花丛中,则从正前方夹取物体并抬起时,会对周围的花丛造成破坏,因此需要改变夹取角度,例如根据用户手动操作将夹取角度调整为从目标对象的上方夹取,这个在抬起时就可以从花丛的上方移动,从而不对周围物体造成破坏。
具体实现中,还可以根据目标物体的目标形状确定预设夹取角度是否可调整,包括:确定所述目标形状与所述原始拾取策略中的预设形状的匹配度是否小于预设匹配度,所述预设形状与所述目标物体类别关联;若小于所述预设匹配度,则确定所述目标形状的不规则程度;若所述不规则程度大于第二预设值,则确定所述预设夹取角度可调整;若大于所述预设匹配度,则根据所述目标对象所在的位置确定所述预设夹取角度是否可调整。
拾取策略中包括有多个参考形状,针对每个参考形状可以有对应的夹取角度,根据教学机器人的摄像头获取的影像中目标对象的形状确定与其匹配度最高的参考形状,例如矿泉水瓶的大致形状为圆柱形,则该夹取角度就是针对圆柱形物体的夹取角度。在确定预设夹取角度时,不同的参考形状会对预设夹取角度造成影响,因此若当前目标形状与匹配度最高的参考形状的差距都较大,则可能预设夹取角度就可以调整。若差距不大,但目标形状为不规则形状,则夹取角度也可能可以调整。
可见,本实例中,根据目标对象的周围背景情况综合确定夹取角度是否可调整,再根据确定结果决定是否输出第二手动控制界面,可以避免用户做无用的操作,提高对修改参数的获取效率,以及可以避免因为夹取角度的问题而导致拾取失败的情况,使得用户调整的参考夹取角度范围不准确。
在一个可能的实例中,所述根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略,包括:确定所述拾取策略集合中是否包括所述目标废弃物类别对应的预设拾取策略,所述拾取策略集合中包括多个预设拾取策略,每个预设拾取策略与一个废弃物类别关联;若包括,则确定所述目标废弃物类别对应的预设拾取策略为所述原始拾取策略;若不包括,则获取所述教学机器人的历史拾取记录,所述历史拾取记录中包括所述教学机器人的历史拾取对象和所述教学机器人成功拾取所述历史拾取对象时的历史夹取力度;从所述历史拾取记录中确定至少一个目标历史拾取对象,所述教学机器人在预设时段内拾取过所述至少一个目标历史拾取对象;根据所述至少一个目标历史拾取对象对应的拾取策略中包括的夹取力度范围确定所述参考夹取力度范围;根据所述参考夹取力度范围生成所述原始拾取策略。
其中,该预设时段可以是最近一天,若最近一天没有拾取对象,则再往后延长一天,变成最近两天,以此类推,直到有拾取对象的时间。用户在使用教学机器人进行废弃物巡检收集时,当前确定的要拾取的目标对象对应的目标废弃物类别可以是拾取策略中包括的某一个预设拾取策略对应的废弃物类别,也可能是拾取策略中没有包括的,即教学机器人是首次对目标废弃物类别中的目标对象进行拾取,则此时可以根据历史拾取记录自动生成一个参考夹取力度范围,得到原始拾取策略。例如可以是根据该目标历史拾取对象关联的夹取力度范围的交集或者并集确定参考夹取力度范围。
可见,本实例中,在拾取策略中不包括对应的预设拾取策略时,由于用户在短时间内根据目标记录拾取对象关联的参考夹取力度范围确定参考夹取力度范围,可以使得确定出的参考夹取力度能较大程度贴近用户实际使用情况。
在一个可能的实例中,目标历史拾取对象包括多个,所述根据所述至少一个目标历史拾取对象对应的拾取策略中包括的夹取力度范围确定所述参考夹取力度范围,包括:确定多个目标历史拾取对象中的每个目标历史拾取对象对应的拾取策略中包括的夹取力度范围,得到多个备选夹取力度范围;确定所述多个备选夹取力度范围的范围重合度;在所述范围重合度大于第一预设值的情况下,确定所述多个备选夹取力度范围中夹取力度范围最大的备选夹取力度范围为所述参考夹取力度范围;在所述范围重合度不大于所述第一预设值的情况下,根据所述多个备选夹取力度范围中包括的夹取力度的最小值生成所述参考夹取力度范围,所述参考夹取力度范围包括所述多个备选夹取力度范围。
其中,若夹取力度范围重合度大,则意味着用户最近一段时间通过教学机器人拾取的物体质量都相似,则意味着用户当前拾取的目标对象也有很大可能为相似质量的物体,因此选择夹取力度范围最大的作为参考夹取力度,可以提高教学机器人拾取目标对象的成功率,同时也不会使得参考夹取力度差距过大,使得要多次手动操作才能确定最终参考夹取力度,即可以降低用户确定出适宜的参考夹取力度范围的次数,提高用户使用体验。
而若范围重合度不大,则意味着用户每次选择要拾取的物体都比较随意,则此时就不太好预估目标对象具体的情况,因此为了考虑到教学机器人的拾取成功率,就将多个备选夹取力度范围中的最小值作为参考夹取力度范围,即该参考夹取力度范围的下限值就为该最小值,该参考夹取力度范围的最大值可以是多个备选夹取力度范围中的最大值,也可以是该教学机器人的夹取能力的最大值,这样既可以保证拾取成功率,又不会使得范围过大,造成用户需要多次手动操作确定适宜范围。
在一个可能的实例中,所述电子设备根据所述目标夹取力度确定目标夹取力度范围,包括:确定所述目标对象的形变指数是否大于第二预设值,所述形变指数与所述目标废弃物类别关联,用于衡量所述目标对象在日常使用过程中是否易产生形变,所述形变指数越大,所述目标对象越易产生形变;若大于所述第二预设值,则根据所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,所述目标夹取力度为所述目标夹取力度范围内的最小值;若不大于所述第二预设值,则获取来自所述教学机器人的拾取过程影像,所述拾取过程影像中包括所述教学机器人在执行所述夹取动作步骤时对所述目标对象的拾取过程;根据所述拾取过程影像确定在所述教学机器人的夹取力度达到所述目标夹取力度时,所述目标对象的形变程度是否大于第三预设值;若是,则根据所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,所述目标夹取力度为所述目标夹取力度范围内的最大值;若否,则根据所述目标对象的目标物体状态、所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围。
其中,在用户通过手动操作确定教学机器人拾取目标对象最适宜的夹取力度时,还可以根据目标对象是否易产生形变来确定,即虽然成功拾取了目标对象,但对该目标对象造成了形变,则意味着夹取力度过大了,因此这种情况下在确定了目标夹取力度后,还需要对目标夹取力度进行调整,才能确定目标夹取力度范围。例如虽然教学机器人以目标夹取力度成功拾取矿泉水瓶,但教学机器人拾取时将该矿泉水瓶捏扁了,则意味着该目标夹取力度过大了。因此本方案对目标夹取力度进行调整后再确定目标夹取力度范围。第三预设值可以根据用户对目标对象的完整度需求确定,或者根据目标对象的材质等确定。例如矿泉水瓶夹取时改变了形状,但整体形变不大,则认为不超过第三预设值,而若是将其夹扁了,则认为超过第三预设值。
可见,本方案可以使得在对目标对象进行拾取时,既可以保证拾取成功率,又可以保证目标对象的完整度,提高用户使用体验。
在一个可能的实例中,所述根据所述目标对象的目标物体状态、所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,包括:确定所述目标物体状态是否为所述目标废弃物类别的常规状态;若是,则以所述目标夹取力度为中间值生成所述目标夹取力度范围;若否,则比较所述目标物体状态和所述常规状态以确定所述目标夹取力度的调整方向,所述调整方向包括增大所述目标夹取力度或减小所述目标夹取力度;根据所述调整方向调整所述目标夹取力度,得到基础夹取力度;根据所述基础夹取力度确定所述目标夹取力度范围,所述基础夹取力度为所述目标夹取力度范围内的最小值。
其中,该常规状态为目标废弃物类别中的大多数物体的状态,该状态可以包括质量、形状和材质等。由于当前拾取的目标对象可能在该目标废弃物类别中属于特例,则可以根据该目标对象的具体情况确定调整方向。例如目标对象为装满水的矿泉水瓶,而该目标对象对应的目标废弃物类别为饮料瓶,且常规状态为空瓶,因此若目标夹取力度作为目标夹取力度范围的最小值时,则需要将目标夹取力度调小得到基础夹取力度,以该基础夹取力度作为目标夹取力度范围的下限。即通常夹取该类别的物体不需要那么大力,使得在后续使用时,随机选择的夹取力度可以更小,使得对该类别物体拾取时,即可以保证成功率,又可以保证物体的完整度,提高用户使用体验。或者常规状态为满瓶,而目标对象的状态为空瓶,则意味着大多数使用时需要更大的夹取力度才行,因此会调高目标夹取力度,使得后续拾取该类别的物体时,参考夹取力度范围的下限值更高,以提高拾取成功率。
本申请实施例还提供一种基于教学机器人的编程教学系统,包括电子设备和教学机器人,其中,所述电子设备,用于执行如上述实施例中由所述电子设备所执行的步骤;所述教学机器人,用于执行如上述实施例中由所述教学机器人所执行的步骤。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory ,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于教学机器人的编程教学方法,其特征在于,包括:
电子设备向教学机器人发送编程文件,所述编程文件中包括根据编程教学内容编写的用于实现废弃物巡检收集功能的控制程序;
所述教学机器人根据所述控制程序执行步骤A和步骤B:
步骤A,根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略,所述目标对象为待拾取废弃物,所述原始拾取策略中包括多个拾取动作步骤,以及所述多个拾取动作步骤中的每个拾取动作步骤的参数信息组,所述多个拾取动作步骤中包括夹取动作步骤和抬起动作步骤,所述夹取动作步骤对应的参数信息组中包括参考夹取力度范围,所述参考夹取力度范围中包括的夹取力度是指用于触发执行所述抬起动作步骤的夹取力度,所述参考夹取力度范围为对所述目标废弃物类别中包含的物体进行分析后得到的用于学习验证的经验值区间;
步骤B,根据参考夹取力度执行所述原始拾取策略,所述参考夹取力度为所述参考夹取力度范围内的任意一个夹取力度;
所述电子设备在判断出所述教学机器人拾取所述目标对象失败的情况下,输出第一手动操作界面,所述第一手动操作界面用于指示用户通过手动操作以控制所述教学机器人拾取所述目标对象,以此获取所述教学机器人成功拾取所述目标对象时的目标夹取力度;
所述电子设备根据所述目标夹取力度确定目标夹取力度范围,所述目标夹取力度范围用于更新所述原始拾取策略中的参考夹取力度范围;
所述教学机器人获取来自所述电子设备的所述目标夹取力度范围,根据所述目标夹取力度范围更新所述原始拾取策略中的所述参考夹取力度范围,并在所述拾取策略集合中保存更新后的原始拾取策略。
2.根据权利要求1所述的方法,其特征在于,所述输出第一手动操作界面之后,所述方法还包括:
所述电子设备获取所述用户通过手动操作控制所述教学机器人拾取所述目标对象的操作过程数据,所述操作过程数据中包括手动操作指示所述教学机器人执行所述夹取动作步骤时的多个实际夹取力度;
所述电子设备根据所述多个实际夹取力度生成夹取力度变化曲线,并在所述第一手动操作界面上显示所述夹取力度变化曲线;
所述电子设备确定所述多个实际夹取力度中手动操作指示所述教学机器人执行所述抬起动作步骤时的夹取力度值为可选夹取力度;
所述电子设备确定所述可选夹取力度中指示所述教学机器人成功抬起所述目标对象时的可选夹取力度为所述目标夹取力度。
3.根据权利要求2所述的方法,其特征在于,所述电子设备获取所述用户通过手动操作控制所述教学机器人拾取所述目标对象的操作过程数据,包括:
获取来自控制手柄的握力数据,所述握力数据用于指示所述用户针对所述控制手柄的握力;
将所述握力数据转换为所述实际夹取力度。
4.根据权利要求3所述的方法,其特征在于,所述夹取动作步骤对应的参数信息组中还包括参考夹取角度,所述输出第一手动操作界面之前,所述方法还包括:
获取来自所述教学机器人的雷达的雷达数据,以及来自所述教学机器人的陀螺仪的陀螺仪数据,以及来自所述教学机器人的里程计的里程数据;
获取来自所述教学机器人的深度图像,所述深度图像为所述教学机器人在进行废弃物巡检时通过深度摄像头获取的图像;
根据所述雷达数据、所述陀螺仪数据、所述里程数据和所述深度图像进行三维建图,得到三维地图,所述三维地图中包括所述目标对象的三维图像;
根据所述三维地图确定所述目标对象的丢弃环境;
根据所述丢弃环境确定所述参考夹取角度是否可调整;
若是,则输出第二手动操作界面,所述第二手动操作界面上包括所述三维地图和夹取工具,并获取用户对所述控制手柄的移动操作,以及在所述第二手动操作界面上显示所述夹取工具的移动轨迹,所述夹取工具的移动轨迹与所述控制手柄的移动轨迹关联;
确定所述夹取工具的移动轨迹对应的终点位置为所述夹取工具针对所述目标对象的夹取位置,所述终点位置位于所述目标对象的三维图像上;
获取所述夹取工具在所述夹取位置上相对于所述目标对象的参考角度;
根据所述夹取位置和所述参考角度确定目标夹取角度,所述目标夹取角度为所述用户通过手动操作以控制所述教学机器人拾取所述目标对象时的夹取角度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述丢弃环境确定所述参考夹取角度是否可调整,包括:
根据所述三维地图以及所述目标对象的三维图像,所述参考夹取角度确定多条参考移动轨迹,所述多条参考移动轨迹用于指示所述教学机器人执行所述抬起动作步骤时,所述教学机器人的机械臂的移动轨迹;
确定所述多条参考移动轨迹中是否存在至少一条目标移动轨迹,所述目标移动轨迹上不存在遮挡物;
若否,则确定所述参考夹取角度可调整。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述根据目标对象所属的目标废弃物类别查询拾取策略集合,得到原始拾取策略,包括:
确定所述拾取策略集合中是否包括所述目标废弃物类别对应的预设拾取策略,所述拾取策略集合中包括多个预设拾取策略,每个预设拾取策略与一个废弃物类别关联;
若包括,则确定所述目标废弃物类别对应的预设拾取策略为所述原始拾取策略;
若不包括,则获取所述教学机器人的历史拾取记录,所述历史拾取记录中包括所述教学机器人的历史拾取对象和所述教学机器人成功拾取所述历史拾取对象时的历史夹取力度;
从所述历史拾取记录中确定至少一个目标历史拾取对象,所述教学机器人在预设时段内拾取过所述至少一个目标历史拾取对象;
根据所述至少一个目标历史拾取对象对应的拾取策略中包括的夹取力度范围确定所述参考夹取力度范围;
根据所述参考夹取力度范围生成所述原始拾取策略。
7.根据权利要求6所述的方法,其特征在于,目标历史拾取对象包括多个,所述根据所述至少一个目标历史拾取对象对应的拾取策略中包括的夹取力度范围确定所述参考夹取力度范围,包括:
确定多个目标历史拾取对象中的每个目标历史拾取对象对应的拾取策略中包括的夹取力度范围,得到多个备选夹取力度范围;
确定所述多个备选夹取力度范围的范围重合度;
在所述范围重合度大于第一预设值的情况下,确定所述多个备选夹取力度范围中夹取力度范围最大的备选夹取力度范围为所述参考夹取力度范围;
在所述范围重合度不大于所述第一预设值的情况下,根据所述多个备选夹取力度范围中包括的夹取力度的最小值生成所述参考夹取力度范围,所述参考夹取力度范围包括所述多个备选夹取力度范围。
8.根据权利要求6所述的方法,其特征在于,所述电子设备根据所述目标夹取力度确定目标夹取力度范围,包括:
确定所述目标对象的形变指数是否大于第二预设值,所述形变指数与所述目标废弃物类别关联,用于衡量所述目标对象在日常使用过程中是否易产生形变,所述形变指数越大,所述目标对象越易产生形变;
若大于所述第二预设值,则根据所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,所述目标夹取力度为所述目标夹取力度范围内的最小值;
若不大于所述第二预设值,则获取来自所述教学机器人的拾取过程影像,所述拾取过程影像中包括所述教学机器人在执行所述夹取动作步骤时对所述目标对象的拾取过程;
根据所述拾取过程影像确定在所述教学机器人的夹取力度达到所述目标夹取力度时,所述目标对象的形变程度是否大于第三预设值;
若是,则根据所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,所述目标夹取力度为所述目标夹取力度范围内的最大值;
若否,则根据所述目标对象的目标物体状态、所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标对象的目标物体状态、所述参考夹取力度范围和所述目标夹取力度确定所述目标夹取力度范围,包括:
确定所述目标物体状态是否为所述目标废弃物类别的常规状态;
若是,则以所述目标夹取力度为中间值生成所述目标夹取力度范围;
若否,则比较所述目标物体状态和所述常规状态以确定所述目标夹取力度的调整方向,所述调整方向包括增大所述目标夹取力度或减小所述目标夹取力度;
根据所述调整方向调整所述目标夹取力度,得到基础夹取力度;
根据所述基础夹取力度确定所述目标夹取力度范围,所述基础夹取力度为所述目标夹取力度范围内的最小值。
10.一种基于教学机器人的编程教学系统,其特征在于,包括电子设备和教学机器人,其中,
所述电子设备,用于执行如权利要求1-9任一项方法中由所述电子设备所执行的步骤;
所述教学机器人,用于执行如权利要求1-9任一项方法中由所述教学机器人所执行的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310527481.0A CN116312147B (zh) | 2023-05-11 | 2023-05-11 | 基于教学机器人的编程教学方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310527481.0A CN116312147B (zh) | 2023-05-11 | 2023-05-11 | 基于教学机器人的编程教学方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116312147A true CN116312147A (zh) | 2023-06-23 |
CN116312147B CN116312147B (zh) | 2023-07-21 |
Family
ID=86801606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310527481.0A Active CN116312147B (zh) | 2023-05-11 | 2023-05-11 | 基于教学机器人的编程教学方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116312147B (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011224745A (ja) * | 2010-04-21 | 2011-11-10 | Yaskawa Electric Corp | ロボット教示装置、該装置のコントローラ、およびプログラム |
US20150364060A1 (en) * | 2014-06-12 | 2015-12-17 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
US20160379519A1 (en) * | 2014-06-12 | 2016-12-29 | Play-i, Inc. | System and method for toy visual programming |
US20170028562A1 (en) * | 2015-07-31 | 2017-02-02 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
WO2017164829A1 (en) * | 2016-03-22 | 2017-09-28 | Gelecek Robotik Makine Ve Tip Teknolojileri Arastirma Gelistirme Ticaret Limited Sirketi | Modular reprogrammable robotics construction kit |
CN107813295A (zh) * | 2017-11-15 | 2018-03-20 | 纳博特南京科技有限公司 | 一种工业机器人操作训练装置 |
JP2018077342A (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムトランジスタ | 教師ロボットによるロボット動作プログラミング学習システム |
CN208392026U (zh) * | 2018-06-29 | 2019-01-18 | 深圳市亚博智能科技有限公司 | 智能小车机器人 |
US20190344441A1 (en) * | 2018-05-11 | 2019-11-14 | Siemens Aktiengesellschaft | Method, apparatus and system for robotic programming |
CN209657647U (zh) * | 2018-12-21 | 2019-11-19 | 云南正宇智能科技有限公司 | 一种机电教学用数控机床 |
CN209746900U (zh) * | 2019-02-21 | 2019-12-06 | 深圳市亚博智能科技有限公司 | 编程机器人 |
WO2020017396A1 (ja) * | 2018-07-19 | 2020-01-23 | 株式会社Icon | 学習玩具、これに使用する学習玩具用移動体、及びこれに使用する学習玩具用パネル |
US20200230817A1 (en) * | 2017-02-03 | 2020-07-23 | Doosan Robotics Inc | Skill-based robot programming apparatus and method |
CN112017488A (zh) * | 2020-08-28 | 2020-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于ar的教育机器人系统及学习方法 |
CN112201109A (zh) * | 2020-10-28 | 2021-01-08 | 河南盛世恒信科技有限公司 | 一种机器人应用编程实训考核装置及其实训考核方法 |
CN213781271U (zh) * | 2020-12-30 | 2021-07-23 | 上海朔果精密机电设备有限公司 | 一种工业机器人培训教学夹爪调试练习平台 |
CN216871425U (zh) * | 2022-02-17 | 2022-07-01 | 北京现代汽车有限公司 | 机器人实训设备 |
CN115132012A (zh) * | 2022-07-20 | 2022-09-30 | 浙江工贸职业技术学院 | 一种工业机器人应用编程实训设备 |
WO2022249226A1 (ja) * | 2021-05-24 | 2022-12-01 | 三菱電機株式会社 | ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム |
DE202023101375U1 (de) * | 2023-03-20 | 2023-03-27 | Sitaram Soni | Ein Armrobotergerät für Bildungszwecke |
-
2023
- 2023-05-11 CN CN202310527481.0A patent/CN116312147B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011224745A (ja) * | 2010-04-21 | 2011-11-10 | Yaskawa Electric Corp | ロボット教示装置、該装置のコントローラ、およびプログラム |
US20150364060A1 (en) * | 2014-06-12 | 2015-12-17 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
US20160379519A1 (en) * | 2014-06-12 | 2016-12-29 | Play-i, Inc. | System and method for toy visual programming |
US20170028562A1 (en) * | 2015-07-31 | 2017-02-02 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
WO2017164829A1 (en) * | 2016-03-22 | 2017-09-28 | Gelecek Robotik Makine Ve Tip Teknolojileri Arastirma Gelistirme Ticaret Limited Sirketi | Modular reprogrammable robotics construction kit |
JP2018077342A (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムトランジスタ | 教師ロボットによるロボット動作プログラミング学習システム |
US20200230817A1 (en) * | 2017-02-03 | 2020-07-23 | Doosan Robotics Inc | Skill-based robot programming apparatus and method |
CN107813295A (zh) * | 2017-11-15 | 2018-03-20 | 纳博特南京科技有限公司 | 一种工业机器人操作训练装置 |
US20190344441A1 (en) * | 2018-05-11 | 2019-11-14 | Siemens Aktiengesellschaft | Method, apparatus and system for robotic programming |
CN208392026U (zh) * | 2018-06-29 | 2019-01-18 | 深圳市亚博智能科技有限公司 | 智能小车机器人 |
WO2020017396A1 (ja) * | 2018-07-19 | 2020-01-23 | 株式会社Icon | 学習玩具、これに使用する学習玩具用移動体、及びこれに使用する学習玩具用パネル |
CN209657647U (zh) * | 2018-12-21 | 2019-11-19 | 云南正宇智能科技有限公司 | 一种机电教学用数控机床 |
CN209746900U (zh) * | 2019-02-21 | 2019-12-06 | 深圳市亚博智能科技有限公司 | 编程机器人 |
CN112017488A (zh) * | 2020-08-28 | 2020-12-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于ar的教育机器人系统及学习方法 |
CN112201109A (zh) * | 2020-10-28 | 2021-01-08 | 河南盛世恒信科技有限公司 | 一种机器人应用编程实训考核装置及其实训考核方法 |
CN213781271U (zh) * | 2020-12-30 | 2021-07-23 | 上海朔果精密机电设备有限公司 | 一种工业机器人培训教学夹爪调试练习平台 |
WO2022249226A1 (ja) * | 2021-05-24 | 2022-12-01 | 三菱電機株式会社 | ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム |
CN216871425U (zh) * | 2022-02-17 | 2022-07-01 | 北京现代汽车有限公司 | 机器人实训设备 |
CN115132012A (zh) * | 2022-07-20 | 2022-09-30 | 浙江工贸职业技术学院 | 一种工业机器人应用编程实训设备 |
DE202023101375U1 (de) * | 2023-03-20 | 2023-03-27 | Sitaram Soni | Ein Armrobotergerät für Bildungszwecke |
Non-Patent Citations (1)
Title |
---|
卢峰: """1+X"证书下的《工业机器人编程与操作》课程建设研究——以江西环境工程职业学院为例"", 《课程教育研究》, no. 41, pages 89 - 90 * |
Also Published As
Publication number | Publication date |
---|---|
CN116312147B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11724398B2 (en) | Efficient robot control based on inputs from remote client devices | |
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
JP7213934B2 (ja) | ロボットアクションへの修正に基づく局所的特徴モデルの更新 | |
EP4219088A1 (en) | Determining and utilizing corrections to robot actions | |
JP2019018272A (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
JP2013193202A (ja) | 人間援助型タスクデモンストレーションを使用してロボットを訓練するための方法およびシステム | |
JP2022542241A (ja) | ロボット装置からの視覚的出力を補強するシステム及び方法 | |
US11331799B1 (en) | Determining final grasp pose of robot end effector after traversing to pre-grasp pose | |
JPWO2019202900A1 (ja) | 行動推定装置、行動推定方法、および行動推定プログラム | |
La Hera et al. | A study case of Dynamic Motion Primitives as a motion planning method to automate the work of forestry cranes | |
CN111319039A (zh) | 机器人 | |
CN107336234A (zh) | 一种反馈式自学习工业机器人及工作方法 | |
CN116312147B (zh) | 基于教学机器人的编程教学方法及系统 | |
CN114454194B (zh) | 一种服务机器人、机器人手爪控制方法、系统及存储介质 | |
US20220245503A1 (en) | Training a policy model for a robotic task, using reinforcement learning and utilizing data that is based on episodes, of the robotic task, guided by an engineered policy | |
US11610153B1 (en) | Generating reinforcement learning data that is compatible with reinforcement learning for a robotic task | |
US20220317659A1 (en) | Transfer between Tasks in Different Domains | |
CN116175541B (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
Huang et al. | Design and Evaluation of Visual-and-Force-Assisted Virtual Operation System for Underwater Teleoperation Training | |
CN116197888B (zh) | 物品位置确定方法、装置、电子设备和存储介质 | |
WO2022252959A1 (zh) | 机械臂控制方法、装置、电子设备和计算机可读存储介质 | |
Li et al. | Visual servo control of industrial robot based on convolutional neural network | |
Zhou et al. | Research on the opening method of robotic arm based on force feedback reinforcement learning | |
Li | Application of deep learning in target grasping of machine arm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |