CN114260908B - 机器人示教方法、装置、计算机设备和计算机程序产品 - Google Patents

机器人示教方法、装置、计算机设备和计算机程序产品 Download PDF

Info

Publication number
CN114260908B
CN114260908B CN202111560646.1A CN202111560646A CN114260908B CN 114260908 B CN114260908 B CN 114260908B CN 202111560646 A CN202111560646 A CN 202111560646A CN 114260908 B CN114260908 B CN 114260908B
Authority
CN
China
Prior art keywords
pose
teaching
marker
point
station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111560646.1A
Other languages
English (en)
Other versions
CN114260908A (zh
Inventor
季善前
蔡晶鑫
邱强
吴立见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruben Technology Co ltd
Original Assignee
Shenzhen Ruben Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruben Technology Co ltd filed Critical Shenzhen Ruben Technology Co ltd
Priority to CN202111560646.1A priority Critical patent/CN114260908B/zh
Publication of CN114260908A publication Critical patent/CN114260908A/zh
Application granted granted Critical
Publication of CN114260908B publication Critical patent/CN114260908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Manipulator (AREA)

Abstract

本申请涉及一种机器人示教方法、装置、计算机设备、存储介质和计算机程序产品。包括:示教机器人的处理器获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。本发明对于同一工序中多个同种工位的示教场景建立了一种快捷的标准化示教方法,只需示教一个工位,并通过模板图像分别定位其他工位的示教控制点,就可以一键示教其他工位,大大提高了机器人示教的效率。

Description

机器人示教方法、装置、计算机设备和计算机程序产品
技术领域
本申请涉及机器人智能控制技术领域,特别是涉及一种机器人示教方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
目前在工业现场工作的工业机器人,一般都是通过示教规划好机器人的所有动作来对机器人进行控制。
在某些工业场景中,如锂电池自动化干燥场景中,作业的大型六轴机器人的底座在干燥线运输轨道上运行,当接收控制中心的上料指令时,机器人自动从上料区运送装有待干燥电池的托盘放置到干燥区域的某个干燥炉中,由于干燥炉的干燥要求,机器人需将托盘精准放置在干燥炉的定位机构上;或者接收到下料指令时,机器人自动从干燥炉中取出托盘运送到下料区。由于机器人需将托盘送入干燥炉中且完成精准定位,需要对该放置路径进行精准的示教。
上述干燥区域一般包括数列由多个相同干燥炉组成的立式干燥柜,干燥线运输轨道位于两列立式干燥柜之间组成的狭窄过道中,干燥炉为长方体结构,高度有限,定位机构一般是通过焊接等加工方式焊接在干燥炉内部,导致其在干燥炉内的位置难以精准获取。一般各个干燥炉中的末端的运动路径基本一致,但由于干燥炉内定位示教要求精准,所以在最后的对位阶段,需要进行反复示教调整才能完成,且定位机构在干燥炉内的位置存在焊接误差,对于每个干燥炉内对位阶段的示教都需重新进行调整,而狭窄炉体内,机器人本身的运动以及工人的视野都很受限,通常一条生产线的示教需要半个月才能完成,这就导致锂电池自动化干燥线上对机器人进行示教的效率特别低下,不利于锂电池自动化干燥线的调整和扩展。
因此,针对类似上述生产场景中,即:某一生产工序中多个同种工位的标准化示教,提出一种简便的机器人示教方式很有必要。
发明内容
基于此,有必要针对上述技术问题,提供一种机器人示教方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种机器人示教方法。所述方法包括:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
在其中一个实施例中,根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个,包括:在第二工位的目标点位处设置所述标志物;控制机器人移动到初始位置,在初始位置获取标志物的初始图像;根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点。
在其中一个实施例中,根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点,包括,根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿;根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点。
在其中一个实施例中,根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿,包括,获取初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
在其中一个实施例中,根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点,包括,执行迭代操作,迭代操作包括:根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;在过渡点获取标志物的过渡图像,并获取标志物的过渡位姿;判断过渡位姿和目标位姿之间的位姿差值是否小于预设阈值;若过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿;直至过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
在其中一个实施例中,根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器移动到过渡点,包括,根据初始位姿和目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;根据理想位姿和手眼标定关系控制机器人移动到过渡点。
第二方面,本申请还提供了一种机器人示教装置。所述装置包括:第一示教模块,用于获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个;模板获取模块,用于获取标志物的模板图像,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;示教点获取模块,用于根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;第二示教模块,用于根据第二示教点,获取第二工位的示教路径。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
上述机器人示教方法、装置、计算机设备、存储介质和计算机程序产品,示教机器人的处理器获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。本发明主要针对同一工序中多个同种工位的示教场景,这些工位具有相同的目标点位,且机器人相对于目标点位具有相同的操作轨迹。通过获取第一工位的示教路径作为多个同种工位的示教模板,并建立第一工位的示教路径和目标点位之间的对应关系,即:在第一工位的示教路径上确定一个示教控制点——第一示教点,且在第一工位的目标点位上设置易于识别的标志物定位目标点位,通过机器人在第一示教点处获取标志物的模板图像,就建立了示教控制点和模板图像之间的对应关系,即建立第一工位的示教路径和目标点位之间的对应关系。显然,上述对应关系对其他工位同样成立。对于第二工位的示教,只需要在其目标点位处以同样的方式设置相同的标志物,根据模板图像就可以精准定位第二工位的示教控制点——第二示教点,根据第二示教点就可以获取第二工位的示教路径。上述方式,对于同一工序中多个同种工位的示教场景建立了一种快捷简便的标准化示教方法,只需获取某一工位的示教路径,根据模板图像分别定位其他工位的示教控制点,就可以一键获取其他工位的示教路径,无视了各个工位之间存在的非实质性差异,大大提高了机器人示教的效率。此外,通过视觉伺服的方法定位示教控制点,对于高精度要求的应用场景也能适用,特别是针对目标点位处于拍摄条件差操作空间有限的场景,通过设置合适的标志物以及示教控制点,可以大大降低示教操作的难度,提高示教的效果。
附图说明
图1为一个实施例中机器人示教方法的应用环境图;
图2为一个实施例中机器人示教方法的流程示意图;
图3为一个实施例中第二示教点获取步骤的流程示意图;
图4为一个实施例中移动控制步骤的流程示意图;
图5为一个实施例中过渡点控制步骤的流程示意图;
图6为一个实施例中机器人示教装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的机器人示教方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与示教机器人处理器104进行通信。数据存储系统可以存储示教机器人处理器104需要处理的数据。数据存储系统可以集成在示教机器人处理器104上,也可以放在云上或其他网络服务器上。示教机器人处理器104获取第一工位的示教路径,所述示教路径包括第一示教点,所述第一工位为相同工序中多个工位中的任一个;获取标志物的模板图像,所述标志物设置在第二工位的目标点位处,所述模板图像为在所述第一示教点处获取的所述标志物的图像;根据所述模板图像获取第二工位的第二示教点,所述第二工位为所述多个工位中不同于第一工位的任一个;根据所述第二示教点,获取所述第二工位的示教路径。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。示教机器人处理器104用于控制示教机器人按照预先规划的路径轨迹运动和规划运动路径轨迹。
在一个实施例中,如图2所示,提供了一种机器人示教方法,以该方法应用于图1中的示教机器人处理器104为例进行说明,包括以下步骤:
S202,获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像。
其中,第一工位特指机器人进行第一次示教的某一工位,可以是相同工序中多个工位中的任一个,第二工位泛指机器人后续示教的其他工位的任一个。由于在相同工序中,一般会设置多个执行相同操作的工位,这些工位可能布置的位置不同或存在其他差异,但是一般具有达成相同操作目标的目标点位,即:机器人针对不同工位的目标点位可具有一致的操作动作。例如,在工业领域,某个加工工序中通常包括多个工位,在标准化生产中,多个工位具有标准化规格的目标操作点,在机器人在各个工位的操作具有高度可重复性。例如:锂电池干燥工序中设置有多个干燥炉,机器人需放置电池托盘到干燥炉中并定位到加热组件上;零件装配工序中的多个装配工位,机器人需将一个零件精准装配在另一个固定位置的零件上等等。
具体地,模板图像对应于机器人末端处于第一示教点时固定在机器人上的相机获取的标志物图像,且标志物设置在第一工位目标点位处。
这里,第一示教点是标识第一工位示教路径的示教控制点,通过机器人在第一示教点处获取标志物的模板图像,就建立了示教控制点和模板图像之间的对应关系,即建立第一工位的示教路径和目标点位之间的对应关系。显然,上述对应关系对其他工位同样成立。
第一示教点的选择与具体生产场景有关,尽可能满足生产的特定要求同时也方便获取图像信息。
针对不同的应用场景,模板图案的设置也可以有多种方式。
在某些工业场景中,某一工位的示教路径已知,可以以该工位为第一工位,直接获取第一示教点的点位信息。这种情况下,可直接将标志物放置在第一工位的目标点位处,控制机器人末端到达第一示教点,相机获取标志物图像直接设为作为模板图像。
在某些工业场景中,没有先验的示教路径,此时,可以在示教前根据作业环境、工艺要求以及标志物特性,预设模板图像存储在处理器中,此时需根据预设的模板图像确定第一工位的第一示教点,在此基础上通过人工示教或编程示教等方式获取第一工位的示教路径。
具体地,第一工位的示教路径特指各个工位中机器人相对目标点位具有同质化操作的某一段示教路径。实际应用中,可根据各个工位的特点,设计效率最高或适用性更好的模板示教路径,在对其他工位进行示教时也可以根据实际情况在该模板示教路径上进行适应性调整。
具体地,标志物包括定位目标点位的定位部以及与定位部位置关系已知的标识部。其中,定位部可以是物理结构,与目标点位的结构适配,如与目标点位处的定位销相匹配的定位孔,也可以是其他定位装置,可以反馈目标点位的状态信息并达到定位精度要求,如激光雷达、相机等。标识部中包括若干可识别或提取的特征点,标识部可以是常用的各种标定板,如棋盘格标定板、圆点阵列标定板等等,也可以是目标点位处或标志物本身可以提取的特征点,如圆形工件圆心,方形标志物角点。
对于物理结构的标志物,通常定位部和标识部是固定装配的,如定位工具上安装标定板,对于其他形式的标志物,要求定位部以及标识部的位置关系已知。
上述的标志物图像中至少包括标识部的图像。
S204,根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个。
其中,第二工位是指除第一工位以外,与第一工位相同规格的任一个其他工位。
具体地,根据模板图像与第一示教点的对应关系,在第二工位目标点位处以相同方式设置标志物并获取标志物图像,只要机器人末端在第二工位某个位置获取的标志物图像与模板图像一致,即可以确认该位置处机器人相对于标志物的末端位姿与第一示教点处机器人相对于标志物的末端位姿一致,此位置即为第二工位处的示教控制点——第二示教点。
S206,根据第二示教点,获取第二工位的示教路径。
具体地,在标志物坐标系中,第一示教点和第二示教点处机器人末端位姿是一致的,因此,获取的第二工位的示教路径和第一工位的示教路径也是一致的;在世界坐标系中,因为标志物从第一工位目标点位移动到第二工位目标点位,第一示教点和第二示教点处机器人末端位姿是不同的,获取第一示教点和第二示教点处机器人末端位姿的转换关系,根据这一转换关系转换世界坐标系下第一工位的示教路径即可得到世界坐标系下第二工位的示教路径。
这里,世界坐标系通常是定义在机器人作业场景中的一个固定坐标系,针对所有工位具有相同的世界坐标系;标志物坐标系是以标志物为参考物建立的坐标系,随着标志物的移动而移动,对于第一工位,其标志物坐标系是以设置在第一工位目标点位处的标志物为参考物建立的,对于第二工位,其标志物坐标系是以设置在第二工位目标点位处的标志物为参考物建立的。
具体地,可以将设置在第一工位目标点位的标志物、第一示教点以及第一工位的示教路径看作一个整体,标志物从第一工位目标点位移动到第二工位目标点位,相当于第一示教点以及第一工位的示教路径也同步移动到第二工位处。因此,获取世界坐标系下第一示教点和第二示教点处机器人末端位姿的转换关系,根据上述变换关系,可将世界坐标系下第一工位的示教路径转换到第二工位处,获取世界坐标系下第二工位的示教路径。
根据上述机器人示教方法,通过获取第一工位的示教路径作为多个同种工位的模板示教路径,并在在第一工位的示教路径上确定一个示教控制点——第一示教点,建立示教控制点和模板图像之间的对应关系,对于第二工位的示教,只需要根据模板图像就可以精准定位第二工位的示教控制点——第二示教点,根据第一示教点和第二示教点之间的对应关系,可将第一工位的示教路径映射到第二工位,获取第二工位的示教路径。根据上述方式,对于同一工序中多个同种工位的示教场景建立了一种快捷简便的标准化示教方法,只需获取某一工位的示教路径,对于其他工位,只需根据模板图像定位示教控制点,就一键获取其他工位的示教路径,无视了各个工位存在的非实质性差异,大大提高了机器人示教的效率。
在一个实施例中,如图3所示,根据模板图像获取第二工位的第二示教点,第二工位为所述多个工位中不同于第一工位的任一个,包括:
S302,在第二工位的目标点位处设置所述标志物。
具体地,在第二工位目标点位处以相同方式设置相同的标志物,或者取下设置在第一工位目标点位处的标志物以相同方式设置在第二工位目标点位处。
这里,对于某些类型的标志物,如果可以满足一致性要求,可以在每个工位上都设置同样的标志物也能达到目的。
S304,控制机器人移动到初始位置,在初始位置获取标志物的初始图像。
具体地,示教机器人处理器获取预设的初始位置坐标,控制机器人移动到第二工位的初始位置,在第二工位的初始位置获取标志物的图像。
该预设的初始位置坐标可以是根据第二工位的在世界坐标系下的位置按设定规则生成的,也可以是示教工人在输入装置上输入的一个预估的坐标值。要求安装在机器人上相机在初始位置可以获取标志物的图像,且能满足一定的识别要求。
S306,根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点。
具体地,以最小化初始图像与模板图像的差值为控制目的,控制机器人从初始位置逐步向第二示教点移动,在移动过程中持续更新获取的图像,直至获取的最新图像与模板图像的差值小于某个预设的阈值,即可认为机器人已经移动到达第二示教点。
如果已知图像变化和机器人运动之间精确的对应关系,也可以通过一次控制达到控制目的。但一般情况下,并没有上述的先验信息,或已知的对应关系难以达到要求的精度,通常需通过初步试探、逐步调整的方式达到控制目的。
这里图像的差值可以定义为任意可以反馈相机移动状态的图像参数差值,包括从图像中直接获取的特征参数差值以及根据图像特征转换的其他参数差值。这里的图像也可以理解为其他可生成可视化图像的传感器数据。
根据定义的差值设计相对应的控制律以控制机器人进行运动,常用的包括基于图像的视觉伺服控制、基于位置的视觉伺服控制,以及其他利用视觉反馈信息达到控制目的的控制方法,如控制机器人运动的自适应算法、深度学习控制算法等等。
在一个实施例中,根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点,包括:
S3062,示教机器人处理器根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿。
具体地,标志物位姿是指在相机坐标系下标志物的位姿,求解标志物的位姿等同于求解相机坐标系和标志物坐标系之间的转换矩阵,通常位姿包括位置和姿态,一般用六个参数,分别是X,Y,Z,RX,RY,RZ;其中X、Y、Z表示相机坐标系下标志物坐标系原点的三维坐标值;RX,RY,RZ表示相机坐标系下标志物的姿态值,一般以标志物坐标系的三个坐标轴分别相对于相机坐标系对应的坐标轴的旋转角来表示。
同样地,也可以根据初始图像获取相机的初始位姿,以及根据模板图像获取相机的目标位姿,这里相机位姿是指相机在标志物坐标系下的位姿。
上述的标志物位姿和相机位姿并无实质上的区别,只是从不同的角度描述相机坐标系和标志物坐标系之间的相对转换关系。
根据获取的标志物图像类型以及图像特征,可以选择适合的图像处理算法以及位姿估计算法进行计算。
S3064,根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点。
具体地,以最小化初始位姿和目标位姿之间的位姿差值为控制目的,控制机器人从初始位置逐步向第二示教点移动,直至不断更新的位姿差值小于某个预设的阈值,即可认为机器人已经移动到达第二示教点。
在已知手眼标定关系,可通过坐标系转换运算,将上述初始位姿和目标位姿转换为标志物坐标系下机器人末端的初始位姿和目标位姿,从而控制末端运动。
在不能获取精确手眼标定关系的情况下,可通过初步试探,即控制机器人末端分别沿几个特定方向移动一定的距离,处理获取的图像,建立一个粗略的末端移动与图像移动的对应关系。根据这一对应关系以及多次不断更新的位姿差值不断调整末端的运动,使得位姿差值不断收敛直至小于某个预设的阈值,即可认为机器人已经移动到达第二示教点。
在一个实施例中,根据所述初始图像获取标志物的初始位姿,以及根据所述模板图像获取标志物的目标位姿,包括:
获取所述初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取所述模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
具体地,根据图像特征点的类型,通过拟合圆心或提取角点等多种提取特征点的方法,获取图像特征点的像素坐标,由于相机内参和畸变参数已知,进而得到图像特征点在归一化图像平面的平面坐标(x,y)。若图像中特征点的深度信息ZC已知,可求得特征点在相机坐标系下的坐标(XC,YC,ZC),根据已知的特征点在标志物坐标系下的预设坐标(Xw,Yw,Zw),匹配得到若干3D-3D点对,即可求得相机坐标系下标志物的位姿。若图像中特征点的深度信息ZC未知,根据已知的特征点在标志物坐标系下的预设坐标(Xw,Yw,Zw),匹配得到若干2D-3D点对,利用PNP算法即可求得相机坐标系下标志物的位姿。
由于PNP算法需要4组特征点,所以,上述特征点的数量至少为4个。通常为了提高精度,标志物上可识别的特征点可能会更多。
根据上述方法,使用普通2D相机也可以进行标志物的位姿估计,从而达到快速示教部署的目的。
在一个实施例中,如图4所示,根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点,包括:
S402,根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点。
具体地,预设步长可以是设定的一个固定值,类似于以点动的方式控制机器人移动;也可以根据机器人的运动状态实时调整,根据移动前获取位姿差值获取此次移动的预设步长,如在位姿差值较大的时候以大步长控制机器人移动,在位姿差值较小的时候以小步长控制机器人移动。
S404,在过渡点获取标志物的过渡图像,并获取标志物的过渡位姿。
S406,判断过渡位姿和目标位姿之间的位姿差值是否小于预设阈值。
具体地,预设阈值通常是根据控制过程要求的精度确定的,一般为了达到控制要求,预设阈值要小于恰好满足要求的临界阈值,以增强控制的有效性。
S408,若过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿,返回步骤S402,重新执行S402-S406的步骤。
S410,若过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
具体地,当过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿,返回步骤S402,重新执行S402-S406的步骤,包括:更新初始位姿,获取新的位姿差值和步长,控制机器人移动到新的过渡点,在新的过渡点处获取新的过渡位姿,判断新的过渡位姿与目标位姿的位姿差值是否小于预设阈值。同样地,当新的过渡位姿和目标位姿之间的位姿差值仍大于预设阈值,将新的过渡位姿作为初始位姿,返回步骤S402,重新执行S402-S406的步骤……重复上述步骤,直至最新一次移动获取的最新过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将最新过渡位姿对应的最新过渡点作为所述第二示教点。
可以理解的是,控制机器人从初始位置向第二示教点的移动时逐步进行的,假设一共进行了N次移动使得机器人移动到第二示教点,包括,从初始位置移动到第一过渡点,从第一过渡点移动到第二过渡点,从第二过渡点移动到第三过渡点,……,从第N-1过渡点移动到第N过渡点。对于每一次移动,把移动起点处获取的标志物位姿看作初始位姿,移动的终点定义为过渡点并将获取的标志物位姿看作过渡位姿。判断第k次移动终点处获取的过渡位姿和目标位姿的关系,若二者的位姿差值大于预设阈值,则将第k次移动终点处获取的过渡位姿作为第k+1次移动的初始位姿,随着机器人不断移动,其初始位姿、过渡点、过渡位姿也在不断更新,直至第N次移动终点处获取的过渡位姿和目标位姿的位姿差值小于预设阈值,则将此过渡位姿对应的过渡点即第N过渡点作为第二示教点。
在一个实施例中,如图5所示,根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器移动到过渡点,包括,
S502,根据初始位姿和目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿。
具体地,根据标定板的初始位姿和目标位姿之间的差值以及在图像坐标系下定义的预设步长可以确定过渡点处标定板的理想位姿。这里的理想位姿是一个理论值,起指导作用。
S504,根据理想位姿和手眼标定关系控制机器人移动到过渡点。
具体地,手眼标定关系就是相机坐标系和机器人末端坐标的转换关系,对于眼在手上系统,手眼标定关系是固定不变的。
根据手眼标定关系,可以直接将过渡点处标定板的理想位姿转换为末端相对于标定板的理想位姿,从而控制机器人移动。
在无法获取精确的手眼标定关系时,可根据相机的安装位置建立一个粗略的手眼标定关系,进而获取末端相对于标定板的估计位姿,控制机器人移动到估计位姿对应的过渡点处,通过在移动过程中对手眼标定关系不断进行优化,最终可以控制末端移动到第二示教点处。
根据上述方法,在不进行手眼标定的基础上,也可以根据模板图像控制机器人末端移动到第二示教点处,适用性大大增加。
在一个实施例中,将该机器人示教方法应用在锂电池自动化干燥线上,具体流程如下:
A1、将标志物放置在干燥炉1的定位销处,在干燥炉外合适位置利用图像采集装置获取标志物的模板图像。对于标志物中标识部设定为常见的标定板情形,也可以根据定位精度等直接给定模板图像。
这里的干燥炉1即为第一工位,定位销即为目标点位。
标志物包括一个定位框架,以及固定在定位框架上的标定板,定位框架底部设有与定位销匹配的定位孔。
标志物放置在定位销上时,定位孔精准对准定位销紧密配合,标定板位于干燥炉1进口边缘。
A2、控制机器人末端运动到干燥炉1的初始位置,在初始位置拍摄图像,处理图像,提取标定板中的特征点,得到其像素坐标。
获取图像后也可以利用一些常用的视觉伺服方法,如基于图像特征的视觉伺服等等进行视觉对位处理。
A3、根据特征点的像素坐标和深度信息可以得到特征点在相机坐标系下的坐标,进而计算得到标定板在相机坐标系下的位姿。此处可以用2D相机或3D相机:
对于2D相机,通过拟合圆心或提取角点等多种提取特征点的方法识别图像中N个(不共线)特征点,计算出特征点像素坐标(u,v),根据相机内参和畸变参数得到特征点在归一化图像平面的平面坐标(x,y),由于标定板在标志物上的位置固定,获取特征点在标志物坐标系下的坐标,匹配得到若干2D-3D点对,利用PnP算法,可求得标定板在相机坐标系下的位姿。
对于3D相机,深度信息已知,可直接获取特征点在相机坐标系下的坐标,根据匹配的若干3D-3D点对,可求得标定板在相机坐标系下的位姿。
具体地,由于标志物中定位孔位置和标定板位置固定,假设以标定板左下角为原点建立空间坐标系,根据加工尺寸信息就可以获取定位孔以及标定板中特征点在标志物坐标系下的坐标。
A4、根据模板图像和拍摄图像获取的标志物目标位姿和实际位姿判断位姿差值是否大于预设阈值,一般位姿差值可以用对应分量各自差值平方之和来表征。
如果大于,以最小化位姿差值为控制目的,根据预设步长求得移动后标志物在相机坐标下的位姿。
如果已知手眼标定关系,可以计算得到精准的末端移动量。
如果不知道手眼标定关系,可以根据相机在末端的安装方式,预估一个手眼标定关系,得到估计的末端移动量。
控制末端移动,继续拍照,重复上述过程,直至判断位姿差值小于预设阈值。
A5、完成对位后,以对位完成时末端位姿为第一示教点,记录其点位信息(包括世界坐标系下末端位姿以及标志物坐标系下末端位姿,一般机器人控制器可以自动完成)。完成对位即可取出标志物,将其放置于干燥炉2的定位销上。
A6、利用人工示教或离线编程示教等方式以第一示教点为起点对第一工位进行示教,获取干燥炉1处的示教路径,并记录相关信息。
A7、重复A2-A5的过程,得到干燥炉2处第二示教点的点位信息,根据第一示教点和第二示教点的映射关系,将干燥炉1的示教路径映射到干燥炉2中,并记录相关信息。
相当于把干燥炉1的示教路径移动到到干燥炉2中,包括位移、速度、加速度在内的点位信息均保持一致。
这里干燥炉2相当于泛指的任意一个第二工位。
A8、重复A7,直至完成所有干燥炉的示教。
在另一个实施例中,将该机器人示教方法应用在锂电池自动化干燥线上,具体流程如下:
B1、已经获取干燥炉1处的示教路径,可选择示教路径上合适的点位定义为第一示教点,将标志物放置在干燥炉1的定位销处,再控制机器人末端运动到第一示教点处,拍摄标志物的图像作为模板图像。
B2、将标志物移至干燥炉2的定位销处,控制机器人末端运动到干燥炉2的初始位置,拍摄标志物的图像作为初始图像,根据初始图像和模板图像完成干燥炉2处的视觉对位。
B3、完成对位后,对位完成时以机器人末端位姿为第二示教点,并记录其点位信息。
B4、根据第一示教点和第二示教点之间的映射关系,将干燥炉1的示教路径映射到干燥炉2中,记录相关信息。
B5、重复B4步骤,直至完成所有干燥炉的示教。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的机器人示教方法的机器人示教装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个机器人示教装置实施例中的具体限定可以参见上文中对于机器人示教方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种机器人示教装置600,包括:第一示教模块602、模板获取模块604、示教点获取模块606、第二示教模块608、其中:
第一示教模块602,用于获取第一工位的示教路径,所述示教路径包括第一示教点,所述第一工位为相同工序中多个工位中的任一个。
模板获取模块604,用于获取标志物的模板图像,所述标志物设置在第一工位的目标点位处,所述模板图像为在所述第一示教点处获取的所述标志物的图像。
示教点获取模块606,用于根据所述模板图像获取第二工位的第二示教点,所述第二工位为所述多个工位中不同于第一工位的任一个。
第二示教模块608,用于根据所述第二示教点,获取所述第二工位的示教路径。
上述机器人示教装置,示教机器人的处理器获取第一工位的示教路径,所述示教路径包括第一示教点,所述第一工位为相同工序中多个工位中的任一个;获取标志物的模板图像,所述标志物设置在第一工位的目标点位处,所述模板图像为在所述第一示教点处获取的所述标志物的图像;根据所述模板图像获取第二工位的第二示教点,所述第二工位为所述多个工位中不同于第一工位的任一个;根据所述第二示教点,获取所述第二工位的示教路径,相对于对每个工位逐一进行人工示教,利用上述示教装置只需示教一个工位,在其他工位处只需示教特定的一个示教控制点,就可以获取相应的示教路径,可以满足各工位的高精度示教要求,大大提高了示教的效率。
在一个实施例中,示教点获取模块606包括:标志物移动子模块,用于在第二工位的目标点位处设置所述标志物;初始图像获取子模块,用于控制机器人移动到初始位置,在所述初始位置获取所述标志物的初始图像;控制移动子模块,用于根据所述初始图像与所述模板图像的差值,控制机器人从所述初始位置移动到所述第二示教点。
在一个实施例中,控制移动子模块包括:目标位姿获取单元,用于根据所述初始图像获取标志物的初始位姿,以及根据所述模板图像获取标志物的目标位姿;控制单元,用于根据所述初始位姿和所述目标位姿控制机器人末端从所述初始位置运动至所述第二示教点。
在一个实施例中,控制单元,包括:过渡点移动子单元,用于根据所述初始位姿和所述目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;过渡位姿获取子单元,用于在所述过渡点获取所述标志物的过渡图像,并获取标志物的过渡位姿;判断子单元,用于判断所述过渡位姿和所述目标位姿之间的位姿差值是否小于预设阈值,若大于预设阈值,则将所述过渡位姿作为所述初始位姿;示教点获取单元,用于若过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
在一个实施例中,目标位姿获取单元,用于获取所述初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取所述模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
在一个实施例中,过渡点移动子单元还用于根据所述初始位姿和所述目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;根据所述理想位姿和手眼标定关系控制机器人移动到过渡点。
上述机器人示教装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储路径轨迹数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人示教方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在第二工位的目标点位处设置所述标志物;控制机器人移动到初始位置,在初始位置获取标志物的初始图像;根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从标志物目标图像中提取若干个目标图像特征点;根据若干个目标图像特征点的像素坐标以及第二标志物坐标,得到末端坐标系的期望位姿;第二标志物坐标是指在标志物坐标系下的若干个目标图像特征点的坐标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿;根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:执行迭代操作,迭代操作包括:根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;在过渡点获取标志物的过渡图像,并获取标志物的过渡位姿;判断过渡位姿和目标位姿之间的位姿差值是否小于预设阈值;若过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿;直至过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据初始位姿和目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;根据理想位姿和手眼标定关系控制机器人移动到过渡点。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在第二工位的目标点位处设置所述标志物;控制机器人移动到初始位置,在初始位置获取标志物的初始图像;根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从标志物目标图像中提取若干个目标图像特征点;根据若干个目标图像特征点的像素坐标以及第二标志物坐标,得到末端坐标系的期望位姿;第二标志物坐标是指在标志物坐标系下的若干个目标图像特征点的坐标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿;根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:执行迭代操作,迭代操作包括:根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;在过渡点获取标志物的过渡图像,并获取标志物的过渡位姿;判断过渡位姿和目标位姿之间的位姿差值是否小于预设阈值;若过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿;直至过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据初始位姿和目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;根据理想位姿和手眼标定关系控制机器人移动到过渡点。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:获取标志物的模板图像,以及获取第一工位的示教路径,示教路径包括第一示教点,第一工位为相同工序中多个工位中的任一个,标志物设置在第一工位的目标点位处,模板图像为在第一示教点处获取的标志物的图像;根据模板图像获取第二工位的第二示教点,第二工位为多个工位中不同于第一工位的任一个;根据第二示教点,获取第二工位的示教路径。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在第二工位的目标点位处设置所述标志物;控制机器人移动到初始位置,在初始位置获取标志物的初始图像;根据初始图像与模板图像的差值,控制机器人从初始位置移动到第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据初始图像获取标志物的初始位姿,以及根据模板图像获取标志物的目标位姿;根据初始位姿和目标位姿控制机器人末端从初始位置运动至第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:执行迭代操作,迭代操作包括:根据初始位姿和目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;在过渡点获取标志物的过渡图像,并获取标志物的过渡位姿;判断过渡位姿和目标位姿之间的位姿差值是否小于预设阈值;若过渡位姿和目标位姿之间的位姿差值大于预设阈值,则将过渡位姿作为初始位姿;直至过渡位姿和目标位姿之间的位姿差值小于预设阈值,则将过渡位姿对应的过渡点作为第二示教点。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;获取模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据初始位姿和目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;根据理想位姿和手眼标定关系控制机器人移动到过渡点。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人示教方法,其特征在于,所述方法包括:
获取标志物的模板图像,以及获取第一工位的示教路径,所述示教路径包括第一示教点,所述第一工位为相同工序中多个工位中的任一个,所述标志物设置在所述第一工位的目标点位处,所述模板图像为在所述第一示教点处获取的所述标志物的图像;
在第二工位的目标点位处设置所述标志物;
控制机器人移动到初始位置,在所述初始位置获取所述标志物的初始图像;
根据所述初始图像与所述模板图像的差值,控制机器人从所述初始位置移动到第二示教点;
根据所述第二示教点,获取所述第二工位的示教路径。
2.根据权利要求1所述的方法,其特征在于,所述根据所述初始图像与所述模板图像的差值,控制机器人从所述初始位置移动到所述第二示教点,包括,
根据所述初始图像获取标志物的初始位姿,以及根据所述模板图像获取标志物的目标位姿;
根据所述初始位姿和所述目标位姿控制机器人末端从所述初始位置运动至所述第二示教点。
3.根据权利要求2所述的方法,其特征在于,根据所述初始图像获取标志物的初始位姿,以及根据所述模板图像获取标志物的目标位姿,包括,
获取所述初始图像中若干个图像特征点的初始像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的初始位姿;
获取所述模板图像中若干个图像特征点的目标像素坐标以及相应的标志物坐标系下的预设坐标,进而得到标志物在相机坐标系下的目标位姿。
4.根据权利要求2所述的方法,其特征在于,所述根据所述初始位姿和所述目标位姿控制机器人末端从所述初始位置运动至所述第二示教点,包括:
执行迭代操作,所述迭代操作包括:根据所述初始位姿和所述目标位姿之间的位姿差值和预设步长控制机器人移动到过渡点;
在所述过渡点获取所述标志物的过渡图像,并获取标志物的过渡位姿;
判断所述过渡位姿和所述目标位姿之间的位姿差值是否小于预设阈值;
若所述过渡位姿和所述目标位姿之间的位姿差值大于预设阈值,则将所述过渡位姿作为所述初始位姿;
直至所述过渡位姿和所述目标位姿之间的位姿差值小于预设阈值,则将所述过渡位姿对应的过渡点作为所述第二示教点。
5.根据权利要求4所述的方法,其特征在于,所述根据所述初始位姿和所述目标位姿之间的位姿差值和预设步长控制机器移动到过渡点,包括:
根据所述初始位姿和所述目标位姿之间的位姿差值以及预设步长确定过渡点的理想位姿;
根据所述理想位姿和手眼标定关系控制机器人移动到过渡点。
6.一种机器人示教装置,其特征在于,所述装置包括:
第一示教模块,用于获取第一工位的示教路径,所述示教路径包括第一示教点,所述第一工位为相同工序中多个工位中的任一个;
模板获取模块,用于获取标志物的模板图像,所述标志物设置在第一工位的目标点位处,所述模板图像为在所述第一示教点处获取的所述标志物的图像;
示教点获取模块,用于在第二工位的目标点位处设置所述标志物;控制机器人移动到初始位置,在所述初始位置获取所述标志物的初始图像;根据所述初始图像与所述模板图像的差值,控制机器人从所述初始位置移动到第二示教点;
第二示教模块,用于根据所述第二示教点,获取所述第二工位的示教路径。
7.根据权利要求6所述的装置,其特征在于,所述示教点获取模块还用于根据所述初始图像获取标志物的初始位姿,以及根据所述模板图像获取标志物的目标位姿;根据所述初始位姿和所述目标位姿控制机器人末端从所述初始位置运动至所述第二示教点。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202111560646.1A 2021-12-20 2021-12-20 机器人示教方法、装置、计算机设备和计算机程序产品 Active CN114260908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111560646.1A CN114260908B (zh) 2021-12-20 2021-12-20 机器人示教方法、装置、计算机设备和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111560646.1A CN114260908B (zh) 2021-12-20 2021-12-20 机器人示教方法、装置、计算机设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN114260908A CN114260908A (zh) 2022-04-01
CN114260908B true CN114260908B (zh) 2023-10-20

Family

ID=80828002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111560646.1A Active CN114260908B (zh) 2021-12-20 2021-12-20 机器人示教方法、装置、计算机设备和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114260908B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781635B (zh) * 2022-11-04 2024-08-06 北京镁伽机器人科技有限公司 机器人示教方法以及装置、电子设备以及存储介质
CN115741714A (zh) * 2022-11-28 2023-03-07 山东大学 一种基于图像引导的示教机器人控制系统及控制方法
CN117075539B (zh) * 2023-10-16 2024-02-09 歌尔股份有限公司 六轴平台控制方法、装置、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009119525A (ja) * 2007-11-19 2009-06-04 Daihen Corp 溶接ロボットにおける溶接線座標の教示方法及び溶接ロボットの多層盛溶接におけるオフセット値の教示方法
DE102015004146B3 (de) * 2015-03-27 2016-06-16 Kuka Systems Gmbh Oberflächenbearbeitung eines Bauteils mittels eines mobilen Roboters
CN110340886A (zh) * 2019-06-03 2019-10-18 武汉中观自动化科技有限公司 一种双目跟踪实现机器人路点迁移的方法及其系统
CN110815177A (zh) * 2019-10-29 2020-02-21 中科新松有限公司 一种复合机器人2d视觉引导示教的迁移方法
CN111192301A (zh) * 2019-12-31 2020-05-22 广东博智林机器人有限公司 地板安装方法和装置、机器人及存储介质
CN111546320A (zh) * 2020-05-25 2020-08-18 中科新松有限公司 一种机器人程序复用系统、方法和计算机可读存储介质
CN113059579A (zh) * 2021-04-30 2021-07-02 中国铁建重工集团股份有限公司 一种柔性作业装置
CN113211431A (zh) * 2021-04-16 2021-08-06 中铁第一勘察设计院集团有限公司 基于二维码修正机器人系统的位姿估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009119525A (ja) * 2007-11-19 2009-06-04 Daihen Corp 溶接ロボットにおける溶接線座標の教示方法及び溶接ロボットの多層盛溶接におけるオフセット値の教示方法
DE102015004146B3 (de) * 2015-03-27 2016-06-16 Kuka Systems Gmbh Oberflächenbearbeitung eines Bauteils mittels eines mobilen Roboters
CN110340886A (zh) * 2019-06-03 2019-10-18 武汉中观自动化科技有限公司 一种双目跟踪实现机器人路点迁移的方法及其系统
CN110815177A (zh) * 2019-10-29 2020-02-21 中科新松有限公司 一种复合机器人2d视觉引导示教的迁移方法
CN111192301A (zh) * 2019-12-31 2020-05-22 广东博智林机器人有限公司 地板安装方法和装置、机器人及存储介质
CN111546320A (zh) * 2020-05-25 2020-08-18 中科新松有限公司 一种机器人程序复用系统、方法和计算机可读存储介质
CN113211431A (zh) * 2021-04-16 2021-08-06 中铁第一勘察设计院集团有限公司 基于二维码修正机器人系统的位姿估计方法
CN113059579A (zh) * 2021-04-30 2021-07-02 中国铁建重工集团股份有限公司 一种柔性作业装置

Also Published As

Publication number Publication date
CN114260908A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN114260908B (zh) 机器人示教方法、装置、计算机设备和计算机程序产品
CN113001535B (zh) 机器人工件坐标系自动校正系统与方法
CN114012731B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
US10540779B2 (en) Posture positioning system for machine and the method thereof
CN113664835B (zh) 机器人自动手眼标定方法与系统
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111438688B (zh) 机器人校正方法、装置、计算机设备及存储介质
CN111590588A (zh) 一种焊接机器人的非接触式工具坐标系标定方法
CN113634958A (zh) 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN108927801A (zh) 一种机械臂末端姿态调整方法及装置
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
US20190248009A1 (en) Method for programming robot in vision base coordinate
CN110232710B (zh) 基于三维相机的物品定位方法、系统及设备
CN115439633A (zh) 标定方法、装置和电子设备
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
CN114012724A (zh) 一种基于探针的工业机器人坐标系自动标定方法
CN114833825B (zh) 协作机器人控制方法、装置、计算机设备和存储介质
CN114750160B (zh) 机器人控制方法、装置、计算机设备和存储介质
CN111612848A (zh) 机器人弧焊轨迹自动生成方法及系统
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质
CN215701709U (zh) 一种可配置的手眼标定装置
CN114939867A (zh) 一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant