CN117021084A - 工件抓取方法、装置、系统、电子设备和存储介质 - Google Patents
工件抓取方法、装置、系统、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117021084A CN117021084A CN202311006605.7A CN202311006605A CN117021084A CN 117021084 A CN117021084 A CN 117021084A CN 202311006605 A CN202311006605 A CN 202311006605A CN 117021084 A CN117021084 A CN 117021084A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- calibration
- axis
- mechanical arm
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000013519 translation Methods 0.000 claims description 113
- 230000014616 translation Effects 0.000 claims description 113
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 23
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本申请实施例提供了一种工件抓取方法、装置、系统、电子设备和存储介质,该工件抓取方法包括:获取机械臂的抓取端在空间坐标系中的第一坐标;获取相机采集到的工件图像;根据所述工件图像和标定信息,确定所述工件在所述空间坐标系中的第二坐标;根据所述第一坐标和所述第二坐标生成控制信息,并将所述控制信息发送给所述机械臂,以使所述机械臂根据所述控制信息对所述工件进行抓取。本方案通过相机采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合机械臂的抓取端的位置,生成对机械臂进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在的抓取端进行抓取时对工件的位姿进行限定,因此提高了生产效率。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,尤其涉及一种工件抓取方法、装置、系统、电子设备和存储介质。
背景技术
在工件生产过程中,为了降低人工成本和提高安全性,需要用机械臂代替人工对工件进行抓取,以对工件进行转运、翻转、焊接等。通过模拟人眼看到物体的方式,并驱动机械臂以完成对工件的抓取。但是机械臂的抓取效果相对于人工抓取效果,存在较大差异。
目前,为了处理上述差异,一种常见的方法是将工件放置于机械臂的正下方,通过人工将工件放置的位置摆放到特定的角度和位置,以保证机械臂的抓取效果。
然而,使用人工将工件放置的位置摆放到特定的角度和位置的方法,需要耗费较长的时间,导致生产效率较低。
发明内容
为了解决上述技术问题,本发明实施例提供了一种工件抓取方法、装置、系统、电子设备和存储介质,以至少解决或缓解上述问题。
根据本申请实施例的第一方面,提供了一种工件抓取方法,包括:获取机械臂的抓取端在空间坐标系中的第一坐标;获取相机采集到的工件图像,其中,所述相机与所述机械臂的底座在所述空间坐标系中的相对位置固定,所述工件图像包括位于抓取区域内的工件的图像;根据所述工件图像和标定信息,确定所述工件在所述空间坐标系中的第二坐标,其中,所述标定信息用于指示所述相机所采集图像的像素坐标系与所述空间坐标系之间的映射关系;根据所述第一坐标和所述第二坐标生成控制信息,并将所述控制信息发送给所述机械臂,以使所述机械臂根据所述控制信息对所述工件进行抓取。
根据本申请实施例的第二方面,提供了一种工件抓取装置,包括:第一获取模块,用于获取机械臂的抓取端在空间坐标系中的第一坐标;第二获取模块,用于获取相机采集到的工件图像,其中,所述相机与所述机械臂的底座在所述空间坐标系中的相对位置固定,所述工件图像包括位于抓取区域内的工件的图像;确定模块,用于根据所述工件图像和标定信息,确定所述工件在所述空间坐标系中的第二坐标,其中,所述标定信息用于指示所述相机所采集图像的像素坐标系与所述空间坐标系之间的映射关系;控制模块,用于根据所述第一坐标和所述第二坐标生成控制信息,并将所述控制信息发送给所述机械臂,以使所述机械臂根据所述控制信息对所述工件进行抓取。
根据本申请实施例的第三方面,提供了一种工件抓取系统,包括:机械臂、相机和工件抓取装置;所述工件抓取装置用于执行上述第一方面的工件抓取方法;所述相机,用于采集位于抓取区域内的工件的图像,获得工件图像,并将所述工件图像发送给所述工件抓取装置;所述机械臂,用于接收所述工件抓取装置发送的控制信息,并根据控制信息对所述工件进行抓取。
根据本申请实施例的第四方面,提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;存储器用于存放至少一可执行指令,可执行指令使处理器执行如上述第一方面的工件抓取方法对应的操作。
根据本申请实施例的第五方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面的工件抓取方法。
根据本申请实施例的第六方面,提供了一种计算机程序产品,包括计算机指令,计算机指令指示计算设备执行如上述第一方面的工件抓取方法对应的操作。
由上述技术方案可知,通过相机采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合机械臂的抓取端的位置,生成对机械臂进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在机械臂的抓取端进行抓取时对工件的位姿进行限定,因此提高了生产效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例的工件抓取方法的步骤流程图;
图2是本申请一个实施例的标定信息确定方法的步骤流程图;
图3是本申请一个实施例的标定图像获取方法的步骤流程图;
图4是本申请一个实施例的采集标定图像时标定板的位置的示意图;
图5是本申请一个实施例的标定信息验证方法的步骤流程图;
图6是本申请一个实施例的控制信息生成方法的步骤流程图;
图7是本申请一个实施例的工件抓取装置的示意图;
图8是本申请一个实施例的工件抓取系统的示意图;
图9是本申请一个实施例的电子设备的示意图。
附图标记列表:
100:工件抓取方法 200:标定信息确定方法 300:标定图像获取方法400:标定信息验证方法500:控制信息生成方法 600:工件抓取装置
601:第一获取模块 602:第二获取模块 603:确定模块
604:控制模块 700:工件抓取系统 701:机械臂
702:相机 800:电子设备 801:处理器
802:通信接口 803:储存器 804:通信总线
805:程序
101:获取机械臂的抓取端在空间坐标系中的第一坐标
102:获取相机采集到的工件图像
103:根据工件图像和标定信息,确定工件在空间坐标系中的第二坐标
104:根据第一坐标和第二坐标生成控制信息,并将控制信息发送给机械臂201:根据预设的X轴平移量、Y轴平移量和Z轴平移量,及绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在空间坐标系中进行多次平移和/或旋转,并通过相机采集机械臂每次平移和/或旋转后标定板的图像,获得相机采集的多张标定图像202:根据标定板的图像在标定图像中的位置,及采集标定板图像时机械臂的平移量和旋转量,确定标定信息
301:根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第一平面内进行5次平移,并通过相机采集机械臂每次平移后标定板的图像,获得相机采集的5张标定图像
302:根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第二平面内进行4次平移,并通过相机采集机械臂每次平移后标定板的图像,获得相机采集的4张标定图像
303:根据预设的X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在第一平面内平移后进行旋转,并通过相机采集机械臂每次旋转后标定板的图像,获得相机采集的4张标定图像
401:从标定图像中识别标定板上设置的多个标定点,并分别获取多个标定点在像素坐标系中的第三坐标
402:根据标定信息,将标定点的第三坐标转换为空间坐标系中的第四坐标
403:根据多个标定点的第四坐标,验证标定信息的准确性
4031:获取标定板的属性信息
4032:根据多个标定点的第四坐标,确定标定板上第i行标定点中第N个标定点与第
i+1行标定点中第1个标定点之间的第一距离
4033:根据属性信息,确定标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第二距离
4034:根据第一距离与第二距离的差值,验证标定信息的准确性
501:根据第一坐标和第二坐标生成待选控制信息
502:根据第二坐标,构建工件的虚拟安全框
503:根据虚拟安全框,确定机械臂根据待选控制信息对工件进行抓取时是否会发生碰撞:
504:如果机械臂根据待选控制信息对工件进行抓取时不会发生碰撞,则将待选控制信息确定为控制信息
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
在工业自动化的发展进程中,为了提高工业生产的效率,生产模式逐渐转变为用代替人工操纵的机器和机器体系进行加工生产。以工件生产为例,目前主要采用半自动的生产方式,通过人工将需要被抓取的工件的位姿调整为固定的位姿,以使机械臂对工件进行抓取,生产效率较低。为了提高工业自动化的程度,以自动控制的方式对工件进行抓取,本申请提出了一种工件抓取方法、装置、系统、电子设备和存储介质,具体的实现方式如下:
工件抓取方法
图1是本申请一个实施例的工件抓取方法,如图1所示,该工件抓取方法100包括如下步骤:
步骤101、获取机械臂的抓取端在空间坐标系中的第一坐标。
为了对机械臂进行自动控制,首先获取机械臂的抓取端在空间坐标系中的第一坐标。工件坐标系可以是笛卡尔坐标系或由工作人员定义的用以表征生产区域中的物体的位置和姿态的坐标系。以笛卡尔坐标系为例,第一坐标可以是(2,2,7),分别表征了工件在X轴、Y轴和Z轴上相对于坐标原点的距离。
步骤102、获取相机采集到的工件图像。
在抓取区域的上方固定设置有用以采集工件图像的相机,相机被设置在固定位置时,处于抓取区域的工件在相机的拍摄区域内,因此工件图像包括位于抓取区域内的工件的图像。同时,相机与机械臂的底座在空间坐标系中的相对位置固定。由于机械臂的底座一般在设置完成后除拆卸等特殊情况外位置固定,因此相机在空间坐标系中的位置也相对固定,可以在相机的安装位置尽可能为相机排除受干扰、碰撞、视野遮挡等因素,以提高相机采集图像的质量和相机的使用寿命。此外由于相机的位置固定,因此相机的外参确定,降低了标定计算的复杂度。
在相机拍摄到处于抓取区域的工件的工件图像后,获取该工件图像。
步骤103、根据工件图像和标定信息,确定工件在空间坐标系中的第二坐标。
在获取到工件图像后,可以先根据工件图像确定工件在相机所采集图像的像素坐标系中的坐标,进而根据标定信息,将该坐标转换位空间坐标系中的坐标,以确定工件图像中的工件在空间坐标系中的第二坐标。标定信息用于指示相机所采集图像的像素坐标系与空间坐标系之间的映射关系。
步骤104、根据第一坐标和第二坐标生成控制信息,并将控制信息发送给机械臂。
在获得第一坐标和第二坐标后,可以根据第一坐标和第二坐标之间的差值,确定位移量,进而生成控制信息,也可以根据第一坐标和第二坐标,确定从第一坐标移动向第二坐标的位移向量,进而生成控制信息。在获得控制信息后,将控制信息发送给机械臂,以使机械臂根据控制信息在空间坐标系中进行移动,并在移动结束后对工件进行抓取。
在本申请实施例中,通过相机采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合机械臂的抓取端的位置,生成对机械臂进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在的抓取端进行抓取时对工件的位姿进行限定,进而取消了人工摆件的步骤,提高了工业自动化的程度,因此提高了生产效率。
在一种可能实现的方式中,还可以采集工件的图像样本,并获取对工件中的特征点进行标注的标注结果,根据工件的图像样本和标注结果,建立视觉模型,之后将工件图像输入视觉模型,获得视觉模型输出的识别结果。若识别结果指示工件图像中存在工件,则对该工件图像中的工件进行抓取。特征点可以是工件的图像样本中工件的轮廓线上的点。建立视觉模型的方式可以是将工件的图像样本和标注结果输入深度学习网络模型,以对该深度学习网络模型进行训练,在模型收敛后获得视觉模型。
在本申请实施例中,通过建立视觉模型,可以对抓取区域的工件进行识别,避免非目标抓取工件被错误运输的情况下,被机械臂的抓取段抓取的问题,提高了生产的安全性。
图2是本申请一个实施例的标定信息确定方法的步骤流程图,如图2所示,该标定信息确定方法200包括如下步骤:
步骤201、根据预设的X轴平移量、Y轴平移量和Z轴平移量,及绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在空间坐标系中进行多次平移和/或旋转,并通过相机采集机械臂每次平移和/或旋转后标定板的图像,获得相机采集的多张标定图像。
空间坐标系为三维笛卡尔坐标系,为了确定相机所拍摄图像的像素坐标系与三维笛卡尔坐标系之间的转换关系,需要对相机进行标定。首先在机械臂的抓取端连接一个标定板,再根据预设的X轴平移量、Y轴平移量和Z轴平移量,及绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在空间坐标系中进行多次平移和/或旋转。X轴平移量、Y轴平移量和Z轴平移量可以相同,也可以不同,绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量可以相同,也可以不同,例如,X轴平移量可以为5cm、Y轴平移量可以为3cm、Z轴平移量可以为5cm,绕X轴旋转量可以为5°、绕Y轴旋转量可以为7°、绕Z轴旋转量可以为7°,但由于相机设置于抓取区域的上方,为了避免在标定过程中可能出现的标定板处于相机的正下方时,旋转量过大导致相机拍摄的图像无法正常显示标定板的位置,因此可以设置绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量均不为90°。若需要设置旋转量超过90°,则需要在标定板上设置用以识别正反面的标识,以避免旋转量超过90°时对标定板的旋转量进行误判。在多次平移和/或旋转的过程中,相机会采集多张标定图像,具体可以是在每次平移和/或旋转后,相机均会采集一张标定图像,因此多张标定图像分别包括机械臂在X轴、Y轴和Z轴方向存在偏移时相机采集的标定板的图像,多张标定图像分别包括机械臂绕X轴、Y轴和Z轴方向存在旋转量时相机采集的标定板的图像。
步骤202、根据标定板的图像在标定图像中的位置,及采集标定板图像时机械臂的平移量和旋转量,确定标定信息。
在获得多张标定图像后,首先确定标定板在标定图像中的位置,例如标定板在像素坐标系中的像素坐标,之后根据采集标定板图像时机械臂的平移量和旋转量,确定在采集标定板图像时标定板在空间坐标系中的空间坐标,最后根据多组标定板的像素坐标与对应的空间坐标,确定像素坐标系与空间坐标系之间的转换关系,并将该转换关系作为标定信息。
需要说明的是,本申请并不限于使用像素坐标与空间坐标的方式确定像素坐标系与空间坐标系之间的转换关系,其余能够表征标定板在像素坐标系中的位置以及标定板在空间坐标系中的位置的方式同样可以确定像素坐标系与空间坐标系之间的转换关系。
在本申请实施例中,通过机械臂带动标定板进行平移和旋转,每次标定板平移和/或旋转后相机采集第三工件的图像,根据标定板的平移量和/或旋转量及标定板的图像在相机所采集图像中的位置,确定相机所采集图像的像素坐标系与空间坐标系之间的映射关系,能够获得反映该映射关系的标定信息。
在一种可能实现的方式中,绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量均位于25°至45°之间。
在通过相机拍摄旋转后的标定板时,由于透视原则,若旋转角度过大,会造成图像中的标定板发生较大的形变,导致标定结果产生误差,同时为了降低计算复杂度,将旋转量限定在25°至45°之间,例如30°、40°等。
在本申请实施例中,通过设置绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量均位于25°至45°之间,能够提高确认出的标定信息准确性,以及确定标定信息的效率。
在一种可能实现的方式中,生成控制信息的过程可以包括:计算第一坐标相对于第二坐标的X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度,之后根据X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度,生成控制信息。
为了对工件进行抓取,可以首先计算表征机械臂的抓取端在空间坐标系中的位置的第一坐标,相对于表征待抓取工件在空间坐标系中的位置的第二坐标的X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度,由此可知机械臂的抓取端在按照X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度移动后即可到达待抓取工件的位置。因此根据X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度生成控制信息,控制信息可以是包含上述参数的文本文件,也可以是一条控制指令等,在此处不作限定。
需要说明的是,在机械臂进行移动的过程中,可以仅进行平移移动,例如,可以根据一至三个位移偏移量平移量进行平移,也可以仅进行旋转,例如,可以同时根据一至三个旋转角度进行旋转。此外,还可以同时进行平移和旋转,例如,可以根据一至三个位移偏移量平移量进行平移,之后根据一至三个旋转角度进行旋转,同时进行平移和旋转的过程也可以是在根据一至三个位移偏移量平移量进行平移的过程中,同时根据一至三个旋转角度进行旋转,对此不作限定。
机械臂根据控制信息中的位移偏移量和旋转角度进行调整,以对工件进行抓取。
在确定出控制信息后,机械臂根据控制信息中的位移偏移量和旋转角度进行调整,进而带动机械臂的抓取端运动至第二坐标的位置,以对工件进行抓取。
在本申请实施例中,通过计算第一坐标在空间坐标系中相对于第二坐标的X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度,进而作为机械臂的控制信息,能够使机械臂根据控制信息相对于第一坐标进行平移或旋转,以使机械臂对位于抓取区域的工件进行抓取。
图3是本申请一个实施例的标定图像获取方法的步骤流程图,如图3所示,标定图像获取方法300包括如下步骤:
步骤301、根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第一平面内进行5次平移,并通过相机采集机械臂每次平移后标定板的图像,获得相机采集的5张标定图像。
获取标定图像的具体方式可以是首先根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第一平面内进行5次平移,在机械臂每次平移后,相机会采集标定板的图像,在此过程中获得5张标定图像。
步骤302、根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第二平面内进行4次平移,并通过相机采集机械臂每次平移后标定板的图像,获得相机采集的4张标定图像。
根据预设的X轴平移量和Y轴平移量,控制机械臂在垂直于Z轴的第二平面内进行4次平移,在机械臂每次平移后,相机会采集标定板的图像,在此过程中获得4张标定图像。
第一平面与第二平面之间的距离等于预设的Z轴平移量,第一平面的位置可以根据相机的焦距确定,例如,相机的焦距为1.25m时,第一平面与相机的距离为1.25m,若Z轴平移量为5cm,此时第二平面与相机的距离可以为1.2m或1.3m。
步骤303、根据预设的X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在第一平面内平移后进行旋转,并通过相机采集机械臂每次旋转后标定板的图像,获得相机采集的4张标定图像。
根据预设的X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制机械臂在第一平面内平移后进行旋转,在每次机械臂移动完成时,相机会采集标定板的图像,在此过程中获得4张标定图像。
需要说明的是,机械臂在垂直于Z轴的第一平面内进行5次平移、在垂直于Z轴的第二平面内进行4次平移、及在第一平面内平移后进行旋转的过程中,为了确保标定图像的丰富性,可以调整平移量和旋转量以避免机械臂出现在重复的位置。
在一个例子中,采集标定图像时标定板的位置可以如图4所示,首先根据X轴平移量和/或Y轴平移量使标定板从初始位置移动到位置1,之后根据X轴平移量使标定板沿X轴的反方向从位置1移动到位置2,之后根据X轴平移量和Y轴平移量使标定板沿X轴的正方向和Y轴的反方向从位置2移动到位置3,之后根据X轴平移量和Y轴平移量使标定板沿X轴的正方向和Y轴的正方向从位置3移动到位置4,最后根据X轴平移量和Y轴平移量使标定板沿X轴的反方向和Y轴的正方向从位置4移动到位置5。需要说明的是,初始位置也可以是位置1,此时标定板直接从位置1开始平移。
之后根据预设的Z轴平移量控制机械臂在Z轴方向移动至垂直于Z轴的第二平面,再根据Y轴平移量使标定板沿Y轴的反方向从位置5移动到位置6,之后根据X轴平移量和Y轴平移量使标定板沿X轴的反方向和Y轴的反方向从位置6移动到位置7,之后根据X轴平移量和Y轴平移量使标定板沿X轴的正方向和Y轴的反方向从位置7移动到位置8,之后根据X轴平移量和Y轴平移量使标定板沿X轴的正方向和Y轴的正方向从位置8移动到位置9。
之后控制机械臂在Z轴方向移动回第一平面,并根据X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量使标定板沿X轴的反方向和Y轴的正方向移动过后旋转,以从位置9移动到位置10,再根据Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量使标定板沿Y轴的反方向移动后旋转,以从位置10移动到位置11,之后根据X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量使标定板沿X轴的正方向和Y轴的正方向移动过后旋转,以从位置11移动到位置12,最后根据Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量使标定板沿Y轴的反方向移动后旋转,以从位置12移动到位置13。在此过程中,相机分别采集处于位置1至位置13的标定板的图像,共获得13张标定图像。通过13点标定的方式,能够在相对简单的计算量下确定出标定信息,并且由于13点标定中采集了在Z轴平移、绕X轴旋转和绕Y轴旋转的样本,因此确定出的标定信息可以用于转换三维坐标,进而能够支持机械臂调整更多的位姿,以对在抓取区域内位姿更复杂的工件进行抓取。
需要说明的是,在每次标定板进行平移的过程中的X轴平移量可以与其他平移的过程中的X轴平移量相同,也可以不同,Y轴平移量可以相同,也可以不同。
在本申请实施例中,相机通过不同的移动方式采集标定图像,可以为计算标定信息提供充足的样本,进而提高标定信息的准确性。
图5是本申请一个实施例的标定信息验证方法的步骤流程图,如图5所示,该标定信息验证方法400包括如下步骤:
步骤401、从标定图像中识别标定板上设置的多个标定点,并分别获取多个标定点在像素坐标系中的第三坐标。
在标定板朝向相机的镜头的表面上可以有多个标定点,从标定图像中识别出标定点,并获取各标定点在像素坐标系中的第三坐标。
标定点可以为圆形,并且各标定点之间的间距固定,标定点在标定板上呈矩形阵列分布。
步骤402、根据标定信息,将标定点的第三坐标转换为空间坐标系中的第四坐标。
根据像素坐标系与空间坐标系之间的转换关系,将在像素坐标系中的第三坐标转换为空间坐标系中的第四坐标。
步骤403、根据多个标定点的第四坐标,验证标定信息的准确性。
例如,可以判断在矩阵阵列中每行的标定点的坐标是否处于同一条直线上,若是,则验证标定信息为准确。也可以建立虚拟模型模拟标定点的位置,并在模型中连接各标定点,判断各行中的标定点的连线是否处于同一条直线上,若是,则验证标定信息为准确。
在本申请实施例中,通过在标定板上设置标定点,可以通过标定点的图像对标定信息进行验证,提高了标定信息的准确性。
在一种可能实现的方式中,步骤403还可以包括如下子步骤:
子步骤4031、获取标定板的属性信息。
为了验证标定信息的准确性,具体操作可以是首先获取标定板的属性信息,属性信息用于指示标定板上标定点的行列数、及标定点之间的距离。
子步骤4032、根据多个标定点的第四坐标,确定标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第一距离。
例如,以多个标定点的根据标定关系转换像素坐标系中的第三坐标获得的空间坐标系中的第四坐标为基础,N可以为9,此时确定标定板上第一行的第9个标定点与第二行的第1个标定点之间的第一距离,其余标定点之间的第一距离的计算方式与示例相同。标定板上包括M行×N列个标定点,M和N均为大于或等于2的正整数,i为小于M的正整数。
子步骤4033、根据属性信息,确定标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第二距离。
根据获取到的标定板的属性信息,确定标定板上的标定点之间与第一距离相对应的第二距离,标定点之间的距离可以均相同,此时第二距离等于以N标定点之间的距离和1个标定点之间的距离作为直角边的斜边长度,例如,N等于5,标定点之间的距离为1,此时第二距离等于此外,标定点之间的距离也可以不相同。
子步骤4034、根据第一距离与第二距离的差值,验证标定信息的准确性。
在获得第一距离与第二距离后,由于第一距离本质上是由像素坐标系中的第三坐标根据标定信息转换后获得的,因此在第一距离与第二距离之间的差值在预设的阈值内时,即可以认为标定信息是准确的。
在本申请实施例中,通过标定信息转换后的标定点的第四坐标计算标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第一距离,与标定点实际的第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第二距离进行对比,以对标定信息进行验证,验证的结果较为准确,能够保证标定信息的准确性。
在一种可能实现的方式中,还可以通过如下方式验证标定信息的准确性:
构建虚拟校正工具,并获取虚拟校正工具的第五坐标,之后根据标定信息,将虚拟校正工具的第五坐标转换为空间坐标系中的第六坐标,最后根据虚拟校正工具的第六坐标,验证标定信息的准确性。
虚拟校正工具在第五坐标所指示的位置时垂直指向未进行平移和旋转的标定板中验证点的中心。根据标定信息将第五坐标转换为空间坐标系中的第六坐标,验证标定信息的准确性,例如,可以根据第六坐标判断处于第六坐标的虚拟校正工具是否垂直指向未进行平移和旋转的标定板中验证点的中心,验证点可以指向标定板中的任一标定点。
在本申请实施例中,通过虚拟校正工具,可以验证标定信息转换后角度的精确度,进而确保标定信息的准确性。
图6是本申请一个实施例的控制信息生成方法的步骤流程图,如图6所示,控制信息生成方法500包括如下步骤:
步骤501、根据第一坐标和第二坐标生成待选控制信息。
在生成控制信息的过程中,可以首先根据第一坐标和第二坐标生成待选控制信息,待选控制信息可以根据第一坐标和第二坐标之间的差值生成,也可以根据第一坐标和第二坐标,确定从第一坐标移动向第二坐标的位移向量,进而生成待选控制信息。
步骤502、根据第二坐标,构建工件的虚拟安全框。
在生成待选控制信息后,为了保证抓取过程的安全性,可以根据指示工件位置的第二坐标生成虚拟安全框,虚拟安全框将工件包裹在其中,虚拟安全框可以是长方体等形状。正常情况下,在机械臂抓取工件时,机械臂的抓取端不会与虚拟安全框内的物体发生干涉,干涉的情况可以是机械臂的抓取端在抓取虚拟安全框内的物体时与其他物体产生碰撞,也可以是机械臂的抓取端在抓取虚拟安全框内的物体时产生异常,导致无法抓取到虚拟安全框内的物体。
步骤503、根据虚拟安全框,确定机械臂根据待选控制信息对工件进行抓取时是否会发生碰撞。
例如,可以根据构建的虚拟安全框,构建机械臂根据待选控制信息工件进行抓取时的虚拟路线,确定机械臂在该虚拟路线是否会与除被抓取的工件外的其他物体发生碰撞。
步骤504、如果机械臂根据待选控制信息对工件进行抓取时不会发生碰撞,则将待选控制信息确定为控制信息。
当确定机械臂根据待选控制信息对工件进行抓取时不会发生碰撞时,证明机械臂向工件移动的过程安全,此时可以将待选控制信息确定为控制信息。
在本申请实施例中,通过构建虚拟安全框,能够保证生成的控制信息的安全性。
工件抓取装置
图7是本申请一个实施例的工件抓取装置的示意图,如图7所示,该工件抓取装置600包括:第一获取模块601、第二获取模块602、确定模块603和控制模块604。
第一获取模块601,用于获取机械臂的抓取端在空间坐标系中的第一坐标。
为了对机械臂进行自动控制,首先通过第一获取模块601获取机械臂的抓取端在空间坐标系中的第一坐标。工件坐标系可以是笛卡尔坐标系或由工作人员定义的用以表征生产区域中的物体的位置和姿态的坐标系。以笛卡尔坐标系为例,第一坐标可以是(4,1,3),分别表征了工件在X轴、Y轴和Z轴上相对于坐标原点的距离。
第二获取模块602,用于获取相机采集到的工件图像,其中,相机与机械臂的底座在空间坐标系中的相对位置固定,工件图像包括位于抓取区域内的工件的图像。
在抓取区域的上方固定设置有用以采集工件图像的相机,相机被设置在固定位置时,处于抓取区域的工件在相机的拍摄区域内,因此工件图像包括位于抓取区域内的工件的图像。同时,相机与机械臂的底座在空间坐标系中的相对位置固定。
在相机拍摄到处于抓取区域的工件的工件图像后,第二获取模块602获取该工件图像。
确定模块603,用于根据工件图像和标定信息,确定工件在空间坐标系中的第二坐标,其中,标定信息用于指示相机所采集图像的像素坐标系与空间坐标系之间的映射关系。
在第二获取模块602获取到工件图像后,确定模块603可以先根据工件图像确定工件在相机所采集图像的像素坐标系中的坐标,进而根据标定信息,将该坐标转换位空间坐标系中的坐标,以确定工件图像中的工件在空间坐标系中的第二坐标。
控制模块604,用于根据第一坐标和第二坐标生成控制信息,并将控制信息发送给机械臂,以使机械臂根据控制信息对工件进行抓取。
在第一获取模块601获得第一坐标和第二获取模块602获得第二坐标后,控制模块604可以根据第一坐标和第二坐标之间的差值,确定位移量,进而生成控制信息,也可以根据第一坐标和第二坐标,确定从第一坐标移动向第二坐标的位移向量,进而生成控制信息。在获得控制信息后,将控制信息发送给机械臂,以使机械臂根据控制信息在空间坐标系中进行移动,并在移动结束后对工件进行抓取。
在本申请实施例中,通过第二获取模块602获取相机采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合第一获取模块601获取的机械臂的抓取端的位置,通过控制模块604生成对机械臂进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在机械臂的抓取端进行抓取时对工件的位姿进行限定,因此提高了生产效率。
工件抓取系统
图8是本申请一个实施例的工件抓取系统的示意图,如图8所示,工件抓取系统700包括:机械臂701、相机702和工件抓取装置600;
工件抓取装置600,用于执行如上述实施例中的工件抓取方法;
相机702,用于采集位于抓取区域内的工件的图像,获得工件图像,并将工件图像发送给工件抓取装置600。
在抓取区域的上方固定设置有用以采集工件图像的相机702,相机702被设置在固定位置时,处于抓取区域的工件在相机702的拍摄区域内,因此工件图像包括位于抓取区域内的工件的图像。同时,相机702与机械臂701的底座在空间坐标系中的相对位置固定。当工件被运送或摆放至抓取区域时,相机702采集位于抓取区域内的工件的图像,并将获得的工件图像发送给工件抓取装置600。
机械臂701,用于接收工件抓取装置600发送的控制信息,并根据控制信息对工件进行抓取。
在工件抓取装置600生成控制信息后,会发送给机械臂701,机械臂701根据控制信息在空间坐标系中进行移动,并在移动结束后对工件进行抓取。
在本申请实施例中,通过相机702采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合机械臂701的抓取端的位置,生成对机械臂701进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在的抓取端进行抓取时对工件的位姿进行限定,进而取消了人工摆件的步骤,提高了工业自动化的程度,因此提高了生产效率。
在一种可能实现的方式中,工件抓取系统700还包括:激光收发器。
在工件的生产过程中,由于批量化生产,工件在生产完成后还需要进行切割分离的工序,然而该工序可能会存在切割不完全或完全未切割的情况发生,导致工件之间存在粘连的情况。为了避免切割不完全或完全未切割的工件被抓取并下料流入成品包装区,在工件抓取系统700中可以设置激光收发器。
激光收发器设置于机械臂701的抓取端,在机械臂701的抓取端抓取工件后,被抓取工件不会遮挡激光发射器发出的激光。
激光收发器设置在机械臂701的抓取端,并且激光收发器可以发出激光,在激光收发器发出激光时,被抓取工件不会遮挡激光发射器发出的激光。
激光收发器,用于在机械臂701的抓取端抓取工件后,发出垂直于被抓取工件上抓取面的激光,并在所发出的激光被与被抓取工件位于同一平面上的物体遮挡后,向工件抓取装置600发送第一粘连信号,其中,第一粘连信号用于指示被抓取工件发生工件粘连。
在机械臂701的抓取端抓取工件后,激光收发器会发出垂直于被抓取工件上抓取面的激光,例如,激光收发器可以有两个,分别设置于机械臂701的抓取端的两端,在激光收发器所发出的激光被与被抓取工件位于同一平面上的物体遮挡后,可以判定工件存在粘连情况,并向工件抓取装置600发送第一粘连信号,用于指示被抓取工件发生工件粘连。
工件抓取装置600,用于在接收到第一粘连信号后,发出第一报警信息。
第一报警信息可以是蜂鸣、亮灯等信息。
在本申请实施例中,通过设置激光收发器,能够检测被抓取的工件是否存在粘连,提高了生产的安全性。
在一种可能实现的方式中,工件抓取系统700还包括:传送带。传送带包括P个沿送料方向排布的子传送带,P为大于或等于2的正整数。
传送带,用于沿送料方向将工件运送至抓取区域,当工件被运送送料方向上的第P个子传送带的末端时,控制第P个子传送带停止运行,并控制第1至第P-1个子传送带减速运行或停止运行。
例如,传送带可以包括5个子传送带,在工件被运送至送料方向上第五个子传送带的末端时,可以判定工件存在囤积情况,机械臂未能及时对抓取区域的工件进行抓取,此时为了防止其他子传送带继续运动工件至抓取区域,导致工件被挤掉或者堆积的情况,控制第一至第4个子传送带减速运行或停止运行。
在本申请实施例中,通过设置分段式子传送带,能够在运送工件时防止工件囤积,提高了工件抓取的安全性。
在一种可能实现的方式中,工件抓取系统700还包括设置于传送带两侧的光栅。
光栅,用于发送与传送带平行且垂直于送料方向的激光,在机械臂701的抓取端抓取的工件通过光栅发出的激光后,若光栅发出的激光被遮挡,则向工件抓取装置600发送第二粘连信号,其中,第二粘连信号用于指示被抓取工件发生工件粘连。
在工件的生产过程中,由于批量化生产,工件在生产完成后还需要进行切割分离的工序,然而该工序可能会存在切割不完全或完全未切割的情况发生,导致工件之间存在粘连的情况。在抓取工件的过程中,可能会出现工件由于粘连程度较低,导致存在工件和被抓取工件呈90°粘连同时被抓取起来,为了避免切割不完全或完全未切割的工件被抓取并下料流入成品包装区,在工件抓取系统700中可以设置位于传送带两侧的光栅。在机械臂701的抓取端抓取工件后,光栅会发出平行于被抓取工件上抓取面的激光,在机械臂701的抓取端抓取的工件通过光栅发出的激光后,若光栅发出的激光被遮挡,则向工件抓取装置600发送第二粘连信号。
工件抓取装置600,用于在接收到第二粘连信号后,发出第二报警信息。
第二报警信息可以是蜂鸣、亮灯等信息。第一报警信息和第二报警信息可以是相同的信息,也可以是不同的信息,在第一报警信息和第二报警信息是不同的信息时,可以在第二报警信息中添加指示存在90°粘连的工件的信息。
在本申请实施例中,通过设置光栅,能够检测被抓取的工件是否存在粘连,提高了生产的安全性。
在一种可能实现的方式中,机械臂701可以设置有多个,每个机械臂701对应于不同的抓取区域,在各机械臂701接收到工件抓取装置600发送的控制信息后,可以根据控制信息控制每个机械臂701抓取各机械臂701对应的抓取区域内的工件。控制信息发送给所有的机械臂701,当控制信息所指示的需要被抓取的工件不在机械臂701的抓取区域内时,该机械臂701不对该需要被抓取的工件进行抓取。
在本申请实施例中,通过设置多个机械臂701,能够提高工件抓取的效率。通过控制每个机械臂701抓取各机械臂701对应的抓取区域内的工件,能够避免多个机械臂701同时抓取同一个工件导致的安全问题。
电子设备
图9是本申请一个实施例的电子设备的示意图,本申请具体实施例并不对电子设备的具体实现做限定。如图9所示,该电子设备800可以包括:处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803、以及通信总线804。其中:
处理器801、通信接口802、以及存储器803通过通信总线804完成相互间的通信。
通信接口802,用于与其它电子设备或服务器进行通信。
处理器801,用于执行程序805,具体可以执行前述工件抓取方法实施例中的相关步骤。
具体地,程序805可以包括程序代码,该程序代码包括计算机操作指令。
处理器801可能是CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器803,用于存放程序805。存储器803可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序805具体可以用于使得处理器801执行前述实施例中的工件抓取方法。
程序805中各步骤的具体实现可以参见前述工件抓取方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
通过本申请实施例的电子设备,通过相机采集到的工件图像,能够确定工件在空间坐标系中的位置,进而结合机械臂的抓取端的位置,生成对机械臂进行控制的控制信息,对任意角度和位置的工件都可以自动进行抓取,不需要在的抓取端进行抓取时对工件的位姿进行限定,进而取消了人工摆件的步骤,提高了工业自动化的程度,因此提高了生产效率。
计算机存储介质
本申请还提供了一种计算机可读存储介质,存储用于使一机器执行如本文所述的工件抓取方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本申请的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
计算机程序产品
本申请实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令指示计算设备执行上述多个方法实施例中的任一对应的操作。
需要指出,根据实施的需要,可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的方法。此外,当通用计算机访问用于实现在此示出的方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构,也可以是逻辑结构,即,有些模块可能由同一物理实体实现,或者,有些模块可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
本专利申请中关于人的名词和代词不限于具体性别。
以上各实施例中,硬件模块可以通过机械方式或电气方式实现。例如,一个硬件模块可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件模块还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基于上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。
Claims (17)
1.一种工件抓取方法(100),包括:
获取机械臂的抓取端在空间坐标系中的第一坐标;
获取相机采集到的工件图像,其中,所述相机与所述机械臂的底座在所述空间坐标系中的相对位置固定,所述工件图像包括位于抓取区域内的工件的图像;
根据所述工件图像和标定信息,确定所述工件在所述空间坐标系中的第二坐标,其中,所述标定信息用于指示所述相机所采集图像的像素坐标系与所述空间坐标系之间的映射关系;
根据所述第一坐标和所述第二坐标生成控制信息,并将所述控制信息发送给所述机械臂,以使所述机械臂根据所述控制信息对所述工件进行抓取。
2.根据权利要求1所述的方法,其中,所述空间坐标系为三维笛卡尔坐标系,所述方法还包括:
根据预设的X轴平移量、Y轴平移量和Z轴平移量,及绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制所述机械臂在所述空间坐标系中进行多次平移和/或旋转,并通过所述相机采集所述机械臂每次平移和/或旋转后标定板的图像,获得所述相机采集的多张标定图像,其中,所述标定板与所述机械臂的抓取端连接,所述多张标定图像分别包括所述机械臂在X轴、Y轴和Z轴方向存在偏移时所述相机采集的所述标定板的图像,所述多张标定图像分别包括所述机械臂绕X轴、Y轴和Z轴方向存在旋转量时所述相机采集的所述标定板的图像;
根据所述标定板的图像在所述标定图像中的位置,及采集所述标定板图像时所述机械臂的平移量和旋转量,确定所述标定信息。
3.根据权利要求2所述的方法,其中,所述根据预设的X轴平移量、Y轴平移量和Z轴平移量、及绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制所述机械臂在所述空间坐标系中进行多次平移和/或旋转,并通过所述相机采集所述机械臂每次平移和/或旋转后标定板的图像,获得所述相机采集的多张标定图像,包括:
根据预设的X轴平移量和Y轴平移量,控制所述机械臂在垂直于Z轴的第一平面内进行5次平移,并通过所述相机采集所述机械臂每次平移后所述标定板的图像,获得所述相机采集的5张标定图像;
根据预设的X轴平移量和Y轴平移量,控制所述机械臂在垂直于Z轴的第二平面内进行4次平移,并通过所述相机采集所述机械臂每次平移后所述标定板的图像,获得所述相机采集的4张标定图像,其中,所述第一平面与所述第二平面之间的距离等于预设的Z轴平移量;
根据预设的X轴平移量、Y轴平移量、绕X轴旋转量、绕Y轴旋转量和绕Z轴旋转量,控制所述机械臂在所述第一平面内平移后进行旋转,并通过所述相机采集所述机械臂每次旋转后所述标定板的图像,获得所述相机采集的4张标定图像。
4.根据权利要求2所述的方法,其中,所述方法还包括:
从所述标定图像中识别所述标定板上设置的多个标定点,并分别获取所述多个标定点在所述像素坐标系中的第三坐标;
根据所述标定信息,将所述标定点的第三坐标转换为所述空间坐标系中的第四坐标;
根据所述多个标定点的第四坐标,验证所述标定信息的准确性。
5.根据权利要求4所述的方法,其中,所述根据所述多个标定点的第四坐标,验证所述标定信息的准确性,包括:
获取所述标定板的属性信息,其中,所述属性信息用于指示所述标定板上标定点的行列数、及标定点之间的距离;
根据所述多个标定点的第四坐标,确定所述标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第一距离,其中,所述标定板上包括M行×N列个标定点,M和N均为大于或等于2的正整数,i为小于M的正整数;
根据所述属性信息,确定所述标定板上第i行标定点中第N个标定点与第i+1行标定点中第1个标定点之间的第二距离;
根据所述第一距离与所述第二距离的差值,验证所述标定信息的准确性。
6.根据权利要求2所述的方法,其中,所述绕X轴旋转量、所述绕Y轴旋转量和所述绕Z轴旋转量均位于25°至45°之间。
7.根据权利要求2所述的方法,其中,所述方法还包括:
构建虚拟校正工具,并获取所述虚拟校正工具的第五坐标,其中,所述虚拟校正工具在第五坐标所指示的位置时垂直指向未进行平移和旋转的所述标定板中验证点的中心;
根据所述标定信息,将所述虚拟校正工具的第五坐标转换为所述空间坐标系中的第六坐标;
根据所述虚拟校正工具的第六坐标,验证所述标定信息的准确性。
8.根据权利要求2所述的方法,其中,所述根据所述第一坐标和所述第二坐标生成控制信息,包括:
计算所述第一坐标相对于所述第二坐标的X轴位移偏移量、Y轴位移偏移量、Z轴位移偏移量、及绕X轴方向的旋转角度、绕Y轴方向的旋转角度、绕Z轴方向的旋转角度;
根据所述X轴位移偏移量、所述Y轴位移偏移量、所述Z轴位移偏移量、及所述绕X轴方向的旋转角度、所述绕Y轴方向的旋转角度、绕Z轴方向的旋转角度,生成所述控制信息,所述机械臂根据所述控制信息中的位移偏移量和旋转角度进行调整,以对所述工件进行抓取。
9.根据权利要求1-7中任一所述的方法,其中,所述根据所述第一坐标和所述第二坐标生成控制信息,包括:
根据所述第一坐标和所述第二坐标生成待选控制信息;
根据所述第二坐标,构建所述工件的虚拟安全框,其中,在所述机械臂抓取所述工件时,所述机械臂的抓取端不会与所述虚拟安全框内的物体发生干涉;
根据所述虚拟安全框,确定所述机械臂根据所述待选控制信息对所述工件进行抓取时是否会发生碰撞;
如果所述机械臂根据所述待选控制信息对所述工件进行抓取时不会发生碰撞,则将所述待选控制信息确定为所述控制信息。
10.一种工件抓取装置(600),包括:
第一获取模块(601),用于获取机械臂的抓取端在空间坐标系中的第一坐标;
第二获取模块(602),用于获取相机采集到的工件图像,其中,所述相机与所述机械臂的底座在所述空间坐标系中的相对位置固定,所述工件图像包括位于抓取区域内的工件的图像;
确定模块(603),用于根据所述工件图像和标定信息,确定所述工件在所述空间坐标系中的第二坐标,其中,所述标定信息用于指示所述相机所采集图像的像素坐标系与所述空间坐标系之间的映射关系;
控制模块(604),用于根据所述第一坐标和所述第二坐标生成控制信息,并将所述控制信息发送给所述机械臂,以使所述机械臂根据所述控制信息对所述工件进行抓取。
11.一种工件抓取系统(700),包括:机械臂(701)、相机(702)和工件抓取装置(600);
所述工件抓取装置(600)用于执行如上述权利要求1-9中任一所述的方法;
所述相机(702),用于采集位于抓取区域内的工件的图像,获得工件图像,并将所述工件图像发送给所述工件抓取装置(600);
所述机械臂(701),用于接收所述工件抓取装置(600)发送的控制信息,并根据控制信息对所述工件进行抓取。
12.根据权利要求11所述的系统,其中,所述系统还包括:激光收发器;
所述激光收发器设置于所述机械臂(701)的抓取端,在所述机械臂(701)的抓取端抓取工件后,被抓取工件不会遮挡所述激光发射器发出的激光;
所述激光收发器,用于在所述机械臂(701)的抓取端抓取工件后,发出垂直于被抓取工件上抓取面的激光,并在所发出的激光被与所述被抓取工件位于同一平面上的物体遮挡后,向所述工件抓取装置(600)发送第一粘连信号,其中,所述第一粘连信号用于指示被抓取工件发生工件粘连;
所述工件抓取装置(600),用于在接收到所述第一粘连信号后,发出第一报警信息。
13.根据权利要求11所述的系统,其中,所述系统还包括:传送带;
所述传送带包括P个沿送料方向排布的子传送带,P为大于或等于2的正整数;
所述传送带,用于沿所述送料方向将工件运送至所述抓取区域,当工件被运送所述送料方向上的第P个子传送带的末端时,控制所述第P个子传送带停止运行,并控制第1至第P-1个子传送带减速运行或停止运行。
14.根据权利要求13所述的系统,其中,所述系统还包括设置于所述传送带两侧的光栅;
所述光栅,用于发送与所述传送带平行且垂直于所述送料方向的激光,在所述机械臂(701)的抓取端抓取的工件通过所述光栅发出的激光后,若所述光栅发出的激光被遮挡,则向所述工件抓取装置(600)发送第二粘连信号,其中,所述第二粘连信号用于指示被抓取工件发生工件粘连;
所述工件抓取装置(600),用于在接收到所述第二粘连信号后,发出第二报警信息。
15.一种电子设备(800),包括:处理器(801)、通信接口(802)、存储器(803)和通信总线(804),处理器(801)、存储器(803)和通信接口(802)通过通信总线(804)完成相互间的通信;
存储器(803)用于存放至少一可执行指令,可执行指令使处理器(801)执行如权利要求1-9中任一项所述的工件抓取方法对应的操作。
16.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-9中任一项所述的工件抓取方法。
17.一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如权利要求1-9中任一项所述的工件抓取方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311006605.7A CN117021084A (zh) | 2023-08-10 | 2023-08-10 | 工件抓取方法、装置、系统、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311006605.7A CN117021084A (zh) | 2023-08-10 | 2023-08-10 | 工件抓取方法、装置、系统、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117021084A true CN117021084A (zh) | 2023-11-10 |
Family
ID=88625800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311006605.7A Pending CN117021084A (zh) | 2023-08-10 | 2023-08-10 | 工件抓取方法、装置、系统、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117021084A (zh) |
-
2023
- 2023-08-10 CN CN202311006605.7A patent/CN117021084A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108827154B (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
CN113610921B (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
CN110640730B (zh) | 生成用于机器人场景的三维模型的方法和系统 | |
WO2020034872A1 (zh) | 目标获取方法、设备和计算机可读存储介质 | |
CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
US20210039257A1 (en) | Workpiece picking device and workpiece picking method | |
JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
CN108748149B (zh) | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 | |
US11813754B2 (en) | Grabbing method and device for industrial robot, computer storage medium, and industrial robot | |
CN112276936A (zh) | 三维数据生成装置以及机器人控制系统 | |
US9591228B2 (en) | Method for the localization of a tool in a workplace, corresponding system and computer program product | |
CN110539299B (zh) | 机器手作业方法、控制器以及机器手系统 | |
CN111483750A (zh) | 机器人系统的控制方法以及控制装置 | |
CN114080590A (zh) | 使用先进扫描技术的机器人料箱拾取系统和方法 | |
EP4207068A1 (en) | Target object detection method and apparatus, and electronic device, storage medium and program | |
CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
CN207976755U (zh) | 一种基于机器视觉和plc的钢材仓储控制系统 | |
CN111476840B (zh) | 目标定位方法、装置、设备及计算机可读存储介质 | |
CN117021084A (zh) | 工件抓取方法、装置、系统、电子设备和存储介质 | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
WO2023082417A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
WO2023083273A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
CN111470244B (zh) | 机器人系统的控制方法以及控制装置 | |
CN112975943B (zh) | 判断机器人夹爪最佳抓取高度的处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |