CN114347015A - 一种机器人抓取控制方法、系统、装置及介质 - Google Patents
一种机器人抓取控制方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN114347015A CN114347015A CN202111499988.7A CN202111499988A CN114347015A CN 114347015 A CN114347015 A CN 114347015A CN 202111499988 A CN202111499988 A CN 202111499988A CN 114347015 A CN114347015 A CN 114347015A
- Authority
- CN
- China
- Prior art keywords
- grabbed
- robot
- acquiring
- laser
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims description 79
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 8
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005482 strain hardening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人抓取控制方法、系统、装置及介质，其中方法包括：采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。本发明通过结合双目立体视觉与线激光对待抓物体进行识别定位，根据定位获得的空间坐标获取抓取位姿，有效实现对散乱堆叠的的待抓物体精准抓取。本发明可广泛应用于机器人控制技术领域。
Description
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种机器人抓取控制方法、系统、装置及介质。
背景技术
在制造业中，具有视觉感知能力的机器人越来越受到人们的关注，这类机器人能代替人完成识别、定位与抓取摆放任务，适用于比较复杂的工况。比如散乱堆叠轴承圈的抓取任务。
在许多工业加工过程中，比如轴承圈的加工过程中，需要经过多道冷热加工工序，常常需要人工来将散乱堆叠的轴承圈摆放好。在热加工工序中，周围环境温度较高，尤其在夏天，这种恶劣的工作环境十分不适合采用人工操作的方式，可采用机器人代替人工进行操作。
传统的基于示教编程与离线编程的机器人，具有非常大的局限性，其抓取的物体的位姿必须是提前设定好的，且抓取顺序也是提前设定好的。这种方法能完成一些简单的任务，但是灵活性较差，如果抓取目标的大小、位置和姿态等改变，则整条生产线都需要调整，无法满足日益增长的小批量、抓取状态多变的需求。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种机器人抓取控制方法、系统、装置及介质。
本发明所采用的技术方案是：
一种机器人抓取控制方法，包括以下步骤：
采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；
根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；
根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；
根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。
进一步，所述采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置，包括：
采用双目摄像头获取包含所述待抓物体的第一图像和第二图像；
根据所述第一图像进行目标识别，获得第一检测结果框；
根据所述第二图像进行目标识别，获得第二检测结果框；
对所述第一检测结果框和所述第二检测结果框进行像素匹配，获取所述待抓物体的检测结果框在相机坐标系下的坐标，作为所述第一位置。
进一步，所述获取所述待抓物体的检测结果框在相机坐标系下的坐标，包括：
获取所述第一检测结果框与所述第二检测结果框两者的左上角视差和右下角视差；
根据所述左上角视差获取所述待抓物体的检测结果框的左上角点在相机坐标系下的第一坐标；
根据所述右下角视差获取所述待抓物体的检测结果框的右下角点在相机坐标系下的第二坐标；
根据所述第一坐标和所述第二坐标获取所述待抓物体的检测结果框在相机坐标系下的坐标。
进一步，所述根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上激光进行定位，获得多个激光点的第二位置，包括：
根据第一位置获取多个激光投射处；
根据多个所述激光投射处，将所述线激光投射在所述待抓物体上，获得多个激光点；
采用双目摄像头对多个所述激光点进行定位，获得所述激光点的检测结果框在相机坐标系下的坐标，作为所述第二位置。
进一步，所述待抓物体为圆环形状的待抓物体；
所述根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上激光进行定位，获得多个激光点的第二位置，包括：
根据第一位置获取第一激光投射处和第二激光投射处；
根据所述第一激光投射处和所述第二激光投射处，将所述线激光投射在所述待抓物体上，获得四个激光点；
从所述四个激光点中获取三个激光点，采用双目摄像头对所述三个所述激光点进行定位，获得所述三个激光点的检测结果框在相机坐标系下的坐标，作为所述第二位置。
进一步，所述根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标，包括：
获取所述三个激光点的检测结果框的中心点在相机坐标系下的第一坐标值；
根据第一坐标值、相机坐标系和机器人坐标系，获取三个中心点在机器人坐标系下的空间坐标值；
根据所述三个中心点的空间坐标值拟合出空间中的圆，作为所述待抓物体机器人坐标系下的空间坐标。
进一步，所述三个中心点为第一点D，第二点E，第三点F；
所述根据获得的所述空间坐标获取所述机器人的抓取位姿，包括：
根据所述空间中的圆，选取圆心作为所述机器人的抓取位置；
根据第一点D、第二点E和第三点F获取向量
和向量
；
根据向量
和向量
获取所述待抓物体的表面法向量G；
根据法向量G获取所述待抓物体的坐标系到所述机器人的夹具的坐标系的旋转矩阵，根据所述旋转矩阵获取所述机器人的抓取姿态；
根据所述机器人的抓取位置和所述机器人的抓取姿态确定所述机器人的抓取位姿。
本发明所采用的另一技术方案是：
一种机器人抓取控制系统，包括：
粗定位模块，用于采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；
细定位模块，用于根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；
坐标计算模块，用于根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；
位姿计算模块，用于根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。
本发明所采用的另一技术方案是：
一种机器人抓取控制装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过结合双目立体视觉与线激光对待抓物体进行识别定位，根据定位获得的空间坐标获取抓取位姿，有效实现对散乱堆叠的的待抓物体精准抓取。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中提供的三维抓取平台的结构框图；
图2是本发明实施例中一种机器人抓取控制方法的步骤流程图；
图3是本发明实施例中双目摄像头工作示意图；
图4是本发明实施例中轴承圈上两个激光点的检测框的示意图；
图5是本发明实施例中基于三个点拟合出空间中的圆的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供基于双目立体视觉与线激光的散乱堆叠轴承圈三维抓取平台，包括控制系统101、采集系统102、处理系统103、线激光投射系统104和机器人系统105。
控制系统101负责控制采集系统102、处理系统103、线激光投射系统104和机器人系统105，并与采集系统102、处理系统103、线激光投射系统104和机器人系统105通信交换数据。
采集系统102在接收到控制系统101采集指令后采集左右相机原始图像数据，并将原始图像数据发送至控制系统101，采集系统102由两个相同型号的相机组成。
处理系统103包括图像数据预处理模块、粗定位模块、精定位及抓取位姿计算模块，处理系统103根据控制系统101所发送命令调用相应的模块。
线激光投射系统104得到控制系统101投射激光命令和投射位置数据后进行线激光投射；线激光投射系统104由线激光发射器、伺服电机和伺服电机驱动器组成，所述线激光发射器固定于伺服电机轴上。
机器人系统105得到控制系统101抓取指令和抓取位姿数据后控制机器人抓取轴承圈；机器人系统105包括六轴机械臂、六轴机械臂的控制器和轴承圈夹具，所述轴承圈夹具采用由内向外扩方式对轴承圈进行夹取。
其中，处理系统103根据控制系统101所发送命令调用相应的模块原则为：处理系统103接收到控制系统101粗定位指令后，执行图像数据预处理模块和粗定位模块；处理系统103接收到控制系统101精定位指令后，执行图像数据预处理模块和精定位及抓取位姿计算模块。
其中，控制系统101与处理系统103通信交换数据原则为：控制系统101给处理系统103发送粗定位指令的同时会发送原始图像数据，处理系统103处理完后会向控制系统101发送每个可被抓取轴承圈的2次线激光投射位置数据；控制系统101给处理系统103发送精定位指令的同时会发送线激光原始图像数据，处理系统103处理完成后会向控制系统101发送机器人抓取所需的位姿信息。
作为一种可选的实施方式，在处理系统103中，图像数据预处理模块进行立体校正；当配套精定位模块使用时还会依据目标检测框对图像进行裁剪，将可被抓取轴承圈单独裁剪出来；其中，所述立体校正利用opencv实现，所需参数由双目标定得到。
粗定位模块包括可被抓取轴承圈目标检测、左右图像目标检测结果框匹配、可被抓取轴承圈空间位置计算和线激光投射位置数据计算。其中，可被抓取轴承圈目标检测采用深度学习目标检测网络，包括但不仅限于YOLOv5目标检测网络，所述可被抓取轴承圈指散乱堆叠状态中未被遮挡轴承圈。
所述左右图像目标检测结果框匹配方法为：首先根据结果框左上角像素坐标按照从左到右的顺序分别对所述左右图像目标检测结果框进行排序；然后以左图像目标检测结果框为基准，在右图像目标检测结果框中从左到右寻找匹配框，匹配原则为待匹配的两个框左上角两个坐标值差值都不超过50个像素值，并且待匹配的两个框右下角两个坐标值差值不超过50个像素；按照此种方法寻找所有左图像目标检测结果框的匹配框并保存匹配成功的结果框；
所述可被抓取轴承圈空间位置计算方法为：首先计算2个匹配框左上角视差，以左匹配框左上角点的2像素坐标值、视差和数值1组成齐次矩阵M，齐次矩阵M左乘Q矩阵得到齐次矩阵Y，将4维的齐次矩阵变为3维矩阵A，3维矩阵A即为匹配框左上角点在相机坐标系下的坐标；使用同样方法可计算出匹配框右下角在相机坐标系下的坐标；得到矩形匹配框左上角及右下角坐标即可确定匹配框在相机坐标系下的位置(规定匹配框与大地平行)；
所述线激光投射位置数据计算方法为：选取所述矩形匹配框三分之一分隔线和三分之二分割线作为线激光的2次投射位置，所述线激光投射空间位置已知，线激光发射器空间位置已知，将三维计算问题转换为平面计算问题，即可应用勾股定理计算出所述线激光发射器还需转动多少角度将线激光投射到指定位置。
所述精定位及抓取位姿计算模块包括轴承圈上表面激光条纹目标检测、抓取位置计算、抓取姿态计算；其中，所述轴承圈上表面激光条纹目标检测采用深度学习目标检测网络，包括但不仅限于YOLOv5目标检测网络。
所述抓取位置计算方法为：每个所述可被抓取轴承圈会进行2次所述线激光投射，1次所述线激光投射经所述轴承圈上表面激光条纹目标检测即可得到2个检测结果框，2次投射可得到4个检测结果框；选取左上、左下和右上3个检测结果框，取3个矩形检测结果框的中心代表轴承圈上表面3点，采用权利要求4所述空间位置计算方法即可计算出3点在相机坐标系下的3个空间坐标值，采用矩阵形式可表示为左上点A、左下点B和右上点C；3个矩阵左乘相机坐标系到机器人坐标系的旋转矩阵，再加上相机坐标系到机器人坐标系的平移矩阵即可得到3点在机器人坐标系下的空间坐标值，分别表示为左上点D、左下点E和右上点F；已知机器人坐标系下3点D、E和F即可拟合出空间中的圆，取圆的中心作为抓取位置；
所述抓取姿态计算方法为：机器人夹具上所设置工具坐标系x轴方向为右侧夹具打开时的运动方向，z轴方向垂直机器人第六轴法兰盘向外，xyz组成右手坐标系；在待抓取轴承上建立坐标系，建立方法为：根据所述左上点D、左下点E和右上点F，取向量
和
，向量
叉乘向量
得到待抓取轴承圈上表面法向量G，机器人坐标系z轴单位法向量z叉乘法向量G得到待抓取轴承坐标系x轴方向，规定法向量G为待抓取轴承圈坐标系z轴方向，根据右手坐标系原则即可确定待抓取轴承圈坐标系；已知待抓取轴承坐标系和夹具上工具坐标系即可求出从待抓取轴承坐标系到夹具上工具坐标系的旋转矩阵，由所述旋转矩阵即可求出所述姿态，即3个欧拉角。
作为一种可选的实施方式，控制系统101采用Windows系统最为主控机的操作系统，采用客户端/服务器的方式实现模块交互。
上述的三维抓取平台的散乱堆叠轴承圈抓取控制方法，包括以下步骤：
S201、一切准备就绪后，所述控制系统向所述采集系统发送采集指令。
S202、所述采集系统收到采集指令后采集左右相机原始图像数据，并将原始图像数据发送至所述控制系统。
S203、所述控制系统收到原始图像数据后，将原始图像数据发送至所述处理系统并且向所述处理系统发送粗定位指令。
S204、所述处理系统接收到粗定位指令和原始图像数据后，先调用图像数据预处理模块对图像进行立体校正，然后调用粗定位模块得到可被抓取轴承圈的目标检测结果框和每个检测框对应的两次激光投射位置数据，最后将可被抓取轴承圈的目标检测结果框和每个检测框对应的两次激光投射位置数据发送至所述控制系统。
S205、所述控制系统获得可被抓取轴承圈的目标检测结果框和每个检测框对应的两次线激光投射位置数据，所述控制系统将两次线激光投射位置数据发送至所述线激光投射系统，所述线激光投射系统每投射到一个指定位置，所述控制系统会控制所述采集系统采集包含线激光的原始图像数据；完成所有检测框对应的两次线激光投射和图像采集后，所述控制系统发送包含线激光的原始图像数据和精定位指令至处理系统。
S206、所述处理系统获取包含线激光的原始图像数据后，首先调用图像数据预处理模块对包含线激光的原始图像数据进行立体校正，校正后根据所述可被抓取轴承圈检测结果框对校正后的图像进行裁剪，将每个被投射线激光的可被抓取轴承圈单独裁剪出来；然后调用精定位及抓取位姿计算模块计算出每个可被抓取轴承的抓取位姿；最后选出位置最高的可被抓取轴承圈的抓取位姿发送到所述控制模块。
S207、所述控制模块将获取的抓取位姿和抓取指令发送至所述机器人系统；所述机器人系统控制机器人完成本次抓取任务。
本实施例的提供的基于双目立体视觉与线激光的散乱堆叠轴承圈三维抓取平台和抓取方法，实现了散乱堆叠轴承圈的识别、定位与抓取；使用深度学习中的目标检测方法实现了可被抓取轴承的自动识别与定位，同样在轴承圈上表面激光条纹的检测中使用深度学习的方法，很好的解决了轴承圈表面高反光及线激光反射后强噪音的问题；此方法可以拓展应用到类似于轴承圈的圆环形物体的抓取任务。
基于图1所述的三维抓取平台，本实施例还提供一种机器人抓取控制方法，这里需要注意的是，该一种机器人抓取控制方法可通过过上述的三维抓取平台来实现，但并不限于上述的三维抓取平台，也可有其他系统来实现。该方法具体包括以下步骤：
S1、采用双目摄像头对待抓物体进行定位，获得待抓物体的第一位置。
获取包含待抓物体的图像，根据物体识别网络对图像进行识别处理，获取待抓物体的检测框；其中，物体识别网络可采用现有的网络模型进行训练获得。由于双目摄像头具有测距离(深度)的功能，基于这个功能可以对图像中的物体进行定位，获得待抓物体的位置信息。
步骤S1进一步可包括：
S11、采用双目摄像头获取包含待抓物体的第一图像和第二图像；
S12、根据第一图像进行目标识别，获得第一检测结果框；
S13、根据第二图像进行目标识别，获得第二检测结果框；
S14、对第一检测结果框和第二检测结果框进行像素匹配，获取待抓物体的检测结果框在相机坐标系下的坐标，作为第一位置。
双目摄像头包括第一摄像头和第二摄像头，第一摄像头采集第一图像，第二摄像头采集第二图像。在一些实施中，参见图3，图像中包含多个待抓物体，因此需要对第一图像和第二图像中识别的待抓物体进行匹配；本实施例中，待抓物体为可被抓取轴承圈，可被抓取轴承圈指的是散乱堆叠状态中未被遮挡轴承圈。
具体地，参见图3，左图像(即第一图像)和右图像(即第二图像)的目标检测结果框匹配的方式如下：首先根据结果框左上角像素坐标按照从左到右的顺序分别对所述左右图像目标检测结果框进行排序；然后以左图像目标检测结果框为基准，在右图像目标检测结果框中从左到右寻找匹配框，匹配原则为待匹配的两个框左上角两个坐标值差值都不超过50个像素值，并且待匹配的两个框右下角两个坐标值差值不超过50个像素；按照此种方法寻找所有左图像目标检测结果框的匹配框并保存匹配成功的结果框。
可被抓取轴承圈的空间位置计算方式如下：首先计算2个匹配框左上角视差，以左匹配框左上角点的2像素坐标值、视差和数值1组成齐次矩阵M，齐次矩阵M左乘Q矩阵得到齐次矩阵Y，将4维的齐次矩阵变为3维矩阵A，3维矩阵A即为匹配框左上角点在相机坐标系下的坐标；使用同样方法可计算出匹配框右下角在相机坐标系下的坐标；得到矩形匹配框左上角及右下角坐标即可确定匹配框在相机坐标系下的位置(规定匹配框与大地平行)。
S2、根据第一位置将线激光投射在待抓物体上，对落在待抓物体上的激光进行定位，获得多个激光点的第二位置。
通过步骤S1的识别定位，以及获得待抓物体的检测框位置，在本实施例中，检测框为方形框。根据该待抓物体的检测框位置，控制线激光投射到待抓物体上，其中，投射的线激光可为一条，也可为多条。若投射多条线激光，可以采用多个激光投射装置同时投射多条激光，如此只需拍摄一张图片；也可采用一个激光投射装置投射多次，并针对每次投射的结构进行拍照。投射的多条激光之间，可以为平行的关系，也可以为相交或垂直的关系，具体根据待抓物体来决定，这里不赘述。
示例地，待抓物体为轴承圈，轴承圈为圆环形状，故只需投射两条线激光。线激光投射位置如下：选取检测框的矩形匹配框三分之一分隔线和三分之二分割线作为线激光的2次投射位置，所述线激光投射空间位置已知，线激光发射器空间位置已知，将三维计算问题转换为平面计算问题，即可应用勾股定理计算出所述线激光发射器还需转动多少角度将线激光投射到指定位置。
其中，步骤S2具体包括步骤S21-S23：
S21、根据第一位置获取第一激光投射处和第二激光投射处；
S22、根据第一激光投射处和第二激光投射处，将线激光投射在待抓物体上，获得四个激光点；
S23、从四个激光点中获取三个激光点，采用双目摄像头对三个激光点进行定位，获得三个激光点的检测结果框在相机坐标系下的坐标，作为第二位置。
在第一激光投射处投射线激光，线激光与待抓物体有两个接触点，采集图像，对图像进行识别，获取两个激光点的检测框。投射两次激光后，获得四个激光点的检测框。采用如步骤S1中双目摄像头定位的原理，获取检测框的位置信息。
S3、根据第二位置获取待抓物体在机器人坐标系下的空间坐标。
其中，步骤S3包括步骤S31-S33：
S31、获取三个激光点的检测结果框的中心点在相机坐标系下的第一坐标值；
S32、根据第一坐标值、相机坐标系和机器人坐标系，获取三个中心点在机器人坐标系下的空间坐标值；
S33、根据三个中心点的空间坐标值拟合出空间中的圆，作为待抓物体机器人坐标系下的空间坐标。
具体地，空间坐标计算方法如下：参见图4，每个可被抓取轴承圈会进行2次线激光投射，1次线激光投射经轴承圈上表面激光条纹目标检测即可得到2个检测结果框，2次投射可得到4个检测结果框；选取左上、左下和右上3个检测结果框，取3个矩形检测结果框的中心代表轴承圈上表面3点，采用权利要求4空间位置计算方法即可计算出3点在相机坐标系下的3个空间坐标值，采用矩阵形式可表示为左上点A、左下点B和右上点C；3个矩阵左乘相机坐标系到机器人坐标系的旋转矩阵，再加上相机坐标系到机器人坐标系的平移矩阵即可得到3点在机器人坐标系下的空间坐标值，分别表示为左上点D、左下点E和右上点F；已知机器人坐标系下3点D、E和F即可拟合出空间中的圆，如图5所示。
S4、根据获得的空间坐标获取机器人的抓取位姿，根据抓取位姿控制机器人抓取待抓物体。
其中，步骤S4具体包括步骤S41-S45：
S41、根据S3拟合出的圆，选取圆的中心作为机器人的抓取位置；
S42、根据第一点D、第二点E和第三点F获取向量
和向量
S43、根据向量
和向量
获取待抓物体的表面法向量G；
S44、根据法向量G获取待抓物体的坐标系到机器人的夹具的坐标系的旋转矩阵，根据旋转矩阵获取机器人的抓取姿态；
S45、根据机器人的抓取位置和机器人的抓取姿态确定机器人的抓取位姿。
具体地，机器人夹具上所设置工具坐标系x轴方向为右侧夹具打开时的运动方向，z轴方向垂直机器人第六轴法兰盘向外，xyz组成右手坐标系；在待抓取轴承上建立坐标系，建立方法为：根据左上点D、左下点E和右上点F，取向量
和
向量
叉乘向量
得到待抓取轴承圈上表面法向量G，机器人坐标系z轴单位法向量z叉乘法向量G得到待抓取轴承坐标系x轴方向，规定法向量G为待抓取轴承坐标系z轴方向，根据右手坐标系原则即可确定待抓取轴承坐标系；已知待抓取轴承坐标系和夹具上工具坐标系即可求出从待抓取轴承坐标系到夹具上工具坐标系的旋转矩阵，由旋转矩阵即可求出姿态，即3个欧拉角。
在一些可选是实施例中，机器人夹具包括两个夹臂，且两个夹臂之间的距离可调节，当获得抓取位姿后，机器人根据抓取位姿将夹具伸入待抓取轴承的内环中，此时两个夹臂紧闭，在夹具伸入内环后，两个夹臂伸开，并接触到待抓取轴承的内壁，两个夹臂撑住待抓取轴承的内壁的两个点后，固定待抓取轴承，并将待抓取轴承抓起。
本实施例还提供一种机器人抓取控制系统，包括：
粗定位模块，用于采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；
细定位模块，用于根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；
坐标计算模块，用于根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；
位姿计算模块，用于根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。
本实施例的一种机器人抓取控制系统，可执行本发明方法实施例所提供的一种机器人抓取控制方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种机器人抓取控制装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图2所示方法。
本实施例的一种机器人抓取控制装置，可执行本发明方法实施例所提供的一种机器人抓取控制方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种机器人抓取控制方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种机器人抓取控制方法，其特征在于，包括以下步骤：
采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；
根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；
根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；
根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。
2.根据权利要求1所述的一种机器人抓取控制方法，其特征在于，所述采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置，包括：
采用双目摄像头获取包含所述待抓物体的第一图像和第二图像；
根据所述第一图像进行目标识别，获得第一检测结果框；
根据所述第二图像进行目标识别，获得第二检测结果框；
对所述第一检测结果框和所述第二检测结果框进行像素匹配，获取所述待抓物体的检测结果框在相机坐标系下的坐标，作为所述第一位置。
3.根据权利要求2所述的一种机器人抓取控制方法，其特征在于，所述获取所述待抓物体的检测结果框在相机坐标系下的坐标，包括：
获取所述第一检测结果框与所述第二检测结果框两者的左上角视差和右下角视差；
根据所述左上角视差获取所述待抓物体的检测结果框的左上角点在相机坐标系下的第一坐标；
根据所述右下角视差获取所述待抓物体的检测结果框的右下角点在相机坐标系下的第二坐标；
根据所述第一坐标和所述第二坐标获取所述待抓物体的检测结果框在相机坐标系下的坐标。
4.根据权利要求1所述的一种机器人抓取控制方法，其特征在于，所述根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上激光进行定位，获得多个激光点的第二位置，包括：
根据第一位置获取多个激光投射处；
根据多个所述激光投射处，将所述线激光投射在所述待抓物体上，获得多个激光点；
采用双目摄像头对多个所述激光点进行定位，获得所述激光点的检测结果框在相机坐标系下的坐标，作为所述第二位置。
5.根据权利要求1所述的一种机器人抓取控制方法，其特征在于，所述待抓物体为圆环形状的待抓物体；
所述根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上激光进行定位，获得多个激光点的第二位置，包括：
根据第一位置获取第一激光投射处和第二激光投射处；
根据所述第一激光投射处和所述第二激光投射处，将所述线激光投射在所述待抓物体上，获得四个激光点；
从所述四个激光点中获取三个激光点，采用双目摄像头对所述三个所述激光点进行定位，获得所述三个激光点的检测结果框在相机坐标系下的坐标，作为所述第二位置。
6.根据权利要求5所述的一种机器人抓取控制方法，其特征在于，所述根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标，包括：
获取所述三个激光点的检测结果框的中心点在相机坐标系下的第一坐标值；
根据第一坐标值、相机坐标系和机器人坐标系，获取三个中心点在机器人坐标系下的空间坐标值；
根据所述三个中心点的空间坐标值拟合出空间中的圆，作为所述待抓物体机器人坐标系下的空间坐标。
7.根据权利要求6所述的一种机器人抓取控制方法，其特征在于，所述三个中心点为第一点D，第二点E，第三点F；
所述根据获得的所述空间坐标获取所述机器人的抓取位姿，包括：
根据所述空间中的圆，选取圆心作为所述机器人的抓取位置；
根据第一点D、第二点E和第三点F获取向量
和向量
根据向量
和向量
获取所述待抓物体的表面法向量G；
根据法向量G获取所述待抓物体的坐标系到所述机器人的夹具的坐标系的旋转矩阵，根据所述旋转矩阵获取所述机器人的抓取姿态；
根据所述机器人的抓取位置和所述机器人的抓取姿态确定所述机器人的抓取位姿。
8.一种机器人抓取控制系统，其特征在于，包括：
粗定位模块，用于采用双目摄像头对待抓物体进行定位，获得所述待抓物体的第一位置；
细定位模块，用于根据所述第一位置将线激光投射在所述待抓物体上，对落在所述待抓物体上的激光进行定位，获得多个激光点的第二位置；
坐标计算模块，用于根据所述第二位置获取所述待抓物体在机器人坐标系下的空间坐标；
位姿计算模块，用于根据获得的所述空间坐标获取所述机器人的抓取位姿，根据所述抓取位姿控制所述机器人抓取所述待抓物体。
9.一种机器人抓取控制装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111499988.7A CN114347015B (zh) | 2021-12-09 | 2021-12-09 | 一种机器人抓取控制方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111499988.7A CN114347015B (zh) | 2021-12-09 | 2021-12-09 | 一种机器人抓取控制方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114347015A true CN114347015A (zh) | 2022-04-15 |
| CN114347015B CN114347015B (zh) | 2024-04-02 |
Family
ID=81096505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111499988.7A Active CN114347015B (zh) | 2021-12-09 | 2021-12-09 | 一种机器人抓取控制方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114347015B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
| CN116766183A (zh) * | 2023-06-15 | 2023-09-19 | 山东中清智能科技股份有限公司 | 一种基于视觉图像的机械臂控制方法及装置 |
| CN117428788A (zh) * | 2023-12-13 | 2024-01-23 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017034609A1 (en) * | 2015-08-27 | 2017-03-02 | Parabola, Llc | Provisioning an interactive financial wellness and asset management service via a network |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
-
2021
- 2021-12-09 CN CN202111499988.7A patent/CN114347015B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017034609A1 (en) * | 2015-08-27 | 2017-03-02 | Parabola, Llc | Provisioning an interactive financial wellness and asset management service via a network |
| CN111402411A (zh) * | 2020-04-10 | 2020-07-10 | 贵刚 | 一种基于线结构光的散乱物识别抓取方法 |
Non-Patent Citations (2)
| Title |
|---|
| PAULA TARRIO ET AL.: ""A harvesting robot for small fruit in bunches based on 3-D stereoscopic vision"", 《 COMPUTERS IN AGRICULTURE AND NATURAL RESOURCES》, pages 270 - 275 * |
| 程伟: ""基于结构光视觉的番茄果实识别定位系统设计"", 《中国优秀硕士学位论文全文数据库 (农业科技辑)》, pages 3 - 4 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
| CN116766183A (zh) * | 2023-06-15 | 2023-09-19 | 山东中清智能科技股份有限公司 | 一种基于视觉图像的机械臂控制方法及装置 |
| CN116766183B (zh) * | 2023-06-15 | 2023-12-26 | 山东中清智能科技股份有限公司 | 一种基于视觉图像的机械臂控制方法及装置 |
| CN117428788A (zh) * | 2023-12-13 | 2024-01-23 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
| CN117428788B (zh) * | 2023-12-13 | 2024-04-05 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114347015B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114347015A (zh) | 一种机器人抓取控制方法、系统、装置及介质 | |
| US9259844B2 (en) | Vision-guided electromagnetic robotic system | |
| US10124489B2 (en) | Locating, separating, and picking boxes with a sensor-guided robot | |
| CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的系统和方法 | |
| Rizzini et al. | Integration of a stereo vision system into an autonomous underwater vehicle for pipe manipulation tasks | |
| Chang | Robotic assembly of smartphone back shells with eye-in-hand visual servoing | |
| US6816755B2 (en) | Method and apparatus for single camera 3D vision guided robotics | |
| CN108827154B (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
| CN113284179B (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
| Shauri et al. | Assembly manipulation of small objects by dual‐arm manipulator | |
| CN106845354B (zh) | 零件视图库构建方法、零件定位抓取方法及装置 | |
| CN111151463A (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
| WO2018145025A1 (en) | Calibration article for a 3d vision robotic system | |
| JP2020197978A (ja) | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム | |
| Lin et al. | Vision based object grasping of industrial manipulator | |
| WO2021039775A1 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
| EP3985609A1 (en) | Positioning system and method for determining the three-dimensional position of a movable object | |
| CN211028657U (zh) | 一种智能焊接机器人系统 | |
| He et al. | A low cost visual positioning system for small scale tracking experiments on underwater vehicles | |
| Chang et al. | Hybrid eye-to-hand and eye-in-hand visual servoing for autonomous robotic manipulation | |
| Ren et al. | Vision based object grasping of robotic manipulator | |
| Bürkle et al. | Computer vision based control system of a piezoelectric microrobot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |