CN113601501B - 机器人柔性作业方法、装置及机器人 - Google Patents
机器人柔性作业方法、装置及机器人 Download PDFInfo
- Publication number
- CN113601501B CN113601501B CN202110813930.9A CN202110813930A CN113601501B CN 113601501 B CN113601501 B CN 113601501B CN 202110813930 A CN202110813930 A CN 202110813930A CN 113601501 B CN113601501 B CN 113601501B
- Authority
- CN
- China
- Prior art keywords
- robot
- data
- working
- size
- operation object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 51
- 230000007246 mechanism Effects 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000011897 real-time detection Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012372 quality testing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种机器人柔性作业方法、装置及机器人，所述方法包括：在作业对象运动到指定位置时，确定作业对象的位姿信息；基于作业对象的位姿信息，以及相机参数信息，确定机器人跟随作业的路径点；基于机器人的作业路径点，以及作业对象的当前位置数据，生成当前运动指令，并将当前运动指令发送至机器人的执行机构，以使执行机构基于当前运动指令实时调整姿态并对作业对象进行柔性作业操作。本发明能够基于当前运动指令实时调整姿态并准确对运动的作业对象进行柔性作业操作，实现对移动的作业对象动态跟踪和高精度的随动柔性作业。
Description
技术领域
本发明涉及机器人作业技术领域，尤其涉及一种机器人柔性作业方法、装置及机器人。
背景技术
随着机器人技术的发展，机器人作业技术也逐渐从重复示教器作业程序的示教再现技术向自主柔性作业技术进行转变。机器人自主柔性作业技术是指机器人通过传感器自主感知周围环境和作业对象，并自主完成作业任务。机器人自主柔性作业技术由于其自主适应性和柔顺性而在装配、搬运、焊接、物流分拣等制造环节发挥了重要作用。
工业制造、物流运输等行业中的产品质检、物体分拣与搬运等作业任务，执行方式主要采用人工为主，具有效率低、出错率高、人员流动大等问题。另外，国内外大多数机器人自主柔性作业方法虽然可以自主进行柔性作业，但只适用于作业对象位姿不随时间而改变的机器人作业任务，在作业对象运动时无法准确进行作业操作。
发明内容
本发明提供一种机器人柔性作业方法、装置及机器人，用以解决现有技术中无法准确对运动的作业对象进行作业操作的缺陷。
本发明提供一种机器人柔性作业方法，包括：
在作业对象运动到指定位置时，确定所述作业对象的位姿信息；
基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；
基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
根据本发明提供的一种机器人柔性作业方法，所述在作业对象运动到指定位置时，确定所述作业对象的位姿信息，包括：
在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，并基于所述视觉数据和所述当前位置数据，自主感知所述作业对象的位姿信息。
根据本发明提供的一种机器人柔性作业方法，所述在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，包括：
接收所述指定位置处的光电传感器发送的脉冲信号，基于所述脉冲信号判断所述作业对象是否运动到指定位置，若是，则发送数据采集信号至数据采集系统，以通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据。
根据本发明提供的一种机器人柔性作业方法，所述数据采集系统包括工业相机、激光测距仪以及3D相机；
所述通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据，包括：
对于第一尺寸的作业对象，通过工业相机采集所述视觉数据，以及通过激光测距仪采集所述当前位置数据；
对于第二尺寸的作业对象，通过3D相机采集所述视觉数据和所述当前位置数据；所述第一尺寸小于所述第二尺寸。
根据本发明提供的一种机器人柔性作业方法，所述光电传感器为霍尔光电传感器。
根据本发明提供的一种机器人柔性作业方法，所述基于所述视觉数据和所述位置数据，自主感知所述作业对象位姿，包括：
对于第一尺寸的作业对象，利用基于深度学习的任意方向目标实时检测算法，自主感知所述作业对象在所述视觉数据中的位置、尺度和方向，并通过所述位置数据确定所述作业对象中心点处的深度距离信息；
对于第二尺寸的作业对象，基于用于表征作业场景的空间位置关系的深度图或点云数据，利用6D位姿检测算法检测所述作业对象的6D位姿；所述第一尺寸小于所述第二尺寸。
根据本发明提供的一种机器人柔性作业方法，所述基于深度学习的任意方向目标实时检测算法包括：
采集所述作业对象所在作业场景的场景图像数据集，并将所述场景图像数据集划分为训练集和验证集；所述场景图像数据集中的各场景图像数据包含所述作业对象；
将所述作业对象近似为最小外接旋转四边形，并标注所述作业对象的属性信息；所述属性信息包括所述作业对象的类别属性、位置属性、尺寸属性和旋转角度属性；
将所述作业对象的位置属性和旋转角度属性的搜索范围划分为均匀的体素，转化属性预测为分类属性所在体素坐标和回归属性所在体素中心坐标系的归一化值；
聚类所述场景图像数据集中作业对象的尺寸属性为多个中心，将尺寸预测转换为回归与最接近的聚类尺寸中心的比例，并初始化深度神经网络用于进行属性预测。
根据本发明提供的一种机器人柔性作业方法，所述相机参数信息包括相机标定参数矩阵和手眼标定参数矩阵；
所述基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点，包括：
基于所述作业对象的位姿信息，相机标定参数矩阵以及手眼标定参数矩阵，以所述机器人运行路径最短为目标进行路径规划，确定所述机器人的作业路径点。
本发明还提供一种机器人柔性作业装置，包括：
位姿确定单元，用于在作业对象运动到指定位置时，确定所述作业对象的位姿信息；
路径确定单元，用于基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；
作业控制单元，用于基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述机器人柔性作业方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人柔性作业方法的步骤。
本发明提供的机器人柔性作业方法、装置及机器人，在作业对象运动到指定位置时，基于作业对象的位姿信息以及相机参数信息，确定机器人的作业路径点，并基于机器人的作业路径点，以及作业对象的当前位置数据，生成当前运动指令，从而使得机器人的执行机构能够自动且快速对作业对象进行柔性作业操作。此外，由于当前运动指令考虑了作业对象的当前位置数据，从而机器人的执行机构可以基于当前运动指令实时调整姿态并准确对运动的作业对象进行柔性作业操作，实现对移动的作业对象动态跟踪和高精度的随动柔性作业。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的机器人柔性作业方法的流程示意图之一；
图2是本发明提供的机器人柔性作业方法的流程示意图之二；
图3是本发明提供的机器人柔性作业装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
工业制造、物流运输等行业中的产品质检、物体分拣与搬运等作业任务，执行方式主要采用人工为主，具有效率低、出错率高、人员流动大等问题。另外，国内外大多数机器人自主柔性作业方法虽然可以自主进行柔性作业，但只适用于作业对象位姿不随时间而改变的机器人作业任务，在作业对象运动时无法准确进行作业操作。
对此，本发明提供一种机器人柔性作业方法。图1是本发明提供的机器人柔性作业方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、在作业对象运动到指定位置时，确定作业对象的位姿信息。
具体地，作业对象指柔性作业任务中的操作对象，例如对于产品质检的作业任务，其作业对象是待质检的产品；对于物体分拣的作业任务，其作业对象是待分拣物体；对于物体搬运的作业任务，其作业对象是待搬运物体。此外，这些作业对象通常是在动态传输线上，即这些作业对象是运动的。
指定位置是指作业对象的指定作业操作点，例如，待质检产品到达质检台，则质检台作为指定位置；待分拣物体到达分拣点，则分拣点作为指定位置；待搬运物体到达搬运点，则搬运点作为指定位置。当作业对象运动到指定位置时，表明此时可以对作业对象进行作业操作，因此本发明实施例会采集作业场景的视觉数据和位置数据，并基于视觉数据和位置数据获得作业对象的空间位置信息，并基于空间位置信息，利用深度视觉检测算法获知作业对象的位姿信息。其中，可以通过相机获取作业对象的视觉数据信息和通过激光传感器获取作业对象的位置数据信息，本发明实施例对此不作具体限定。
步骤120、基于作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点。
具体地，相机参数信息可以包括相机标定参数矩阵以及手眼标定参数矩阵，其中相机标定参数矩阵表示相机坐标系和像素坐标系之间的变换关系，手眼标定参数矩阵表示相机坐标系和机器人坐标系之间的转化关系。机器人的作业路径点是指在机器人坐标系下的位姿。
在获取作业对象的位姿信息后，结合相机参数信息，可以对机器人的运行路径进行路径规划，确定机器人的作业路径点，从而机器人的执行机构可以根据作业路径点进行运行，以进行柔性作业。其中，可以以机器人运行路径最短为规划目标，确定机器人的作业路径点，也可以以机器人操作空间最大为规划目标，确定机器人的作业路径点，本发明实施例对此不作具体限定。
步骤130、基于机器人的作业路径点，以及作业对象的当前位置数据，生成当前运动指令，并将当前运动指令发送至机器人的执行机构，以使执行机构基于当前运动指令实时调整姿态并对作业对象进行柔性作业操作。
具体地，作业对象的当前位置数据可以通过传输线上的编码器获取，由于作业对象在传输线上是运动的，若要精确对作业对象进行操作，则需要基于机器人的作业路径点以及作业对象的当前位置数据，生成当前运动指令，即当前运动指令考虑了作业对象的当前位置数据，也可以理解为当前运动指令是根据作业对象的实时位置实时生成的，从而机器人的执行机构可以基于当前运动指令实时调整姿态并准确对运动的作业对象进行柔性作业操作。
本发明实施例提供的机器人柔性作业方法，能够自主精准感知作业对象的位姿信息并结合输送带编码器反馈的位置数据，来调整机器人姿态、规划作业的轨迹，实现对移动在输送带上作业对象动态跟踪和高精度的随动柔性作业。
相较于依靠人工对作业对象进行操作(如人工进行产品质检、物体分拣、物体搬运等)，本发明实施例提供的方法能够自动对作业对象进行柔性作业操作，不仅效率较高，而且可以避免人工失误导致出错率较高的问题。相较于国内外大多数机器人自主柔性作业系统仅能对静止的作业对象进行操作，本发明实施例提供的方法能够快速且准确对运动的作业对象进行作业操作，提高了工业流水线的生产效率。
本发明实施例提供的机器人柔性作业方法，在作业对象运动到指定位置时，基于作业对象的位姿信息以及相机参数信息，确定机器人的作业路径点，并基于机器人的作业路径点，以及作业对象的当前位置数据，生成当前运动指令，从而使得机器人的执行机构能够自动且快速对作业对象进行柔性作业操作。此外，由于当前运动指令考虑了作业对象的当前位置数据，从而机器人的执行机构可以基于当前运动指令实时调整姿态并准确对运动的作业对象进行柔性作业操作，实现对移动的作业对象动态跟踪和高精度的随动柔性作业。
基于上述实施例，在作业对象运动到指定位置时，确定作业对象的位姿信息，包括：
在作业对象运动到指定位置时，采集作业对象的视觉数据和当前位置数据，并基于视觉数据和当前位置数据，自主感知作业对象的位姿信息。
具体地，视觉数据是指作业对象的图像或作业对象的点云数据。在作业对象运动到指定位置时，可以通相机采集作业对象的视觉数据，以及通过激光测距仪采集作业对象的当前位置数据，从而可以基于采集得到视觉数据以及当前位置数据，并利用深度视觉检测算法自主感知作业对象的位姿信息。
具体地，深度视觉检测算法是指对于第一尺寸的作业对象，利用基于深度学习的任意方向目标检测算法从作业场景图像中自主感知作业对象所在图像坐标系中的中心点位置和旋转角度，并结合位置数据确定作业对象中心点处的深度距离信息。对于第二尺寸的作业对象，基于表达作业场景的空间位置关系的深度图或点云等视觉数据，利用6D位姿检测算法检测作业对象的6D位姿。其中，第一尺寸小于第二尺寸。
其中，深度学习的任意方向目标实时检测算法的方法包括：采集作业场景中包含作业对象的场景图像数据集，场景图像数据集划分为训练集和验证集；将作业对象近似为最小外接旋转四边形，标注作业对象的类别、位置、尺寸和旋转角度等相关属性；将作业对象位置和旋转角度属性的搜索范围划分为均匀的体素，转化属性预测为分类属性所在体素坐标和回归属性所在体素中心坐标系的归一化值，聚类场景图像数据集中作业对象尺寸为几个中心，将尺寸预测转换为回归与最接近的聚类尺寸中心的比例,最后初始化一个深度神经网络负责相关属性预测。此外，本实施例中对6D位姿检测算法不作限定。
基于上述任一实施例，在作业对象运动到指定位置时，采集作业对象的视觉数据和当前位置数据，包括：
接收指定位置处的光电传感器发送的脉冲信号，基于脉冲信号判断作业对象是否运动到指定位置，若是，则发送数据采集信号至数据采集系统，以通过数据采集系统采集作业对象的视觉数据和当前位置数据。
具体地，可以通过脉冲边沿捕捉算法接收指定位置处的光电传感器发送的脉冲信号，当脉冲边沿捕捉算法检测到脉冲边沿(上升沿或下降沿)，则表明作业对象已运动至指定位置，此时可以通过数据采集系统采集作业对象的视觉数据和当前位置数据，从而可以基于视觉数据和当前位置数据确定作业对象的位姿信息。可以理解的是，当判断作业对象运动至指定位置时，则可以发送触发信号至数据采集系统，以触发数据采集系统采集作业对象的视觉数据和当前位置数据。
基于上述任一实施例，数据采集系统包括工业相机、激光测距仪以及3D相机；
通过数据采集系统采集作业对象的视觉数据和当前位置数据，包括：
对于第一尺寸的作业对象，通过工业相机采集视觉数据，以及通过激光测距仪采集当前位置数据；
对于第二尺寸的作业对象，通过3D相机采集视觉数据和当前位置数据；第一尺寸小于第二尺寸。
具体地，工业相机又称摄像机，相比于传统的民用相机(摄像机)而言，它具有高的图像稳定性、高传输能力和高抗干扰能力等，从而通过工业相机可以采集高质量的视觉数据。激光测距仪是利用调制激光的某个参数实现对目标的距离测量的仪器，从而可以准确采集当前位置数据。3D相机可直接采集作业对象的深度图，因此可以获取作业对象的视觉数据和当前位置数据。
对于第一尺寸的作业对象，如具有反光、尺寸小等特点的金属材质对象(如铜管或铝管焊接点等)，可以通过工业相机采集高分辨率图像，进而获取视觉数据，以及通过负责深度距离测量的激光测距仪获取当前位置数据。对于第二尺寸的作业对象，如尺寸较大且几何特征明显的对象(如物流包裹等)，可以通过3D相机采集几何结构信息(深度图，点云)，从而采集视觉数据和当前位置数据。
此外，对于第一尺寸的作业对象，如具有反光、尺寸小等特点的金属材质对象(如铜管或铝管焊接点等)，作业对象的位姿信息是指2D位姿[u,v,θu，zc]，其中[u，v]、θu、zc分别指在像素坐标系中的位置、与像素坐标系U轴的夹角和像素点在相机坐标系下Z轴的距离，[u，v，θu]是基于深度学习的任意方向目标检测算法利用视觉图像检测得到的，zc是结合激光测距仪的测量值和多传感器系统器件的布局关系得到的。对于第二尺寸的作业对象，如尺寸较大且几何特征明显的对象(例如，物流包裹等)，作业对象的位姿信息是相对于相机坐标系的6D位姿
通过6D位姿或者6D抓取点检测算法得到。像素坐标系是在成像平面上，以成像平面左上角为原点，相机坐标系以相机光心为原点，以光轴为ZC轴，XC,YC分别与像素坐标系的U轴和V轴平行建立的三维直角坐标系。
基于上述任一实施例，光电传感器为霍尔光电传感器。霍尔光电传感器是一种检测物体位置的磁场传感器，可以检测磁场及其变化，可在各种与磁场有关的场合中使用。
基于上述任一实施例，相机参数信息包括相机标定参数矩阵和手眼标定参数矩阵；
基于作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点，包括：
基于作业对象的位姿信息，相机标定参数矩阵以及手眼标定参数矩阵，以机器人运行路径最短为目标进行路径规划，确定机器人的作业路径点。
具体地，基于作业对象的位姿信息，相机标定参数矩阵K以及手眼标定参数矩阵N，以机器人运行路径最短为目标进行路径规划，规划出机器人自主柔性作业的路径点，路径点是指在机器人坐标系下的位姿[x,y,z,θx，θy，θz]，其与位姿信息(2D位姿和6D位姿)转换关系如下：
其中，K表示相机标定参数矩阵，fx，fy表示单位像素的实际物理尺寸大小，uo，vo表示图像平面中心在像素坐标系下的位置，N表示手眼标定参数矩阵，由旋转矩阵R和平移向量T组成。
基于上述任一实施例，本发明还提供一种机器人柔性作业系统，该系统包括：中央控制系统、触发系统、数据采集与处理系统、感知系统、运动规划系统、机器人控制器和末端柔顺执行机构，中央控制系统负责协调各系统工作来调整机器人姿态、规划作业的轨迹，实现对移动在输送带上作业对象动态跟踪和高精度的随动自主柔性作业。
其中，触发系统用于判断生产线传输的作业对象运动到达指定位置的子系统，由负责定位作业对象到达数据采集位置的霍尔光电传感器、负责定位作业对象到达开始作业位置的霍尔光电传感器以及输出脉冲边沿捕捉算法组成；数据采集与处理系统用于接收多传感器系统采集的数据，同时具有滤波、去操等数据预处理能力的子系统；多传感器系统与数据采集与处理系统连接，负责采集视觉、距离等感知数据的子系统；多传感器数据感知系统利用感知数据精准感知作业对象的位姿的子系统；运动规划系统利用多传感器数据感知系统输出的作业对象位姿、相机标定参数和手眼标定参数规划出机器人自主柔性作业的路径点；机器人随动系统结合机器人自主柔性作业的路径点与输送带编码器反馈的位置数据，实时获取调整机器人姿态的运动指令并发送到中央控制系统，达到跟踪路径点的目的；末端柔顺执行机构安装在机器人末端，实现对作业对象柔性操作的子系统；生产线传输系统指运输作业对象的子系统；工业机器人和机器人控制器：机器人控制器接收中央系统的运动指令，驱动机器人到达指定目标位置和姿态。
基于上述系统，可以控制机器人进行柔性作业，如图2所示，柔性作业方法包括如下步骤：
第一步：通过触发系统判断动态传输线上作业对象运动到达指定数据采集位置，提供数据采集触发信号；
第二步：通过数据采集与处理系统接收多传感器系统采集的作业对象视觉、位置等数据，并将采集数据发送给中央控制系统；
第三步：通过感知系统利用视觉、位置等多传感器数据得到作业对象的位姿，并将得到的位姿信息发送给中央控制系统；
第四步：运动规划系统根据作业对象的位姿信息、相机标定参数矩阵K以及手眼标定参数矩阵N，以机器人运行最短路径为准，规划出机器人自主柔性作业的路径点；
第五步：机器人随动系统结合机器人自主柔性作业的路径点与输送带编码器反馈的位置数据，实时获取调整机器人姿态的运动指令并发送到中央控制系统；
第六步：根据机器人运动指令，中央控制系统控制工业机器人实现对动态输送带上作业对象动态跟踪，并与末端柔顺执行机构相配合完成对作业对象的自主柔性作业。
由此可见，本发明的有益效果在于，在硬件层次上具有通用性，不仅适合焊接、搬运、分拣等多种作业任务，而且满足多种类型的视觉检测算法验证。同时，方法上能够快速精准跟随作业对象来完成作业任务，解决了现今机器人自主柔性作业只适用于作业对象位姿不随时间而改变的作业任务的问题。
基于上述任一实施例，本发明提供一种机器人柔性作业装置，如图3所示，该装置包括：
位姿确定单元310，用于在作业对象运动到指定位置时，确定所述作业对象的位姿信息；
路径确定单元320，用于基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；
作业控制单元330，用于基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
基于上述任一实施例，所述位姿确定单元310，用于：
在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，并基于所述视觉数据和所述当前位置数据，自主感知所述作业对象的位姿信息。
基于上述任一实施例，所述位姿确定单元310，用于：
接收所述指定位置处的光电传感器发送的脉冲信号，基于所述脉冲信号判断所述作业对象是否运动到指定位置，若是，则发送数据采集信号至数据采集系统，以通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据。
基于上述任一实施例，所述数据采集系统包括工业相机、激光测距仪以及3D相机；
所述位姿确定单元310，包括：
第一确定单元，用于对于第一尺寸的作业对象，通过工业相机采集所述视觉数据，以及通过激光测距仪采集所述当前位置数据；
第二确定单元，用于对于第二尺寸的作业对象，通过3D相机采集所述视觉数据和所述当前位置数据；所述第一尺寸小于所述第二尺寸。
基于上述任一实施例，所述光电传感器为霍尔光电传感器。
基于上述任一实施例，所述位姿确定单元310，用于：
对于第一尺寸的作业对象，利用基于深度学习的任意方向目标实时检测算法，自主感知所述作业对象在所述视觉数据中的位置、尺度和方向，并通过所述位置数据确定所述作业对象中心点处的深度距离信息。
对于第二尺寸的作业对象，基于用于表征作业场景的空间位置关系的深度图或点云数据，利用6D位姿检测算法检测所述作业对象的6D位姿；所述第一尺寸小于所述第二尺寸。
基于上述任一实施例，所述基于深度学习的任意方向目标实时检测算法包括：
采集所述作业对象所在作业场景的场景图像数据集，并将所述场景图像数据集划分为训练集和验证集；所述场景图像数据集中的各场景图像数据包含所述作业对象；
将所述作业对象近似为最小外接旋转四边形，并标注所述作业对象的属性信息；所述属性信息包括所述作业对象的类别属性、位置属性、尺寸属性和旋转角度属性；
将所述作业对象的位置属性和旋转角度属性的搜索范围划分为均匀的体素，转化属性预测为分类属性所在体素坐标和回归属性所在体素中心坐标系的归一化值；
聚类所述场景图像数据集中作业对象的尺寸属性为多个中心，将尺寸预测转换为回归与最接近的聚类尺寸中心的比例，并初始化深度神经网络用于进行属性预测。
基于上述任一实施例，所述相机参数信息包括相机标定参数矩阵和手眼标定参数矩阵；
所述路径确定单元320，用于：
基于所述作业对象的位姿信息，相机标定参数矩阵以及手眼标定参数矩阵，以所述机器人运行路径最短为目标进行路径规划，确定所述机器人的作业路径点。
基于上述任一实施例，本发明提供一种机器人，包括：如上任一实施例所述的机器人柔性作业装置。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、存储器(memory)420、通信接口(CommunicationsInterface)430和通信总线440，其中，处理器410，存储器420，通信接口430通过通信总线440完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行机器人柔性作业方法，该方法包括：在作业对象运动到指定位置时，确定所述作业对象的位姿信息；基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
此外，上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的机器人柔性作业方法，该方法包括：在作业对象运动到指定位置时，确定所述作业对象的位姿信息；基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的机器人柔性作业方法，该方法包括：在作业对象运动到指定位置时，确定所述作业对象的位姿信息；基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种机器人柔性作业方法，其特征在于，包括：
在作业对象运动到指定位置时，确定所述作业对象的位姿信息；
基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；所述机器人的作业路径点是以机器人运行路径最短为规划目标，或以机器人操作空间最大为规划目标确定的；
基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作；
所述在作业对象运动到指定位置时，确定所述作业对象的位姿信息，包括：
在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，并基于所述视觉数据和所述当前位置数据，自主感知所述作业对象的位姿信息；
所述在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，包括：
接收所述指定位置处的光电传感器发送的脉冲信号，基于所述脉冲信号判断所述作业对象是否运动到指定位置，若是，则发送数据采集信号至数据采集系统，以通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据；
所述数据采集系统包括工业相机、激光测距仪以及3D相机；
所述通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据，包括：
对于第一尺寸的作业对象，通过工业相机采集所述视觉数据，以及通过激光测距仪采集所述当前位置数据；
对于第二尺寸的作业对象，通过3D相机采集所述视觉数据和所述当前位置数据；所述第一尺寸小于所述第二尺寸。
2.根据权利要求1所述的机器人柔性作业方法，其特征在于，所述光电传感器为霍尔光电传感器。
3.根据权利要求1所述的机器人柔性作业方法，其特征在于，所述基于所述视觉数据和所述位置数据，自主感知所述作业对象位姿，包括：
对于第一尺寸的作业对象，利用基于深度学习的任意方向目标实时检测算法，自主感知所述作业对象在所述视觉数据中的位置、尺度和方向，并通过所述位置数据确定所述作业对象中心点处的深度距离信息；
对于第二尺寸的作业对象，基于用于表征作业场景的空间位置关系的深度图或点云数据，利用6D位姿检测算法检测所述作业对象的6D位姿；所述第一尺寸小于所述第二尺寸。
4.根据权利要求3所示所述的机器人柔性作业方法，其特征在于，所述基于深度学习的任意方向目标实时检测算法包括：
采集所述作业对象所在作业场景的场景图像数据集，并将所述场景图像数据集划分为训练集和验证集；所述场景图像数据集中的各场景图像数据包含所述作业对象；
将所述作业对象近似为最小外接旋转四边形，并标注所述作业对象的属性信息；所述属性信息包括所述作业对象的类别属性、位置属性、尺寸属性和旋转角度属性；
将所述作业对象的位置属性和旋转角度属性的搜索范围划分为均匀的体素，转化属性预测为分类属性所在体素坐标和回归属性所在体素中心坐标系的归一化值；
聚类所述场景图像数据集中作业对象的尺寸属性为多个中心，将尺寸预测转换为回归与最接近的聚类尺寸中心的比例，并初始化深度神经网络用于进行属性预测。
5.根据权利要求1至4任一项所述的机器人柔性作业方法，其特征在于，所述相机参数信息包括相机标定参数矩阵和手眼标定参数矩阵；
所述基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点，包括：
基于所述作业对象的位姿信息，相机标定参数矩阵以及手眼标定参数矩阵，以所述机器人运行路径最短为目标进行路径规划，确定所述机器人的作业路径点。
6.一种机器人柔性作业装置，其特征在于，包括：
位姿确定单元，用于在作业对象运动到指定位置时，确定所述作业对象的位姿信息；
路径确定单元，用于基于所述作业对象的位姿信息，以及相机参数信息，确定机器人的作业路径点；所述机器人的作业路径点是以机器人运行路径最短为规划目标，或以机器人操作空间最大为规划目标确定的；
作业控制单元，用于基于所述机器人的作业路径点，以及所述作业对象的当前位置数据，生成当前运动指令，并将所述当前运动指令发送至所述机器人的执行机构，以使所述执行机构基于所述当前运动指令实时调整姿态并对所述作业对象进行柔性作业操作；
所述在作业对象运动到指定位置时，确定所述作业对象的位姿信息，包括：
在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，并基于所述视觉数据和所述当前位置数据，自主感知所述作业对象的位姿信息；
所述在作业对象运动到指定位置时，采集所述作业对象的视觉数据和当前位置数据，包括：
接收所述指定位置处的光电传感器发送的脉冲信号，基于所述脉冲信号判断所述作业对象是否运动到指定位置，若是，则发送数据采集信号至数据采集系统，以通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据；
所述数据采集系统包括工业相机、激光测距仪以及3D相机；
所述通过所述数据采集系统采集所述作业对象的视觉数据和当前位置数据，包括：
对于第一尺寸的作业对象，通过工业相机采集所述视觉数据，以及通过激光测距仪采集所述当前位置数据；
对于第二尺寸的作业对象，通过3D相机采集所述视觉数据和所述当前位置数据；所述第一尺寸小于所述第二尺寸。
7.一种机器人，其特征在于，包括：如权利要求6所述的机器人柔性作业装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813930.9A CN113601501B (zh) | 2021-07-19 | 2021-07-19 | 机器人柔性作业方法、装置及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813930.9A CN113601501B (zh) | 2021-07-19 | 2021-07-19 | 机器人柔性作业方法、装置及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113601501A CN113601501A (zh) | 2021-11-05 |
| CN113601501B true CN113601501B (zh) | 2022-10-28 |
Family
ID=78337907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110813930.9A Active CN113601501B (zh) | 2021-07-19 | 2021-07-19 | 机器人柔性作业方法、装置及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113601501B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115399886B (zh) * | 2022-06-27 | 2023-10-31 | 中国科学院自动化研究所 | 手术机器人、手术机器人控制方法及存储介质 |
| CN117428792A (zh) * | 2023-12-21 | 2024-01-23 | 商飞智能技术有限公司 | 用于机器人的作业系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110948492A (zh) * | 2019-12-23 | 2020-04-03 | 浙江大学 | 一种基于深度学习的三维抓取平台和抓取方法 |
| CN111015662A (zh) * | 2019-12-25 | 2020-04-17 | 深圳蓝胖子机器人有限公司 | 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 |
| CN111421539A (zh) * | 2020-04-01 | 2020-07-17 | 电子科技大学 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
| CN111775154A (zh) * | 2020-07-20 | 2020-10-16 | 广东拓斯达科技股份有限公司 | 一种机器人视觉系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110740841B (zh) * | 2017-06-13 | 2023-10-27 | 川崎重工业株式会社 | 作业系统 |
| JP7363098B2 (ja) * | 2019-05-24 | 2023-10-18 | セイコーエプソン株式会社 | ロボットの制御方法 |
-
2021
- 2021-07-19 CN CN202110813930.9A patent/CN113601501B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110948492A (zh) * | 2019-12-23 | 2020-04-03 | 浙江大学 | 一种基于深度学习的三维抓取平台和抓取方法 |
| CN111015662A (zh) * | 2019-12-25 | 2020-04-17 | 深圳蓝胖子机器人有限公司 | 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 |
| CN111421539A (zh) * | 2020-04-01 | 2020-07-17 | 电子科技大学 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
| CN111775154A (zh) * | 2020-07-20 | 2020-10-16 | 广东拓斯达科技股份有限公司 | 一种机器人视觉系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113601501A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7284953B2 (ja) | 高度化したスキャンメカニズムを有するロボットシステム | |
| US11772267B2 (en) | Robotic system control method and controller | |
| CN101370624B (zh) | 自动化攫握零件的方法和系统 | |
| CN113601501B (zh) | 机器人柔性作业方法、装置及机器人 | |
| US20160195390A1 (en) | Inspecting components using mobile robotic inspection systems | |
| JP2008296330A (ja) | ロボットシミュレーション装置 | |
| CN112684728B (zh) | 一种基于激光slam的机器人码垛控制方法 | |
| CN113269085B (zh) | 一种直线传送带跟踪控制方法、系统、装置及存储介质 | |
| Bellandi et al. | Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation | |
| Andersen et al. | Fast calibration of industrial mobile robots to workstations using QR codes | |
| CN113267180A (zh) | 一种基于3d深度视觉的agv叉车托盘定位及叉取方法 | |
| WO2020260272A1 (en) | Autonomous mobile aircraft inspection system | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| Fröhlig et al. | Three-dimensional pose estimation of deformable linear object tips based on a low-cost, two-dimensional sensor setup and AI-based evaluation | |
| EP4094904B1 (en) | Robot system control device, robot system control method, computer control program, and robot system | |
| Saukkoriipi | Design and implementation of robot skill programming and control | |
| WO2023073780A1 (ja) | 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法 | |
| TWI788253B (zh) | 適應性移動操作設備及方法 | |
| CN116100562B (zh) | 多机器人协同上下料的视觉引导方法及系统 | |
| Skov et al. | 3D Navigation by UAV using a mono-camera, for precise target tracking for contact inspection of critical infrastructures | |
| US20230241771A1 (en) | Object placement | |
| Kirci et al. | EuroPallet Detection with RGB-D Camera Based on Deep Learning | |
| Mascaro et al. | Simulation and Validation of Material Handling and Packaging Processes Using Vision-Guided Virtual and Physical Robots | |
| Gomes | Trajectory Generation for a Robot Manipulator using data from a 2D Industrial Laser | |
| JP2023003602A (ja) | 制御システム、駆動装置、入力装置および制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |