CN111347426B - 一种基于3d视觉的机械臂精确放置轨迹规划方法 - Google Patents
一种基于3d视觉的机械臂精确放置轨迹规划方法 Download PDFInfo
- Publication number
- CN111347426B CN111347426B CN202010223876.8A CN202010223876A CN111347426B CN 111347426 B CN111347426 B CN 111347426B CN 202010223876 A CN202010223876 A CN 202010223876A CN 111347426 B CN111347426 B CN 111347426B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- mechanical arm
- pose
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于3D视觉的机械臂精确放置轨迹规划方法，包括步骤：S1.对两个视觉系统进行标定；S2.计算位于目标放置点正上方预设高度处的一个待规划点的理论位姿；S3.机械臂带动物体移向待规划点处；S4.联合两个视觉系统获取物体位姿；S5.对比获取的物体位姿和步骤S2中得到的理论位姿，判断两者是否相等，若不相等执行步骤S6，若相等执行步骤S7；S6.规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，并执行步骤S5；S7.机械臂带动物体朝下移至目标放置点；该方法可提高机械臂将物体放置到目标点处的精确度。
Description
技术领域
本发明涉及工业机械臂技术领域，尤其涉及一种基于3D视觉的机械臂精确放置轨迹规划方法。
背景技术
随着工业的发展，机械臂的应用越来越普遍，机械臂的抓取和放置运动的应用场景也越来越广泛。
目前机械臂对物体的抓取和放置方法有以预设路线在两点之间进行抓取与放置、通过深度学习来实现快速抓取与放置等；
对于以预设路线在两点之间进行抓取与放置的方法，由于长期往复运动，机械臂运动误差和夹爪本身误差会积累，导致放置位置不准确；
对于通过深度学习来实现快速抓取与放置，需要进行大量的学习训练，工作量非常大，而且达到的效果常常不够理想，机械臂的放置精度依然不够高。
因此，在加工精度要求高的场景下，机械臂的精准放置往往不能满足加工需求，无法把物体准确放置到目标点处。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于3D视觉的机械臂精确放置轨迹规划方法，旨在解决了目前机械臂无法准确将物体放置到目标点处的问题。
为了达到上述目的，本发明采取了以下技术方案：
一种基于3D视觉的机械臂精确放置轨迹规划方法，包括步骤：
S1.对两个视觉系统进行标定，其中一个视觉系统包括4个布置在机械臂操作平台上方的RGBD相机，另一个视觉系统包括4个布置在机械臂操作平台下方的2D相机；
S2.计算位于目标放置点正上方预设高度处的一个待规划点的理论位姿；
S3.机械臂带动物体移向待规划点处；
S4.联合两个视觉系统获取物体位姿；
S5.对比获取的物体位姿和步骤S2中得到的理论位姿，判断两者是否相等，若不相等执行步骤S6，若相等执行步骤S7；
S6.规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，并执行步骤S5；
S7. 机械臂带动物体朝下移至目标放置点。
所述的基于3D视觉的机械臂精确放置轨迹规划方法中，步骤S1中，对两个视觉系统进行标定包括：
各相机的自标定，以获得相机的内、外参数；
各相机的手眼标定，以获得两个视觉系统与机械臂基坐标系的转换矩阵；
两个视觉系统的联合标定，以获得两个视觉系统之间的转换矩阵。
所述的基于3D视觉的机械臂精确放置轨迹规划方法中，获得每个视觉系统与机械臂基坐标系的转换矩阵的方法包括步骤：
1）对每个相机进行手眼标定，得到每个相机与机械臂基坐标系之间的变换矩阵；
2）根据得出来的变换矩阵，换算出各个相机之间的位置关系；
3）将换算出来的位置关系，输入到视觉系统中，将四个相机所看到工作场景融合为一个整体的工作空间；
4）从四个相机中选取一个作为主相机，进行手眼标定，得到的转换矩阵为该视觉系统与机械臂基坐标系之间的变换矩阵。
所述的基于3D视觉的机械臂精确放置轨迹规划方法中，步骤S4中，联合两个视觉系统获取物体位姿包括步骤：
S401.通过3D视觉系统获取物体位姿；
S402.通过2D视觉系统获取物体位姿；
S403.判断两个视觉系统获得的物体位姿是否相等，若相等则执行步骤S404，若不相等则重复步骤S401、S402、S403；
S404.输出物体位姿测量结果。
进一步的，步骤S401包括：
S4011. 使用三维建模软件对物体进行三维模型的构建，然后利用软件经三维模型转化为点云数据保存为目标点云B；
S4012. 通过RGBD相机获取机械臂和物体的整体点云A；
S4013. 对整体点云A进行滤波处理，得到滤波后的整体点云A’；
S4014.利用平面分割算法把物体的点云从滤波后的整体点云A’中分割出来，得到物体点云A”;
S4015.对物体点云A”进行点云粗匹配获取匹配成功点云E’；
S4016.对匹配成功点云E’进行精匹配获得最终变换矩阵;
S4017.根据所述最终变换矩阵和目标点云B，计算出此时3D视觉获取的物体位姿，并根据3D视觉系统与机械臂基坐标系的转换矩阵，计算出物体在机械臂基坐标系下的位姿。
其中，所述对物体点云A”进行点云粗匹配获取匹配成功点云E’包括步骤：
1）对物体点云A”进行下采样得到待匹配点云C；
2）对待匹配点云C和目标点云B进行关键特征的提取，得到特征点云C’和B’；
3）根据FPFH算法对两特征点云进行特征表述，进而计算两特征点云各点间的欧氏距离设置阈值d,保留相似点对E，然后利用RANSAC算法选择点对E中的几个点对计算出刚性变换矩阵；
4）重复进行第3）步预设次数，将点对E中成功率高的点云保留下来作为匹配成功点云E’。
其中，所述对匹配成功点云E’进行精匹配获得最终变换矩阵包括步骤：
1）把粗匹配后得到的点云E’作为新的待匹配点云，利用最小二乘法对应E’中每个点在特征点云B’中找出距离最短的点，保存为点云F；
2）利用ICP算法将点云E’和点云F进行匹配，得到刚性变换矩阵R和T；
3）根据求得的刚性变换矩阵R和T对点云E’进行进行更新,然后计算更新后的点云E’与点云F的均方差d1；
4）重复执行步骤1）、2）、3），直到均方差d1在预设阈值范围内或迭代次数达到预设执行次数，停止迭代，把最后得到刚性变换矩阵R和T作为最终的变换矩阵R’和T’。
进一步的，步骤S402包括：
S4021. 在物体底部贴可识别的二维码；
S4022. 利用ar_track_alvar软件包提供的算法识别物体在空间中的位姿，得出位姿值；
S4023. 利用步骤S4022获取的位姿值根据2D视觉系统与机械臂基坐标系的转换矩阵计算出物体在机械臂基坐标系下的位姿。
所述的基于3D视觉的机械臂精确放置轨迹规划方法中，步骤S403中，当两个视觉系统获得的物体位姿之间的偏差值在预设阈值范围内，则判断为两者相等；所述预设阈值为1-3mm。
所述的基于3D视觉的机械臂精确放置轨迹规划方法中，步骤S6中，规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点包括步骤：
S601.采用五次多项式插补算法规划出从当前位置到待规划点的由多个路径点组成的运动轨迹，并计算出在各路径点处的理论物体位姿；
S602.机械臂带动物体沿规划出的运动轨迹依次移向各路径点；
S603.在每个各路径点处联合两个视觉系统获取实际物体位姿；
S604.当在某个路径点处的实际物体位姿与理论物体位姿不相等时重复步骤S601获得新的运动轨迹，并沿新运动轨迹继续移动，直到到达待规划点。
有益效果：
本发明提供的一种基于3D视觉的机械臂精确放置轨迹规划方法，具有以下优点：
1.设置两个视觉系统来获取物体的位姿，并在获取物体的位姿时，只有当两个视觉系统获取的位姿值相等是才会作为有效位姿值，从而提高获取位姿精确度；
2. 用两个视觉系统来实时监控机械臂运动，获取的机械臂实时运动状态的数据的精度高；
3. 通过规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，可大大提高物体达到待规划点的精确度，从而提高放置精度。
附图说明
图1为本发明提供的基于3D视觉的机械臂精确放置轨迹规划方法的流程图。
图2为本发明提供的基于3D视觉的机械臂精确放置轨迹规划方法的原理图。
图3为视觉系统标定的流程图。
图4为获取物体位姿的流程图。
图5为控制物体从待规划点移动至目标放置点的过程的流程图。
图6为使物体移动至待规划点的闭环控制过程。
图7为视觉系统中的四个相机的一种示例性布置图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
下文的公开提供的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1、2，本发明提供的一种基于3D视觉的机械臂精确放置轨迹规划方法，包括步骤：
S1.对两个视觉系统进行标定，其中一个视觉系统包括4个布置在机械臂操作平台上方的RGBD相机，另一个视觉系统包括4个布置在机械臂操作平台下方的2D相机；
S2.计算位于目标放置点正上方预设高度处的一个待规划点的理论位姿；
S3.机械臂带动物体移向待规划点处；
S4.联合两个视觉系统获取物体位姿；
S5.对比获取的物体位姿和步骤S2中得到的理论位姿，判断两者是否相等，若不相等执行步骤S6，若相等执行步骤S7；
S6.规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，并执行步骤S5；
S7. 机械臂带动物体朝下移至目标放置点。
以下对各步骤进行详述。
S1.对两个视觉系统进行标定，其中一个视觉系统包括4个布置在机械臂操作平台上方的RGBD相机，另一个视觉系统包括4个布置在机械臂操作平台下方的2D相机。
由于现有技术中通常是使用单个3D视觉系统进行位姿获取的，得到的位姿误差较大，无法满足高精准度放置的要求，此处，将使用两个视觉系统进行位姿获取，以提高位姿精确度，为实现高精准度放置提供支持。
其中，第一个视觉系统为3D视觉系统，包括4个布置在机械臂操作平台上方的RGBD相机；第二个视觉系统为2D视觉系统，包括4个布置在机械臂操作平台下方的2D相机。
对于每一个视觉系统，采用4个相机来构建环境相机，其中，4个相机的分布位置可根据实际环境进行布置，但需确保在机械臂的运动范围内的任一位置，至少1个相机可拍摄到物体。例如，可以采用图7所示的布置方式，4个相机呈矩形分布，但限于此。
具体的，见图3，对两个视觉系统进行标定包括：
各相机的自标定，以获得相机的内、外参数；
各相机的手眼标定，以获得两个视觉系统与机械臂基坐标系的转换矩阵；
两个视觉系统的联合标定，以获得两个视觉系统之间的转换矩阵。
其中，获得每个视觉系统与机械臂基坐标系的转换矩阵的方法具体包括步骤：
1）对每个相机进行手眼标定，得到每个相机与机械臂基坐标系之间的变换矩阵（该过程可按现有技术的手眼标定方法执行）；
2）根据得出来的变换矩阵，换算出各个相机之间的位置关系；
3）将换算出来的位置关系，输入到视觉系统中，将四个相机所看到工作场景融合为一个整体的工作空间（可以采用现有的手动icp融合方法进行融合，但不限于此）；
4）从四个相机中选取一个作为主相机，进行手眼标定，得到的转换矩阵为该视觉系统与机械臂基坐标系之间的变换矩阵。
对两个视觉系统均采用上述方法得到各自与机械臂基坐标系之间的变换矩阵。
其中，两个视觉系统的联合标定，以获得两个视觉系统之间的转换矩的具体方法为：根据上面得到的两个视觉系统的主相机与机械臂基坐标系之间的变换矩阵，计算出两个视觉系统之间的转换矩阵。
S2.计算位于目标放置点正上方预设高度处的一个待规划点的理论位姿。
对于机械臂抓取物体后如何精准放置在目标放置点的问题，解决方式有很多中，本发明提供的是一种比较简单，实施方便的方法：先把物体移动至目标放置点正上方预设高度h处（把该位置称为待规划点），然后向下移动进行放置，由于向下移动的过程位置精度容易控制，只要能够保证物体能够精准地移动至待规划点，则可精确地把物体放置在目标放置点。
而在待规划点处的物体的理论位姿是可通过计算得到的，此为现有技术，此处不对计算过程进行详述。
S3.机械臂带动物体移向待规划点处。
该步骤的具体过程是根据步骤S2中计算得到的物体理论位姿计算出机械臂的理论位姿，然后控制机械臂动作，使机械臂位姿到达理论位姿。
S4.联合两个视觉系统获取物体位姿。
见图4，联合两个视觉系统获取物体位姿包括步骤：
S401.通过3D视觉系统获取物体位姿；
S402.通过2D视觉系统获取物体位姿；
S403.判断两个视觉系统获得的物体位姿是否相等，若相等则执行步骤S404，若不相等则重复步骤S401、S402、S403；
S404.输出物体位姿测量结果。
由于在物体不动的情况下，通过3D视觉获取的位姿数据并非恒定不变的，每次获得的位姿数据会在一定的允差范围内随机变化的，因此每次获得的位姿会不同。其中，当两个视觉系统获得的物体位姿之间的偏差值在预设阈值范围内，则可认为两者相等，具体的预设阈值可以根据实际精度需要进行设置（如预设阈值为1-3mm），例如要求精度较高，则预设阈值较小，如要求精度较低，则预设阈值较大。
此处，通过两个视觉系统同时获取物体的位姿，只有当两个位姿相等时才作为有效位姿而被采用，否则重新获取，其误差相对于单独采用3D视觉系统或2D视觉系统获时小了很多，位姿精确度更高。
进一步的，步骤S401通过3D视觉系统获取物体位姿的过程包括：
S4011. 使用三维建模软件（可以但不限于是solidworks）对物体进行三维模型的构建，然后利用软件经三维模型转化为点云数据保存为目标点云B；
S4012. 通过RGBD相机获取机械臂和物体的整体点云A；具体的，4个RGBD相机自获取一组点云，再合成为一组点云A；
S4013. 对整体点云A进行滤波处理，得到滤波后的整体点云A’；
S4014.利用平面分割算法把物体的点云从滤波后的整体点云A’中分割出来，得到物体点云A”;
S4015.对物体点云A”进行点云粗匹配获取匹配成功点云E’；
S4016.对匹配成功点云E’进行精匹配获得最终变换矩阵;
S4017.根据最终变换矩阵和目标点云B，计算出此时3D视觉获取的物体位姿，并根据3D视觉系统与机械臂基坐标系的转换矩阵（在步骤S1中标定得到），计算出物体在机械臂基坐标系下的位姿。
其中，S4015对物体点云A”进行点云粗匹配获取匹配成功点云E’包括步骤：
1）对物体点云A”进行下采样得到待匹配点云C；
具体是通过构造一个三维体素栅格，将每个体素内的所有点云用一个重心点来表示，这样大大减少了点云数量，经过下采样后得到点云C；
2）对待匹配点云C和目标点云B进行法向关键特征的提取，得到特征点云C’和B’；
通过该步骤可提高待配准点云数据在匹配点的搜索速度和准确性，其中进行关键特征的提取的方法为现有技术，此处不对其进行详述；
3）根据FPFH算法对两特征点云进行特征表述，利用RANSAC算法选择点对E中的几个点对计算出刚性变换矩阵；
4）重复进行第3）步预设次数，将点对E中与B’中匹配分数高的点云保留下来作为匹配成功点云E’。
其中，S4016对匹配成功点云E’进行精匹配获得最终变换矩阵包括步骤：
1）把粗匹配后得到的点云E’作为新的待匹配点云，利用最小二乘法对应E’中每个点在特征点云B’中找出距离最短的点（即在特征点云B’中找出离E’的点最近的点），保存为点云F；
2）利用ICP算法将点云E’和点云F进行匹配，得到刚性变换矩阵R和T；
3）根据求得的刚性变换矩阵R和T对点云E’进行进行更新,然后计算更新后的点云E’与点云F的均方差d1；
4）重复执行步骤1）、2）、3），直到均方差d1在预设阈值范围内或迭代次数达到预设执行次数，停止迭代，把最后得到刚性变换矩阵R和T作为最终的变换矩阵R’和T’；
其中，预设阈值和或迭代次数可根据实现精度需要进行设置。
进一步的，步骤S402通过2D视觉系统获取物体位姿包括：
S4021. 在物体底部贴可识别的二维码(如ARTag标签)；
S4022. 利用ar_track_alvar软件包提供的算法识别物体在空间中的位姿，得出位姿值；
S4023. 利用步骤S4022获取的位姿值根据2D视觉系统与机械臂基坐标系的转换矩阵（在步骤S1中标定得到）计算出物体在机械臂基坐标系下的位姿。
S5.对比获取的物体位姿和步骤S2中得到的理论位姿，判断两者是否相等，若不相等执行步骤S6，若相等执行步骤S7（如图5所示）。
由于步骤S3中，机械臂完成移动后，物体的实际位姿与理论位姿通常是具有一定误差的（即物体停止位置与待规划点之间具有一定偏差），此时需要控制物体进一步移动至待规划点，直到物体到达待规划点后再朝下移动至目标放置点。
S6.规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，并执行步骤S5。
其中，见图6，规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点包括步骤：
S601.采用五次多项式插补算法规划出从当前位置到待规划点的由多个路径点组成的运动轨迹，并计算出在各路径点处的理论物体位姿；
S602.机械臂带动物体沿规划出的运动轨迹依次移向各路径点；
S603.在每个各路径点处联合两个视觉系统获取实际物体位姿；获取实际物体位姿的具体过程与步骤S4相同；
S604.当在某个路径点处的实际物体位姿与理论物体位姿不相等时重复步骤S601获得新的运动轨迹，并沿新运动轨迹继续移动，直到到达待规划点。
在机械臂带动物体到达待规划点的过程中，如果只是一次性进行规划出运动轨迹后，使机械臂直接沿该运动轨迹移动，则在移动过程中机械臂的运动与规划的轨迹会存在误差，且该误差会积累，最终导致无法精确到达待规划点。
本发明在该过程中，规划出运动轨迹后，机械臂使物体沿该轨迹运动并通过视觉系统实时对物体的位姿进行监控，一旦在某个路径点处的位姿偏离理论值时（偏差超过允差范围即判定为偏离理论值，其中允差范围根据实际精度要求进行设置），立刻重新规划从当前位置到待规划点的运动轨迹，并使机械臂沿新的运动轨迹执行动作，从而有效避免误差积累，大大地提高了到达目标点的精确度；此外，由于在某个路径点处的位姿偏离理论值时，是重新规划运动轨迹，而不是控制物体进行位置调整直到回到该路径点的正确位姿后再沿原来轨迹继续运动，可避免往复运动位置调整的过程，大大提高运行效率。
此外，若完成一次规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点的过程后，获取的物体位姿和步骤S2中得到的理论位姿依然不相等，则重复步骤S6，直到两者相等，如图5所示，可进一步保证达目标点的精确度。
S7. 机械臂带动物体朝下移至目标放置点。
由于物体通过步骤S6已经精确地到达目标放置点正上方预设高度h处的待规划点，此时只需要带动动物体朝下移动距离h即可实现精确放置。
由上可知，该基于3D视觉的机械臂精确放置轨迹规划方法，具有以下优点：
1.设置两个视觉系统来获取物体的位姿，并在获取物体的位姿时，只有当两个视觉系统获取的位姿值相等是才会作为有效位姿值，从而提高获取位姿精确度；
2. 用两个视觉系统来实时监控机械臂运动，获取的机械臂实时运动状态的数据的精度高；
3. 通过规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，可大大提高物体达到待规划点的精确度，从而提高放置精度。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。
Claims (6)
1.一种基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，包括步骤：
S1.对两个视觉系统进行标定，其中一个视觉系统包括4个布置在机械臂操作平台上方的RGBD相机，另一个视觉系统包括4个布置在机械臂操作平台下方的2D相机；
S2.计算位于目标放置点正上方预设高度处的一个待规划点的理论位姿；
S3.机械臂带动物体移向待规划点处；
S4.联合两个视觉系统获取物体位姿；
S5.对比获取的物体位姿和步骤S2中得到的理论位姿，判断两者是否相等，若不相等执行步骤S6，若相等执行步骤S7；
S6.规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点，并执行步骤S5；
S7. 机械臂带动物体朝下移至目标放置点；
步骤S1中，对两个视觉系统进行标定包括：
各相机的自标定，以获得相机的内、外参数；
各相机的手眼标定，以获得两个视觉系统与机械臂基坐标系的转换矩阵；
两个视觉系统的联合标定，以获得两个视觉系统之间的转换矩阵；
其中，获得每个视觉系统与机械臂基坐标系的转换矩阵的方法包括步骤：
1）对每个相机进行手眼标定，得到每个相机与机械臂基坐标系之间的变换矩阵；
2）根据得出来的变换矩阵，换算出各个相机之间的位置关系；
3）将换算出来的位置关系，输入到视觉系统中，将四个相机所看到工作场景融合为一个整体的工作空间；
4）从四个相机中选取一个作为主相机，进行手眼标定，得到的转换矩阵为该视觉系统与机械臂基坐标系之间的变换矩阵；
步骤S4中，联合两个视觉系统获取物体位姿包括步骤：
S401.通过3D视觉系统获取物体位姿；
S402.通过2D视觉系统获取物体位姿；
S403.判断两个视觉系统获得的物体位姿是否相等，若相等则执行步骤S404，若不相等则重复步骤S401、S402、S403；
S404.输出物体位姿测量结果；
步骤S6中，规划运动轨迹并利用两个视觉系统获取的物体位姿，对机械臂进行闭环控制从而使物体沿规划的轨迹移至待规划点包括步骤：
S601.采用五次多项式插补算法规划出从当前位置到待规划点的由多个路径点组成的运动轨迹，并计算出在各路径点处的理论物体位姿；
S602.机械臂带动物体沿规划出的运动轨迹依次移向各路径点；
S603.在每个各路径点处联合两个视觉系统获取实际物体位姿；
S604.当在某个路径点处的实际物体位姿与理论物体位姿不相等时重复步骤S601获得新的运动轨迹，并沿新运动轨迹继续移动，直到到达待规划点。
2.根据权利要求1所述的基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，步骤S401包括：
S4011. 使用三维建模软件对物体进行三维模型的构建，然后利用软件经三维模型转化为点云数据保存为目标点云B；
S4012. 通过RGBD相机获取机械臂和物体的整体点云A；
S4013. 对整体点云A进行滤波处理，得到滤波后的整体点云A’；
S4014.利用平面分割算法把物体的点云从滤波后的整体点云A’中分割出来，得到物体点云A”;
S4015.对物体点云A”进行点云粗匹配获取匹配成功点云E’；
S4016.对匹配成功点云E’进行精匹配获得最终变换矩阵;
S4017.根据所述最终变换矩阵和目标点云B，计算出此时3D视觉获取的物体位姿，并根据3D视觉系统与机械臂基坐标系的转换矩阵，计算出物体在机械臂基坐标系下的位姿。
3.根据权利要求2所述的基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，所述对物体点云A”进行点云粗匹配获取匹配成功点云E’包括步骤：
1）对物体点云A”进行下采样得到待匹配点云C；
2）对待匹配点云C和目标点云B进行关键特征的提取，得到特征点云C’和B’；
3）根据FPFH算法对两特征点云进行特征表述，进而计算两特征点云各点间的欧氏距离设置阈值d,保留相似点对E，然后利用RANSAC算法选择点对E中的几个点对计算出刚性变换矩阵；
4）重复进行第3）步预设次数，将点对E中成功率高的点云保留下来作为匹配成功点云E’。
4.根据权利要求3所述的基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，所述对匹配成功点云E’进行精匹配获得最终变换矩阵包括步骤：
1）把粗匹配后得到的点云E’作为新的待匹配点云，利用最小二乘法对应E’中每个点在特征点云B’中找出距离最短的点，保存为点云F；
2）利用ICP算法将点云E’和点云F进行匹配，得到刚性变换矩阵R和T；
3）根据求得的刚性变换矩阵R和T对点云E’进行进行更新,然后计算更新后的点云E’与点云F的均方差d1；
4）重复执行步骤1）、2）、3），直到均方差d1在预设阈值范围内或迭代次数达到预设执行次数，停止迭代，把最后得到刚性变换矩阵R和T作为最终的变换矩阵R’和T’。
5.根据权利要求1所述的基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，步骤S402包括：
S4021. 在物体底部贴可识别的二维码；
S4022. 利用ar_track_alvar软件包提供的算法识别物体在空间中的位姿，得出位姿值；
S4023. 利用步骤S4022获取的位姿值根据2D视觉系统与机械臂基坐标系的转换矩阵计算出物体在机械臂基坐标系下的位姿。
6.根据权利要求1所述的基于3D视觉的机械臂精确放置轨迹规划方法，其特征在于，步骤S403中，当两个视觉系统获得的物体位姿之间的偏差值在预设阈值范围内，则判断为两者相等；所述预设阈值为1-3mm。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010223876.8A CN111347426B (zh) | 2020-03-26 | 2020-03-26 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010223876.8A CN111347426B (zh) | 2020-03-26 | 2020-03-26 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111347426A CN111347426A (zh) | 2020-06-30 |
| CN111347426B true CN111347426B (zh) | 2021-06-04 |
Family
ID=71194672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010223876.8A Active CN111347426B (zh) | 2020-03-26 | 2020-03-26 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111347426B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116664B (zh) * | 2020-09-04 | 2024-05-28 | 季华实验室 | 手眼标定轨迹生成方法、装置、电子设备及存储介质 |
| CN114612363A (zh) * | 2020-11-23 | 2022-06-10 | 北京格灵深瞳信息技术有限公司 | 螺栓松动检测方法，装置，电子设备及存储介质 |
| CN113119123B (zh) * | 2021-04-12 | 2022-05-17 | 厦门大学 | 一种办公转椅生产的运动控制方法 |
| CN113400298B (zh) * | 2021-05-10 | 2022-04-08 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
| CN113696181B (zh) * | 2021-08-31 | 2023-02-17 | 上海景吾智能科技有限公司 | 适用于不规则平面的机器人清洁路线规划方法和系统 |
| CN114083533B (zh) * | 2021-11-09 | 2024-04-09 | 广州富港生活智能科技有限公司 | 一种基于机械臂的数据处理方法及装置 |
| CN115946133B (zh) * | 2023-03-16 | 2023-06-02 | 季华实验室 | 基于强化学习的机械臂插件控制方法、装置、设备及介质 |
| CN116452757B (zh) * | 2023-06-15 | 2023-09-15 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106573381A (zh) * | 2014-06-04 | 2017-04-19 | 因特利格兰特总部有限责任公司 | 卡车卸载机可视化 |
| CN107526360A (zh) * | 2017-09-26 | 2017-12-29 | 河南科技学院 | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 |
| WO2018014023A1 (en) * | 2016-07-15 | 2018-01-18 | Magna International Inc. | System and method for adaptive bin picking for manufacturing |
| CN108205314A (zh) * | 2016-12-19 | 2018-06-26 | 广东技术师范学院 | 基于立体视觉匹配的机器人导航装置及系统 |
| CN108326850A (zh) * | 2018-01-10 | 2018-07-27 | 温州大学 | 一种机器人准确移动机械臂到达指定位置的方法及系统 |
| JP6376296B1 (ja) * | 2017-02-09 | 2018-08-22 | 三菱電機株式会社 | 位置制御装置及び位置制御方法 |
| CN108724179A (zh) * | 2017-04-21 | 2018-11-02 | 精工爱普生株式会社 | 控制装置、机器人及机器人系统 |
| CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
| CN109514557A (zh) * | 2018-12-13 | 2019-03-26 | 北京炎凌嘉业机电设备有限公司 | 一种3d视觉机器人轨迹修正系统 |
| CN109641706A (zh) * | 2018-02-02 | 2019-04-16 | 深圳蓝胖子机器人有限公司 | 拣货方法、系统及其应用的获持与放置系统、机器人 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4298757B2 (ja) * | 2007-02-05 | 2009-07-22 | ファナック株式会社 | ロボット機構のキャリブレーション装置及び方法 |
| JP6579498B2 (ja) * | 2017-10-20 | 2019-09-25 | 株式会社安川電機 | 自動化装置及び位置検出装置 |
| US20190143517A1 (en) * | 2017-11-14 | 2019-05-16 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for collision-free trajectory planning in human-robot interaction through hand movement prediction from vision |
-
2020
- 2020-03-26 CN CN202010223876.8A patent/CN111347426B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106573381A (zh) * | 2014-06-04 | 2017-04-19 | 因特利格兰特总部有限责任公司 | 卡车卸载机可视化 |
| WO2018014023A1 (en) * | 2016-07-15 | 2018-01-18 | Magna International Inc. | System and method for adaptive bin picking for manufacturing |
| CN108205314A (zh) * | 2016-12-19 | 2018-06-26 | 广东技术师范学院 | 基于立体视觉匹配的机器人导航装置及系统 |
| JP6376296B1 (ja) * | 2017-02-09 | 2018-08-22 | 三菱電機株式会社 | 位置制御装置及び位置制御方法 |
| CN108724179A (zh) * | 2017-04-21 | 2018-11-02 | 精工爱普生株式会社 | 控制装置、机器人及机器人系统 |
| CN107526360A (zh) * | 2017-09-26 | 2017-12-29 | 河南科技学院 | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 |
| CN108326850A (zh) * | 2018-01-10 | 2018-07-27 | 温州大学 | 一种机器人准确移动机械臂到达指定位置的方法及系统 |
| CN109641706A (zh) * | 2018-02-02 | 2019-04-16 | 深圳蓝胖子机器人有限公司 | 拣货方法、系统及其应用的获持与放置系统、机器人 |
| CN109102547A (zh) * | 2018-07-20 | 2018-12-28 | 上海节卡机器人科技有限公司 | 基于物体识别深度学习模型的机器人抓取位姿估计方法 |
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
| CN109514557A (zh) * | 2018-12-13 | 2019-03-26 | 北京炎凌嘉业机电设备有限公司 | 一种3d视觉机器人轨迹修正系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多视觉传感器信息融合的位姿估计;黄良鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111347426A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111347426B (zh) | 一种基于3d视觉的机械臂精确放置轨迹规划方法 | |
| CN110014426B (zh) | 一种利用低精度深度相机高精度抓取形状对称工件的方法 | |
| EP3221095B1 (en) | Robot and robot system | |
| JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN108827155B (zh) | 一种机器人视觉测量系统及方法 | |
| JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
| CN106041937A (zh) | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 | |
| CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| US20210316449A1 (en) | Robot teaching by human demonstration | |
| US11072074B2 (en) | Calibration and operation of vision-based manipulation systems | |
| WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN112720487B (zh) | 基于自适应动态力平衡的机械臂抓取方法和系统 | |
| JP2013043271A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN115179294A (zh) | 机器人控制方法、系统、计算机设备、存储介质 | |
| CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
| KR101706092B1 (ko) | 3차원 물체 추적 방법 및 장치 | |
| Luo et al. | Robotic conveyor tracking with dynamic object fetching for industrial automation | |
| WO2023013740A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
| TWI625700B (zh) | 用於點雲資料貼合之冗餘點偵測方法 | |
| Lei et al. | Unknown object grasping using force balance exploration on a partial point cloud | |
| McGovern et al. | Learning to estimate centers of mass of arbitrary objects | |
| Song et al. | Automatic docking system of fuel filler with CAD model-based tracking and visual servoing control | |
| JP7299442B1 (ja) | 制御装置、３次元位置計測システム、及びプログラム | |
| Yang et al. | An Automatic Laser Scanning System for Objects with Unknown Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |