CN111546337B - 基于自由曲面的工业机器人全覆盖路径生成方法及系统 - Google Patents

基于自由曲面的工业机器人全覆盖路径生成方法及系统 Download PDF

Info

Publication number
CN111546337B
CN111546337B CN202010371137.3A CN202010371137A CN111546337B CN 111546337 B CN111546337 B CN 111546337B CN 202010371137 A CN202010371137 A CN 202010371137A CN 111546337 B CN111546337 B CN 111546337B
Authority
CN
China
Prior art keywords
cloud data
point cloud
point
free
picked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010371137.3A
Other languages
English (en)
Other versions
CN111546337A (zh
Inventor
皮历
魏祯奇
王潇
谢旭
周林
李胜豪
陈冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jianmang Information Technology Consulting Service Co ltd
Original Assignee
Chongqing Jianmang Information Technology Consulting Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jianmang Information Technology Consulting Service Co ltd filed Critical Chongqing Jianmang Information Technology Consulting Service Co ltd
Priority to CN202010371137.3A priority Critical patent/CN111546337B/zh
Publication of CN111546337A publication Critical patent/CN111546337A/zh
Application granted granted Critical
Publication of CN111546337B publication Critical patent/CN111546337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D25/00—Devices for gluing shoe parts
    • A43D25/18—Devices for applying adhesives to shoe parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0075—Manipulators for painting or coating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明提出了一种基于自由曲面的工业机器人全面覆盖路径快速生成方法，包括：对位置式机器人视觉系统进行标定，确定采集数据与真实场景三维工件的坐标转换关系；基于立体视觉摄像头对工件表面的自由曲面进行三维重建，获取该自由曲面的点云数据；沿与y轴平行的方向对工件表面的点云数据进行平滑去噪，并进行点云数据拾取；以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np；以及将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。本发明还提供了一种基于自由曲面的工业机器人全面覆盖路径快速生成系统。

Description

基于自由曲面的工业机器人全覆盖路径生成方法及系统
技术领域
本发明涉及机器人的路径生成方法及系统，特别涉及一种基于自由曲面的工业机器人全覆盖路径生成方法及系统。
背景技术
工业场合中经常需要在不规则三维工件表面进行机器人自动涂胶操作，以制鞋行业为例，由于鞋底款式和鞋码不同，经常需要变换机器人的工作路径以使得鞋底能够均匀涂胶。
传统的工业机器人路径规划过程通常需要进行人工示教，或者在商用软件中进行离线编程以针对每款产品的表面形貌进行分析，并规划工业机器人路径。这种方法费时、费力，且人工示教过程存在不确定性，生成的路径不够准确；离线编程方式需要获得产品表面形貌的三维几何模型，同时需要进行轨迹规划并进行虚拟-现实标定，该标定过程会产生标定误差，进而影响到机器人路径生成的精确度。以人工示教方式为例，由于缺乏参考标准，人工操作机器人涂胶的示教过程会存在较多重复涂胶或者未涂到胶的区域，进而影响产品的粘合质量。
同时，由于人工示教方法缺乏准备的数据支撑，因此人工示教的路径存在随机性，在自由曲面曲率变化较大的区域，路径点数量不够多，容易造成该区域涂胶过厚或过薄。在两条路径之间，由于曲面曲率变化，无法确保L值的固定，因此造成两条路径之间产生重复涂胶或漏涂胶现象，影响产品质量。
发明内容
本发明提供了一种基于自由曲面的工业机器人全面覆盖路径快速生成方法，包括：
对位置式机器人视觉系统进行标定，确定采集数据与真实场景三维工件的坐标转换关系；
基于立体视觉摄像头对工件表面的自由曲面进行三维重建，获取该自由曲面的点云数据；
沿与y轴平行的方向对工件表面的点云数据进行平滑去噪，并进行点云数据拾取；
以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np；以及
将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。
其中，所述步骤S1中，采用以下公式计算得到点云数据在世界坐标系中的位置：其中(x，y，z)为世界坐标系中的一个点，(u，v，λ)为该点对应的点云数据坐标，采用旋转矩阵可得到点云数据在世界坐标系中的位置如下：
Figure BDA0002476601050000021
其中，r11，r12，r13，r31，r32，r33为旋转矩阵中的行和列元素，t1，t2，t3是从相机到自由曲面的旋转矩阵元素。
其中，所述步骤S3中，采用等误差的尖锐特征识别算法进行点云数据拾取。
其中，所述步骤S4中，点云数据p的曲率np取邻域内所有i个点的平均曲率，其计算公式如下所示：
Figure BDA0002476601050000022
其中k为领域内的点的数目，ni为点云数据p邻域内点的曲率。
本发明还提供了一种基于自由曲面的工业机器人全面覆盖路径快速生成系统.包括：
坐标转换模块，用于对位置式机器人视觉系统进行标定，以确定采集数据与真实场景三维工件的坐标转换关系；
点云数据获取模块，用于对工件表面的自由曲面进行三维重建，以获取该自由曲面的点云数据；
点云数据拾取模块，用于对工件表面的点云数据进行平滑去噪，并采用等误差的尖锐特征识别算法进行点云数据拾取；
拾取点曲率值计算模块，用于以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np；以及
路径生成模块，用于将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。
其中，所述坐标转换模块通过采用以下公式计算得到点云数据在世界坐标系中的位置：其中(x，y，z)为世界坐标系中的一个点，(u，v，λ)为该点对应的点云数据坐标，采用旋转矩阵可得到点云数据在世界坐标系中的位置如下：
Figure BDA0002476601050000031
其中，r11，r12，r13，r31，r32，r33为旋转矩阵中的行和列元素，t1，t2，t3是从相机到自由曲面的旋转矩阵元素。
上述基于自由曲面的工业机器人全面覆盖路径快速生成方法及系统采用结构光立体视觉对自由曲面进行扫掠，设数据采集距离间隔为L，使用立体相机提取自由曲面上各x轴方向上的点云数据，并根据点云数据与周围小邻域内的平均曲率来计算该点云数据的曲率，基于等误差方法的点云数据删减算法采集点云尖锐特征，过滤点云数据，并依据点云数据的位置和曲率信息生成工业机器人路径。
附图说明
图1为本发明基于自由曲面的工业机器人全面覆盖路径快速生成方法的较佳实施方式的流程图。
图2为采用等误差方法原理令各节点间曲线与逼近线段的误差相等的曲线示意图。
图3为图1中步骤S4的示意图。
图4为本发明基于自由曲面的工业机器人全面覆盖路径快速生成系统的较佳实施方式的方框图。
具体实施方式
下面结合附图对本发明作进一步说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换，均落入本发明保护范围。
请参考图1所示，为本发明所述的一种基于自由曲面的工业机器人全面覆盖路径快速生成方法的较佳实施方式的流程图。
所述基于自由曲面的工业机器人全面覆盖路径快速生成方法的较佳实施方式包括以下步骤：
步骤S1：对位置式机器人视觉系统进行标定，确定采集数据与真实场景三维工件的坐标转换关系。
由于
Figure BDA0002476601050000051
因此可推导出
Figure BDA0002476601050000052
得到透视投影方程，其中k为归一化因子，(x，y，z)为世界坐标系中的一个点，(u，v，λ)为该点对应的点云数据坐标。采用旋转矩阵可得到点云数据在世界坐标系中的位置如下：
Figure BDA0002476601050000053
其中，r11，r12，r13，r31，r32，r33为旋转矩阵中的行和列元素，t1，t2，t3是从相机到自由曲面的旋转矩阵元素。
步骤S2：基于立体视觉摄像头对工件表面的自由曲面进行三维重建，获取该自由曲面的点云数据。
步骤S3：沿与y轴平行的方向对工件表面的点云数据进行平滑去噪，并采用等误差的尖锐特征识别算法进行点云数据拾取。
其中平滑去噪算法采用张量积投票原则，其原理表述如下：
对于点云数据p，其法向量为np，将该法向量np进行编码转换为二阶张量形式，得到
Figure BDA0002476601050000054
在数据p的小邻域内P包含的所有点云数据pi也进行编码，并向P进行投票，得到以下公式：
Figure BDA0002476601050000055
其中，T为投票公式，s为该段弧长，k为该弧长所对应的曲率，c为常数，ti表示点p的向量积，σ为权函数e的自由参数，其决定了投票的尺度范围。投票过程结束后对最大特征根对应的特征向量作为该采样点平滑后的法向量，从而改善尖锐特征的提取效果，去除散乱点云数据。
请继续参考图2所示，为采用等误差方法原理，令各节点间曲线与逼近线段的误差T相等，通过经过特征点的局部直线段来逼近所替代的曲线，从而避免产生冗余线段，并提高逼近精度。计算过程中采用迭代算法进行计算，完成特征点拾取操作。
步骤S4：以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np，如图3为例，其中，点云数据p的曲率np取邻域内所有i个点的平均曲率，其计算公式如下所示：
Figure BDA0002476601050000061
其中k为领域内的点的数目，ni为点云数据p邻域内点的曲率。
步骤5、将包含位置和法向量的拾取点信息转换至世界坐标系，生成工业机器人涂胶路径。
请继续参考图4所示，其为本发明所述的一种基于自由曲面的工业机器人全面覆盖路径快速生成系统的较佳实施方式的方框图。
所述基于自由曲面的工业机器人全面覆盖路径快速生成系统的较佳实施方式包括坐标转换模块1、点云数据获取模块2、点云数据拾取模块3、拾取点曲率值计算模块4及路径生成模块5。
其中，所述坐标转换模块1用于对位置式机器人视觉系统进行标定，以确定采集数据与真实场景三维工件的坐标转换关系。
所述点云数据获取模块2用于对工件表面的自由曲面进行三维重建，以获取该自由曲面的点云数据。
所述点云数据拾取模块3用于对工件表面的点云数据进行平滑去噪，并采用等误差的尖锐特征识别算法进行点云数据拾取。
所述拾取点曲率值计算模块4用于以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np。
所述路径生成模块5用于将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。
上述基于自由曲面的工业机器人全面覆盖路径快速生成方法及系统采用结构光立体视觉对自由曲面进行扫掠，设数据采集距离间隔为L，使用立体相机提取自由曲面上各x轴方向上的点云数据，并根据点云数据与周围小邻域内的平均曲率来计算该点云数据的曲率，基于等误差方法的点云数据删减算法采集点云尖锐特征，过滤点云数据，并依据点云数据的位置和曲率信息生成工业机器人路径。
以上所述仅为本发明的优选实施例，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的相关技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，其中所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于自由曲面的工业机器人全覆盖路径生成方法，包括：
对位置式机器人视觉系统进行标定，确定采集数据与真实场景三维工件的坐标转换关系；确定采集数据与真实场景三维工件的坐标转换关系时，采用以下公式计算得到点云数据在世界坐标系中的位置：其中(x,y,z)为世界坐标系中的一个点，(u,ν,λ)为该点对应的点云数据坐标，采用旋转矩阵可得到点云数据在世界坐标系中的位置如下：
Figure FDA0003309798430000011
其中，r11,r12,r13,r31,r32,r33为旋转矩阵中的行和列元素，t1，t2，t3是从相机到自由曲面的旋转矩阵元素；
基于立体视觉摄像头对工件表面的自由曲面进行三维重建，获取该自由曲面的点云数据；
沿与y轴平行的方向对工件表面的点云数据进行平滑去噪，并进行点云数据拾取；平滑去噪算法采用张量积投票原则，其原理如下：
对于点云数据p,其法向量为np，将该法向量np进行编码转换为二阶张量形式，得到
Figure FDA0003309798430000012
在数据p的小邻域内P包含的所有点云数据pi也进行编码，并向P进行投票，得到以下公式：
Figure FDA0003309798430000013
其中，T为投票公式，s为该段弧长，k为该弧长所对应的曲率，c为常数，ti表示点p的向量积，σ为权函数e的自由参数，用于决定投票的尺度范围；
以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np；以及
将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。
2.如权利要求1所述的基于自由曲面的工业机器人全覆盖路径生成方法，其特征在于：进行点云数据拾取时，采用等误差的尖锐特征识别算法进行点云数据拾取。
3.如权利要求1所述的基于自由曲面的工业机器人全覆盖路径生成方法，其特征在于：以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np时，点云数据p的曲率np取邻域内所有i个点的平均曲率，其计算公式如下所示：
Figure FDA0003309798430000021
其中k为领域内的点的数目，ni为点云数据p邻域内点的曲率。
4.一种基于自由曲面的工业机器人全覆盖路径生成系统，包括：
坐标转换模块，用于对位置式机器人视觉系统进行标定，以确定采集数据与真实场景三维工件的坐标转换关系；确定采集数据与真实场景三维工件的坐标转换关系时，采用以下公式计算得到点云数据在世界坐标系中的位置：其中(x,y,z)为世界坐标系中的一个点，(u,ν,λ)为该点对应的点云数据坐标，采用旋转矩阵可得到点云数据在世界坐标系中的位置如下：
Figure FDA0003309798430000022
其中，r11,r12,r13,r31,r32,r33为旋转矩阵中的行和列元素，t1，t2，t3是从相机到自由曲面的旋转矩阵元素；
点云数据获取模块，用于对工件表面的自由曲面进行三维重建，以获取该自由曲面的点云数据；平滑去噪算法采用张量积投票原则，其原理如下：
对于点云数据p,其法向量为np，将该法向量np进行编码转换为二阶张量形式，得到
Figure FDA0003309798430000031
在数据p的小邻域内P包含的所有点云数据pi也进行编码，并向P进行投票，得到以下公式：
Figure FDA0003309798430000032
其中，T为投票公式，s为该段弧长，k为该弧长所对应的曲率，c为常数，ti表示点p的向量积，σ为权函数e的自由参数，用于决定投票的尺度范围；
点云数据拾取模块，用于对工件表面的点云数据进行平滑去噪，并采用等误差的尖锐特征识别算法进行点云数据拾取；
拾取点曲率值计算模块，用于以拾取点周围小邻域ε内点云数据的平均曲率为拾取点的曲率值np；以及
路径生成模块，用于将包含位置和法向量的拾取点信息转换至世界坐标系，以生成工业机器人涂胶路径。
CN202010371137.3A 2020-04-30 2020-04-30 基于自由曲面的工业机器人全覆盖路径生成方法及系统 Active CN111546337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010371137.3A CN111546337B (zh) 2020-04-30 2020-04-30 基于自由曲面的工业机器人全覆盖路径生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371137.3A CN111546337B (zh) 2020-04-30 2020-04-30 基于自由曲面的工业机器人全覆盖路径生成方法及系统

Publications (2)

Publication Number Publication Date
CN111546337A CN111546337A (zh) 2020-08-18
CN111546337B true CN111546337B (zh) 2022-02-11

Family

ID=71998275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371137.3A Active CN111546337B (zh) 2020-04-30 2020-04-30 基于自由曲面的工业机器人全覆盖路径生成方法及系统

Country Status (1)

Country Link
CN (1) CN111546337B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113662472A (zh) * 2021-09-06 2021-11-19 上海景吾智能科技有限公司 清洁机器人系统擦拭不规则曲面的方法及系统
CN115350834B (zh) * 2022-10-19 2023-01-03 二重（德阳）重型装备有限公司 锻造视觉协同喷涂方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1143209A (zh) * 1996-03-22 1997-02-19 宋志刚 数控线切割机床加工齿形工件的方法
US8720382B2 (en) * 2010-08-31 2014-05-13 Technologies Holdings Corp. Vision system for facilitating the automated application of disinfectant to the teats of dairy livestock
GB2531576B (en) * 2014-10-22 2018-04-25 Q Bot Ltd Modular Robot
CN104985486B (zh) * 2015-05-21 2017-04-26 上海理工大学 滚珠丝杠加工分段补偿方法
CN106774169A (zh) * 2017-03-30 2017-05-31 沈阳工程学院 非圆柱曲面的数控车削加工自动化编程方法
CN109454642B (zh) * 2018-12-27 2021-08-17 南京埃克里得视觉技术有限公司 基于三维视觉的机器人涂胶轨迹自动生产方法

Also Published As

Publication number Publication date
CN111546337A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN107808415B (zh) 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法
CN109598762B (zh) 一种高精度双目相机标定方法
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN111546337B (zh) 基于自由曲面的工业机器人全覆盖路径生成方法及系统
CN109454642A (zh) 基于三维视觉的机器人涂胶轨迹自动生产方法
CN110866934B (zh) 基于规范性编码的复杂点云分割方法及系统
CN108279643A (zh) 一种基于测量点与自适应差分进化算法的工件姿态调整方法
CN111702772B (zh) 一种帮面自动引导涂胶方法及系统
CN111820545A (zh) 一种结合离线与在线扫描自动生成鞋底喷胶轨迹的方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
JP2012026895A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN114055255B (zh) 一种基于实时点云的大型复杂构件表面打磨路径规划方法
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN113421291B (zh) 利用点云配准技术和三维重建技术的工件位置找正方法
CN110065068A (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
Zhang et al. Vision-aided localization for ground robots
JP2009128191A (ja) 物体認識装置およびロボット装置
CN111085902B (zh) 一种视觉在线检测及修正的工件打磨系统
CN112907683A (zh) 一种点胶平台的相机标定方法、装置及相关设备
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN114545400A (zh) 基于毫米波雷达的水面机器人的全局重定位方法
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN113246131B (zh) 运动捕捉方法、装置、电子设备以及机械臂控制系统
CN116909208B (zh) 基于人工智能的壳体加工路径优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant