CN114022650A - 一种基于点云拟合光平面调平的方法及设备 - Google Patents
一种基于点云拟合光平面调平的方法及设备 Download PDFInfo
- Publication number
- CN114022650A CN114022650A CN202210011866.7A CN202210011866A CN114022650A CN 114022650 A CN114022650 A CN 114022650A CN 202210011866 A CN202210011866 A CN 202210011866A CN 114022650 A CN114022650 A CN 114022650A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- light plane
- fitting
- matrix
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明公开了一种基于点云拟合光平面调平的方法及设备，该方法包括：在待处理的点云中选择特征点云簇；拟合特征点云簇所在的光平面；计算所述光平面的位姿；通过光平面的位姿将待处理的点云平铺到目标坐标系中。通过上述步骤的基于点云拟合光平面调平后方便切除点云的背景面，使得点云画面更加纯净。并且在基于视觉的无序抓取中可将点云调整到与机器人基座所在坐标系平行，从而可以以Z轴为方向从上到下进行抓取，使得处理速度更快且干扰更少。
Description
技术领域
本发明属于视觉抓取领域，尤其涉及一种基于视觉的无序抓取中对点云的预处理方法。
背景技术
随着工业自动化的持续快速发展，工业机器人以其稳定、快速、高效的特点正在逐渐取代人类。机器人自动化系统广泛应用于3C和物流行业的抓取、分拣、装配等作业中。机器视觉作为实现机器人自动化作业的关键技术，其可以代替人眼对被待操作目标物体进行测量和判断，获取目标物体的颜色与位姿等信息，提高机器人生产的柔性和自动化程度。
现有的无序抓取方法中，需要将视觉模块获取的工件点云从视觉模块坐标系转换到抓取机器人基座所在的坐标系（以下简称目标坐标系）中这样才能做到手眼标定从而完成抓取。但目标坐标系和视觉模块所在坐标系往往都是不平行，因此工件的点云转换到目标坐标系后也是歪斜的，不方便后续处理。
发明内容
有鉴于此，本发明提供一种基于点云拟合光平面调平的方法及设备，将点云平铺于目标坐标系内，方便后续处理。
为解决以上技术问题，本发明的技术方案为采用一种基于点云拟合光平面调平的方法，包括：在待调平的点云中选择特征点云簇；拟合特征点云簇所在的光平面；计算所述光平面的位姿；通过光平面的位姿将待处理的点云平铺到目标坐标系中。
作为一种改进，所述在待调平的点云中选择特征点云簇包括：将待调平的点云按照特征值进行顺序排列成数列；选择该数列的中位值；选择该中位值所代表的点云周围与其欧式距离最近的M个点云作为特征点云簇，或者，选择所述数列中中位值前后N个值所代表的点云作为特征点云簇。
作为一种进一步的改进，采用法向量来拟合特征点云簇所在的光平面。
作为另一种更进一步的改进，所述采用法向量来拟合特征点云簇所在的光平面包括：将特征点云簇中所有点云的坐标按照X坐标、Y坐标、Z坐标进行分组形成矩阵；对所述矩阵进行转置；对转置后的矩阵进行奇异值分解；利用奇异值分解后的结果获取光平面的法向量；根据法向量拟合特征点云簇所在的光平面。
作为一种改进，根据法向量拟合特征点云簇所在的光平面后，计算特征点云簇中所有点云与光平面的平均剩余距离，若果平均剩余距离大于阈值则认为光平面不合格并重新拟合。
作为一种改进，所述计算所述光平面的位姿包括：计算光平面绕目标坐标系X轴旋转的角度α；计算光平面绕目标坐标系Y轴旋转的角度β；利用角度α和角度β计算光平面的齐次变换矩阵；将齐次变换矩阵转换成光平面位姿。
作为一种改进，利用法向量中Y坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系X轴旋转的角度α。
作为一种改进，利用法向量中X坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系Y轴旋转的角度β。
作为一种改进，利用角度α和角度β计算光平面的齐次变换矩阵包括：生成目标坐标系的原齐次变换矩阵；将原齐次变换矩阵乘以沿X的α旋转矩阵后再乘以沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。
作为一种改进，生成目标坐标系的原齐次变换矩阵后将原齐次变换矩阵乘以平移矩阵，再乘以沿X的α旋转矩阵后和沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。
本发明还提供一种基于点云拟合光平面调平的设备，包括：点云选择单元，用于在待处理的点云中选择特征点云簇；光平面拟合单元，用于拟合特征点云簇所在的光平面；位姿计算单元，用于计算所述光平面的位姿；转换单元，通过光平面的位姿将待处理的点云平铺到目标坐标系中。
本发明的有益之处在于：通过上述步骤的基于点云拟合光平面调平后方便切除点云的背景面，使得点云画面更加纯净。并且在基于视觉的无序抓取中可将点云调整到与机器人基座所在坐标系平行，从而可以以Z轴为方向从上到下进行抓取，使得处理速度更快且干扰更少。
附图说明
图1为本发明的流程图。
图2为本发明的结构原理图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
本发明所述的“调平”，就是将类平面的点云设置成与目标坐标系的XOY平面平行。对于立体的点云，调平是指将点云的放置平面设置成目标坐标系的XOY平面平行。
如图1所示，本发明提供一种基于点云拟合光平面调平的方法，包括：
S1在待调平的点云中选择特征点云簇；选择的目的是通过一部分点云来代表整个待处理的点云，从而过滤点噪点。因此选择的区域不宜过大，否则会对该区域的法线造成干扰，使得后续的拟合步骤不准确。当然选择的区域也不宜不小，否则不能有效的代表整个待处理点云。
S2拟合特征点云簇所在的光平面；
S3计算所述光平面的位姿；
S4通过光平面的位姿将待处理的点云平铺到目标坐标系中，完成调平工作。
步骤S1中具体的选择方法包括：
S11将待调平的点云按照特征值进行顺序排列成数列；至于根据何种特征值来排序就要依据实际情况来进行选择，本发明中不做限制。
S12选择该数列的中位值；
S13选择该中位值所代表的点云周围与其欧式距离最近的M个点云作为特征点云簇，或者，选择所述数列中中位值前后N个值所代表的点云作为特征点云簇。M和N均为自然数，其具体数值也要根据点云数量的多少以及特征来决定。
步骤S2中采用法向量来拟合特征点云簇所在的光平面，具体包括：
S21将特征点云簇中所有点云的坐标按照X坐标、Y坐标、Z坐标进行分组形成矩阵；假设特征点云簇中共有I个点云，先将特征点云簇中所有点云的坐标进行分解，并将所有的X、Y、Z坐标合并成三个数组后再合并成一个3行I列的矩阵，该矩阵记作MatrixID_Mt。
S22对所述矩阵进行转置；将矩阵MatrixID_Mt转置成一个I行3列的矩阵记作MatrixID_M。
S23对转置后的矩阵进行奇异值分解；将矩阵MatrixID_M进行奇异值分解求解奇异值，其目的在于找到该矩阵的法线方向。奇异值描述了矩阵对应的拉伸变换在各个方向的比例，是矩阵的重要特征。奇异值的分布通常非常不均，在很多的情况下前10%甚至1%的奇异值之和就占了全部奇异值之和的99%以上。奇异值分解后会得到三个矩阵MatrixID_U,MatrixID_S, MatrixID_V，其中MatrixID_U为一个I行I列矩阵；MatrixID_S为一个I行3列矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值；MatrixID_V为一个3行3列矩阵。
S24利用奇异值分解后的结果获取光平面的法向量；点云中的奇异值代表了拉伸变换，特征值则为最主要的变化方向。分解得到的矩阵MatrixID_S里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向。因此先对MatrixID_S进行解析，再通过奇异值里面的数据重新找到在MatrixID_V中对应的数据即为法向量坐标的值（Nx,Ny,Nz）。
S25根据法向量（Nx,Ny,Nz）拟合特征点云簇所在的光平面。
S26拟合好光平面后可以进行验证。计算特征点云簇中所有点云与光平面的平均剩余距离，若果平均剩余距离大于阈值则认为光平面的过于粗糙不合格并重新拟合。
步骤3具体又包括：
S31计算光平面绕目标坐标系X轴旋转的角度α；具体地，利用法向量中Y坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系X轴旋转的角度α。
S32计算光平面绕目标坐标系Y轴旋转的角度β；具体地，利用法向量中X坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系Y轴旋转的角度β。由于绕 y 轴的转动是沿着反三角方向进行的，因此我们应用-β。
S33利用角度α和角度β计算光平面的齐次变换矩阵；具体为：
S331生成目标坐标系的原齐次变换矩阵；
S332将原齐次变换矩阵乘以沿X的α旋转矩阵后再乘以沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。或者，生成目标坐标系的原齐次变换矩阵后将原齐次变换矩阵乘以平移矩阵，再乘以沿X的α旋转矩阵后和沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。第一种方式不进行平移，这样在进行平铺后点云所在的平面就与目标坐标系的XOY平面平行。第二种方式需要进行平移，平铺后点云所在平面就与目标坐标系的XOY平面重合，甚至可以将点云的质心与目标坐标系的原点进行重合。
S34将齐次变换矩阵转换成光平面位姿，通过算子直接转换即可。为了方便观看便于手眼标定，还可以将光平面位姿绕Y轴旋转180°。最后通过上述位姿对待处理的点云进行调平。
另外如图2所示，本发明还提供一种基于点云拟合光平面调平的设备，包括：点云选择单元，用于在待处理的点云中选择特征点云簇；光平面拟合单元，用于拟合特征点云簇所在的光平面；位姿计算单元，用于计算所述光平面的位姿；转换单元，通过光平面的位姿将待处理的点云平铺到目标坐标系中。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种基于点云拟合光平面调平的方法，其特征在于包括：
在待调平的点云中选择特征点云簇；
拟合特征点云簇所在的光平面；
计算所述光平面的位姿；
通过光平面的位姿将待处理的点云平铺到目标坐标系中。
2.根据权利要求1所述的一种基于点云拟合光平面调平的方法，其特征在于所述在待调平的点云中选择特征点云簇包括：
将待调平的点云按照特征值进行顺序排列成数列；
选择该数列的中位值；
选择该中位值所代表的点云周围与其欧式距离最近的M个点云作为特征点云簇，或者，选择所述数列中中位值前后N个值所代表的点云作为特征点云簇。
3.根据权利要求1所述的一种基于点云拟合光平面调平的方法，其特征在于：采用法向量来拟合特征点云簇所在的光平面。
4.根据权利要求3所述的一种基于点云拟合光平面调平的方法，其特征在于所述采用法向量来拟合特征点云簇所在的光平面包括：
将特征点云簇中所有点云的坐标按照X坐标、Y坐标、Z坐标进行分组形成矩阵；
对所述矩阵进行转置；
对转置后的矩阵进行奇异值分解；
利用奇异值分解后的结果获取光平面的法向量；
根据法向量拟合特征点云簇所在的光平面。
5.根据权利要求4所述的一种基于点云拟合光平面调平的方法，其特征在于：根据法向量拟合特征点云簇所在的光平面后，计算特征点云簇中所有点云与光平面的平均剩余距离，若果平均剩余距离大于阈值则认为光平面不合格并重新拟合。
6.根据权利要求3所述的一种基于点云拟合光平面调平的方法，其特征在于所述计算所述光平面的位姿包括：
计算光平面绕目标坐标系X轴旋转的角度α；
计算光平面绕目标坐标系Y轴旋转的角度β；
利用角度α和角度β计算光平面的齐次变换矩阵；
将齐次变换矩阵转换成光平面位姿。
7.根据权利要求6所述的一种基于点云拟合光平面调平的方法，其特征在于：利用法向量中Y坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系X轴旋转的角度α。
8.根据权利要求6所述的一种基于点云拟合光平面调平的方法，其特征在于：利用法向量中X坐标和Z坐标所在四个象限元组的正反切计算光平面绕目标坐标系Y轴旋转的角度β。
9.根据权利要求6所述的一种基于点云拟合光平面调平的方法，其特征在于所述利用角度α和角度β计算光平面的齐次变换矩阵包括：
生成目标坐标系的原齐次变换矩阵；
将原齐次变换矩阵乘以沿X的α旋转矩阵后再乘以沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。
10.根据权利要求9所述的一种基于点云拟合光平面调平的方法，其特征在于：生成目标坐标系的原齐次变换矩阵后将原齐次变换矩阵乘以平移矩阵，再乘以沿X的α旋转矩阵后和沿Y轴的β旋转矩阵得到光平面的齐次变换矩阵。
11.一种基于点云拟合光平面调平的设备，其特征在于包括：
点云选择单元，用于在待处理的点云中选择特征点云簇；
光平面拟合单元，用于拟合特征点云簇所在的光平面；
位姿计算单元，用于计算所述光平面的位姿；
转换单元，通过光平面的位姿将待处理的点云平铺到目标坐标系中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210011866.7A CN114022650B (zh) | 2022-01-07 | 2022-01-07 | 一种基于点云拟合光平面调平的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210011866.7A CN114022650B (zh) | 2022-01-07 | 2022-01-07 | 一种基于点云拟合光平面调平的方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022650A true CN114022650A (zh) | 2022-02-08 |
| CN114022650B CN114022650B (zh) | 2022-04-12 |
Family
ID=80069652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210011866.7A Active CN114022650B (zh) | 2022-01-07 | 2022-01-07 | 一种基于点云拟合光平面调平的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022650B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897895A (zh) * | 2022-07-12 | 2022-08-12 | 深圳市信润富联数字科技有限公司 | 点云调平方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN108088386A (zh) * | 2017-12-15 | 2018-05-29 | 深圳大学 | 一种微纳米量级的二元面结构光检测方法及系统 |
| CN109658457A (zh) * | 2018-11-02 | 2019-04-19 | 浙江大学 | 一种激光与相机任意相对位姿关系的标定方法 |
| CN110906863A (zh) * | 2019-10-30 | 2020-03-24 | 成都绝影智能科技有限公司 | 一种用于线结构光传感器的手眼标定系统及标定方法 |
| CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
| CN111429494A (zh) * | 2020-04-13 | 2020-07-17 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于生物视觉的点云高精度自动配准方法 |
-
2022
- 2022-01-07 CN CN202210011866.7A patent/CN114022650B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN108088386A (zh) * | 2017-12-15 | 2018-05-29 | 深圳大学 | 一种微纳米量级的二元面结构光检测方法及系统 |
| CN109658457A (zh) * | 2018-11-02 | 2019-04-19 | 浙江大学 | 一种激光与相机任意相对位姿关系的标定方法 |
| CN110906863A (zh) * | 2019-10-30 | 2020-03-24 | 成都绝影智能科技有限公司 | 一种用于线结构光传感器的手眼标定系统及标定方法 |
| CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
| CN111429494A (zh) * | 2020-04-13 | 2020-07-17 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于生物视觉的点云高精度自动配准方法 |
Non-Patent Citations (3)
| Title |
|---|
| SHIBIN YIN ET AL: "Development and calibration of an integrated 3D scanning system for high-accuracy large-scale metrology", 《MEASUREMENT》 * |
| 杨帆: "基于点云融合的双目线结构光三维测量系统的研究与应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 解则晓等: "基于结构光视觉引导的工业机器人定位系统", 《光学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897895A (zh) * | 2022-07-12 | 2022-08-12 | 深圳市信润富联数字科技有限公司 | 点云调平方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022650B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110842914B (zh) | 基于差分进化算法的手眼标定参数辨识方法、系统及介质 | |
| CN106737665B (zh) | 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 | |
| CN105563481B (zh) | 一种用于轴孔装配的机器人视觉引导方法 | |
| CN111941425B (zh) | 基于激光跟踪仪和双目相机的机器人铣削系统工件快速定位方法 | |
| CN112669385B (zh) | 基于三维点云特征的工业机器人工件识别与位姿估计方法 | |
| EP2755166A2 (en) | Recognition program evaluation device and method for evaluating recognition program | |
| CN114022650B (zh) | 一种基于点云拟合光平面调平的方法及设备 | |
| CN113284179B (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
| CN113657551B (zh) | 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法 | |
| CN114902872B (zh) | 一种机器人采摘果实的视觉引导方法 | |
| CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
| CN114355953B (zh) | 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN115284292A (zh) | 基于激光相机的机械臂手眼标定方法及装置 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| CN114001651B (zh) | 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法 | |
| CN114782554A (zh) | 基于球形合作目标的立体相机位姿标定方法及系统 | |
| WO2019114631A1 (zh) | 一种获取机器人tcp坐标的方法和装置 | |
| CN116038701B (zh) | 一种四轴机械臂的手眼标定方法及装置 | |
| CN110570473A (zh) | 一种基于点线融合的权重自适应位姿估计方法 | |
| Lynch et al. | The use of feedforward neural networks for machine vision calibration | |
| CN113651108B (zh) | 一种基于玻璃堆垛的机械手抓取玻璃位置校正方法 | |
| CN115042184A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
| CN114648544A (zh) | 一种亚像素椭圆提取方法 | |
| Qiao et al. | A new approach to self-calibration of hand-eye vision systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |