CN112184804A - 大体积工件高密度焊点定位方法、装置、存储介质及终端 - Google Patents
大体积工件高密度焊点定位方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN112184804A CN112184804A CN202010894997.5A CN202010894997A CN112184804A CN 112184804 A CN112184804 A CN 112184804A CN 202010894997 A CN202010894997 A CN 202010894997A CN 112184804 A CN112184804 A CN 112184804A
- Authority
- CN
- China
- Prior art keywords
- plane
- point cloud
- dimensional
- points
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 206010014801 endophthalmitis Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种大体积工件高密度焊点定位方法、装置、存储介质及终端，使用结构点云映射至二维图像的方法定位焊点，再根据焊点在图像中的位置(u,v)检索点云中对应的点，得到包含高度信息的三维坐标点；采用旋转点云的方式使目标点云与Z轴垂直，将目标点云的面信息最大程度地映射至二维，更完整地保留细节、提高计算精度；采用大视场结构光3D相机无需大面积扫描，使用三维点云映射二维图像的方法精准提取焊点坐标，有效避免了2D相机环境光对图像的影响，仅采集一次便可准确计算并有序输出视场内所有焊点的三维坐标，识别速度快、焊接效率高，完美适用于大体积高密度焊点的工件焊接。
Description
技术领域
本发明涉及焊接技术及机器视觉领域，尤其涉及的是一种大体积工件高密度焊点定位方法、装置、存储介质及终端。
背景技术
电弧焊是工业生产中应用最广泛的焊接技术，但基于其易致人灼伤、引起电光性眼炎及具有光辐射危害等对人体不利因素的考虑，因此，结合视觉传感器的焊接机器人代替人工势必得到广泛应用。现有的焊接机器人中，焊点定位检测方法常采用线扫激光作为视觉传感器，其激光线短且需高精度传送装置对焊接物体表面进行扫描，而且扫描面积小且价格高昂，无法适用于焊接目标物体庞大、焊点密集且精度要求较高的加工件。而2D相机虽然可以实现对焊接目标物体庞大的加工件进行扫描，但2D相机受环境光影响较大，易导致焊点定位坐标(x,y)不准，且针对物体表面不同高度的焊点无法计算其Z方向的值，即无法准确定位焊点的三维世界坐标。
因此，现有的技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种大体积工件高密度焊点定位方法、装置、存储介质及终端，旨在解决现有的线扫激光视觉传感器或2D相机都无法同时很好地解决焊接目标物体庞大、焊点密集且精度要求较高的加工件的焊点识别问题。
本发明的技术方案如下：一种大体积工件高密度焊点定位方法，其中，具体包括以下步骤：
获取工件点云数据；
拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；
计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；
将旋转后的工件点云数据转换为结构点云；
结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；
寻找二维图像的轮廓；
根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标；
将得到的二维焊点坐标映射为三维坐标；
将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出。
所述的大体积工件高密度焊点定位方法，其中，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转矩阵为Matrix。
所述的大体积工件高密度焊点定位方法，其中，所述结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记中，通过将阈值范内的点对应灰度值设置为255，阈值外的点灰度值设置为0，即可实现标记。
所述的大体积工件高密度焊点定位方法，其中，所述寻找二维图像的轮廓中，二维图像的轮廓寻找完毕后，对二维图像进行像素扩展和腐蚀处理，使轮廓的角点落在工件交叉位置。
所述的大体积工件高密度焊点定位方法，其中，所述根据二维图像的轮廓计算得到全部轮廓的角点中，具体过程如下：逐一使用最小包围矩形去包围二维图像的每个轮廓，矩形的四个顶点便定义为二维图像的轮廓角点，据此得到全部轮廓的角点。
所述的大体积工件高密度焊点定位方法，其中，所述通过轮廓的角点计算出二维焊点坐标中，对轮廓的角点进行膨胀，使相邻4个轮廓中的的相邻4个角点聚为一类，再计算该类轮廓的中心点，该点即为二维焊点坐标。
所述的大体积工件高密度焊点定位方法，其中，所述拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数中，通过PCL平面模型分割和基于Ransac算法进行平面拟合实现。
一种采用上述任一所述的大体积工件高密度焊点定位方法的装置，其中，包括：
点云数据获取模块，获取工件点云数据；
平面拟合和分割模块，拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；
旋转模块，计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；
转换模块，将旋转后的工件点云数据转换为结构点云；或将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出；
映射模块，结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；或将得到的二维焊点坐标映射为三维坐标；
轮廓寻找模块，寻找二维图像的轮廓；
二维焊点坐标获取模块，根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标。
一种终端，其中，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述任一项所述的方法。
一种存储介质，其中，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。
本发明的有益效果：本发明通过提供一种大体积工件高密度焊点定位方法、装置、存储介质及终端，采用大视场结构光3D相机无需大面积扫描，使用三维点云映射二维图像的方法精准提取焊点坐标，有效避免了2D相机环境光对图像的影响，仅采集一次便可准确计算并有序输出视场内所有焊点的三维坐标，识别速度快、焊接效率高，完美适用于大体积高密度焊点的工件焊接。
附图说明
图1是本发明中大体积工件高密度焊点定位方法的步骤流程图。
图2是本发明中二维图像的示意图。
图3是本发明中装置的示意图。
图4是本发明中终端的示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，一种大体积工件高密度焊点定位方法，利用大视场结构光3D相机采集数据，使用三维降二维的方法寻找焊接定位点(x,y)，得到二维坐标后再映射到三维点云中计算定位点Z方向的值，最终给出视场内所有焊点的三维坐标并按顺序输出，准确引导焊接机器人末端到达焊点位置，具体包括以下步骤：
S1：获取工件点云数据。
其中，使用结构光3D相机采集工件点云数据（点云数据，即point cloud data，是指扫描资料以点的形式记录，每一个点包含有三维坐标），并根据要求预设其2D图像尺寸，其与点云为一一对应关系，如预设2D图像尺寸为1920×1200。
S2：拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数。
其中，拟合一个平面，对平面进行信息分割（可使用PCL（Plane ModelSegmentation）点云库中的基于模型的分割算法实现），得到并保存平面方程系数为(A,B,C,D)。具体过程如下：
平面模型分割，基于Ransac算法进行平面拟合：
1）不停的改变平面模型（Ax+By+Cz+D=0）的参数，记为a,b,c和d；
2）经过多次调整参数后，找出使这个模型一定程度上拟合最多的点的参数，程度使由distance threshold（距离阈值）参数来设置；
3）找到这组参数后，这些能够被拟合的点就是平面的点；
拟合出平面后，也就得到对应的平面方程系数。
其中，该平面一般为放置工件的平面，若将工件放置在地平面上，则该平面称为地平面。
S3：计算Z轴（这里的Z轴是指结构光3D相机本身内部的坐标系中的Z轴）与平面法向量之间的夹角，将得到的工件点云和平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，并保存新的平面方程系数。
其中，在采集数据时，无法保证相机的Z轴垂直于地面，为方便点云映射至二维图像时的计算和显示，需将原始获得的工件点云数据进行旋转，旋转至平面点云法向量n1与Z轴（n2(0,0,1)）平行，旋转矩阵为Matrix（本地矩阵）。同时将平面方程也进行旋转，得到新的平面方程系数(A1,B1,C1,D1)；
S4：结构点云转换：将旋转后的点云数据转换为结构点云（organized point cloud，像平常的照片一样，有行列顺序的点云，叫结构点云），方便二维映射时按照图像长宽大小(u,v)（其中，(u,v)为二维坐标，水平方向是u，垂直方向是v）对点云数据进行检索。
S5：结合新平面方程系数的平面方程，设置距离阈值，将结构点云从三维映射二维，得到仅包含工件信息（工件信息即目标物上表面的坐标信息）的二维图像（亦即只把工件表面的点云映射到二维）。
其中，计算结构点云中每个点到平面方程A1x+B1y+C1z+D1=0的距离，亦即结构点云中每个点到平面的距离。
因目标点云距离地面高度已知，根据已知的目标点云到平面高度的距离设置阈值。预设一个空的mat类型对象（即OpenCV中用来存储图像信息的内存对象）,若计算出的点云中各个点到平面方程A1x+B1y+C1z+D1=0的距离在阈值范围，则保存在mat类型对象内，反之则不保存；阈值范围内的点对应灰度值设置为255，阈值外其他地方的点灰度值设置为0。
将结构点云从三维坐标映射至二维坐标，得到仅包含工件信息的二维图像。
S6：寻找二维图像的轮廓，如图2所示，01、02、03和04分别为不同的轮廓：因通过灰度值设置，得到映射后的二维图像后，可清晰地分辨出目标位置（即焊点就在上述这些距离在阈值范围内的点中）。
其中，对二维图像进行像素扩展（即增大分辨率）和腐蚀处理（腐蚀主要用于形态学中除去图像的某些部分，即“收缩”或“细化”二值图像中的对象），使轮廓的角点落在工件交叉位置（工件交叉位置即为工件中相连接的面映射成二维图像后相交的位置）。
其中，寻找轮廓过程如下：
1、边缘检测：边缘是指图像局部强度变化最显著的部分。边缘主要存在目标与目标、目标与背景、区域与区域之间。边缘检测算子检查每个像素的邻域并对灰度变换率进行量化，也包括方向的确定。大多数使用基于方向倒数掩模求卷积的方法。这里使用canny算子进行边缘检测。
2、轮廓提取：图像轮廓的提取先对图像二值化，一般是经过Canny、拉普拉斯等边缘检测算子处理过的二值图像；再通过findContours()函数提取轮廓，最后通过drawContours()函数将轮廓绘制出来。
S7：计算得到轮廓的角点，如图2所示，11、12、13分别为不同的角点。
其中，由于二维图像的每个轮廓都接近于矩形，逐一使用最小包围矩形去包围二维图像的每个轮廓，矩形的四个顶点便近似于二维图像的轮廓角点，得到全部轮廓的角点；相邻的轮廓中，每四个轮廓中的相邻角点会落在工件一个交叉点附近，对轮廓的角点进行膨胀（膨胀是在二值图像中“加长”或“变粗”的操作），使相邻轮廓的4个角点聚为一类，再计算该类轮廓的中心点，该中心点即为二维焊点坐标，如图2所示，21、22、23分别为不同的二维焊点坐标。
S8：将得到的二维焊点坐标映射为三维坐标。
其中，将找到二维定位焊点后根据对应的(u,v)在旋转后的结构点云中检索出对应的点，保存该点的三维坐标(x,y,z)。
S9：点云旋转变换：将得到的三维坐标点进行旋转变换，转换到初始位置，旋转矩阵为Matrix的逆矩阵。
其中，旋转后的点为焊点的三维坐标，将所有焊点按照一定顺序排列并输出，这里将焊点按行列进行排列后，再按照行顺序或者列顺序进行输出。
本技术方案中相对于现有技术具有以下优点：
（1）使用结构点云映射至二维图像的方法定位焊点，再根据焊点在图像中的位置(u,v)检索点云中对应的点，得到包含高度信息的三维坐标点。
（2）采用旋转点云的方式使目标点云与Z轴垂直，将目标点云的面信息最大程度地映射至二维，更完整地保留细节、提高计算精度。
（3）采用大视场结构光3D相机无需大面积扫描，使用三维点云映射二维图像的方法精准提取焊点坐标，有效避免了2D相机环境光对图像的影响，仅采集一次便可准确计算并有序输出视场内所有焊点的三维坐标，识别速度快、焊接效率高，完美适用于大体积高密度焊点的工件焊接。
如图3所示，一种采用上述所述的大体积工件高密度焊点定位方法的装置，包括：
点云数据获取模块101，获取工件点云数据；
平面拟合和分割模块102，拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；
旋转模块103，计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；
转换模块104，将旋转后的工件点云数据转换为结构点云；或将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出；
映射模块105，结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；或将得到的二维焊点坐标映射为三维坐标；
轮廓寻找模块106，寻找二维图像的轮廓；
二维焊点坐标获取模块107，根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标。
请参照图4，本发明实施例还提供一种终端。如示，终端B300包括处理器B301和存储器B302。其中，处理器B301与存储器B302电性连接。处理器B301是终端B300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或调用存储在存储器B302内的计算机程序，以及调用存储在存储器B302内的数据，执行终端的各种功能和处理数据，从而对终端B300进行整体监控。
在本实施例中，终端B300中的处理器B301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器B302中，并由处理器B301来运行存储在存储器B302中的计算机程序，从而实现各种功能：获取工件点云数据；拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；将旋转后的工件点云数据转换为结构点云；结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；寻找二维图像的轮廓；根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标；将得到的二维焊点坐标映射为三维坐标；将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出。
存储器B302可用于存储计算机程序和数据。存储器B302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器B301通过调用存储在存储器B302的计算机程序，从而执行各种功能应用以及数据处理。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取工件点云数据；拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；将旋转后的工件点云数据转换为结构点云；结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；寻找二维图像的轮廓；根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标；将得到的二维焊点坐标映射为三维坐标；将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random AccessMemory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable ProgrammableRead-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory,简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种大体积工件高密度焊点定位方法，其特征在于，具体包括以下步骤：
获取工件点云数据；
拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；
计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；
将旋转后的工件点云数据转换为结构点云；
结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；
寻找二维图像的轮廓；
根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标；
将得到的二维焊点坐标映射为三维坐标；
将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出。
2.根据权利要求1所述的大体积工件高密度焊点定位方法，其特征在于，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转矩阵为Matrix。
3.根据权利要求1所述的大体积工件高密度焊点定位方法，其特征在于，所述结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记中，通过将阈值范内的点对应灰度值设置为255，阈值外的点灰度值设置为0，即可实现标记。
4.根据权利要求1所述的大体积工件高密度焊点定位方法，其特征在于，所述寻找二维图像的轮廓中，二维图像的轮廓寻找完毕后，对二维图像进行像素扩展和腐蚀处理，使轮廓的角点落在工件交叉位置。
5.根据权利要求1所述的大体积工件高密度焊点定位方法，其特征在于，所述根据二维图像的轮廓计算得到全部轮廓的角点中，具体过程如下：逐一使用最小包围矩形去包围二维图像的每个轮廓，矩形的四个顶点便定义为二维图像的轮廓角点，据此得到全部轮廓的角点。
6.根据权利要求5所述的大体积工件高密度焊点定位方法，其特征在于，所述通过轮廓的角点计算出二维焊点坐标中，对轮廓的角点进行膨胀，使相邻4个轮廓中的的相邻4个角点聚为一类，再计算该类轮廓的中心点，该点即为二维焊点坐标。
7.根据权利要求1所述的大体积工件高密度焊点定位方法，其特征在于，所述拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数中，通过PCL平面模型分割和基于Ransac算法进行平面拟合实现。
8.一种采用权利要求1至7任一所述的大体积工件高密度焊点定位方法的装置，其特征在于，包括：
点云数据获取模块，获取工件点云数据；
平面拟合和分割模块，拟合一个平面，对拟合的平面进行点云平面分割，得到平面方程系数；
旋转模块，计算Z轴与平面法向量之间的夹角，将得到的工件点云数据和拟合的平面按照计算的夹角角度进行旋转，旋转至平面法向量与Z轴方向平行，得到新的平面方程系数；
转换模块，将旋转后的工件点云数据转换为结构点云；或将得到的三维坐标点进行点云旋转变换，得到焊点的三维坐标并输出；
映射模块，结合新平面方程系数的平面方程计算结构点云中每个点到平面的距离，将距离小于距离阈值的点进行标记，将结构点云中的点从三维映射二维，得到带有标记、仅包含工件信息的二维图像；或将得到的二维焊点坐标映射为三维坐标；
轮廓寻找模块，寻找二维图像的轮廓；
二维焊点坐标获取模块，根据二维图像的轮廓计算得到全部轮廓的角点，通过轮廓的角点计算出二维焊点坐标。
9.一种终端，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1至7任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894997.5A CN112184804B (zh) | 2020-08-31 | 2020-08-31 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894997.5A CN112184804B (zh) | 2020-08-31 | 2020-08-31 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184804A true CN112184804A (zh) | 2021-01-05 |
| CN112184804B CN112184804B (zh) | 2024-03-22 |
Family
ID=73925199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010894997.5A Active CN112184804B (zh) | 2020-08-31 | 2020-08-31 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184804B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744245A (zh) * | 2021-09-03 | 2021-12-03 | 江南大学 | 一种点云中的结构加强筋焊缝定位方法及系统 |
| CN114264243A (zh) * | 2021-12-31 | 2022-04-01 | 深圳明锐理想科技有限公司 | 一种检测压接焊点以及测量压接焊点之间线弧高度的方法 |
| CN114952173A (zh) * | 2022-05-31 | 2022-08-30 | 熵智科技(深圳)有限公司 | 管板焊接中圆环外轮廓提取方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105716527A (zh) * | 2016-04-18 | 2016-06-29 | 中国计量学院 | 激光焊缝跟踪传感器标定方法 |
| CN107610176A (zh) * | 2017-09-15 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 |
| US20180126476A1 (en) * | 2016-11-07 | 2018-05-10 | Lincoln Global, Inc. | Welding system providing visual and audio cues to a welding helmet with a display |
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
| CN110227876A (zh) * | 2019-07-15 | 2019-09-13 | 西华大学 | 基于3d点云数据的机器人焊接路径自主规划方法 |
| CN110285754A (zh) * | 2019-07-02 | 2019-09-27 | 深圳市镭神智能系统有限公司 | 基于激光扫描的工件定位方法、装置、系统和存储介质 |
-
2020
- 2020-08-31 CN CN202010894997.5A patent/CN112184804B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105716527A (zh) * | 2016-04-18 | 2016-06-29 | 中国计量学院 | 激光焊缝跟踪传感器标定方法 |
| US20180126476A1 (en) * | 2016-11-07 | 2018-05-10 | Lincoln Global, Inc. | Welding system providing visual and audio cues to a welding helmet with a display |
| CN107610176A (zh) * | 2017-09-15 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 |
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
| CN110285754A (zh) * | 2019-07-02 | 2019-09-27 | 深圳市镭神智能系统有限公司 | 基于激光扫描的工件定位方法、装置、系统和存储介质 |
| CN110227876A (zh) * | 2019-07-15 | 2019-09-13 | 西华大学 | 基于3d点云数据的机器人焊接路径自主规划方法 |
Non-Patent Citations (3)
| Title |
|---|
| 杨林;盛业华;王波;: "影像辅助下基于地面LiDAR的建筑物特征精细提取方法", 应用基础与工程科学学报, no. 02, pages 299 - 307 * |
| 陈思豪 等: "基于结构光三维视觉角焊缝定位系统的研究", 《激光与红外》, vol. 49, no. 3, pages 305 - 307 * |
| 马泽润;蔡艳;孔谅;顾春浩;仇小刚;: "基于结构光的角焊缝空间位置检测系统", 电焊机, vol. 50, no. 02, pages 1 - 5 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744245A (zh) * | 2021-09-03 | 2021-12-03 | 江南大学 | 一种点云中的结构加强筋焊缝定位方法及系统 |
| CN114264243A (zh) * | 2021-12-31 | 2022-04-01 | 深圳明锐理想科技有限公司 | 一种检测压接焊点以及测量压接焊点之间线弧高度的方法 |
| CN114952173A (zh) * | 2022-05-31 | 2022-08-30 | 熵智科技(深圳)有限公司 | 管板焊接中圆环外轮廓提取方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184804B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184804B (zh) | 大体积工件高密度焊点定位方法、装置、存储介质及终端 | |
| CN107610176B (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
| CN108364311B (zh) | 一种金属部件自动定位方法及终端设备 | |
| CN108898147B (zh) | 一种基于角点检测的二维图像边缘平直化方法、装置 | |
| CN111267095B (zh) | 一种基于双目视觉的机械臂抓取控制方法 | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| US8654193B2 (en) | Method for registering model data for optical recognition processing and optical sensor | |
| CN111598916A (zh) | 一种基于rgb-d信息的室内占据栅格地图的制备方法 | |
| CN106041937A (zh) | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 | |
| JPWO2009028489A1 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| CN105574812B (zh) | 多角度三维数据配准方法及装置 | |
| Geetha Kiran et al. | Automatic rectification of perspective distortion from a single image using plane homography | |
| Bellandi et al. | Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| CN115937203B (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
| CN111815706A (zh) | 面向单品类拆垛的视觉识别方法、装置、设备及介质 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| CN114283139A (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
| CN113989369A (zh) | 一种用于激光加工系统高精度的标定方法及装置 | |
| CN114241269A (zh) | 一种用于岸桥自动控制的集卡视觉融合定位系统 | |
| CN110992416A (zh) | 基于双目视觉与cad模型的高反光面金属零件位姿测量方法 | |
| CN114757878A (zh) | 焊接示教方法、装置、终端设备及计算机可读存储介质 | |
| CN112330667B (zh) | 一种基于形态学的激光条纹中心线提取方法 | |
| WO2023082417A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
| WO2023083273A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |