CN116721081A - 基于三维点云和模态转换的动车侧墙板缺陷提取方法 - Google Patents

基于三维点云和模态转换的动车侧墙板缺陷提取方法 Download PDF

Info

Publication number
CN116721081A
CN116721081A CN202310690171.0A CN202310690171A CN116721081A CN 116721081 A CN116721081 A CN 116721081A CN 202310690171 A CN202310690171 A CN 202310690171A CN 116721081 A CN116721081 A CN 116721081A
Authority
CN
China
Prior art keywords
point
axis
point cloud
minimum
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310690171.0A
Other languages
English (en)
Other versions
CN116721081B (zh
Inventor
刘�英
霍林涛
杨雨图
吴斌
韩程
卢轶
缑斌丽
周海燕
庄子龙
孙奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202310690171.0A priority Critical patent/CN116721081B/zh
Publication of CN116721081A publication Critical patent/CN116721081A/zh
Application granted granted Critical
Publication of CN116721081B publication Critical patent/CN116721081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维点云和模态转换的动车侧墙板缺陷提取方法，包括：获取动车侧墙板的三维点云数据；进行点云坐标系转换；对点云进行切片分层；提取点云数据的列数据进行轮廓线的线性拟合；根据拟合方程和差分计算对点云数据进行区域划分；对划分后得到的各区域进行展平操作，再进行相邻区域的拼接得到新的点云数据；根据各区域变换的参数构建各区域的空间逆向变换矩阵；构建点云的空间字典索引结构；将新生成的点云数据转换为彩色图像；构建卷积神经网络用于彩色图像中缺陷的分割。本发明可以在动车侧墙板的复杂型面上完成微小缺陷的检测，为后续涂装工程提供可靠的数据支撑。

Description

基于三维点云和模态转换的动车侧墙板缺陷提取方法
技术领域
本发明属于三维无损检测技术领域，具体是一种基于三维点云和模态转换的动车侧墙板缺陷提取方法。
背景技术
近年来，机器视觉在产品质量检测上发挥着重要的作用。传感数据是质量检测的数据基础，与图像数据相比，三维点云能反映物体的空间结构，具备一定的数据拓展能力，能反馈更多的信息。在动车侧墙板缺陷检测任务中，由于动车侧墙板漆料颜色喷涂均衡，且缺陷表现为细微划痕、凸起和凹陷，因此基于图像的视觉检测方法不能有效地检测出缺陷。
在3D视觉检测领域中，产品质量检测已经成为当前的研究热点，基于轮廓线拟合和差分处理能够提取出点云数据中的异常点，但是工件表面复杂，除了缺陷区域点会被检测出来，一些焊接点，预制槽点以及孔洞均有可能会被检测为缺陷点。基于理论模型配准的方法的实施可能性很小，由于板件焊接时存在角度偏差，在点云配准时会受到影响，甚至无法配准。基于点云转深度图的图像缺陷检测方法，动车侧墙板点云投影方向的深度范围较大，且动车侧墙板缺陷变化程度较小，导致深度图中缺陷信息淡化以至无法检测。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于三维点云和模态转换的动车侧墙板缺陷提取方法。本基于三维点云和模态转换的动车侧墙板缺陷提取方法通过对点云分区、展平、拼接和映射得到点云图像，避免了因缺陷区域点集深度值变化波动范围小而造成深度值映射过程中信息减弱和丢失的现象，增强了点云缺陷与点云背景的对比度，为后续缺陷检测步骤提供了高质量的数据支撑，可以在动车侧墙板的复杂型面上完成微小缺陷的检测，为后续涂装工程提供可靠的数据支撑。
为实现上述技术目的，本发明采取的技术方案为：
一种基于三维点云和模态转换的动车侧墙板缺陷提取方法，包括：
步骤1、获取动车侧墙板的三维点云数据；
步骤2、进行点云坐标系转换，使点云的坐标系X轴为动车侧墙板的主方向；
步骤3、根据三维点云的整体密度对点云进行切片分层；
步骤4、提取点云数据的列数据进行轮廓线的线性拟合；
步骤5、根据拟合方程和差分计算对点云数据进行区域划分；
步骤6、对划分后得到的各区域进行展平操作，再进行相邻区域的拼接得到新的点云数据；
步骤7、根据步骤6中各区域变换的参数构建各区域的空间逆向变换矩阵；
步骤8、构建点云的空间字典索引结构；
步骤9、构建颜色映射方程，将新生成的点云数据转换为彩色图像；
步骤10、构建卷积神经网络用于彩色图像中缺陷的分割；
步骤11、将彩色图像中缺陷像素的坐标值转为索引值，检索得到其在点云空间字典所在的网格，网格内的点通过步骤7的空间逆向变换矩阵还原其在初始点云中的位置，通过聚类算法集合各缺陷表征点，每一个聚类点集即为一个缺陷区域。
作为本发明进一步改进的技术方案，所述的步骤3具体为：
3.1、基于最远点采样算法估计点云密度；
3.2、根据点云密度大小设置点云的切片分层间距为d；
3.3、计算出点(xi，yi，zi)所在的切片层索引indexi：
其中i＝1，2，...，n，n代表点云中点的个数，floor()为向下取整函数，Bxmin为最小包围盒尺寸在X轴上的最小值；
3.4、再计算出该点(xi，yi，zi)所在的前后切片层的前层位置sliceiMin和后切片层的后层位置sliceiMax，分别为：
3.5、设置点的移位导向的判定条件，判定条件包括移动距离和方向，移动点到更靠近的切片层：
if(xi-sliceiMin)＜(sliceiMax-xi) (4)；
indexi＝indexi+1 (5)；
即当点靠近sliceMax层，索引值会归属到该sliceMax层，移动距离即为在该点到该sliceMax层的垂直距离，点移动后的X轴坐标变为切片层在X轴的位置；
3.6、该点的z坐标的移动距离和方向由邻域区域的二次拟合曲面决定，空间坐标系中点的初始位置为(xi，yi，zi)，移动后点的位置为(x′i，y′i，z′i)，以该点为中心均匀取n个邻域点，基于n个邻域点，通过最小二乘拟合算法计算出二次曲面方程进而表征该点的局部区域，向二次曲面方程代入x′i和y′i的值，即可求解z′i，切片分层后得到的新点云标记为P′。
作为本发明进一步改进的技术方案，所述的步骤4具体为：
4.1、选取点云数据X轴方向的一个切片层，由于切片层中的点集x值均相同，因此仅在Y轴和Z轴方向上对点集数据作霍夫变换直线检测，采用极坐标系作为参数转换空间：
其中rcosθ为点的y值在极坐标系下的表示，rsinθ为点的z值在极坐标系下的表示；
4.2、假设点集中存在直线段l1，则存在一条过YZ坐标系原点的直线l2与直线段l1垂直相交，直线l2与坐标系Y轴的夹角为θ，直线段l1与Y轴夹角即为90°+θ，则直线段l1的斜率为：
4.3、设直线段l1上存在一点为(yi，zi)，则斜率表示为：
代入步骤4.2中的公式对斜率公式化简后可得：
r＝yicosθ+zisinθ (9)；
其中i为点集中所包含的点数量；
4.4、将点集中的点代入到方程r＝yicosθ+zisinθ中，得到i个极坐标方程或是正弦曲线，在极坐标系下计算i条正弦曲线的交点次数，统计出参数(r，θ)的出现次数并保留出现次数第一的参数(r1，θ1)和第二的参数(r2，θ2)，则相对应的直角坐标系中的直线方程分别为：
即为点云轮廓线中的两个直线段的拟合方程。
作为本发明进一步改进的技术方案，所述的步骤6具体为：
6.1、点云区域划分后得到4个区域点集P′＝{P′1，P′2，P′3，P′4}，它们的外观分别表现为平面，弧形曲面，平面和弧形曲面，步骤4.4中求取的两个直线段的拟合方程分别为P′1和P′3点云轮廓线的拟合直线方程；
6.2、随机选取第二个点集P′2的m个列数据，作圆的拟合方程求取圆心坐标和半径，即利用最小二乘圆度拟合，通过最小化误差的平方和找到最优拟合圆函数，即可得到m组拟合圆的参数(Cy，Cz，R)，其中(Cy，Cz)为圆心坐标，R为圆半径，再对m组参数中的各个参数取均值得到最终拟合圆的参数
6.3、假设点集P′2中一个点的坐标为(x，y，z)，引入参数计算出处于圆弧线段的点在拟合圆上的转角α和点在Y轴上的投影位置y′：
6.4、投影点的Z轴坐标由点到拟合圆的距离决定，以z＝0为基准线，若点在拟合圆外部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为-D；若点在拟合圆内部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为D；
6.5、计算点集P′2中所有点的投影点，得到新点集P2″；分别记录新点集P2″在坐标系Y轴上的最小值y″2min和在坐标系Z轴上的最小值z″2min；
6.6、根据步骤4.4可知，点集P′1轮廓线的直线拟合方程的斜率构建旋转变换矩阵和平移矩阵，向公式(12)内输入点集P′1得到P″1，使得P″1在坐标系Y轴上的最大值与点集P2″在坐标系Y轴上的最小值相同，使得P″1在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝180-θ1，ty＝-y′1max，tz＝-z′1min，其中y′1max为点集P′1在Y轴上的最大值，z′1min为点集P′1在Z轴上的最小值，/>为点集/>在Y轴上的最大值，/>为点集/>在Z轴上的最小值，(P1x′，P1y′，P1z′)为点集P′1上的点，/>为P′1经过平移矩阵T(ty，tz)和旋转变换矩阵R(β)后的点集；
6.7、再对点集P′3进行旋转变换，根据步骤4.4可知点集P′3轮廓线的直线拟合方程的斜率构建旋转变换矩阵和平移矩阵，向公式(14)内输入点集P′3得到P″3，使得P″3在坐标系Y轴上的最小值与点集P2″在坐标系Y轴上的最大值相同，使得P″3在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝-θ2，ty＝-y′3min，tz＝-z′3min，其中y′3min为点集P′3在Y轴上的最小值，z′3min为点集P′3在Z轴上的最小值，/>为点集/>在Y轴上的最小值，/>为点集/>在Z轴上的最小值，(P3x′，P3y′，P3z′)为点集P′3上的点，/>为P′3经过平移矩阵T(ty，tz)和旋转变换矩阵R(β)后的点集；
6.8、同理步骤6.2至6.5，对点集P′4作投影变换，计算点集P′4中所有点的投影点，得到新点集
6.9、构建新点集的平移矩阵，向公式(16)内输入点集/>得到P″4，使得P″4在坐标系Y轴上的最小值与新点集P3″在坐标系Y轴上的最大值相同，使得P″4在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中其中y″3max为点集P″3在Y轴上的最大值，/>为新点集/>在Y轴上的最小值，/>为新点集/>在Z轴上的最小值，为新点集/>上的点。
作为本发明进一步改进的技术方案，所述的步骤8具体为：
8.1、根据最小包围盒算法计算点云P″＝{P″1，P″2，P″3，P″4}的最小包围盒尺寸为(B″xmin，B″max，B″ymin，B″ymax，B″zmin，B″zmax)；
8.2、设置空间字典的左上角和右下角的位置坐标分别为(Dx1，Dy1)和(Dx2，Dy2)；
其中d为步骤3.3中点云切片的分层间距；
8.3、设置空间字典的维度大小为(l，w，h)，其中l为空间字典在x轴上划分的网格数，l＝roundup()为向上取整函数；w为空间字典在Y轴上划分的网格数，/>h为每个网格内存储的点数量；
8.4、在空间字典的每一个网格中，给h个点添加KdTree空间索引结构。
作为本发明进一步改进的技术方案，所述的步骤9具体为：
9.1、利用最大距离法提取空间字典中每个网格内距离z＝0平面最远的点，组成一个新的点集O＝{(x1，y1，z1)，(x2，y2，z2)，...，(xM，yM，zM)}，其中M＝lw；将点集O中的z值映射为颜色值c，x值和y值分别作为像素值的坐标(u，v)，即将一个三维点(x，y，z)转为图像中的像素(u，v，c)；
9.2、设置像素值的通道数为3，颜色层级为5，首先确定点集中各点的zj(j＝1，2，...，M)所在的颜色层级：
其中zmin为点集O内的所有点在Z轴上的值中的最小值，zmax为点集O内的所有点在Z轴上的值中的最大值；
9.3、接着计算zj在颜色层级中的具体转换值cj：
5个颜色层级的划分区间和各区间内的具体颜色转换值如下所示：第1级为(0，255*vrate，255)；第2级为(0，255*(1-vrate)，255)；第3级为(255*vrate，255，0)；第4级为(255，(1-vrate)*255，0)；第5级为(255，0，vrate*255)；
其中：
9.4、空间字典的维度大小为(l，w，h)，最终的成像尺寸即为(l，w)，相同网格内的点云数据转换后的颜色相同。
本发明的有益效果为：
(1)将霍夫变换直线检测用于点云轮廓线上的直线检测，能够实现自动化的直线方程拟合过程，避免了人为设置点云轮廓线的直线拟合区域及阈值大小的过程，同时减少了基于偏最小二乘法通过迭代计算降低均方差带来的计算时长。
(2)通过对点云分区、展平、拼接和映射得到点云图像，避免了因缺陷区域点集深度值变化波动范围小而造成深度值映射过程中信息减弱和丢失的现象，增强了点云缺陷与点云背景的对比度，为后续缺陷检测步骤提供了高质量的数据支撑。
(3)点云的空间字典索引结构的构建，降低了大批量点云数据的划分复杂度，加快了大粒度网格区域点的回溯查询时间。
(4)在点云分层过程中根据点的移动趋势和近邻域的点数拟合出二次曲面以更新点的坐标，降低了点云分层过程中的信息丢失率；再引入深度学习算法提高了缺陷的识别精度，与现有的人工缺陷检测相比，减少了人工劳动力。本发明可以在动车侧墙板的复杂型面上完成微小缺陷的检测，为后续涂装工程提供可靠的数据支撑。
附图说明
图1为本方法的整体算法流程图。
图2为动车侧墙板点云数据及空间坐标系分布示意图。
图3为切片层下的点云划分示意图。
图4为霍夫变换的原理图。
图5为基于点云轮廓拟合直线的点云区域分割。
图6为点云各区域的变换和拼接流程示意图。
图7为未经展平的动车侧墙板点云深度图及局部缺陷展示图。
图8为经展平的动车侧墙板点云深度图及局部缺陷展示图。
具体实施方式
下面根据附图对本发明的具体实施方式作出进一步说明：
图1是本方法的流程图，如图1所示，一种基于三维点云和模态转换的动车侧墙板缺陷提取方法，包括以下步骤：
步骤1、通过三维测距传感器采集动车侧墙板的三维点云数据，并进行预处理，预处理包括：剔除点云数据中的离群点。
步骤2、进行点云坐标系转换，使点云的坐标系X轴为动车侧墙板的主方向；具体为：
利用布尔莎七参数模型完成点云坐标系的转换，如图2所示，使点云的坐标系x轴为动车侧墙板的主方向：
其中，TX为由坐标系B中X轴到坐标系A中X轴的平移参数，TY为由坐标系B中Y轴到坐标系A中Y轴的平移参数，TZ为由坐标系B中Z轴到坐标系A中Z轴的平移参数，wx为由坐标系B中X轴到坐标系A中X轴的旋转参数，wy为由坐标系B中Y轴到坐标系A中Y轴的旋转参数，wz为由坐标系B中Z轴到坐标系A中Z轴的旋转参数，m为由坐标系B到坐标系A的尺度参数，(XA，YA，ZA)为坐标系A上的点，(XB、YB、ZB)为坐标系B上的点。
步骤3、根据三维点云的整体密度对点云进行切片分层，具体为：
3.1、基于最远点采样算法估计点云密度；
3.2、根据点云密度大小设置点云的切片分层间距为d；
3.3、计算出点(xi，yi，zi)所在的切片层索引indexi：
其中i＝1，2，...，n，n代表点云中点的个数，floor()为向下取整函数，Bxmin为最小包围盒尺寸在X轴上的最小值；
3.4、再计算出该点(xi，yi，zi)所在的前后切片层的前层位置sliceiMin和后切片层的后层位置sliceiMax，如图3所示，分别为：
3.5、设置点的移位导向的判定条件，判定条件包括移动距离和方向，为了减少点在长距离移动中特征信息的丢失，需要移动点到更靠近的切片层：
if(xi-sliceiMin)＜(sliceiMax-xi) (4)；
indexi＝indexi+1 (5)；
即当点靠近sliceMax层，索引值会归属到该sliceMax层，移动距离即为在该点到该sliceMax层的垂直距离，点移动后的X轴坐标变为切片层在X轴的位置；
3.6、该点的z坐标的移动距离和方向由邻域区域的二次拟合曲面决定，空间坐标系中点的初始位置为(xi，yi，zi)，移动后点的位置为(x′i，y′i，z′i)，以该点为中心均匀取n个邻域点，基于n个邻域点，通过最小二乘拟合算法计算出二次曲面方程进而表征该点的局部区域，向二次曲面方程代入x′i和y′i的值，即可求解z′i，切片分层后得到的新点云标记为P′。
步骤4、提取点云数据的列数据进行轮廓线的线性拟合；具体为：
4.1、选取点云数据X轴方向的一个切片层，由于切片层中的点集x值均相同，因此仅在Y轴和Z轴方向上对点集数据作霍夫变换直线检测，采用极坐标系作为参数转换空间：
其中rcosθ为点的y值在极坐标系下的表示，rsinθ为点的z值在极坐标系下的表示；
4.2、假设点集中存在直线段l1，则存在一条过YZ坐标系原点的直线l2与直线段l1垂直相交，直线l2与坐标系Y轴的夹角为θ，直线段l1与Y轴夹角即为90°+θ，则直线段l1的斜率为：
4.3、设直线段l1上存在一点为(yi，zi)，则斜率表示为：
代入步骤4.2中的公式对斜率公式化简后可得：
r＝yicosθ+zisinθ (9)；
其中i为点集中所包含的点数量；
4.4、将点集中的点代入到方程r＝yicosθ+zisinθ中，可以得到i个极坐标方程或是正弦曲线(如图4所示)，在极坐标系下计算i条正弦曲线的交点次数，统计出参数(r，θ)的出现次数并保留出现次数第一的参数(r1，θ1)和第二的参数(r2，θ2)，则相对应的直角坐标系中的直线方程分别为：
即为点云轮廓线中的两个直线段的拟合方程。
步骤5、根据拟合方程和差分计算确定分割线(分割线具体位置见图5)，再对点云数据进行区域划分得到P′1，P′2，P′3，P′4等4个区域的点集。
步骤6、对划分后得到的各区域P′＝{P′1，P′2，P′3，P′4}进行展平操作，如图6所示，再进行相邻区域的拼接得到新的点云数据，即P″＝{P″1，P″2，P″3，P″4}；
所述的步骤6具体为：
6.1、点云P区域划分后得到4个区域点集P′＝{P′1，P′2，P′3，P′4}，它们的外观分别表现为平面，弧形曲面，平面和弧形曲面；步骤4.4中求取的两个直线段的拟合方程分别为P′1和P′3点云轮廓线的拟合直线方程；
6.2、首先，随机选取第二个点集P′2的m个列数据，作圆的拟合方程求取圆心坐标和半径；由于是离散点，利用最小二乘圆度拟合，通过最小化误差的平方和找到最优拟合圆函数，即可得到m组拟合圆的参数(Cy，Cz，R)，其中(Cy，Cz)为圆心坐标，R为圆半径，再对m组参数中的各个参数取均值得到最终拟合圆的参数
6.3、假设点集P′2中一个点的坐标为(x，y，z)，引入参数计算出处于圆弧线段的点在拟合圆上的转角α和点在Y轴上的投影位置y′：
6.4、投影点的Z轴坐标由点到拟合圆的距离决定，以z＝0为基准线，若点在拟合圆外部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为-D；若点在拟合圆内部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为D；
6.5、计算点集P′2中所有点的投影点，得到新点集P2″；分别记录新点集P2″在坐标系Y轴上的最小值y″2min和在坐标系Z轴上的最小值z″2min；
6.6、根据步骤4.4可知，点集P′1轮廓线的直线拟合方程的斜率获取旋转参数和平移参数，构建旋转变换矩阵R(β)和平移矩阵/>T(ty，tz)，向公式(12)内输入点集P′1得到P″1，使得P″1在坐标系Y轴上的最大值与点集P2″在坐标系Y轴上的最小值相同，使得P″1在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝180-θ1，ty＝-y′1max，tz＝-z′1min，其中y′1max为点集P′1在Y轴上的最大值，z′1min为点集P′1在Z轴上的最小值，/>为点集/>在Y轴上的最大值，/>为点集/>在Z轴上的最小值，(P1x′，P1y′，P1z′)为点集P′1上的点，/>为P′1经过平移矩阵T(ty，tz)和旋转变换矩阵R(β)后的点集；
6.7、再对点集P′3进行旋转变换，根据步骤4.4可知点集P′3轮廓线的直线拟合方程的斜率获取旋转参数和平移参数，构建旋转变换矩阵R(β)和平移矩阵T(ty，tz)，向公式(14)内输入点集P′3得到P″3，使得P″3在坐标系Y轴上的最小值与点集P2″在坐标系Y轴上的最大值相同，使得P″3在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝-θ2，ty＝-y′3min，tz＝-z′3min，其中y′3min为点集P′3在Y轴上的最小值，z′3min为点集P′3在Z轴上的最小值，/>为点集/>在Y轴上的最小值，/>为点集/>在Z轴上的最小值，(P3x′，P3y′，P3z′)为点集P′3上的点，/>为P′3经过平移矩阵T(ty，tz)和旋转变换矩阵R(β)后的点集；
6.8、同理步骤6.2至6.5，对点集P′4作投影变换，计算点集P′4中所有点的投影点，得到新点集
6.9、获取新点集的平移参数，构建平移矩阵/>向公式(16)内输入点集得到P″4，使得P″4在坐标系Y轴上的最小值与新点集P3″在坐标系Y轴上的最大值相同，使得P″4在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中其中y″3max为点集P″3在Y轴上的最大值，/>为新点集/>在Y轴上的最小值，/>为新点集/>在Z轴上的最小值，为新点集/>上的点。
步骤7、根据步骤6中各区域变换的参数构建各区域的空间逆向变换矩阵；
步骤8、构建点云的空间字典索引结构；具体为：
8.1、根据最小包围盒算法计算点云P″＝{P″1，P″2，P″3，P″4}的最小包围盒尺寸为(B″xmin，B″xmax，B″min，B″ymax，B″zmin，B″zmax)；
8.2、设置空间字典的左上角和右下角的位置坐标分别为(Dx1，Dy1)和(Dx2，Dy2)；
其中d为步骤3.3中点云切片的分层间距；
8.3、设置空间字典的维度大小为(l，w，h)，其中l为空间字典在X轴上划分的网格数， roundup()为向上取整函数；w为空间字典在Y轴上划分的网格数，/>h为每个网格内存储的点数量；
8.4、在空间字典的每一个网格中，给h个点添加KdTree空间索引结构。
步骤9、构建颜色映射方程，将新生成的点云数据转换为彩色图像；具体为：
9.1、利用最大距离法提取空间字典中每个网格内距离z＝0平面最远的点，组成一个新的点集O＝{(x1，y1，z1)，(x2，y2，z2)，...，(xM，yM，zM)}，其中M＝lw；将点集O中的z值映射为颜色值c，x值和y值分别作为像素值的坐标(u，v)，即将一个三维点(x，y，z)转为图像中的像素(u，v，c)；
9.2、设置像素值的通道数为3，颜色层级为5，首先确定点集中各点的zj(j＝1，2，...，M)所在的颜色层级：
其中zmin为点集O内的所有点在Z轴上的值中的最小值，zmax为点集O内的所有点在Z轴上的值中的最大值；
9.3、接着计算zj在颜色层级中的具体转换值cj：
5个颜色层级的划分区间和各区间内的具体颜色转换值如下所示：第1级为(0，255*vrate，255)；第2级为(0，255*(1-vrate)，255)；第3级为(255*vrate，255，0)；第4级为(255，(1-vrate)*255，0)；第5级为(255，0，vrate*255)；
其中：
9.4、空间字典的维度大小为(l，w，h)，最终的成像尺寸即为(l，w)，相同网格内的点云数据转换后的颜色相同。未经展平的动车侧墙板点云深度图和经展平的动车侧墙板点云深度图分别见图7和图8。
步骤10、构建卷积神经网络用于彩色图像中缺陷的分割；具体为：
10.1、网络第一个模块将图像处理成可操作的数组矩阵；
10.2、再得到的数据矩阵送入网络第二个模块中进行卷积运算，通过改变数组矩阵空间的观察角度以寻找能有效表征缺陷信息的数据的非线性映射方式；
10.3、将经过非线性映射的数组矩阵输入到网络第三个模块中，对数组矩阵的每一个通道进行分类，最终输出分类矩阵；
10.4、将分类矩阵用作图像蒙板，对图像进行分割操作，提取出代表缺陷信息的像素点。
步骤11、将彩色图像中缺陷像素的坐标值转为索引值，检索得到其在点云空间字典所在的网格，网格内的点通过步骤7的空间逆向变换矩阵还原其在初始点云中的位置，通过聚类算法集合各缺陷表征点，每一个聚类点集即为一个缺陷区域。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (6)

1.一种基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，包括：
步骤1、获取动车侧墙板的三维点云数据；
步骤2、进行点云坐标系转换，使点云的坐标系X轴为动车侧墙板的主方向；
步骤3、根据三维点云的整体密度对点云进行切片分层；
步骤4、提取点云数据的列数据进行轮廓线的线性拟合；
步骤5、根据拟合方程和差分计算对点云数据进行区域划分；
步骤6、对划分后得到的各区域进行展平操作，再进行相邻区域的拼接得到新的点云数据；
步骤7、根据步骤6中各区域变换的参数构建各区域的空间逆向变换矩阵；
步骤8、构建点云的空间字典索引结构；
步骤9、构建颜色映射方程，将新生成的点云数据转换为彩色图像；
步骤10、构建卷积神经网络用于彩色图像中缺陷的分割；
步骤11、将彩色图像中缺陷像素的坐标值转为索引值，检索得到其在点云空间字典所在的网格，网格内的点通过步骤7的空间逆向变换矩阵还原其在初始点云中的位置，通过聚类算法集合各缺陷表征点，每一个聚类点集即为一个缺陷区域。
2.根据权利要求1所述的基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，所述的步骤3具体为：
3.1、基于最远点采样算法估计点云密度；
3.2、根据点云密度大小设置点云的切片分层间距为d；
3.3、计算出点(xi,yi,zi)所在的切片层索引indexi：
其中i＝1,2,…,n，n代表点云中点的个数，floor()为向下取整函数，Bxmin为最小包围盒尺寸在X轴上的最小值；
3.4、再计算出该点(xi,yi,zi)所在的前后切片层的前层位置sliceiMin和后切片层的后层位置sliceiMax，分别为：
3.5、设置点的移位导向的判定条件，判定条件包括移动距离和方向，移动点到更靠近的切片层：
if(xi-sliceiMin)＜(sliceiMax-xi) (4)；
indexi＝indexi+1 (5)；
即当点靠近sliceMax层，索引值会归属到该sliceMax层，移动距离即为在该点到该sliceMax层的垂直距离，点移动后的X轴坐标变为切片层在X轴的位置；
3.6、该点的z坐标的移动距离和方向由邻域区域的二次拟合曲面决定，空间坐标系中点的初始位置为(xi,yi,zi)，移动后点的位置为(x′i,y′i,z′i)，以该点为中心均匀取n个邻域点，基于n个邻域点，通过最小二乘拟合算法计算出二次曲面方程进而表征该点的局部区域，向二次曲面方程代入x′i和y′i的值，即可求解z′i，切片分层后得到的新点云标记为P′。
3.根据权利要求1所述的基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，所述的步骤4具体为：
4.1、选取点云数据X轴方向的一个切片层，由于切片层中的点集x值均相同，因此仅在Y轴和Z轴方向上对点集数据作霍夫变换直线检测，采用极坐标系作为参数转换空间：
其中rcosθ为点的y值在极坐标系下的表示，rsinθ为点的z值在极坐标系下的表示；
4.2、假设点集中存在直线段l1，则存在一条过YZ坐标系原点的直线l2与直线段l1垂直相交，直线l2与坐标系Y轴的夹角为θ，直线段l1与Y轴夹角即为90°+θ，则直线段l1的斜率为：
4.3、设直线段l1上存在一点为(yi,zi)，则斜率表示为：
代入步骤4.2中的公式对斜率公式化简后可得：
r＝yicosθ+zisinθ (9)；
其中i为点集中所包含的点数量；
4.4、将点集中的点代入到方程r＝yicosθ+zisinθ中，得到i个极坐标方程或是正弦曲线，在极坐标系下计算i条正弦曲线的交点次数，统计出参数(r,θ)的出现次数并保留出现次数第一的参数(r1,θ1)和第二的参数(r2,θ2)，则相对应的直角坐标系中的直线方程分别为：
即为点云轮廓线中的两个直线段的拟合方程。
4.根据权利要求3所述的基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，所述的步骤6具体为：
6.1、点云区域划分后得到4个区域点集P′＝{P′1,P′2,P′3,P′4}，它们的外观分别表现为平面，弧形曲面，平面和弧形曲面，步骤4.4中求取的两个直线段的拟合方程分别为P′1和P′3点云轮廓线的拟合直线方程；
6.2、随机选取第二个点集P′2的m个列数据，作圆的拟合方程求取圆心坐标和半径，即利用最小二乘圆度拟合，通过最小化误差的平方和找到最优拟合圆函数，即可得到m组拟合圆的参数(Cy,Cz,R)，其中(Cy,Cz)为圆心坐标，R为圆半径，再对m组参数中的各个参数取均值得到最终拟合圆的参数
6.3、假设点集P′2中一个点的坐标为(x,y,z)，引入参数计算出处于圆弧线段的点在拟合圆上的转角α和点在Y轴上的投影位置y′：
6.4、投影点的Z轴坐标由点到拟合圆的距离决定，以z＝0为基准线，若点在拟合圆外部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为-D；若点在拟合圆内部且点到拟合圆的距离值为D，那么该点在Z轴上的坐标值为D；
6.5、计算点集P′2中所有点的投影点，得到新点集P2″；分别记录新点集P2″在坐标系Y轴上的最小值y″2min和在坐标系Z轴上的最小值z″2min；
6.6、根据步骤4.4可知，点集P′1轮廓线的直线拟合方程的斜率构建旋转变换矩阵和平移矩阵，向公式(12)内输入点集P′1得到P″1，使得P″1在坐标系Y轴上的最大值与点集P2″在坐标系Y轴上的最小值相同，使得P″1在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝180-θ1，ty＝-y′1max，tz＝-z′1min，其中y′1max为点集P′1在Y轴上的最大值，z′1min为点集P′1在Z轴上的最小值，/>为点集/>在Y轴上的最大值，/>为点集/>在P轴上的最小值，(P1x′,P1y′,P1z′)为点集P′1上的点，/>为P′1经过平移矩阵T(ty,tz)和旋转变换矩阵R(β)后的点集；
6.7、再对点集P′3进行旋转变换，根据步骤4.4可知点集P′3轮廓线的直线拟合方程的斜率构建旋转变换矩阵和平移矩阵，向公式(14)内输入点集P′3得到P″3，使得P″3在坐标系Y轴上的最小值与点集P2″在坐标系Y轴上的最大值相同，使得P″3在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中β＝-θ2，ty＝-y′3min，tz＝-z′3min，其中y′3min为点集P′3在Y轴上的最小值，z′3min为点集P′3在Z轴上的最小值，/>为点集/>在Y轴上的最小值，/>为点集/>在Z轴上的最小值，(P3x′,P3y′,P3z′)为点集P′3上的点，/>为P′3经过平移矩阵T(ty,tz)和旋转变换矩阵R(β)后的点集；
6.8、同理步骤6.2至6.5，对点集P′4作投影变换，计算点集P′4中所有点的投影点，得到新点集
6.9、构建新点集的平移矩阵，向公式(16)内输入点集/>得到P″4，使得P″4在坐标系Y轴上的最小值与新点集P3″在坐标系Y轴上的最大值相同，使得P″4在Z轴上的最小值和点集P2″在Z轴上的最小值相同；
其中其中y″3max为点集P″3在Y轴上的最大值，为新点集/>在Y轴上的最小值，/>为新点集/>在Z轴上的最小值，/>为新点集/>上的点。
5.根据权利要求4所述的基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，所述的步骤8具体为：
8.1、根据最小包围盒算法计算点云P″＝{P″1,P″2,P″3,P″4}的最小包围盒尺寸为(B″xmin，B″xmax，B″ymin，B″ymax，B″zmin，B″zmax)；
8.2、设置空间字典的左上角和右下角的位置坐标分别为(Dx1,Dy1)和(Dx2,Dy2)；
其中d为步骤3.3中点云切片的分层间距；
8.3、设置空间字典的维度大小为(l,w,h)，其中l为空间字典在X轴上划分的网格数， 为向上取整函数；w为空间字典在Y轴上划分的网格数，/>h为每个网格内存储的点数量；
8.4、在空间字典的每一个网格中，给h个点添加KdTree空间索引结构。
6.根据权利要求5所述的基于三维点云和模态转换的动车侧墙板缺陷提取方法，其特征在于，所述的步骤9具体为：
9.1、利用最大距离法提取空间字典中每个网格内距离z＝0平面最远的点，组成一个新的点集O＝{(x1,y1,z1),(x2,y2,z2),…,(xM,yM,zM)}，其中M＝lw；将点集O中的z值映射为颜色值c，x值和y值分别作为像素值的坐标(u,v)，即将一个三维点(x,y,z)转为图像中的像素(u,v,c)；
9.2、设置像素值的通道数为3，颜色层级为5，首先确定点集中各点的zj(j＝1,2,…,M)所在的颜色层级：
其中zmin为点集O内的所有点在Z轴上的值中的最小值，zmaz为点集O内的所有点在Z轴上的值中的最大值；
9.3、接着计算zj在颜色层级中的具体转换值cj：
5个颜色层级的划分区间和各区间内的具体颜色转换值如下所示：第1级为(0,255*vrate,255)；第2级为(0,255*(1-vrate),255)；第3级为(255*vrate,255,0)；第4级为(255,(1-vrate)*255,0)；第5级为(255,0,vrate*255)；
其中：
9.4、空间字典的维度大小为(l,w,h)，最终的成像尺寸即为(l,w)，相同网格内的点云数据转换后的颜色相同。
CN202310690171.0A 2023-06-12 2023-06-12 基于三维点云和模态转换的动车侧墙板缺陷提取方法 Active CN116721081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310690171.0A CN116721081B (zh) 2023-06-12 2023-06-12 基于三维点云和模态转换的动车侧墙板缺陷提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310690171.0A CN116721081B (zh) 2023-06-12 2023-06-12 基于三维点云和模态转换的动车侧墙板缺陷提取方法

Publications (2)

Publication Number Publication Date
CN116721081A true CN116721081A (zh) 2023-09-08
CN116721081B CN116721081B (zh) 2024-01-26

Family

ID=87872873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310690171.0A Active CN116721081B (zh) 2023-06-12 2023-06-12 基于三维点云和模态转换的动车侧墙板缺陷提取方法

Country Status (1)

Country Link
CN (1) CN116721081B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
CN109448087A (zh) * 2018-10-18 2019-03-08 南京林业大学 一种盾构隧道表面点云数据分段方法
CN109993783A (zh) * 2019-03-25 2019-07-09 北京航空航天大学 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
WO2020223594A2 (en) * 2019-05-02 2020-11-05 Kodak Alaris, Inc Automated 360-degree dense point object inspection
CN114066953A (zh) * 2021-11-22 2022-02-18 南京大学 一种针对刚性目标的三维多模态图像可变形配准方法
CN114219855A (zh) * 2021-11-17 2022-03-22 深圳有象智联科技有限公司 点云法向量的估计方法、装置、计算机设备和存储介质
RU2791416C1 (ru) * 2021-11-12 2023-03-07 Цзянсуская корпорация по ядерной энергетике Способ трехмерной реконструкции резьбы отверстий под шпильки главного разъёма корпуса реактора и автоматической идентификации дефектов

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
CN109448087A (zh) * 2018-10-18 2019-03-08 南京林业大学 一种盾构隧道表面点云数据分段方法
CN109993783A (zh) * 2019-03-25 2019-07-09 北京航空航天大学 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
WO2020223594A2 (en) * 2019-05-02 2020-11-05 Kodak Alaris, Inc Automated 360-degree dense point object inspection
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
RU2791416C1 (ru) * 2021-11-12 2023-03-07 Цзянсуская корпорация по ядерной энергетике Способ трехмерной реконструкции резьбы отверстий под шпильки главного разъёма корпуса реактора и автоматической идентификации дефектов
CN114219855A (zh) * 2021-11-17 2022-03-22 深圳有象智联科技有限公司 点云法向量的估计方法、装置、计算机设备和存储介质
CN114066953A (zh) * 2021-11-22 2022-02-18 南京大学 一种针对刚性目标的三维多模态图像可变形配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶雯 等: "基于点云数据的立木树干局部曲面拟合及拓扑结构", 《山东大学学报（工学版）》, vol. 43, no. 2, pages 42 - 47 *
赵乾 等: "实木板材无损检测中三维点云数据的预处理", 《林业工程学报》, vol. 5, no. 3, pages 46 - 51 *

Also Published As

Publication number Publication date
CN116721081B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN112489212A (zh) 一种基于多源遥感数据的建筑物智能化三维测图方法
CN114581742A (zh) 基于线性度的连通域聚类融合方法、装置、系统及介质
TWI773063B (zh) 圖像產生系統及圖像產生方法
Ma Building model reconstruction from LiDAR data and aerial photographs
CN114067231B (zh) 一种基于机器视觉学习识别的零件加工特征识别方法
CN110544238B (zh) 一种基于几何定位的柔性电路板线路缺陷识别方法
CN112697058A (zh) 一种基于机器视觉的大尺寸板材装配间隙在线测量系统与方法
JPWO2020121564A1 (ja) 寸法計測装置、寸法計測プログラム及び半導体製造システム
CN109754436B (zh) 一种基于镜头分区域畸变函数模型的相机标定方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN115439840A (zh) 一种航空件槽区识别方法、装置、设备及介质
CN110660094A (zh) 一种基于图像识别的地铁隧道移动扫描点云精细划分方法
CN114612665A (zh) 基于法向量直方图特征的位姿估计及动态车辆检测方法
CN107037738B (zh) 数控加工几何仿真中基于stl模型的材料去除方法
CN116721081B (zh) 基于三维点云和模态转换的动车侧墙板缺陷提取方法
CN117496085A (zh) 一种基于手绘草图的参数化三维模型生成方法及系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN101599176B (zh) 一种对管状结构内层分割的方法
CN117292181A (zh) 基于3d点云处理的钣金件孔组分类及全尺寸测量方法
CN116299313A (zh) 一种基于激光雷达的智能车辆可通行区域检测方法
CN116051771A (zh) 一种基于无人机倾斜摄影模型的光伏bim屋顶自动建模方法
CN112017294B (zh) 基于可见性判断的三维cad网格模型简化方法和系统
CN114219702A (zh) 不同染色病理切片图像匹配及显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant