CN115656182A - 基于张量投票主成分分析的板材点云缺陷检测方法 - Google Patents
基于张量投票主成分分析的板材点云缺陷检测方法 Download PDFInfo
- Publication number
- CN115656182A CN115656182A CN202211335598.0A CN202211335598A CN115656182A CN 115656182 A CN115656182 A CN 115656182A CN 202211335598 A CN202211335598 A CN 202211335598A CN 115656182 A CN115656182 A CN 115656182A
- Authority
- CN
- China
- Prior art keywords
- point
- tensor
- voting
- point cloud
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000513 principal component analysis Methods 0.000 title claims abstract description 13
- 239000000463 material Substances 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012217 deletion Methods 0.000 claims abstract description 4
- 230000037430 deletion Effects 0.000 claims abstract description 4
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012847 principal component analysis method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于张量投票主成分分析的板材点云缺陷检测方法，包括以下步骤，获取待检测板材的三维点云数据，并对所获得的板材点云数据进行预处理；构建板材点云kdtree，查找所有点邻域内点集，并保存；构造法向投票张量；构造点的投票张量；计算法向投票张量的谱分量；计算点投票张量的谱分量；计算缺陷指标；设置缺陷指标阈值，得到缺陷区域；对缺陷点云进行聚类，并设置删除阈值，删除干扰缺陷区域，最终获得缺陷区域点云最小包围盒。本发明相较于传统二维图像缺陷检测有明显的优势，检测结果更加准确；检测速度更快。
Description
技术领域
本发明涉及工业缺陷检测领域，尤其是一种基于张量投票主成分分析的板材点云缺陷检测方法。
背景技术
板材表面缺陷检测难点具体表现在如下几个方面：1)环境光与系统光源形成干涉，影响成像效果；2)板材表面存在强烈反光情况，倒影在板材表面的环境对成像后处理埋下一定隐患，增加现场安装人员的调试难度；3)以及现场粉尘、油污对板材表面的污染干扰，严重影响图像处理过程，降低生产产品的良品率。
对于反光性强、干扰多的板材表面缺陷检测中，传统二维图像处理算法检测难度大，实用性有所不足。而三维视觉信息可以获取高度信息，利用三维视觉扫描仪提取物体表面的点云数据，然后通过提取缺陷点的特征，计算与标准模型之间的差值，通过阈值判断是否有缺陷，再使用包围计算缺陷尺寸，是一个很好的方案。
现有技术中，CN 115100116A提出一种基于三维点云的板材缺陷检测方法，通过对生产现场采集的板材三维点云数据进行滤波、坐标转换、拟合平面等操作、测量出相关参数、与设定的标准值和阈值进行对比后，判断是否在尺寸方面以及平整度方面存在缺陷；但是该方法核心检测方法是拟合出板材所在平面，设置阈值，若存在点高于或者低于所设阈值，则判定为缺陷。而在点云采集时，由于电机旋转，所采集点云会呈现正弦波状干扰，板材平面存在一定程度的高低波动，进而影响缺陷的检测，降低检测精度。
CN 111539949A提出一种基于点云数据的锂电池极片表面缺陷检测方法，通过端到端的学习直接处理坐标点数据，对划痕、裂纹、气泡、颗粒等缺陷进行分类与定位。但是该发明采用三维深度学习方法进行缺陷检测，需要采集大量缺陷样本、正常样本，费时费力，且应对新的不确定性缺陷时，检测准确率降低。
CN 112326671A提出一种基于机器视觉的金属板材表面缺陷检测方法将红色条纹光投射到板材表面，使凹坑、凸起、划痕等缺陷被突显出来，使用CCD摄像机采集条纹投影图像；将彩色图像分解，突显光源的色彩信息，突显光源的色彩信息；提取条纹中心，通过算法判断线条的畸变情况，反映缺陷的大小。采用条纹的打光方式，消除镜面反射效应影响的同时，能够增强对板材表面缺陷的显现力，得到具有高质量的缺陷图像。但是该发明采取传统二维检测方法，存在以下三点问题：环境光与系统光源形成干涉，影响成像效果；板材表面存在强烈反光情况，倒影在板材表面的环境对成像后处理埋下一定隐患，增加现场安装人员的调试难度；以及现场粉尘、油污对板材表面的污染干扰，严重影响图像处理过程，降低生产产品的良品率。
而公开文献：“基于HDRI的高反光金属表面缺陷检测方法研究”根据物体表面反射将测量物体分为弱镜面反射与强镜面反射两类，提出一种解决方案通过组合自适应最佳曝光时间、在相机和投影仪前面加正交偏振器、以及适当改变所用偏振器的透射轴之间的角度这三种技术，来实现具有高动态范围或镜面反射表面物体的测量。但是该文献通过组合自适应最佳曝光时间、在相机和投影仪前面加正交偏振器、以及适当改变所用偏振器的透射轴之间的角度这三种技术，来实现具有高动态范围或镜面反射表面物体的测量。该方法缺点和产生原因与现有技术CN 112326671A一致，均属于二维成像范围。
发明内容
本发明要解决的技术问题是：提供一种基于张量投票主成分分析的板材点云缺陷检测方法，通过对现场采集的板材三维点云数据进行预处理，使用张量投票主成分分析方法，计算出每个点缺陷指标、缺陷区域最小包围盒等相关参数，与设定标准值和阈值进行对比，判断是否存在突起、凹陷、划伤等缺陷，并给出缺陷尺寸。
本发明解决其技术问题所采用的技术方案是：一种基于张量投票主成分分析的板材点云缺陷检测方法，包括以下步骤，
S1、获取待检测板材的三维点云数据，并对所获得的板材点云数据进行预处理；
S2、构建板材点云kdtree，查找所有点邻域内点集，并保存；
S3、构造法向投票张量；
S4、构造点的投票张量；
S5、计算法向投票张量的谱分量；
S6、计算点投票张量的谱分量；
S7、计算缺陷指标；
S8、设置缺陷指标阈值，得到缺陷区域；
S9、对缺陷点云进行聚类，并设置删除阈值，删除干扰缺陷区域，最终获得缺陷区域点云最小包围盒。
进一步的说，本发明所述的步骤S3中，第i点的法向投票张量为其kdtree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，pi和pj表示为该点云第i个点和第j个点，N(j)表示第i个点的邻域所有点集合，随pi和pj之间的距离递减而增大；点的标准差σ通常根据经验设定为kdtree邻域点之间的平均距离；ni和nj表示为该点云第i个点和第j个点的法向，
符号代表该点法向的外积
进一步的说，本发明所述的步骤S4中，第i点的点投票张量为其kdree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，随ni和nj之间的距离递减而增大；而
法向标准差σ根据不同模式设置，pi和pj表示为该点云第i个点和第j个点，ni和nj表示为该点云第i个点和第j个点的法向。
进一步的说，本发明所述的步骤S5中，计算法向投票张量的谱分量：
其中，
和
是第i个点法向投票张量对应的特征值和特征向量。
进一步的说，本发明所述的步骤S6中，计算点投票张量的谱分量：
其中，
和
是第i个点投票张量对应的特征值和特征向量。
进一步的说，本发明所述的步骤S7中，计算第i个点缺陷指标
和
进一步的说，本发明所述的步骤S9中，聚类方法包括kmean聚类、meanshif聚类、二分法或DBSCAN聚类。
本发明的有益效果是，解决了背景技术中存在的缺陷，相较于传统二维图像缺陷检测在划痕、凹槽、破损等三维空间缺陷有明显的优势，包含的细节更加丰富，对缺陷的体积、表面积等空间信息的检测更加准确，排除了图像表面纹理、赃物、反光等不确定性因素影响，检测结果更加准确；去掉了点云配准消耗的大量时间，检测结果精确更高，检测速度更快，少人工自动检测。
附图说明
图1是本发明的流程示意图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的一种基于张量投票主成分分析的板材点云缺陷检测方法，包括以下步骤，
1.点云获取
用3D设备获取待检测板材的三维点云数据，所述3D设备包括3D激光轮廓扫描仪、双目结构光等。
2.点云预处理
对所获板材点云进行预处理，所述预处理包括点云精简、去除离群点、点云平滑等。
3.缺陷检测
1)构建板材点云kdtree，查找所有点邻域内点集，并保存；
2)构造法向投票张量，第i点的法向投票张量为其kdtree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，pi和pj表示为该点云第i个点和第j个点，N(j)表示第i个点的邻域所有点集合，随pi和pj之间的距离递减而增大；点的标准差σ通常根据经验设定为kdtree邻域点之间的平均距离；ni和nj表示为该点云第i个点和第j个点的法向,
符号代表该点法向的外积
3)构造点的投票张量，第i点的点投票张量为其kdree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，随ni和nj之间的距离递减而增大；而
法向标准差σ根据不同模式设置，pi和pj表示为该点云第i个点和第j个点，ni和nj表示为该点云第i个点和第j个点的法向。
4)由步骤2)，计算法向投票张量的谱分量：
其中，
和
是第i个点法向投票张量对应的特征值和特征向量。
5)由步骤3)，计算点投票张量的谱分量：
其中，
和
是第i个点投票张量对应的特征值和特征向量。
6)由步骤4和5，计算第i个点缺陷指标
和
7)设置缺陷指标
和
的阈值，循环板材中的每个点，计算
和
的值，若
和
均大于阈值，则判定为缺陷点，反之为非缺陷点。
4.对提取的缺陷点云进行聚类，聚类方法包括kmean聚类、meanshif聚类、二分法、DBSCAN聚类等。
5.设置删除阈值，当聚类块的点数小于该值时，排除干扰缺陷区域，最后剩下的为缺陷区域点云。
6.求缺陷区域点云最小包围盒，得到缺陷尺寸和缺陷位置。
本方法中涉及的“板材”指的是木板、钢板、玻璃板等一系列平面类材料；根据其他实施例，“板材”类别可以不同、预处理的方式可以有差异、点云获取方式可以不同、缺陷区域删选方法也可以不同。
本发明是一种全新的点云缺陷检测方法；张量投票在计算中，考虑到了邻域内其他点的干扰，利用于其邻域内点的距离和法向关系排除一些错误邻域点的干扰，降低其权重，使得效果得以提升。在工程应用中，参数的设置方便与否，也是一个重要的指标，涉及到算法是否便于落地工业中。明显的，张量投票的主成分分析方法具有更大的调参空间，使得调参更为方便，方便不熟悉算法人员正确使用。并且张量投票主成分分析方法检测，不属于深度学习领域，不需要采集大量样本集；同时采用3D成像方式，大幅度降低了环境光干扰、材料反光、油污脏污的干扰。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。
Claims (7)
1.一种基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：包括以下步骤，
S1、获取待检测板材的三维点云数据，并对所获得的板材点云数据进行预处理；
S2、构建板材点云kdtree，查找所有点邻域内点集，并保存；
S3、构造法向投票张量；
S4、构造点的投票张量；
S5、计算法向投票张量的谱分量；
S6、计算点投票张量的谱分量；
S7、计算缺陷指标；
S8、设置缺陷指标阈值，得到缺陷区域；
S9、对缺陷点云进行聚类，并设置删除阈值，删除干扰缺陷区域，最终获得缺陷区域点云最小包围盒。
2.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S3中，第i点的法向投票张量为其kdtree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，pi和pj表示为该点云第i个点和第j个点，N(j)表示第i个点的邻域所有点集合，随pi和pj之间的距离递减而增大；点的标准差σ通常根据经验设定为kdtree邻域点之间的平均距离；ni和nj表示为该点云第i个点和第j个点的法向,
符号代表该点法向的外积
3.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S4中，第i点的点投票张量为其kdree邻域内点集正态的加权协方差矩阵的和为：
其中，
是一个邻域点的的高斯加权函数，随ni和nj之间的距离递减而增大；而
法向标准差σ根据不同模式设置，pi和pj表示为该点云第i个点和第j个点，ni和nj表示为该点云第i个点和第j个点的法向。
4.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S5中，计算法向投票张量的谱分量：
其中，
和
是第i个点法向投票张量对应的特征值和特征向量。
5.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S6中，计算点投票张量的谱分量：
其中，
和
是第i个点投票张量对应的特征值和特征向量。
6.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S7中，计算第i个点缺陷指标
和
7.如权利要求1所述的基于张量投票主成分分析的板材点云缺陷检测方法，其特征在于：所述的步骤S9中，聚类方法包括kmean聚类、meanshif聚类、二分法或DBSCAN聚类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211335598.0A CN115656182A (zh) | 2022-10-28 | 2022-10-28 | 基于张量投票主成分分析的板材点云缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211335598.0A CN115656182A (zh) | 2022-10-28 | 2022-10-28 | 基于张量投票主成分分析的板材点云缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115656182A true CN115656182A (zh) | 2023-01-31 |
Family
ID=84992753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211335598.0A Pending CN115656182A (zh) | 2022-10-28 | 2022-10-28 | 基于张量投票主成分分析的板材点云缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115656182A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116359243A (zh) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | 基于计算机视觉的环保护墙板生产质量检测方法 |
| CN116630330A (zh) * | 2023-07-26 | 2023-08-22 | 征图新视(江苏)科技股份有限公司 | 一种基于边缘差分的三角网格平面缺陷检测方法 |
-
2022
- 2022-10-28 CN CN202211335598.0A patent/CN115656182A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116359243A (zh) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | 基于计算机视觉的环保护墙板生产质量检测方法 |
| CN116630330A (zh) * | 2023-07-26 | 2023-08-22 | 征图新视(江苏)科技股份有限公司 | 一种基于边缘差分的三角网格平面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106949848B (zh) | 一种高精度激光3d轮廓手机结构件检测方法 | |
| CN108355981B (zh) | 一种基于机器视觉的电池连接器质量检测方法 | |
| CN110286124B (zh) | 基于机器视觉的耐火砖测量系统 | |
| CN115656182A (zh) | 基于张量投票主成分分析的板材点云缺陷检测方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN108355987A (zh) | 一种基于分块模板匹配的电池丝印质量检测方法 | |
| CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
| CN112326671A (zh) | 一种基于机器视觉的金属板材表面缺陷检测方法 | |
| CN113538503B (zh) | 一种基于红外图像的太阳能板缺陷检测方法 | |
| CN109632808A (zh) | 棱边缺陷检测方法、装置、电子设备及存储介质 | |
| CN106023153B (zh) | 一种测量水体中气泡的方法 | |
| CN115100116A (zh) | 一种基于三维点云的板材缺陷检测方法 | |
| CN113012098B (zh) | 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法 | |
| CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、系统 | |
| CN112198170A (zh) | 一种无缝钢管外表面三维检测中识别水滴的检测方法 | |
| CN111582270A (zh) | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 | |
| CN117474873B (zh) | 一种高铬耐磨铸件钎焊前表面处理系统 | |
| CN112683166B (zh) | 一种模切产品尺寸检测方法 | |
| CN113807238A (zh) | 一种河道水面漂浮物面积的视觉测量方法 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| Dai et al. | A study of an improved RCNN network model for surface defect detection algorithm of precision workpiece and its realisation | |
| CN115035071A (zh) | 一种pad导光板黑点缺陷的视觉检测方法 | |
| CN114548250A (zh) | 一种基于数据分析的手机外观检测方法及装置 | |
| CN114494431A (zh) | 一种梁体外形外观照相检测系统及方法 | |
| CN113870328A (zh) | 一种液体异物视觉检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |