CN116416223B - 一种复杂装备调试方法、系统、电子设备及存储介质 - Google Patents
一种复杂装备调试方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116416223B CN116416223B CN202310271424.0A CN202310271424A CN116416223B CN 116416223 B CN116416223 B CN 116416223B CN 202310271424 A CN202310271424 A CN 202310271424A CN 116416223 B CN116416223 B CN 116416223B
- Authority
- CN
- China
- Prior art keywords
- detected
- region
- point cloud
- dimensional
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种复杂装备调试方法、系统、电子设备及存储介质，涉及装备调试技术领域，该方法包括：采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；对待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；将待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；基于预设检测算法对待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据待检测区域的装配尺寸信息生成装备调试结果；该方法将图像识别算法引入到装备调试过程中，实现了调试过程中全过程、全要素的智能化检测，有效降低调试过程中受人为因素影响造成的漏检、误检现象。
Description
技术领域
本发明涉及装备调试技术领域，更具体地，涉及一种复杂装备调试方法、系统、电子设备及存储介质。
背景技术
复杂装备业具有制造工艺复杂，流程环节多等特点，因而在产品交付前对于产品调试的要求非常高，一般需要对数十万个零部件的装配情况进行逐一核对。传统的产品调试主要采用人工方式，由于产品结构复杂，在产品调试过程中受工人技能和精力的影响，产品调试经常出现漏项、误判等现象。基于此一些装备企业制定了一系列的调试操作规范，但由于各种不可控因素的影响仍会出现各种各样的意外事件发生，从而对调试的效果造成不利影响，进而对产品质量产生较大的影响。
因而，急需研发一种复杂装备调试方法及系统以高效的解决上述存在的问题。
发明内容
本发明的一个目的是提供一种复杂装备调试方法、系统、电子设备及存储介质的新技术方案。
根据本发明的第一方面，提供了一种复杂装备调试方法，所述方法包括：
步骤S1：采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
步骤S2：对所述待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
步骤S3：将所述待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
步骤S4：基于预设检测算法对所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果。
可选地，所述步骤S2具体包括：
步骤S21：对所述待检测区域深度图像进行坐标转换以得到待检测区域三维点云数据；
步骤S22：利用使用PCL框架中的滤波器对所述待检测区域三维点云数据进行预处理；
步骤S23：基于点云的置换不变性和旋转不变性对经预处理后的所述待检测区域三维点云数据进行数据增强处理。
可选地，在所述步骤S3中，所述预先训练的三维目标检测网络采用VoxelNet网络结构。
可选地，所述步骤S4具体包括：
步骤S41：基于对应点匹配的配准算法对所述待检测区域目标点云数据进行匹配处理；
步骤S42：基于预设检测算法对经匹配处理后的所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果。
可选地，在所述步骤S4中，所述待检测区域的装配尺寸信息包括待检测区域的关键部分尺寸数据和待检测区域内具体部件的尺寸数据。
可选地，在所述步骤S4中，通过将所述待检测区域的装配尺寸信息与装备调试标准尺寸信息进行比对以生成所述装备调试结果。
可选地，所述装备调试结果包括：待检测区域内受电弓是否有质量缺陷、待检测区域内是否遗漏物品以及待检测区域内是否有裂纹。
根据本发明的第二方面，提供了一种复杂装备调试系统，所述系统包括：
获取模块，被配置为采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
重建模块，被配置为对所述待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
三维目标检测模块，被配置为将所述待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
尺寸检测模块，被配置为基于预设检测算法对所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果。
根据本发明的第三方面，提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种复杂装备调试方法中的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种复杂装备调试方法中的步骤。
根据本发明公开的一个实施例，具有如下有益效果：
本发明的一种复杂装备调试方法通过将图像识别等人工智能技术引入复杂装备产品调试应用场景中，利用智能终端采集复杂装备产品的外观，利用场景化的人工智能识别算法，实现产品上万个零部件及外观装配过程中的产品质量问题智能化识别，实现了调试过程中全过程、全要素的智能化检测，有效降低调试过程中受人为因素造成的漏检、误检现象；并拉通产品调试业务流程，实现产品调试过程中质量问题智能化识别、自动化处置，有效保障产品高质量交付。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1为根据实施例提供的一种复杂装备调试方法的流程示意图；
图2为根据实施例提供的一种复杂装备调试方法中步骤S2的具体流程示意图；
图3a-图3d为三维重建各处理过程图像示意图，其中：图3a为实际物体表面示意图，图3b为X轴的二维深度图，图3c为Z轴的二维深度图，图3d为重建后的物体表面的三维点云数据示意图；
图4a-图4d为数据增强处理过程图像示意图，其中：图4a为数据增强处理前的原始图像，图4b-4d为不同方式的增强处理后图像效果图；
图5为三维目标检测网络的处理流程示意图；
图6为根据实施例提供的一种复杂装备调试方法中步骤S4的具体流程示意图；
图7为柱面尺寸提取模型示意图；
图8为根据实施例提供的一种复杂装备系统的结构框图；
图9为根据实施例提供的一种电子设备的结构框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
实施例1：
参见图1所示，本实施例提供了一种复杂装备调试方法，所述方法包括：
步骤S1：采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
本步骤中，利用具备3D数据采集功能的高清摄像设备采集复杂装备现场图像及视频数据，以动态抓取复杂装备的空间信息。
步骤S2：对待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
本实施例为了实现有效的缺陷检测功能，在数据处理前需要先对待检测区域进行三维重建，即根据单视图或者多视图的二维RGB图像或深度图像重建三维信息的过程。
步骤S3：将待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
为了提高检测准确率和效率，需要通过预先训练的三维目标检测网络对待检测区域三维点云数据进行处理，得到便于后续检测的目标点云数据。
步骤S4：基于预设检测算法对待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据待检测区域的装配尺寸信息生成装备调试结果。
本步骤中通过预设检测算法对待检测区域目标点云数据进行检测以得到待检测区域的多种装配尺寸信息，通过这些装配尺寸即可判断装备调试的是否合格，存在哪些问题。
可选地，参见图2所示，本实施例的复杂装备调试方法中步骤S2具体包括：
步骤S21：对待检测区域深度图像进行坐标转换以得到待检测区域三维点云数据；
步骤S22：利用使用PCL框架中的滤波器对待检测区域三维点云数据进行预处理；
步骤S23：基于点云的置换不变性和旋转不变性对经预处理后的待检测区域三维点云数据进行数据增强处理。
具体的，在使用现有的3D数据采集方式获取到复杂装备侧下方区域及过桥线区域的深度图像后，再经过坐标转换可以重建还原出三维点云数据，并将得到的待检测区域点云数据存储为常见的pcd、ply、txt、bin等格式。
参见图3a-图3d及图4a-图4d所示，本实施例中对待检测区域三维点云数据需要及进行预处理及数据增强处理，以得到生成可检验的基础数据，为图像检验提供基础点云数据。本实施例中针对实际物体表面（如图3a所示）利用激光雷达扫描得到实际物体表面的二维深度图像，包括X轴的二维深度图（如图3b所示）和Z轴的二维深度图（如图3c所示），之后分别对X轴和Z轴的二维深度图进行三维重建处理，最终得到重建后的物体表面的三维点云数据（如图3d所示）。
预处理是对三维重建后的待检测区域点云数据进行系列的处理，从而得到高质量的点云数据，为调试检验提供基础数据。主要是采用适当的方法对复杂装备部件状态3D数据进行滤波、去噪声、简化、配准及补洞等。具体方法为使用PCL框架中提供的直通滤波器、统计离群滤波器、条件滤波器、半径滤波器、体素滤波器、高斯滤波器等工具对pcd文件进行降噪、平滑和下采样简化，并根据需要对点云进行配准及拟合，从而得到高质量的点云数据。
数据增强处理是提高图像分类和目标检测模型性能的重要技术手段。数据增强处理方法通常包括手动设计的图像转换，其中的标签保持不变，或在图像中出现的信息的扭曲，例如：弹性畸变、尺度变换、平移和旋转等。类似地，基于点云的置换不变性和旋转不变性，三维图像在点云数据中的基本数据处理和增强方式包括点云归一化、随机打乱、随机平移、随机旋转、随机缩放和随机丢弃等。例如：参见图4a所示为数据增强处理前的原始图像，不同方式增强处理后图像效果如图4b-4d所示。
可选地，本实施例的复杂装备调试方法在步骤S3中预先训练的三维目标检测网络采用VoxelNet网络结构。
本实施例中采用主流的三维目标检测网络结构VoxelNet。针对如图4a所示的三维点云数据，VoxelNet将三维世界中每一定空间大小划分成一个格子即为体素，然后使用网络对这个小格的数据进行特征提取，即经体素特征编码层处理，之后编码后的体素特征进入卷积中间层处理，再经区域提议网络处理后，用这个提取出来的特征来代表这个小格放回到三维空间中，得到监测检测结果（如图5所示）。这样无序的点云数据就变成了一个个的高维特征数据并且这些数据在三维空间中也变得有序。此时就可以使用三维卷积来抽取这些三维的体素数据，图像检测便可应用在这个特征图上，并对目标对象的特征进行标注，并生成目标点云数据，为目标检测提供基础。
可选地，参见图6所示，本实施例的复杂装备调试方法中步骤S4具体包括：
步骤S41：基于对应点匹配的配准算法对待检测区域目标点云数据进行匹配处理；
步骤S42：基于预设检测算法对经匹配处理后的待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据待检测区域的装配尺寸信息生成装备调试结果。
可选地，本实施例的复杂装备调试方法在步骤S4中，待检测区域的装配尺寸信息包括待检测区域的关键部分尺寸数据和待检测区域内具体部件的尺寸数据。
具体的，本实施例中首先利用对应点匹配的配准算法对待检测区域目标点云数据进行差异化检测，其中基于对应点匹配的配准算法是关注度最高且应用最多的一种典型的三维点云配准技术路线，其匹配过程如下：
1）对原始的源点云与目标点云坐标数据进行特征提取；
2）将特征以点对点的方式计算特征相似度；
3）将特征相似度进行排序计算，设置相似度最高的点对作为匹配点对以得到源点云中每个点与目标点云的匹配点；
4）使用基于奇异值分解的求解方式利用匹配点对求解得到三维刚体变换矩阵。
经过三维刚体变换过程解决了在不同环境下（如列车在行进过程中）采集的待检测区域点云数据的质量差异，能最大程度反映待检测区域中检测对象的真实情况，以便后后续的尺寸检测的精准度提供数据支撑。
之后，本实施例将对待检测区域目标点云数据进行尺寸检测，其中复杂装备部件的结构精细，部件的三维点云经过移除离群点等滤波去噪操作之后，需要提取关键区域的特征边缘。准确地提取这些关键区域的特征边缘为后期尺寸测量的精度提供了保证。
边缘提取具体为：
从复杂装备部件的待检测区域目标点云数据中截取关键区域并提取尺寸时，需要对目标区域中含有几何结构信息的特征边缘进行提取，此时需要对特征边界点进行判断。特征点的选取依赖三个约束：采样点邻域的局部平均距离与其成为特征点的可能性成反比；采样点与邻域点法向夹角的最大差值和成为特征点的可能性成正比；采样点的曲率与成为特征点的可能性成正比。因此，可采用法向量夹角阈值来初步筛选特征点，然后用点与邻域点在所构成局部平面的投影点组成的向量之间的夹角筛选初步边缘，最后采用曲率阈值确定边界点。判断特征边界点的具体算法流程为:
a）对于三维点云中的任意数据点/>，在指定的K邻域内构建kd树，计算点/>到K个邻近点的欧式距离，取平均值作为该点K邻域的平均距离/>，当局部平均距离小于全局平均距离，则进入步骤b)；
b）在采样点邻域内进行最小二乘拟合局部微切平面，计算点的法向量/>；
c）遍历剩下的n-1个点，重复步骤a,b；此时可得到所有的法向量：
；
d）在的K邻域范围内，依次计算/>与/>中的每个法向量的夹角，标记为法向量夹角为/>，将该夹角值与设定的阈值T1进行比较，如果大于所设阈值，则标记该点为待选点；然后将/>及其邻域点投影到它们组成的局部微切平面上，由与邻域的投影点连线可以组成一组向量集，计算两两相邻向量之间的角度，然后计算相邻夹角之间的差值，得到最大的角度差；将最大角度差与阈值T2比较，若大于阈值，则统计为初步边界点；
e）计算所有数据点的曲率值，并对曲率值进行排序，计算平均曲率值，将其设为阈值T3；当初步特征边界点的曲率值大于T3时，将其判定为边界点；
f）对初步边界点执行步骤e，最后输出目标点云的边界点集。
复杂装备部件结构复杂，涉及的尺寸众多，但主要是以长度、宽度、半径等尺寸为主。复杂装备部件的原始点云包含了大量的噪声，因此在进行尺寸测量前，需要去除这些噪声，尽量保持点云主体的几何特征。采用上述方法进行去噪后，可对点云进行降采样，使得体素滤波后得到的点云数量明显低于原始点云，从而提高点云计算的速度。
对于部件中存在的台阶尺寸可按如下流程进行计算：首先将目标区域进行对识别；接着通过直通滤波分割基准平面和台阶平面；并利用Ransac方法拟合两个平面，然后计算两个平面之间的距离，即可得到台阶尺寸。Ransac方法计算过程为：
1）在目标点云数据Q中，任选三个点，首先验证三点是否共线，如果共线，则重新选择，直到选出三个不共线的点为止；
2）用上述三点估计一个平面的参数，然后计算点云所有点到该平面的距离d，当距离小于设定的距离阈值D，则将该点设定为内点，并统计内点的数量；
3）重复上述过程，当迭代次数达到设定的值n，则将此时内点数最多的模型参数作为最佳参数输出。
以图7为例，将部件平面视为台阶面接较小的台阶面来提取尺寸，然后选取基准平面此时再用随机采样一致性拟合基准平面，得到平面参数（a,b,c,d）；然后计算柱平面的点云的重心，然后通过公式（1）计算重心到基准平面的距离，即可得到柱高尺寸。
（1）
另外，由于关键部分尺寸的测量只是质量检测的一种方式，并且只体现了部件的几何尺寸，不能满足快速检测的目的，本实施例中还对待检测区域目标点云数据进行误差检测以得到部件具体尺寸。采用点云误差可视化的色斑图来显示点云之间的误差分布情况，并基于概率论的方式，通过算法概率分布生成检测对象的具体尺寸。
最后，经过上述的差异化检测、尺寸检测、误差检测可生成装备调试结果，并通过系统界面的方式实现检测成果的可视化展现，当出现异常时生成预警信息，相关人员收到预警信息后进行相应的处置；当出现漏报时，现场人员将结果反馈给模型算法人员，对模型算法进一步修正和调整，最终实现算法的持续迭代优化。
可选地，本实施例的复杂装备调试方法在步骤S4中，通过将待检测区域的装配尺寸信息与装备调试标准尺寸信息进行比对以生成所述装备调试结果。
可选地，本实施例的复杂装备调试方法中装备调试结果包括：待检测区域内受电弓是否有质量缺陷、待检测区域内是否遗漏物品以及待检测区域内是否有裂纹。更具体的，装配调试结果可为车顶区域检测受电弓是否有质量权限或者遗漏物品；车轮区域是否有裂纹等。
综上所述，本发明实施例的一种复杂装备调试方法通过将图像识别等人工智能技术引入复杂装备产品调试应用场景中，利用智能终端采集复杂装备产品的外观，利用场景化的人工智能识别算法，实现产品上万个零部件及外观装配过程中的产品质量问题智能化识别，实现了调试过程中全过程、全要素的智能化检测，有效降低调试过程中受人为因素造成的漏检、误检现象；并拉通产品调试业务流程，实现产品调试过程中质量问题智能化识别、自动化处置，有效保障产品高质量交付。
实施例2：
参见图8所示，本实施例提供了一种复杂装备调试系统1，所述系统1包括：
获取模块10，被配置为采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
重建模块20，被配置为对待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
三维目标检测模块30，被配置为将待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
尺寸检测模块40，被配置为基于预设检测算法对待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据待检测区域的装配尺寸信息生成装备调试结果。
可选地，本实施例中重建模块20具体包括：
转换单元，被配置为对待检测区域深度图像进行坐标转换以得到待检测区域三维点云数据；
预处理单元，被配置为利用使用PCL框架中的滤波器对待检测区域三维点云数据进行预处理；
增强处理单元，被配置为基于点云的置换不变性和旋转不变性对经预处理后的待检测区域三维点云数据进行数据增强处理。
可选地，本实施例的三维目标检测模块30中预先训练的三维目标检测网络采用VoxelNet网络结构。
可选地，本实施例的尺寸检测模块40具体包括：
点云配准单元，被配置为基于对应点匹配的配准算法对待检测区域目标点云数据进行匹配处理；
检测单元，被配置为基于预设检测算法对经匹配处理后的待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据待检测区域的装配尺寸信息生成装备调试结果。
可选地，本实施例中待检测区域的装配尺寸信息包括待检测区域的关键部分尺寸数据和待检测区域内具体部件的尺寸数据。
可选地，本实施例中尺寸检测模块40通过将待检测区域的装配尺寸信息与装备调试标准尺寸信息进行比对以生成所述装备调试结果。
可选地，本实施例中装备调试结果包括：待检测区域内受电弓是否有质量缺陷、待检测区域内是否遗漏物品以及待检测区域内是否有裂纹。
实施例3：
本发明公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开实施例1中任一项的一种复杂装备调试方法中的步骤。
图9为根据本发明实施例的一种电子设备的结构图，如图9所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
实施例4：
本发明公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明的实施例1中任一项的一种复杂装备调试方法中的步骤。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA（现场可编程门阵列）或ASIC（专用集成电路）来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理（PDA）、移动音频或视频播放器、游戏操纵台、全球定位系统（GPS）接收机、或例如通用串行总线（USB）闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备（例如EPROM、EEPROM和闪存设备）、磁盘（例如内部硬盘或可移动盘）、磁光盘以及CD-ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (5)
1.一种复杂装备调试方法，其特征在于，所述方法包括：
步骤S1：采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
步骤S2：对所述待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
步骤S3：将所述待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
步骤S4：基于预设检测算法对所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果；
所述步骤S2具体包括：
步骤S21：对所述待检测区域深度图像进行坐标转换以得到待检测区域三维点云数据；
步骤S22：利用使用PCL框架中的滤波器对所述待检测区域三维点云数据进行预处理；
步骤S23：基于点云的置换不变性和旋转不变性对经预处理后的所述待检测区域三维点云数据进行数据增强处理；
在所述步骤S3中，所述预先训练的三维目标检测网络采用VoxelNet网络结构；所述VoxelNet网络将三维世界中每一定空间大小划分成一个格子即为体素，然后使用网络对小格子的数据进行特征提取，即经体素特征编码层处理，之后编码后的体素特征进入卷积中间层处理，再经区域提议网络处理后，用这个提取出来的特征来代表所述小格子放回到三维空间中，得到监测检测结果，此时无序的点云数据就变成了一个个的高维特征数据并且这些数据在三维空间中也变得有序，使用三维卷积来抽取这些三维的体素数据，图像检测便可应用在这个特征图上，并对目标对象的特征进行标注，并生成目标点云数据，以生成待检测区域目标点云数据；
所述步骤S4具体包括：
步骤S41：基于对应点匹配的配准算法对所述待检测区域目标点云数据进行匹配处理；
步骤S42：基于预设检测算法对经匹配处理后的所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果；
在所述步骤S4中，所述待检测区域的装配尺寸信息包括待检测区域的关键部分尺寸数据和待检测区域内具体部件的尺寸数据；
在所述步骤S4中，通过将所述待检测区域的装配尺寸信息与装备调试标准尺寸信息进行比对以生成所述装备调试结果；
对于所述待检测区域中的部件中存在台阶尺寸，可按下述方法进行计算：
将目标区域进行对识别，通过直通滤波分割基准平面和台阶平面；并利用Ransac方法拟合两个平面，然后计算两个平面之间的距离，即可得到台阶尺寸；
所述Ransac方法计算过程为：
1)在目标点云数据Q中，任选三个点，首先验证三点是否共线，如果共线，则重新选择，直到选出三个不共线的点为止；
2)用上述三点估计一个平面的参数，然后计算点云所有点到该平面的距离d，当距离小于设定的距离阈值D，则将该点设定为内点，并统计内点的数量；
3)重复上述1)-2)的过程，当迭代次数达到设定的值n，则将此时内点数最多的模型参数作为最佳参数输出。
2.根据权利要求1所述的复杂装备调试方法，其特征在于，所述装备调试结果包括：待检测区域内受电弓是否有质量缺陷、待检测区域内是否遗漏物品以及待检测区域内是否有裂纹。
3.一种复杂装备调试系统，其特征在于，所述系统采用权利要求1所述的方法，所述系统包括：
获取模块，被配置为采集复杂装备侧下方区域及过桥线区域的深度图像以得到待检测区域深度图像；
重建模块，被配置为对所述待检测区域深度图像进行三维重建处理以得到待检测区域三维点云数据；
三维目标检测模块，被配置为将所述待检测区域三维点云数据输入预先训练的三维目标检测网络，以生成待检测区域目标点云数据；
尺寸检测模块，被配置为基于预设检测算法对所述待检测区域目标点云数据进行检测以得到待检测区域的装配尺寸信息，并根据所述待检测区域的装配尺寸信息生成装备调试结果。
4.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至2中任一项所述的一种复杂装备调试方法中的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至2中任一项所述的一种复杂装备调试方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310271424.0A CN116416223B (zh) | 2023-03-20 | 2023-03-20 | 一种复杂装备调试方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310271424.0A CN116416223B (zh) | 2023-03-20 | 2023-03-20 | 一种复杂装备调试方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116416223A CN116416223A (zh) | 2023-07-11 |
| CN116416223B true CN116416223B (zh) | 2024-01-09 |
Family
ID=87055764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310271424.0A Active CN116416223B (zh) | 2023-03-20 | 2023-03-20 | 一种复杂装备调试方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416223B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469388A (zh) * | 2015-11-16 | 2016-04-06 | 集美大学 | 基于降维的建筑物点云配准算法 |
| CN110796694A (zh) * | 2019-10-13 | 2020-02-14 | 西北农林科技大学 | 一种基于KinectV2的果实三维点云实时获取方法 |
| CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
| CN114612412A (zh) * | 2022-03-07 | 2022-06-10 | 杭州自适应科技有限公司 | 三维点云数据的处理方法及其用途、电子设备、存储介质 |
| CN114648758A (zh) * | 2022-04-01 | 2022-06-21 | 北京京东乾石科技有限公司 | 物体检测方法及装置、计算机可读存储介质及无人车 |
| CN115240149A (zh) * | 2021-04-25 | 2022-10-25 | 株洲中车时代电气股份有限公司 | 三维点云检测识别方法、装置、电子设备及存储介质 |
| CN115330712A (zh) * | 2022-08-10 | 2022-11-11 | 安徽大学绿色产业创新研究院 | 一种基于虚实融合的装配式建筑预制构件智能质检方法及系统 |
-
2023
- 2023-03-20 CN CN202310271424.0A patent/CN116416223B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469388A (zh) * | 2015-11-16 | 2016-04-06 | 集美大学 | 基于降维的建筑物点云配准算法 |
| CN110796694A (zh) * | 2019-10-13 | 2020-02-14 | 西北农林科技大学 | 一种基于KinectV2的果实三维点云实时获取方法 |
| CN111709923A (zh) * | 2020-06-10 | 2020-09-25 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
| CN115240149A (zh) * | 2021-04-25 | 2022-10-25 | 株洲中车时代电气股份有限公司 | 三维点云检测识别方法、装置、电子设备及存储介质 |
| CN114612412A (zh) * | 2022-03-07 | 2022-06-10 | 杭州自适应科技有限公司 | 三维点云数据的处理方法及其用途、电子设备、存储介质 |
| CN114648758A (zh) * | 2022-04-01 | 2022-06-21 | 北京京东乾石科技有限公司 | 物体检测方法及装置、计算机可读存储介质及无人车 |
| CN115330712A (zh) * | 2022-08-10 | 2022-11-11 | 安徽大学绿色产业创新研究院 | 一种基于虚实融合的装配式建筑预制构件智能质检方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116416223A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dhiman et al. | Pothole detection using computer vision and learning | |
| Ni et al. | Zernike‐moment measurement of thin‐crack width in images enabled by dual‐scale deep learning | |
| CN108520274B (zh) | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 | |
| CN107492091B (zh) | 基于机器视觉的标签外观检测方法及终端设备 | |
| CN106778705B (zh) | 一种行人个体分割方法及装置 | |
| CN113409382B (zh) | 车辆损伤区域的测量方法和装置 | |
| Zheng et al. | HLU 2-Net: a residual U-structure embedded U-Net with hybrid loss for tire defect inspection | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| TW201310359A (zh) | 用於識別材料中之缺陷之系統及方法 | |
| CN110263795B (zh) | 一种基于隐式形状模型与图匹配的目标检测方法 | |
| CN106156752A (zh) | 一种基于逆投影三视图的车型识别方法 | |
| CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
| Ji et al. | An encoder-decoder deep learning method for multi-class object segmentation from 3D tunnel point clouds | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN113111875A (zh) | 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法 | |
| CN115239644A (zh) | 混凝土缺陷识别方法、装置、计算机设备和存储介质 | |
| Yang et al. | A scratch detection method based on deep learning and image segmentation | |
| CN103886609A (zh) | 基于粒子滤波和lbp特征的车辆跟踪方法 | |
| CN109829401A (zh) | 基于双拍摄设备的交通标志识别方法及装置 | |
| CN116958099B (zh) | 线缆磨耗检测方法、系统、装置与计算机设备 | |
| CN116416223B (zh) | 一种复杂装备调试方法、系统、电子设备及存储介质 | |
| Liu et al. | PLDD: Point-lines distance distribution for detection of arbitrary triangles, regular polygons and circles | |
| Zhang et al. | Oriented Infrared Vehicle Detection in Aerial Images via Mining Frequency and Semantic Information | |
| CN113129260A (zh) | 一种锂电池电芯内部缺陷的自动检测方法及装置 | |
| CN116128820A (zh) | 一种基于改进yolo模型的销钉状态的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |