CN117689664A - 一种无损检测方法、系统、装置及介质 - Google Patents
一种无损检测方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN117689664A CN117689664A CN202410155423.4A CN202410155423A CN117689664A CN 117689664 A CN117689664 A CN 117689664A CN 202410155423 A CN202410155423 A CN 202410155423A CN 117689664 A CN117689664 A CN 117689664A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- network
- composite image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000009659 non-destructive testing Methods 0.000 title claims abstract description 42
- 239000002131 composite material Substances 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 238000003331 infrared imaging Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000001066 destructive effect Effects 0.000 claims description 8
- 239000000835 fiber Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
本发明公开了一种无损检测方法、系统、装置及介质，包括：获取目标检测对象的点云图像和热像图，基于所述点云图像和所述热像图确定目标复合图像；基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像；基于所述目标复合图像和所述目标融合特征图像，采用预训练对抗网络确定预测图像；基于所述目标复合图像、所述目标融合特征图像和所述预测图像，确定所述目标检测对象的目标检测结果。本申请综合应用了点云图像和热像图，避免了人员接触式和多检测设备对复杂工件进行检测的问题。同时，该方法还能极大地提高检测的准确性。
Description
技术领域
本申请涉及一种图像处理技术领域，尤其涉及一种无损检测方法、系统、装置及介质。
背景技术
无损检测（NDT，Non-Destructive Testing）是一种利用精密仪器设备和先进技术进行检查的方法，它能够不损伤检测目标，对物体的表面和内部结构、理化性质以及状态等进行评估。在工业中，无损检测扮演着重要的角色。举例来说，在产品分拣中，无损检测可识别并剔除残次品，提高产品的优质率。这种方法允许对零部件或产品进行全面和深入的评估，有助于发现潜在的缺陷或问题，确保产品质量，并节省资源和减少浪费。
红外热波无损检测是近二十年来蓬勃发展且展现巨大潜力的无损检测技术。该技术基于红外辐射原理，利用红外热像仪采集被检测物体表面所释放的红外辐射。通过记录被检测物体表面的温度变化，红外热波无损检测能够可视化温度场分布，并提取温度异常区域，进而检测和识别物体表面或内部的缺陷。这种技术的优势在于能够高效、准确地检测物体表面和内部，而无需接触物体，为工业领域提供了一种可靠的质量控制手段。然而，传统红外热波无损检测技术在检测复杂工件时存在以下不足：1.易受到被检测物体表面红外发射率、几何形状以及加热均匀性的影响；2.受制于设备功率和超声在空气中的严重衰减，会降低激励效果，影响检测精度；3.多为单一的检测方法，在检测复杂工件时容易产生误差，影响准确度。
综上所述，为了克服现有红外热波无损检测技术难以有效检测复杂工件的问题，需要研究人员解决非接触式、多检测设备融合的复合无损检测方法。
发明内容
本申请的目的在于提供一种无损检测方法、系统、装置及介质，以至少解决相关技术中红外热波无损检测技术难以有效检测复杂工件的问题。
本申请第一方面提供一种无损检测方法，所述方法包括：
获取目标检测对象的点云图像和热像图，基于所述点云图像和所述热像图确定目标复合图像；
基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像；
基于所述目标复合图像和所述目标融合特征图像，采用预训练对抗网络确定所述目标检测对象的目标检测结果。
在一个实施例中，所述基于所述点云图像和所述热像图确定目标复合图像，包括：
根据所述点云图像和所述热像图进行复合处理，得到初始复合图像；
基于所述初始复合图像进行图像预处理，得到预处理复合图像，其中，所述图像预处理包括图形增强处理和平滑处理；
根据所述预处理复合图像的深度值，确定所述目标检测对象的初始检测结果；
响应于所述初始检测结果为无缺损，所述预处理复合图像确定为所述目标复合图像。
在一个实施例中，所述预训练分割网络包括编码器、解码器和分层学习模型；
所述编码器由多个3*3的卷积层和ReLU激活函数组成；
所述解码器由转置卷积层组成；
所述分层学习模型由多个边路网络和一个融合输出网络组成。
在一个实施例中，所述基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像，包括：
根据所述目标复合图像，采用所述编码器进行下采样和特征处理，得到降采样特征图像；
根据所述降采样特征图像，采用所述解码器进行上采样和特征处理，得到目标分割图像；
根据所述目标分割图像，采用所述边路网络确定目标特征图像；
根据所述目标特征图像，采用所述融合输出网络进行融合处理，得到所述目标融合特征图像。
在一个实施例中，所述预训练分割网络的总损失函数为：
其中，ltotal为预训练分割网络总损失函数，lside为边路网络损失函数，lfuse为融合输出网络损失函数，β和γ为边路网络的超参数，N为像素点，yi为预设标签图像，为边路网络预测结果，/>和/>为融合输出网络的超参数，/>为融合输出网络预测结果。
在一个实施例中，所述预训练对抗网络的获取，包括：
根据所述目标复合图像和所述目标融合特征图像进行点积，得到第一点积结果；
根据所述目标复合图像和所述预设标签图像进行点积，得到第二点积结果；
根据所述第一点积结果和所述第二点积结果，对对抗网络进行训练，直至满足预设条件，得到训练好的所述预训练对抗网络。
在一个实施例中，所述对抗网络的损失函数为：
其中，为预训练对抗网络的损失函数，lmac为目标复合图像和目标融合特征图像进行点积的结果与目标复合图像和预设标签图像进行点积的结果之间的平均绝对误差，S(xn)为目标融合特征图像的行特征，S(yn)为目标融合特征图像的列特征，xn为预训练对抗网络输出的预测图像，/>为预测图像与目标融合特征图像的行特征相乘的结果，/>为预测图像与目标融合特征图像的列特征相乘的结果，fC()表示预训练对抗网络从图像中提取的层次特征。
本申请第二方面提供一种无损检测系统，所述系统包括：
确定目标复合图像模块，用于获取目标检测对象的点云图像和热像图，基于所述点云图像和所述热像图确定目标复合图像；
确定目标融合特征图像模块，用于基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像；
确定目标检测结果模块，用于基于所述目标复合图像和所述目标融合特征图像，采用预训练对抗网络确定所述目标检测对象的目标检测结果。
本申请第三方面提供一种无损检测装置，包括：
集成控制模块，集成于上位机，包括点云处理单元、红外成像装置、检测及控制单元；
红外激励模块，包括光纤激光装置、激光驱动装置以及激光发生装置；
数据采集模块，包括函数发生装置以及点云相机装置；
存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述所述的无损检测方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述所述的无损检测方法。
本申请实施例提供的一种无损检测方法、系统、装置及介质至少具有以下技术效果。
通过获取目标检测对象的点云图像和热像图，并将它们复合得到目标复合图像。接着，采用预训练的分割网络对目标复合图像进行处理，确定目标融合特征图像。然后，基于目标复合图像和目标融合特征图像，采用预训练的对抗网络确定预测图像。最后，结合目标复合图像、目标融合特征图像和预测图像，确定目标检测对象的目标检测结果。本申请综合应用了点云图像和热像图，避免了人员接触式和多检测设备对复杂工件进行检测的问题。同时，该方法还能极大地提高检测的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的无损检测方法的流程示意图；
图2为本申请实施例提供的确定目标复合图像的流程示意图；
图3为本申请实施例提供的确定初始检测结果的流程示意图；
图4为本申请实施例提供的确定目标融合特征图像的流程示意图；
图5为本申请实施例提供的预训练对抗网络的获取的流程示意图；
图6为本申请实施例提供的无损检测系统的框图；
图7为本申请实施例提供的电子设备的内部结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定持征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的”一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供了一种无损检测方法、系统、装置及介质。
第一方面，本申请实施例提供了一种无损检测方法，图1为本申请实施例提供的无损检测方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤S101、获取目标检测对象的点云图像和热像图，基于点云图像和热像图确定目标复合图像。
图2为本申请实施例提供的确定目标复合图像的流程示意图，如图2所示，在图1所示流程的基础上，步骤S101包括以下步骤：
步骤S201、根据点云图像和热像图进行复合处理，得到初始复合图像。
具体地，对点云图像和热像图进行归一化处理，将归一化后的点云图像和热像图进行复合处理，得到初始复合图像。复合处理可采用叠加法，将点云图像和热像图分别映射到同一坐标系下，然后进行叠加。也可以采用融合算法：利用图像融合算法，如加权平均等，将点云图像和热像图进行像素级别的融合。这些算法可以根据不同的权重或属性，将两个图像的对应像素进行加权融合，并生成一个新的初始复合图像。
步骤S202、基于初始复合图像进行图像预处理，得到预处理复合图像，其中，图像预处理包括图形增强处理和平滑处理。
具体地，图形增强处理通过线性灰度变换进行图像增强，提高对比度，线性灰度变换公式为：
其中，B(x,y)为预处理复合图像，对应的灰度范围为[c,d]，A(x,y)为初始复合图像，对应的灰度范围为[a,b]。
通过这样的线性灰度变换，可以将初始复合图像的灰度范围映射到所需的灰度范围。
平滑处理通过中值滤波，有效地减少图像中的噪声，中值滤波公式为：
其中，g(x,y)为表示初始复合图像在位置(x,y)处的像素灰度值，G(x,y)为滤波后的灰度值，A为滤波窗口，Med表示取中值操作。对于每个像素点(x,y)，中值滤波会将该点周围的像素灰度值按照从小到大的顺序排列，然后取其中间值作为平滑后的像素灰度值G(x,y)。
通过中值滤波操作，可以有效地消除图像中的噪声、斑点噪声等。
步骤S203、根据预处理复合图像的深度值，确定目标检测对象的初始检测结果。
图3为本申请实施例提供的确定初始检测结果的流程示意图，如图3所示，在图2所示流程的基础上，步骤S203包括以下步骤：
步骤S301、根据预处理复合图像的深度值，确定目标检测对象的表面曲面。
步骤S302、根据表面曲面，确定曲率值。
步骤S303、根据曲率值，确定相对应的梯度值。
步骤S304、根据梯度值，确定目标检测对象的初始检测结果。
步骤S301至步骤S304中，根据预处理复合图像的深度值，可以计算目标检测对象的表面深度d，并通过最小二乘法拟合得到表面曲面z。确定表面曲面z后，选择适当的窗口大小或邻域（如3×3或5×5），对每个像素点计算其邻域内的局部曲率值K。常用的计算方式有高斯曲率和平均曲率。将计算得到的曲率值赋给对应像素点，获得完整的目标检测对象的曲率图。对于曲率图中的每个像素点，计算其梯度值表示曲率的变化率。可以通过计算曲率图在水平和垂直方向上的导数来获取梯度图。常用的计算方法包括一阶或二阶导数算子，如Sobel算子或Laplacian算子。利用计算得到的梯度图，可以判断曲率变化的趋势和平滑度。针对梯度图中的每个像素点，设定阈值来判断是否为不平滑点。如果梯度值超过阈值，即曲率值K表明目标检测对象表面存在不平滑点，可以推断目标检测对象有缺损。若整个目标检测对象的梯度图都低于阈值，即目标检测对象整体表面曲率值K平滑，可判断目标检测对象无缺损。
继续参照图2，在步骤S203之后执行步骤S204，具体如下。
步骤S204、响应于初始检测结果为无缺损，预处理复合图像确定为目标复合图像。
具体地，初始检测结果为无缺损，则继续进行下一步检测，将预处理复合图像作为为目标复合图像进行下一步的处理。
继续参照图1，在步骤S101之后执行步骤S102，具体如下。
步骤S102、基于目标复合图像，采用预训练分割网络确定目标融合特征图像。
在一个实施例中，预训练分割网络包括编码器、解码器和分层学习模型；
编码器由多个3*3的卷积层和ReLU激活函数组成；
解码器由转置卷积层组成；
分层学习模型由多个边路网络和一个融合输出网络组成。
图4为本申请实施例提供的确定目标融合特征图像的流程示意图，如图4所示，在图1所示流程的基础上，步骤S102包括以下步骤：
步骤S401、根据目标复合图像，采用编码器进行下采样和特征处理，得到降采样特征图像。
具体地，通过编码器进行多次降采样提取图像的特征表示，编码器由多个3*3的卷积层和ReLU激活函数组成。这个过程类似于卷积神经网络(CNN)的前向传播过程，通过不断地卷积、池化等操作，逐渐减小图像尺寸和通道数，同时提取图像的局部和全局特征信息，得到降采样特征图像。
步骤S402、根据降采样特征图像，采用解码器进行上采样和特征处理，得到目标分割图像。
具体地，将每次降采样后的降采样特征图像输入解码器，将提取到的高级特征映射回原始图像尺寸。这个过程类似于CNN的反向传播过程，通过上采样和反卷积等操作，将编码器提取到的高级特征信息重新映射到原始图像尺寸，得到目标分割图像。
步骤S403、根据目标分割图像，采用边路网络确定目标特征图像。
具体地，边路网络是通过不同的层数和结构来学习不同的特征表示，从而更好地进行语义分割。同时，使用边路网络输出的边路网络预测结果和预设标签图像计算边路网络损失函数lside，用于区分目标分割图像中的完整部分及缺损部分。具体来说，
其中，ltotal为边路网络损失函数，W表示边路网络的参数量，w表示边路网络的权重，M表示边路网络的数量，αm、β和γ为边路网络的超参数，为边路网络损失函数的超参数，N为像素点，yi为预设标签图像，/>为边路网络预测结果。
步骤S404、根据目标特征图像，采用融合输出网络进行融合处理，得到目标融合特征图像。
具体地，连接边路网络输出，获得目标融合特征图像，其损失函数lfuse同样是像素级别的交叉熵损失函数。预训练分割网络总损失函数ltotal包含边路网络损失函数和融合输出网络损失函数，用于评估目标复合图像的语义分割效果。在训练过程中，通过最小二乘法、反向传播算法、随机梯度下降等方法，不断更新网络参数和权重，从而最小化总损失函数，提高语义分割的准确性。具体来说，
其中，ltotal为预训练分割网络总损失函数，lside为边路网络损失函数，lfuse为融合输出网络损失函数，和/>为融合输出网络的超参数，N为像素点，yi为预设标签图像，/>为融合输出网络预测结果。
基于上述获得训练好后的预训练分割网络，能够根据目标复合图像，获取最终的目标融合特征图像。
继续参照图1，在步骤S102之后执行步骤S103，具体如下。
步骤S103、基于目标复合图像和目标融合特征图像，采用预训练对抗网络确定目标检测对象的目标检测结果。
图5为本申请实施例提供的预训练对抗网络的获取的流程示意图，如图5所示，包括以下步骤：
步骤S501、根据目标复合图像和目标融合特征图像进行点积，得到第一点积结果。
步骤S502、根据目标复合图像和预设标签图像进行点积，得到第二点积结果。
步骤S503、根据第一点积结果和第二点积结果，对对抗网络进行训练，直至满足预设条件，得到训练好的预训练对抗网络。
步骤S501至步骤S503中，通过对目标复合图像和目标融合特征图像进行点积运算，得到第一点积结果。可以将目标复合图像和目标融合特征图像的特征表示相互融合，以获取更全面的特征信息。通过对目标复合图像和预设标签图像进行点积运算，得到第二点积结果。可以将目标复合图像和预设标签图像的特征表示相互融合，以获取更准确的特征信息。根据第一点积结果和第二点积结果，对对抗网络进行训练，直至满足预设条件，得到训练好的所述预训练对抗网络。
预训练对抗网络的获取首先使用目标复合图像与目标融合特征图像进行点积运算，以使预测图像同时获取目标复合图像和目标融合特征图像的特征表示。需要说明的是，可以预先采用直方图均衡化法对目标融合特征图像进行预处理，以获取预处理后的目标融合特征图像，为后续的对抗网络训练做准备。这有助于提升图像的对比度和细节。通过增强目标融合特征图像的视觉信息，可以使其更好地适应对抗网络的训练，并提高网络对图像语义信息的理解能力。
然后使用目标复合图像和预设标签图像进行点积运算，以使预测图像同时获取目标复合图像和预设标签图像的特征表示。
接下来，将目标复合图像与目标融合特征图像的点积输出以及目标复合图像和预设标签图像的点积输出输入到对抗网络中，用于评估结果。对抗网络的目标是通过最小化和最大化损失函数来优化网络参数，可以满足预设条件为损失函数不再下降，完成对抗网络的训练，以使生成的预测图像与预设标签图像更加接近。
对抗网络的损失函数的目标是使对抗网络能够通过提取特征来准确评估预测图像与预设标签图像之间的差异。
最后，将对抗网络的输出反馈给分割网络，通过引入历史信息和先验知识来增强网络的学习能力，加速收敛并提高语义分割的精确度。这个过程可以帮助分割网络更好地理解输入图像的语义信息，并根据对抗网络的反馈进行调整和优化。直至对抗网络的损失函数不再下降，获得预训练对抗网络。历史信息通常是指之前的训练数据或者之前的训练过程中的中间结果，包括模型的参数、梯度等。这些信息可以在当前训练中被重新利用，将历史信息传递给对抗网络，从而增强对抗网络的记忆能力和泛化能力。先验知识通常是指人类对于图像数据的先验知识，比如关于图像的一些常识性约束、规律和特征。这些先验知识可以被整合进对抗网络中，在对抗网络训练过程中起到指导作用，帮助对抗网络更好地理解数据，并提高其泛化能力。
对于训练好的对抗网络，根据目标复合图像和目标融合特征图像，获取目标检测对象缺损的概率值，即获取目标检测对象的目标检测结果。例如，可以计算目标检测结果中缺损区域的像素比例，概率值=1/(1+e的-z次方)，z为对抗网络的参数。
在一个实施例中，对抗网络的损失函数为：
其中，为预训练对抗网络的损失函数，lmac为目标复合图像和目标融合特征图像进行点积的结果与目标复合图像和预设标签图像进行点积的结果之间的平均绝对误差，具体表达为：lmac=(a,b)=|a-b|，a为目标复合图像和目标融合特征图像进行点积的结果，b为目标复合图像和预设标签图像进行点积的结果，S(xn)为目标融合特征图像的行特征，S(yn)为目标融合特征图像的列特征，xn为预训练对抗网络输出的预测图像，为预测图像与目标融合特征图像的行特征相乘的结果，/>为预测图像与目标融合特征图像的列特征相乘的结果，fC()表示预训练对抗网络从图像中提取的层次特征。
综上，本申请实施例提供的一种无损检测方法，通过获取目标检测对象的点云图像和热像图，并将它们复合得到目标复合图像。接着，采用预训练的分割网络对目标复合图像进行处理，确定目标融合特征图像。然后，基于目标复合图像和目标融合特征图像，采用预训练的对抗网络确定预测图像。最后，结合目标复合图像、目标融合特征图像和预测图像，确定目标检测对象的目标检测结果。本申请综合应用了点云图像和热像图，避免了人员接触式和多检测设备对复杂工件进行检测的问题。同时，该方法还能极大地提高检测的准确性。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第二方面，本申请实施例提供了一种无损检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6为本申请实施例提供的无损检测系统的框图，如图6所示，该系统包括：
确定目标复合图像模块601，用于获取目标检测对象的点云图像和热像图，基于点云图像和热像图确定目标复合图像。
确定目标融合特征图像模块602，用于基于目标复合图像，采用预训练分割网络确定目标融合特征图像。
确定目标检测结果模块603，用于基于目标复合图像和目标融合特征图像，采用预训练对抗网络确定目标检测对象的目标检测结果。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
第三方面，本申请实施例提供了一种无损检测装置，包括：集成控制模块，集成于上位机，包括点云处理单元、红外成像装置、检测及控制单元；红外激励模块，包括光纤激光装置、激光驱动装置以及激光发生装置；数据采集模块，包括函数发生装置以及点云相机装置；存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述任一项方法实施例中的步骤。
点云处理单元用于计算由数据采集模块中的点云相机装置获取的点云数据，将其转化为目标检测对象的点云图像并换算到红外成像平面的坐标系；
红外成像装置用于处理数据采集模块中的的函数发生装置生成的红外热波图像序列，并将其进行数据处理和热波特征提取，以便生成可视红外热波图像；
检测及控制单元用于将点云处理单元获得的点云图像与红外成像装置获得的红外热波图像进行匹配，并通过反馈对抗网络判断目标检测对象是否损伤；
光纤激光装置通过激光驱动装置控制，向激光发生装置提供稳定可调的光源；
激光驱动装置通过上位机上的检测及控制单元控制，用于控制光纤激光装置的开关、输出功率以及频率等；
激光发生装置通过接收光纤激光装置提供的光源照射目标检测对象，使其反射热辐射，以便红外成像装置捕捉；
函数发生装置接受由检测及控制单元发送的脉冲信号，并将其转化为模拟型号，并分别输出给红外成像装置以便采集图像以及激光驱动装置控制红外激光输出，以确保红外成像装置采集的红外热波信号与检测及控制单元发送的参考信号的一致性。
可选地，上述无损检测装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
第四方面，结合上述实施例中的无损检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意无损检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现无损检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图7为本申请实施例提供的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现无损检测方法，数据库用于存储数据。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种无损检测方法，其特征在于，所述方法包括：
获取目标检测对象的点云图像和热像图，基于所述点云图像和所述热像图确定目标复合图像；
基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像；
基于所述目标复合图像和所述目标融合特征图像，采用预训练对抗网络确定所述目标检测对象的目标检测结果。
2.根据权利要求1所述的无损检测方法，其特征在于，所述基于所述点云图像和所述热像图确定目标复合图像，包括：
根据所述点云图像和所述热像图进行复合处理，得到初始复合图像；
基于所述初始复合图像进行图像预处理，得到预处理复合图像，其中，所述图像预处理包括图形增强处理和平滑处理；
根据所述预处理复合图像的深度值，确定所述目标检测对象的初始检测结果；
响应于所述初始检测结果为无缺损，所述预处理复合图像确定为所述目标复合图像。
3.根据权利要求1所述的无损检测方法，其特征在于，所述预训练分割网络包括编码器、解码器和分层学习模型；
所述编码器由多个3*3的卷积层和ReLU激活函数组成；
所述解码器由转置卷积层组成；
所述分层学习模型由多个边路网络和一个融合输出网络组成。
4.根据权利要求3所述的无损检测方法，其特征在于，所述基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像，包括：
根据所述目标复合图像，采用所述编码器进行下采样和特征处理，得到降采样特征图像；
根据所述降采样特征图像，采用所述解码器进行上采样和特征处理，得到目标分割图像；
根据所述目标分割图像，采用所述边路网络确定目标特征图像；
根据所述目标特征图像，采用所述融合输出网络进行融合处理，得到所述目标融合特征图像。
5.根据权利要求4所述的无损检测方法，其特征在于，所述预训练分割网络的总损失函数为：
其中，ltotal为预训练分割网络总损失函数，lside为边路网络损失函数，lfuse为融合输出网络损失函数，β和γ为边路网络的超参数，N为像素点，yi为预设标签图像，/>为边路网络预测结果，/>和/>为融合输出网络的超参数，/>为融合输出网络预测结果。
6.根据权利要求1所述的无损检测方法，其特征在于，所述预训练对抗网络的获取，包括：
根据所述目标复合图像和所述目标融合特征图像进行点积，得到第一点积结果；
根据所述目标复合图像和所述预设标签图像进行点积，得到第二点积结果；
根据所述第一点积结果和所述第二点积结果，对对抗网络进行训练，直至满足预设条件，得到训练好的所述预训练对抗网络。
7.根据权利要求6所述的无损检测方法，其特征在于，所述对抗网络的损失函数为：
其中，/>为预训练对抗网络的损失函数，lmac为目标复合图像和目标融合特征图像进行点积的结果与目标复合图像和预设标签图像进行点积的结果之间的平均绝对误差，S(xn)为目标融合特征图像的行特征，S(yn)为目标融合特征图像的列特征，xn为预训练对抗网络输出的预测图像，为预测图像与目标融合特征图像的行特征相乘的结果，/>为预测图像与目标融合特征图像的列特征相乘的结果，fC()表示预训练对抗网络从图像中提取的层次特征。
8.一种无损检测系统，其特征在于，所述系统包括：
确定目标复合图像模块，用于获取目标检测对象的点云图像和热像图，基于所述点云图像和所述热像图确定目标复合图像；
确定目标融合特征图像模块，用于基于所述目标复合图像，采用预训练分割网络确定目标融合特征图像；
确定目标检测结果模块，用于基于所述目标复合图像和所述目标融合特征图像，采用预训练对抗网络确定所述目标检测对象的目标检测结果。
9.一种无损检测装置，其特征在于，包括：
集成控制模块，集成于上位机，包括点云处理单元、红外成像装置、检测及控制单元；
红外激励模块，包括光纤激光装置、激光驱动装置以及激光发生装置；
数据采集模块，包括函数发生装置以及点云相机装置；
存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的无损检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的无损检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410155423.4A CN117689664B (zh) | 2024-02-04 | 一种无损检测方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410155423.4A CN117689664B (zh) | 2024-02-04 | 一种无损检测方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689664A true CN117689664A (zh) | 2024-03-12 |
| CN117689664B CN117689664B (zh) | 2024-05-14 |
Family
ID=
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080431A1 (en) * | 2017-09-14 | 2019-03-14 | The Regents Of The University Of Colorado, A Body Corporate | Thermal-Depth Fusion Imaging |
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| CN111311614A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 基于分割网络和对抗网络的三维点云语义分割方法 |
| CN113378760A (zh) * | 2021-06-25 | 2021-09-10 | 北京百度网讯科技有限公司 | 训练目标检测模型和检测目标的方法及装置 |
| CN113643345A (zh) * | 2021-07-27 | 2021-11-12 | 数量级(上海)信息技术有限公司 | 一种基于双光融合的多目道路智能识别方法 |
| CN114511778A (zh) * | 2022-01-19 | 2022-05-17 | 美的集团(上海)有限公司 | 图像处理方法及装置 |
| US20220207868A1 (en) * | 2020-12-29 | 2022-06-30 | Tsinghua University | All-weather target detection method based on vision and millimeter wave fusion |
| CN115223067A (zh) * | 2022-09-19 | 2022-10-21 | 季华实验室 | 应用于无人机的点云融合方法、装置、设备及存储介质 |
| CN115546502A (zh) * | 2022-10-14 | 2022-12-30 | 西安镭映光电科技有限公司 | 一种基于YOLOv4多尺度特征融合的红外小目标检测方法 |
| CN116012712A (zh) * | 2023-01-09 | 2023-04-25 | 芜湖雄狮汽车科技有限公司 | 基于物体通用特征的目标检测方法、装置、设备及介质 |
| US11694428B1 (en) * | 2022-07-07 | 2023-07-04 | Ludong University | Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion |
| CN116539619A (zh) * | 2023-04-19 | 2023-08-04 | 广州里工实业有限公司 | 产品缺陷检测方法、系统、装置及存储介质 |
| CN117237756A (zh) * | 2023-09-14 | 2023-12-15 | 深圳数联康健智能科技有限公司 | 一种训练目标分割模型的方法、目标分割方法及相关装置 |
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
| CN117409190A (zh) * | 2023-12-12 | 2024-01-16 | 长春理工大学 | 一种实时红外图像目标检测方法、装置、设备及存储介质 |
| CN117422824A (zh) * | 2023-10-19 | 2024-01-19 | 青岛科技大学 | 一种三维点云红外热成像方法及系统 |
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080431A1 (en) * | 2017-09-14 | 2019-03-14 | The Regents Of The University Of Colorado, A Body Corporate | Thermal-Depth Fusion Imaging |
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| CN111311614A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 基于分割网络和对抗网络的三维点云语义分割方法 |
| US20220207868A1 (en) * | 2020-12-29 | 2022-06-30 | Tsinghua University | All-weather target detection method based on vision and millimeter wave fusion |
| CN113378760A (zh) * | 2021-06-25 | 2021-09-10 | 北京百度网讯科技有限公司 | 训练目标检测模型和检测目标的方法及装置 |
| CN113643345A (zh) * | 2021-07-27 | 2021-11-12 | 数量级(上海)信息技术有限公司 | 一种基于双光融合的多目道路智能识别方法 |
| CN114511778A (zh) * | 2022-01-19 | 2022-05-17 | 美的集团(上海)有限公司 | 图像处理方法及装置 |
| WO2023138062A1 (zh) * | 2022-01-19 | 2023-07-27 | 美的集团(上海)有限公司 | 图像处理方法及装置 |
| US11694428B1 (en) * | 2022-07-07 | 2023-07-04 | Ludong University | Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion |
| CN115223067A (zh) * | 2022-09-19 | 2022-10-21 | 季华实验室 | 应用于无人机的点云融合方法、装置、设备及存储介质 |
| CN115546502A (zh) * | 2022-10-14 | 2022-12-30 | 西安镭映光电科技有限公司 | 一种基于YOLOv4多尺度特征融合的红外小目标检测方法 |
| CN116012712A (zh) * | 2023-01-09 | 2023-04-25 | 芜湖雄狮汽车科技有限公司 | 基于物体通用特征的目标检测方法、装置、设备及介质 |
| CN116539619A (zh) * | 2023-04-19 | 2023-08-04 | 广州里工实业有限公司 | 产品缺陷检测方法、系统、装置及存储介质 |
| CN117237756A (zh) * | 2023-09-14 | 2023-12-15 | 深圳数联康健智能科技有限公司 | 一种训练目标分割模型的方法、目标分割方法及相关装置 |
| CN117422824A (zh) * | 2023-10-19 | 2024-01-19 | 青岛科技大学 | 一种三维点云红外热成像方法及系统 |
| CN117409190A (zh) * | 2023-12-12 | 2024-01-16 | 长春理工大学 | 一种实时红外图像目标检测方法、装置、设备及存储介质 |
| CN117409192A (zh) * | 2023-12-14 | 2024-01-16 | 武汉大学 | 一种基于数据增强的红外小目标检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 廖旋;缪君;储;张桂梅;: "融合分割先验的多图像目标语义分割", 中国图象图形学报, no. 06, 16 June 2019 (2019-06-16), pages 48 - 59 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | A new steel defect detection algorithm based on deep learning | |
| Liu et al. | Computer vision-based concrete crack detection using U-net fully convolutional networks | |
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| WO2023077404A1 (zh) | 缺陷检测方法、装置和系统 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| CN111079632A (zh) | 文本检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| Xu et al. | An infrared thermal image processing framework based on superpixel algorithm to detect cracks on metal surface | |
| CN111507965A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| Khanal et al. | Automatic cobb angle detection using vertebra detector and vertebra corners regression | |
| CN111598889B (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
| CN113538331A (zh) | 金属表面损伤目标检测识别方法、装置、设备及存储介质 | |
| US20220067514A1 (en) | Inference apparatus, method, non-transitory computer readable medium and learning apparatus | |
| CN114897738A (zh) | 一种基于语义不一致性检测的图像盲修复方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115409990A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Ertay et al. | Toward sub-surface pore prediction capabilities for laser powder bed fusion using data science | |
| CN117689664B (zh) | 一种无损检测方法、系统、装置及介质 | |
| CN113808099A (zh) | 一种铝材表面缺陷检测装置与方法 | |
| CN117689664A (zh) | 一种无损检测方法、系统、装置及介质 | |
| US11972593B2 (en) | System and methods for quantifying uncertainty of segmentation masks produced by machine learning models | |
| CN116434230A (zh) | 一种复杂环境下的船舶水尺读数方法 | |
| Zamiela et al. | Deep Multi-Modal U-Net Fusion Methodology of Thermal and Ultrasonic Images for Porosity Detection in Additive Manufacturing | |
| CN115311244A (zh) | 一种病灶尺寸确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |