CN116402822B - 混凝土结构图像检测方法、装置、电子设备及存储介质 - Google Patents
混凝土结构图像检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116402822B CN116402822B CN202310677380.1A CN202310677380A CN116402822B CN 116402822 B CN116402822 B CN 116402822B CN 202310677380 A CN202310677380 A CN 202310677380A CN 116402822 B CN116402822 B CN 116402822B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- damage
- concrete
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 88
- 201000010099 disease Diseases 0.000 claims abstract description 86
- 238000011156 evaluation Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 239000002245 particle Substances 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012549 training Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000002893 slag Substances 0.000 description 2
- 238000004901 spalling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007847 structural defect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Abstract
本发明涉及计算机图像处理技术领域，尤其涉及混凝土结构图像检测方法、装置、电子设备及存储介质，混凝土结构图像检测方法包括以下步骤：接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类。本发明不需要大量标注数据进行训练，对计算资源和模型结构设计要求较低，对建筑工程混凝土病害损伤识别效果较佳。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及混凝土结构图像检测方法、装置、电子设备及存储介质。
背景技术
为了保障建筑结构安全，延长建筑使用寿命，提升建筑品质，需要及时对建筑工程混凝土进行结构检测，及时发现混凝土结构存在的问题。建筑工程混凝土结构检测主要采用计算机视觉和图像处理技术，其中常用的方法包括：基于特征工程的方法、基于深度学习的方法和基于模板匹配的方法。
基于特征工程的方法为对图像中的混凝土结构进行特征提取，如边缘、纹理、颜色等，并利用这些特征进行分类或检测，该方法的优点是简单易懂，但需要手动选择合适的特征，同时对光照、噪声等干扰比较敏感。基于模板匹配的方法通过对混凝土结构进行模板匹配，实现对特定缺陷或问题的识别和检测，该方法适用于缺陷比较固定且数量较少的情况，但对图像质量要求较高，且对变化较大的情况识别效果较差。基于深度学习的方法通过深度卷积神经网络等模型对混凝土结构图像进行学习和特征提取，识别和检测混凝土结构中的缺陷和问题的精度高、鲁棒性强，但需要大量标注数据进行训练，对计算资源和模型结构设计要求较高，尤其对于较少出现的病害，由于训练数据集较少且经过清洗，识别效果不佳，需要额外为识别结构病害提供辅助。
发明内容
有鉴于此，本发明的目的是提供混凝土结构图像检测方法、装置、电子设备及存储介质，以至少解决现有混凝土结构图像检测存在的病害损伤识别效果不佳的问题。
本发明通过以下技术手段解决上述技术问题：
第一方面，本发明提供了一种混凝土结构图像检测方法，包括以下步骤：
接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；
根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；
根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类。
通过上述技术方案，由于建筑工程混凝土表面一般被塑性为较为平整的平面，所以，当显著值越大时，像素点对应图像中越为突出的不平整位置的显著性越大，即像素点越可能对应混凝土表面出现结构病害的位置。本申请以混凝土损伤的面积和深度对每个像素点所在位置的特征进行提取，混凝土损伤的面积的提取以显著性大小作为对混凝土损伤的面积提取的基础，以像素点所在区域面积的相对值和像素点所在区域面积与混凝土损伤不明显区域的面积比确定像素点所在位置的损伤面积；混凝土损伤的深度从像素点位置的相对深度和相对深度的杂乱程度入手，结合混凝土损伤较深的位置会出现裸露的粗骨料特征，对像素点位置的粗骨料的颗粒特征进行评价，进而得到像素点位置的损伤深度评价。最后，根据损伤面积特征和损伤深度提取出每个像素点位置出现病害的程度，根据该评价对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行识别，判断病害损伤的种类。本发明的混凝土结构图像检测方法不需要大量标注数据进行训练，对计算资源和模型结构设计要求较低，对建筑工程混凝土病害损伤识别效果较佳。
结合第一方面，在一些实施方式中，所述根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价步骤，包括：
对所述混凝土表面图像使用Itti显著性算法获取显著性图像和图像中每个像素点对应的显著值；
对所述显著性图像进行连通域分析，获得混凝土表面图像中对应出现结构病害可能性较大的各个区域；
对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析。
结合第一方面，在一些实施方式中，所述显著值的取值范围为，所述显著值的获取操作如下：
对所述显著性图像使用最大类间方差法进行划分，将图像中灰度值大于等于阈值的像素点的灰度值更新为1，将图像中灰度值小于阈值的像素点的灰度值更新为0，得到更新后的显著性图像。
结合第一方面，在一些实施方式中，所述连通域分析为将连通域中像素点对应的显著值均为1的各连通域均记为疑似病害区，将连通域中像素点对应的显著值均为0的连通域记为质量稳健区。
结合第一方面，在一些实施方式中，所述对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析步骤，包括：
统计每个像素点所在的连通域内包含的处于疑似病害区内的像素点数量，以及混凝土表面图像中质量稳健区内包含的像素点数量，根据像素点所在连通域的面积获取每个像素点对应的损伤面积显著值；
根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值；
对所述损伤面积显著值和损伤深度显著值进行归一化处理，获取每个像素点位置出现病害的程度。
结合第一方面，在一些实施方式中，所述根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值步骤，包括：
将混凝土表面图像转换为灰度图像，对灰度图像使用canny边缘检测算子获得边缘图像；
根据边缘图像将每个连通域进行分割，将每个连通域划分为一个或多个子区域，每个子区域对应一个损伤程度较为相似的区域；
根据子区域内各像素点的相对深度获取梯度方向，根据梯度方向的熵和相对深度的中值分析获得每个像素点对应的损伤凹陷度；
根据子区域各像素点对应的深度变化序列分析获得各像素点对应的骨料颗粒凸度；
结合损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值。
结合第一方面，在一些实施方式中，所述接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像步骤，包括：
将深度相机取景框水平线垂直建筑工程混凝土表面，拍摄获取需要进行病害识别的建筑工程混凝土表面的图像，记为混凝土表面图像；
使用高斯滤波对混凝土表面图像进行去噪处理。
第二方面，本发明提供了一种混凝土结构图像检测装置，包括：
图像接收处理模块，用于接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；
损伤程度评价模块，用于根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；
病害损伤分类模块，用于根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类。
第三方面，本发明提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述的混凝土结构图像检测方法。
第四方面，本发明提供了一种计算机可读存储介质，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现上述的混凝土结构图像检测方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面的相关描述，在此不在赘述。
附图说明
图1是本发明的混凝土结构图像检测方法的流程图；
图2是本发明的混凝土结构图像检测装置的结构示意图；
其中，混凝土结构图像检测装置200、图像接收处理模块210、损伤程度评价模块220、病害损伤分类模块230。
具体实施方式
为便于理解本申请实施例，以下对本申请实施例的部分用语进行解释说明，以便于本领域技术人员理解。
本发明获取需要进行病害识别的建筑工程混凝土表面图像，对图像中各像素点进行分析，首先根据显著性对每个像素点位置出现混凝土病害的程度进行初步判断；然后，以混凝土损伤的面积和深度对每个像素点所在位置的特征进行提取，混凝土损伤的面积的提取以显著性大小作为对混凝土损伤的面积提取的基础，以像素点所在区域面积的相对值和像素点所在区域面积与混凝土损伤不明显区域的面积比确定像素点所在位置的损伤面积；混凝土损伤的深度从像素点位置的相对深度和相对深度的杂乱程度入手，结合混凝土损伤较深的位置会出现裸露的粗骨料特征，对像素点位置的粗骨料的颗粒特征进行评价，进而得到像素点位置的损伤深度评价；根据上述特征提取出每个像素点位置出现病害的程度，根据该评价对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行识别，判断病害损伤的种类。
请参照图1，本申请公开了一种混凝土结构图像检测方法，包括以下步骤：
步骤110，接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像，可以用深度相机垂直于建筑工程混凝土表面，拍摄获取建筑工程混凝土表面图像，使用高斯滤波对混凝土表面图像进行去噪处理，减少噪声对后续分析的干扰。
步骤120，根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果，对混凝土表面图像使用Itti显著性算法获取显著性图像和图像中每个像素点对应的显著值，其中，Itti显著性算法的算法过程为现有常规技术，在此不再赘述。使用Itti显著性算法获取的显著性图像为灰度图像，对显著性图像使用最大类间方差法（otsu算法）进行划分，将图像中灰度值大于等于阈值的像素点的灰度值更新为1，将图像中灰度值小于阈值的像素点的灰度值更新为0，从而得到更新后的显著性图像，更新后的显著性图像为二值图像。
显著值的取值范围为，当显著值越大时，像素点对应图像中越为突出的不平整位置的显著性越大，即像素点越可能对应混凝土表面出现结构病害的位置。对显著性图像进行连通域分析，获得混凝土表面图像中对应出现结构病害可能性较大的各个区域。将连通域中每个像素值均为1的各连通域均记为疑似病害区，将连通域中每个像素值均为0的连通域记为质量稳健区。当像素点所在连通域内包含的处于疑似病害区内的像素点数量越多时，则该像素点越可能处于出现混凝土损伤的位置；当像素点所在连通域面积相对于混凝土质量较为良好的区域面积越大时，则像素点越可能处于混凝土损伤面积越大的位置；即当像素点所在连通域内包含的处于疑似病害区内的像素点数量越多、像素点所在连通域面积相对于混凝土质量较为良好的区域面积越大、显著值越大时，该像素点越可能对应混凝土出现损伤且损伤面积越大的位置，该像素点对应的损伤面积显著值越大。
为增强混凝土的强度，混凝土内部混杂了大量的粗骨料，当损伤较深时，这些粗骨料会出现裸露，所以当平整的混凝表面出现明显的石子颗粒时，则这些位置的损伤程度较深。所以，根据各像素点所在位置的凹陷程度和骨料颗粒凸度对各像素点所处位置的混凝土表面病害程度进行评价。
当像素点对应的损伤凹陷度和骨料颗粒凸度越大时，则像素点位置的混凝土损伤深度越深，即像素点对应的损伤深度越大。当像素点对应的损伤深度越大，损伤面积显著值越大，则像素点位置的损伤面积和深度越大、损伤程度越大，即像素点对应的损伤显著度越大。
步骤130，根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类。将混凝土表面图像送入神经网络，神经网络采用卷积神经网络，网络输出是建筑混凝土表面病害类别，网络的标签数据通过人为标注，如烂根、夹渣、蜂窝、麻面、剥落等。
在上述的实施方式中，由于建筑工程混凝土表面一般被塑性为较为平整的平面，所以，当显著值越大时，像素点对应图像中越为突出的不平整位置的显著性越大，即像素点越可能对应混凝土表面出现结构病害的位置。本申请以混凝土损伤的面积和深度对每个像素点所在位置的特征进行提取，混凝土损伤的面积的提取以显著性大小作为对混凝土损伤的面积提取的基础，以像素点所在区域面积的相对值和像素点所在区域面积与混凝土损伤不明显区域的面积比确定像素点所在位置的损伤面积；混凝土损伤的深度从像素点位置的相对深度和相对深度的杂乱程度入手，结合混凝土损伤较深的位置会出现裸露的粗骨料特征，对像素点位置的粗骨料的颗粒特征进行评价，进而得到像素点位置的损伤深度评价。最后，根据损伤面积特征和损伤深度提取出每个像素点位置出现病害的程度，根据该评价对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行识别，判断病害损伤的种类。本申请的混凝土结构图像检测方法不需要大量标注数据进行训练，对计算资源和模型结构设计要求较低，对建筑工程混凝土病害损伤识别效果较佳。
下面将对混凝土结构图像检测方法的各步骤进行详细阐述，如下：
步骤110的详细内容包括，将深度相机取景框水平线垂直建筑工程混凝土表面，拍摄获取需要进行质量检测的建筑工程混凝土表面的图像，记为混凝土表面图像。可以采用USB线传输或者存储卡等方式接收混凝土表面图像。混凝土表面图像中的每个像素点都有四个通道的像素值与其对应，记为 ，分别对应R、G、B三个通道的值和深度，深度为相机到目标物体表面的距离，距离越大则深度越大。
使用高斯滤波对混凝土表面图像进行去噪，减少噪声对后续分析的干扰。为了避免深度相机与建筑工程的混凝土表面的距离影响后续分析，取混凝土表面图像中各像素点对应的深度值的最小值，将图像中每个像素点对应的深度减去该最小值的差值记为相对深度，将混凝土表面图像中每个像素点对应的四个通道的值更新为 />。
步骤120的详细内容包括，首先，对混凝土表面图像使用Itti显著性算法获取显著性图像和图像中每个像素点对应的显著值。使用Itti显著性算法获取的显著性图像为灰度图像，对显著性图像使用最大类间方差法（otsu算法）进行划分，将图像中灰度值大于等于阈值的像素点的灰度值更新为1，将图像中灰度值小于阈值的像素点的灰度值更新为0，从而得到更新后的显著性图像，更新后的显著性图像为二值图像。显著值的取值范围为，由于建筑工程混凝土表面一般被塑性为较为平整的平面，所以，当显著值越大时，像素点对应图像中越为突出的不平整位置的显著性越大，即像素点越可能对应混凝土表面出现结构病害的位置。对显著性图像进行连通域分析，获得混凝土表面图像中对应出现结构病害可能性较大的各个区域。将连通域中每个像素值均为1的各连通域均记为疑似病害区，将连通域中每个像素值均为0的连通域记为质量稳健区。
接着，对每个像素点对应位置出现的病害程度继续进行详细分析。由于设计不当、结构尺寸不合理等设计因素，施工不规范、材料质量不良、养护不当等施工因素，使用环境的变化和影响以及时间等多种因素的影响，混凝土表面会出现各种各样的病害，这些病害的特征各不相同，所以，在为结构病害的识别提供辅助时，仅仅提取不同病害的特征过于繁杂、并不合适。本申请从混凝土表面出现病害的程度由浅入深的变化特征进行提取，为结构病害的识别提供辅助。
（1）当混凝土表面开始出现损伤时，损伤的深度较浅，损伤的面积较小。统计每个像素点所在的连通域内包含的处于疑似病害区内的像素点数量以及图像中质量稳健区内包含的像素点数量。根据像素点所在连通域的面积获取每个像素点对应的损伤面积显著值。
式中 为像素点 />对应的损伤面积显著值； />为像素点对应的显著值；为像素点/>所在的连通域内包含的处于疑似病害区内的像素点数量；/>为图像中质量稳健区内包含的像素点数量；/>为像素点数量基数，为一常数，经验值为100。
当像素点所在连通域内包含的处于疑似病害区内的像素点数量越多时，则该像素点越可能处于出现混凝土损伤的位置；当像素点所在连通域面积相对于混凝土质量较为良好的区域面积越大时，则像素点越可能处于混凝土损伤面积越大的位置；即当像素点所在连通域内包含的处于疑似病害区内的像素点数量越多、像素点所在连通域面积相对于混凝土质量较为良好的区域面积越大、显著值越大时，该像素点越可能对应混凝土出现损伤且损伤面积越大的位置，该像素点对应的损伤面积显著值越大。
（2）当混凝土表面的损伤程度更深时，出现损伤的位置相较于未损伤的位置出现凹陷，损伤程度越大，凹陷越为明显。为增强混凝土的强度，混凝土内部混杂了大量的粗骨料，当损伤较深时，这些粗骨料会出现裸露，所以当平整的混凝表面出现明显的石子颗粒时，则这些位置的损伤程度较深。所以，根据各像素点所在位置的凹陷程度和骨料颗粒凸度对各像素点所处位置的混凝土表面病害程度进行评价。
将混凝土表面图像转换为灰度图像，对灰度图像使用canny边缘检测算子获得边缘图像，边缘图像为二值图像。根据边缘图像将每个连通域进行分割，将每个连通域划分为一个或多个子区域，每个子区域对应一个损伤程度较为相似的区域，如一个石子、一块凹陷区域等，分析每个子区域对应的损伤凹陷度和骨料颗粒凸度，根据两者确定子区域内每个像素点的损伤深度。
①获取子区域内各像素点的相对深度，根据相对深度获取梯度方向。获取子区域内各像素点对应的梯度方向的熵和相对深度的中值。当该子区域内损伤程度较深时，则相对深度的中值较大。由于混凝土损伤位置的表面一般不平整，所以当损伤程度越深时，梯度方向的熵较大。根据上述分析获得每个像素点对应的损伤凹陷度。
式中为像素点/>对应的损伤凹陷度；/>为像素点/>所在的子区域内各像素点对应的梯度方向的熵；/>为像素点/>所在的子区域内各像素点对应的相对深度的中值。
②取子区域的质心，取子区域边缘上各点到质心的有向线段。以子区域边缘上各点作为起始点，按照有向线段的方向，将该线段经过的各像素点的相对深度依次排列为一组序列，将该序列记为子区域边缘上该点对应的深度变化序列。将该深度变化序列中包含的各值对应的像素点记为该深度变化序列的内含像素点，当子区域内某像素点为某深度变化序列的内含像素点时，则将该像素点记为属于该深度变化序列，否则记为像素点记为属于该深度变化序列。由于粗骨料一般为卵石，所以粗骨料对应的子区域从边缘向质心有逐渐凸起的颗粒特征，即从边缘向质心各像素点对应的相对深度出现由大变小的趋势。根据上述分析获得每个像素点对应的骨料颗粒凸度。
式中为像素点/>对应的骨料颗粒凸度；/>为像素点/>属于的各深度变化序列组成的集合，/>为当/>不为空集，即像素点/>属于一个或多个深度变化序列，/>为当/>为空集，即像素点/>不属于任何一个深度变化序列；/>为在第/>个深度变化序列中的第/>项值，/>为在第/>个深度变化序列中的第/>项值；/>为第/>个深度变化序列中包含的相对深度的个数；/>为在第/>个深度变化序列中，序列的每个前一项减后一项的差值为正数的个数；/>为像素点/>属于的深度变化序列的个数；为像素点/>所在子区域包含的深度变化序列的个数。
当像素点属于其所在的子区域的某个或某些深度变化序列时，则以上式的第一个式子进行计算，/>为像素点/>属于的深度变化序列的每个前一项与后一项的差值的均值，/>为该深度变化序列中前一项与后一项的差值为正数的数量占总数量的比值，像素点/>属于的每个深度变化序列均有一个对应的，以像素点/>属于的每个深度变化序列对应的该值的均值作为该像素点对应的骨料颗粒凸度。当像素点/>不属于其所在的子区域包含的各深度变化序列时，为了衡量该像素点对应位置的骨料颗粒凸度，则根据该像素点所在的子区域包含的所有深度变化序列对应的各值按照同样的步骤获取骨料颗粒凸度，即以该像素点所在的子区域包含的所有深度变化序列对应的粗骨料的颗粒特征评价值作为该像素点对应的该特征评价值。
当像素点属于的各深度变化序列对应的越大时，则像素点所在位置对应的从子区域边缘向质心各像素点对应的相对深度出现由大变小的趋势越为明显，则该像素点位置的骨料颗粒凸度越为明显，即该像素点位置对应的混凝土表面出现损伤的深度到达粗骨料的显著性越大。
③获取每个像素点对应的损伤深度和损伤显著度。
式中为像素点/>对应的损伤深度；/>为像素点/>对应的损伤凹陷度；/>为像素点/>对应的骨料颗粒凸度；/>像素点/>对应的损伤显著度；/>为像素点/>对应的损伤面积显著值；/>为归一化函数，作用为取括号内的归一化值。
当像素点对应的损伤凹陷度和骨料颗粒凸度越大时，则像素点位置的混凝土损伤深度越深，即像素点对应的损伤深度越大。当像素点对应的损伤深度越大，损伤面积显著值越大，则像素点位置的损伤面积和深度越大、损伤程度越大，即像素点对应的损伤显著度越大。
步骤130的详细内容包括，将混凝土表面图像中每个像素点对应的通道值更新为，其中，/>为该像素点对应的损伤显著度。将混凝土表面图像送入神经网络，神经网络采用卷积神经网络，如ResNet34、SENet。损失函数采用交叉熵损失函数。优化算法采用Adam。网络输出是建筑混凝土表面病害类别，网络的标签数据通过人为标注，如烂根、夹渣、蜂窝、麻面、剥落等。
请参照图2，本申请还提供了一种混凝土结构图像检测装置200，混凝土结构图像检测装置200包括至少一个可以软件或固件(Firmware)的形式存储于存储模块中或固化在电子设备中的操作系统(Operating System，OS)中的软件功能模块。
混凝土结构图像检测装置200，包括：
图像接收处理模块210，用于接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；
损伤程度评价模块220，用于根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；
病害损伤分类模块230，用于根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类。
需要说明的是，上述图像接收处理模块210、损伤程度评价模块220、病害损伤分类模块230对应于上述混凝土结构图像检测方法实施例中的步骤110至步骤130，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述混凝土结构图像检测方法实施例所公开的内容，并且混凝土结构图像检测装置200中的上述各模块和其它操作和/或功能分别为了实现方法的相应流程，为了简洁，在此不再赘述。
本申请还公开了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述的混凝土结构图像检测方法。
上述电子设备还包括输入装置和输出装置，输入装置用于接收混凝土表面图像，输出装置用于输出评价结果。例如输入装置可以是USB接口等，输出装置可以是显示屏等。
本申请还公开了一种计算机可读存储介质，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现上述的混凝土结构图像检测方法。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (5)
1.混凝土结构图像检测方法，其特征在于，包括以下步骤：
接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；
根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；
根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类；
所述根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价步骤，包括：
对所述混凝土表面图像使用Itti显著性算法获取显著性图像和图像中每个像素点对应的显著值；
对所述显著性图像进行连通域分析，获得混凝土表面图像中对应出现结构病害可能性较大的各个区域；
对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析；
所述显著值的取值范围为[0,1]，所述显著值的获取操作如下：
对所述显著性图像使用最大类间方差法进行划分，将图像中灰度值大于等于阈值的像素点的灰度值更新为1，将图像中灰度值小于阈值的像素点的灰度值更新为0，得到更新后的显著性图像；
所述连通域分析为将连通域中像素点对应的显著值均为1的各连通域均记为疑似病害区，将连通域中像素点对应的显著值均为0的连通域记为质量稳健区；
所述对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析步骤，包括：
统计每个像素点所在的连通域内包含的处于疑似病害区内的像素点数量，以及混凝土表面图像中质量稳健区内包含的像素点数量，根据像素点所在连通域的面积获取每个像素点对应的损伤面积显著值；
根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值；
对所述损伤面积显著值和损伤深度显著值进行归一化处理，获取每个像素点位置出现病害的程度；
所述根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值步骤，包括：
将混凝土表面图像转换为灰度图像，对灰度图像使用canny边缘检测算子获得边缘图像；
根据边缘图像将每个连通域进行分割，将每个连通域划分为一个或多个子区域，每个子区域对应一个损伤程度较为相似的区域；
根据子区域内各像素点的相对深度获取梯度方向，根据梯度方向的熵和相对深度的中值分析获得每个像素点对应的损伤凹陷度；
根据子区域各像素点对应的深度变化序列分析获得各像素点对应的骨料颗粒凸度；
结合损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值。
2.根据权利要求1项所述的混凝土结构图像检测方法，其特征在于，所述接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像步骤，包括：
将深度相机取景框水平线垂直建筑工程混凝土表面，拍摄获取需要进行病害识别的建筑工程混凝土表面的图像，记为混凝土表面图像；
使用高斯滤波对混凝土表面图像进行去噪处理。
3.混凝土结构图像检测装置，其特征在于，包括：
图像接收处理模块，用于接收并去噪处理需要进行病害识别的建筑工程混凝土表面图像；
损伤程度评价模块，用于根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价，得到评价结果；
病害损伤分类模块，用于根据所述评价结果对建筑工程混凝土表面图像进行更新，使用神经网络对更新后的图像进行病害损伤识别分类；
所述根据显著性对所述混凝土表面图像中各像素点呈现出的混凝土结构病害损伤的程度进行评价步骤，包括：
对所述混凝土表面图像使用Itti显著性算法获取显著性图像和图像中每个像素点对应的显著值；
对所述显著性图像进行连通域分析，获得混凝土表面图像中对应出现结构病害可能性较大的各个区域；
对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析；
所述显著值的取值范围为[0,1]，所述显著值的获取操作如下：
对所述显著性图像使用最大类间方差法进行划分，将图像中灰度值大于等于阈值的像素点的灰度值更新为1，将图像中灰度值小于阈值的像素点的灰度值更新为0，得到更新后的显著性图像；
所述连通域分析为将连通域中像素点对应的显著值均为1的各连通域均记为疑似病害区，将连通域中像素点对应的显著值均为0的连通域记为质量稳健区；
所述对混凝土表面图像中每个像素点对应位置出现的病害程度进行分析步骤，包括：
统计每个像素点所在的连通域内包含的处于疑似病害区内的像素点数量，以及混凝土表面图像中质量稳健区内包含的像素点数量，根据像素点所在连通域的面积获取每个像素点对应的损伤面积显著值；
根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值；
对所述损伤面积显著值和损伤深度显著值进行归一化处理，获取每个像素点位置出现病害的程度；
所述根据各像素点所在位置的损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值步骤，包括：
将混凝土表面图像转换为灰度图像，对灰度图像使用canny边缘检测算子获得边缘图像；
根据边缘图像将每个连通域进行分割，将每个连通域划分为一个或多个子区域，每个子区域对应一个损伤程度较为相似的区域；
根据子区域内各像素点的相对深度获取梯度方向，根据梯度方向的熵和相对深度的中值分析获得每个像素点对应的损伤凹陷度；
根据子区域各像素点对应的深度变化序列分析获得各像素点对应的骨料颗粒凸度；
结合损伤凹陷度和骨料颗粒凸度获取各像素点所处位置的损伤深度显著值。
4.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1-2任一项所述的混凝土结构图像检测方法。
5.一种计算机可读存储介质，其特征在于，所述可读存储介质中包含有至少一段计算机程序，所述至少一段计算机程序被设置为运行时执行以实现如权利要求1-2任一项所述的混凝土结构图像检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677380.1A CN116402822B (zh) | 2023-06-09 | 2023-06-09 | 混凝土结构图像检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677380.1A CN116402822B (zh) | 2023-06-09 | 2023-06-09 | 混凝土结构图像检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402822A CN116402822A (zh) | 2023-07-07 |
| CN116402822B true CN116402822B (zh) | 2023-08-11 |
Family
ID=87020226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310677380.1A Active CN116402822B (zh) | 2023-06-09 | 2023-06-09 | 混凝土结构图像检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402822B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993740B (zh) * | 2023-09-28 | 2023-12-19 | 山东万世机械科技有限公司 | 基于图像数据的混凝土结构表面缺陷检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564771A (zh) * | 2022-11-17 | 2023-01-03 | 山东上辰建设集团有限公司 | 一种基于建筑物基柱的混凝土裂纹识别方法 |
| CN115797473A (zh) * | 2023-02-09 | 2023-03-14 | 国网山东省电力公司东营供电公司 | 一种土建工程用混凝土成型评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110057290A (zh) * | 2019-05-08 | 2019-07-26 | 广西大学 | 混凝土试块特定显色区域几何参数的图像获取装置及其测量方法 |
-
2023
- 2023-06-09 CN CN202310677380.1A patent/CN116402822B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564771A (zh) * | 2022-11-17 | 2023-01-03 | 山东上辰建设集团有限公司 | 一种基于建筑物基柱的混凝土裂纹识别方法 |
| CN115797473A (zh) * | 2023-02-09 | 2023-03-14 | 国网山东省电力公司东营供电公司 | 一种土建工程用混凝土成型评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像分析的橘科植物病害识别技术;濮永仙;;计算机系统应用(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402822A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN108460757B (zh) | 一种手机TFT-LCD屏Mura缺陷在线自动检测方法 | |
| CN107316077B (zh) | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 | |
| CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 | |
| CN112837290B (zh) | 一种基于种子填充算法的裂缝图像自动识别方法 | |
| CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
| CN110210448B (zh) | 一种智能人脸皮肤老化程度的识别与评估方法 | |
| CN107389693B (zh) | 一种基于机器视觉的印刷品缺陷自动检测方法 | |
| CN107490582B (zh) | 一种流水线工件检测系统 | |
| CN113935666B (zh) | 基于图像处理的建筑装饰墙面砖异常评估方法 | |
| CN116402822B (zh) | 混凝土结构图像检测方法、装置、电子设备及存储介质 | |
| CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN112215790A (zh) | 基于深度学习的ki67指数分析方法 | |
| CN108009567B (zh) | 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法 | |
| CN111222507B (zh) | 数字式仪表读数的自动识别方法、计算机可读存储介质 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111784675A (zh) | 物品纹理信息处理的方法、装置、存储介质及电子设备 | |
| CN114037691A (zh) | 一种基于图像处理的碳纤维板裂纹检测方法 | |
| CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
| CN114862817A (zh) | 一种电路板金手指区域缺陷检测方法及系统及装置及介质 | |
| CN113870202A (zh) | 一种基于深度学习技术的远端芯片缺陷检测系统 | |
| CN107369149B (zh) | 目标物体的检测装置及方法 | |
| CN117330582A (zh) | 一种高分子pe薄膜表面晶点检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |