CN108492281A - 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 - Google Patents
一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 Download PDFInfo
- Publication number
- CN108492281A CN108492281A CN201810182147.5A CN201810182147A CN108492281A CN 108492281 A CN108492281 A CN 108492281A CN 201810182147 A CN201810182147 A CN 201810182147A CN 108492281 A CN108492281 A CN 108492281A
- Authority
- CN
- China
- Prior art keywords
- crack
- image
- picture
- barrier
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 230000004888 barrier function Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000004069 differentiation Effects 0.000 claims abstract description 9
- 230000003321 amplification Effects 0.000 claims abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 12
- 238000003475 lamination Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000013480 data collection Methods 0.000 abstract 1
- 230000008439 repair process Effects 0.000 description 24
- 230000000694 effects Effects 0.000 description 20
- 238000012512 characterization method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013456 study Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法：步骤一、采集多张集障碍物图片后添加标签输入Faster‑RCNN中进行训练；采集多张含有障碍物的裂缝图片并通过Faster‑RCNN对进行障碍物位置标定；步骤二、采集多张无障碍物的裂缝图片通过翻转后以扩增数据集；步骤三、将扩增后数据集输入生成式对抗网络训练裂缝生成模型；步骤四、含有障碍物的裂缝图片的障碍物所在位置进行信息擦除得到受损图像；步骤五、将受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像。本发明可准确地检测和去除裂缝图片中的障碍物信息，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法。
背景技术
随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，同时还有不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差或由于沥青混合料的弱点结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。为了进行桥梁裂缝的检测和修补，需要定期地拍摄桥梁缺陷图像。
近几年，在物体检测和识别方向上取得重要成果的深度学习也逐渐被用到了桥梁裂缝的检测中。要训练一个对各种形式的裂缝识别精度都很高的神经网络，前期需要大量的数据作为支撑。受桥梁周围环境及采集条件如光照、相机拍摄角度及分辨率等因素的影响，采集到的图像中有很多障碍物会影响到裂缝的检测，因而取材难度大大增加。因此对原图像去除遮挡物变得十分有意义。由于人工手动对图像中含障碍物的区域擦除后再进行图像缺失部分补全的方式效率低，因此研究采用计算机视觉的方式自动进行障碍物图像的补全具有重要的应用前景。图像的补全属于图像修复的一种形式，其修复对象是纹理信息有部分缺失的图像。近年来国内外在此领域也开展了诸多相关研究。期刊ACM在2000年PP417–424页中发表了Bertalmio et al.的Image Inpainting中提出图像修复这一词；期刊IEEETransactions on Image Processing在2003年PP882-889中发表的Simultaneousstructure and texture image inpainting提出采用偏微分方程的方法进行图像修复，但是该算法缺少稳定性，修复结果往往不佳；随后2001年期刊SIAM Journal on AppliedMathematics在PP1019-1043发表的Mathematical models for local non-textureinpaintings是由Chan等人在此基础上提出基于能量最小化原则的统一修复模型，但由于该模型受到修复区域大小的限制，且不满足连续性原则，进而又于2001年在发表在期刊Journal of Visual Communication and Image Representation的PP436-449的文章Non-texture inpainting by curvature-driven diffusions(CDD)中提出一种基于曲率扩散模型，只是以上算法均只适用于非纹理图像的修复，当所需修复的图像是纹理图像时则没有办法完成修复任务；因此，criminisi等人于2004年在期刊IEEE Transactions on ImageProcessing.的PP1200-121上发表的Region filling and object removal by exemplar-based image inpainting将偏微分方程和纹理信息结合起来，提出基于样本块的图像修复算法，该算法以块为修复单位，可以保留图像的纹理特性，但该算法将两部分内容结合修复较慢，且无法修复含大型连续区域缺失的图像，Raymond Yeh等人在2016年提交到会议Computer Vision and Pattern Recogntion，连接为https://arxiv.org/abs/1607.07539的网络文章Semantic Image Inpainting with Perceptual and Contextual Losses中提出用深度卷积对抗式生成网络的方法进行图像修复的方法，并给出了使用二进制掩码的概念使得通过训练有素的网络实现对破损图像的纹理特征和语义进行修复成为可能，但由于二进制掩码的不可变性使得所有的像素点在图像修复过程中对修复区域贡献相同，这使得修复结果往往不稳定。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，可准确地检测和去除裂缝图片中的障碍物信息，并能较好地修复还原裂缝图像，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。本发明要解决的技术问题通过以下技术方案实现：一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，包括以下步骤：
步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster-RCNN中进行训练；
通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；
步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；
步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；
步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；
步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。
进一步的，所述步骤五的具体步骤为：
步骤5.1，构造值在[-1，1]区间内随机分布的与所述含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z(1),Z(2),...,Z(n)}，n为正整数，通过所述已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成，输出生成向量G(z)；
步骤5.2，将所述生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜，并计算加权语义损失Ls:Ls＝||Md⊙(G(z)-x)||1；
其中，Md为加距离加权修复掩膜，x为受损图像；步骤5.3，将所述生成向量G(z)输入到所述已训练完成的裂缝生成模型的判别器D中得到感知损失Lp＝log(1-D(G(z)))；
步骤5.4，将所述感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜
步骤5.5，将所述覆盖反向距离加权修复掩膜的最优向量与所述受损图像拼接得到拼接修复图像，将拼接修复图像输入所述判别器D中进行再判别，且得到全局损失其中Lg为全局损失，Md为距离加权修复掩膜，为反向距离加权修复掩膜；
步骤5.6，根据公式(1)得到联合损失：L＝Ls+λLp+μLg (1)；
L为联合损失，λ为感知参数，μ为全局参数，Ls为加权语义损失，Lp为感知损失，Lg为全局损失；
将所述联合损失输入所述生成器G，生成器G根据联合损失对最优向量
步骤5.7，重复步骤5.1至步骤5.6，多次迭代完成后获得修复后的裂缝图像。
进一步的，所述距离加权修复掩膜Md通过公式(2)计算：
所述为反向距离加权修复掩膜通过公式(3)计算：
其中，x表示受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij表示受损图像当前像素点位置，M表示障碍物位置标定矩阵，Mij表示障碍物位置标定矩阵内位置为(i，j)的对应点。
进一步的，所述步骤三中所述裂缝生成模型包括判别子模型和生成子模型，所述判别子模型采用六层卷积层，且顺次的第一至第五层卷积层每层卷积层均采用大小为5*5的卷积核，第六层卷积层采用大小为1*1的卷积核；
所述生成子模型包括五层反卷积层，且每层反卷积层均采用大小为5*5的卷积核。
进一步的，步骤一的具体步骤为：
步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；
步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；
障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：
其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定。
与现有技术相比，本发明的有益效果：本发明构造了专门用于裂缝图像生成的裂缝生成模型；并提出了一种基于距离的加权掩码将修复效果与像素的距离相连接，用于优化图像修复效果；并创建了循环判别修复模型的同时引入了全局损失使得图像的修复效果不再仅考虑生成图像而是考虑到修复后的图像的同时不必重新训练新的判别网络就可完成全局图像的调整，降低了训练难度。
本发明将收集到的少量裂缝数据集输入Faster-RCNN中进行障碍物位置标定，然后针对裂缝特点提出一种适应裂缝特征的裂缝生成模型。同时根据深度卷积生成式对抗网络的掩膜修复原理，提出一种基于距离的加权掩膜方法，对标定位置加码并进行信息擦除，与原始的修复方法相比，本发明可准确地检测和去除裂缝图片中的障碍物信息，并能较好地修复还原裂缝图像，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。
附图说明
图1是本发明含有障碍物的裂缝图片障碍物位置标定流程图。
图2是本发明裂缝生成模型的判别模型结构示意图。
图3a是本发明判别模型的归一化结果后添加1*1卷积核的卷积层生成的不同裂缝图。
图3b是Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deep convolutional generativeadversarial networks中的生成网络结构生成的不同的裂缝图。
图3c是Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deep convolutional generativeadversarial networks中的生成网络结构判别模型添加5*5卷积核的卷积层生成的不同裂缝图。
图3d是本发明的判别模型判别后生成的不同裂缝图。
图4a和图4d是结构相似的两张裂缝图。
图4b和图4e是本发明生成模型添加5*5卷积核的卷积层的修复效果图。
图4c和图4f是本发明生成模型修复效果图。
图5是本发明裂缝生成模型的生成模型结构示意图。
图6a是本发明的生成模型添加1*1卷积核的6层卷积层生成的不同裂缝图。
图6b是Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deep convolutional generativeadversarial networks中的生成网络结构生成的不同裂缝图。
图6c是本发明的生成模型生成的不同裂缝图。
图7是本发明循环判别修复模型裂缝修复过程效果图。
图8是本发明的方法的裂缝障碍物去除效果图。
图9是本发明流程图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。
此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
本发明以Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deep convolutional generativeadversarial networks中提出用深度卷积对抗式生成网络为基本框架。
本实施例提供一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，包括以下步骤：
步骤一、通过图像采集装置采多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将障碍物图片添加标签后输入Faster-RCNN中进行训练；
通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率。
步骤一的具体步骤为：
步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；
步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；
Faster-RCNN是目标识别中识别精度比较高的网络，本发明是在将裂缝图像中的障碍物进行擦除后对受损图像进行修补。当采集的图像中含有障碍物的图像占大多数，人为手动标记会造成大量的人力消耗。因此使用特定方法来执行障碍物位置的标定变得十分有意义。本实施例对落叶、石子、电线作为障碍物的情况进行说明。
考虑到障碍物不能识别标记矩形完全包含的情形，故设置特定阈值，对障碍物标记矩形框进行校准。障碍物位置标定的障碍物标记矩形框的校准阈值为：
其中accuracy为Faster-RCNN的单张图片识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定。具体实现过程如图1所示。
步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，且将所有的图片调整为128*128大小，将统一大小的图片进行90°、180°、270°的翻转，通过将每张图片翻转后以扩增无障碍物的裂缝图像的数据集。
步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型。裂缝生成模型包括包括判别子模型和生成子模型，判别子模型采用六层卷积层，且顺次的第一至第五层卷积层每层卷积层均采用大小为5*5的卷积核，第六层卷积层采用大小为1*1的卷积核。即本发明的判别子模型在文献unsupervised representationlearning with deep convolutional generative adversarial networks的判别模型基础上增加了5*5卷积核的第五层卷积层和1*1卷积核的第六层卷积层。
(1)使用多重卷积核：5*5作为基础卷积层中卷积窗口的尺寸，本发明在试验过程中输入网络的裂缝图片统一为128*128*3大小，5*5大小的卷积核在实施卷积操作时，避免了卷积核过小图片的整体信息缺乏连续性的情况和卷积核过大造成图片细节大量丢失这一问题，取得了相对较好的效果。1*1卷积核具有对各特征通道信息进行非线性融合的特性，将各通道学习到的特征进行融合，可以改善各个特征图之间信息不联系的问题。因此，本发明采用5*5和1*1两种卷积核，可使网络更好的学习目标图像的不同特征区域的特性。判别子模型的具体实现模型如图2所示。第五层5*5卷积核的卷积层和第六层1*1卷积核的卷积层的特征图大小均为4*4，特征图的数量均为1024个。
(2)在加深网络的情况下，相比较文献unsupervised representation learningwith deep convolutional generative adversarial networks中5*5核大小的卷积层，参数大大减少，节约了时间成本。
网络越深，学习的特征则越多，将判别网络的结构应用与桥梁裂缝的生成方向而言，即生成的裂缝越逼真。在所给现有文献unsupervised representation learning withdeep convolutional generative adversarial networks的判别网络模型基础上，添加了卷积核为5*5大小的1024个特征映射图(featuremap)，生成的裂缝效果如图3c所示得到了明显的改善，但是经观察发现整个对抗网络在生成形状较为粗大、深色像素在图像中所占比例较大的裂缝图像时，有些失真。因此，在此改进的基础上再添加卷积核为1*1大小的1024个特征映射图，既加深了网络的层数，又大大减少了增加网络深度带来的时间，同时使得上述失真问题得到了大幅度的改善。本发明采用上述添加了5*5卷积核大小的卷积层和核1*1卷积核大小的卷积层作为桥梁裂缝图像生成模型中的判别网络结构，并分别对改进前的深度卷积生成式对抗网络(如图3b)、添加5*5卷积核大小的卷积层(如图3c)、本发明判别子模型(如图3d)、本发明基础上再添加1*1卷积核大小的卷积层(如图3a)的模型在裂缝图像生成方向进行了对比。经实验，在文献基础上再添加1*1卷积核的卷积层生成效果没有得到明显的效果改善，而时间成本有所提高。
(3)添加批量归一化层：为了防止新增卷积层在网络的反向传播过程中造成的梯度消失或者梯度爆炸等问题，本发明在新增的第五层卷积层和第六层卷积层后都接入了批量归一化层，使得梯度可以传播到每一层，从一定程度上避免了训练失败的发生。
裂缝图像生成模型的生成子模型包括五层反卷积层，且每层卷积层均采用大小为5*5的卷积核。即本发明的生成子模型在文献unsupervised representation learningwith deep convolutional generative adversarial networks的生成模型基础上去掉一层反卷积层。
(1)5个反卷积层：本发明采用了5层生成网络。经实验本发明中的生成网络的五个反卷积层结构得到的生成效果优于改进前的6个反卷积层结构效果，且防止了网络学习过程中出现过拟合现象，故选择5个反卷积层结构的生成网络模型。
(2)设置噪声向量维数：因为生成式对抗网络中的两个网络为相互影响相互牵制的关系，判别网络最终学习得到了16384维的全连接向量，生成网络采用不同的维数，增加了生成网络的灵活性，避免了生成网络对判别网络的过分依赖。本文经实验分别用100个16384维的噪声向量来模拟生成裂缝和100个本发明提出的32768维的噪声向量来模拟生成裂缝，并用文献unsupervised representation learning with deep convolutionalgenerative adversarial networks的深度卷积神经网络分别修复图像中具有部分像素丢失的残缺图像。实验结果表明，就生成效果来看，两种结构的生成网络最终生成的裂缝图像差别不是很大，但将整个网络应用与图像修复领域发现，本发明中给出的噪声向量维数具有更好的修复性能。情况如图所示，图4a和图4d为结构相似的两张裂缝图片，图4b和图4e为生成子模型加深时的修复效果图，图4c和图4f为本发明修复效果图，对比发现生成子模型的泛化能力随着模型结构的复杂化变差。因此，本文分别对本发明的生成子模型(如图6c)、文献unsupervised representation learning with deep convolutional generativeadversarial networks中6个反卷积层的生成模型(如图6b)以及本发明的生成子模型加入1*1单卷积核后的6层生成子模型(如图6a)进行图像的生成和修复，经比较本文生的成模型具有更好的图像生成和修复效果，对比结果如图6a-6c所示，本发明的生成子模型的卷积层结构如图5所示。
步骤四、将识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像。具体擦除方法为创建擦除掩膜，掩膜的创建方法为建立与含障碍物的裂缝图像同样尺寸大小的矩阵、对应的标定位置内的像素信息置零、非标定位置的像素置一的二进制掩膜，和标定位置内像素信息置零，非标定位置的像素置一的反向掩膜。
步骤五、将受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；循环判别修复模型以训练好的裂缝生成模型为网络框架。对于修复图像的选择与受损图像的像素信息有关，生成器G在进行特征学习时会定向的学习某一部分的信息，而修复后的裂缝图像是由生成样本和受损图像结合生成的，这往往导致修复边缘的不连续，修复的图像看起来不真实。针对以上问题，本实施例提出了循环判别修复模型CDIM。绕过了生成式对抗网络难训练问题的同时，也避免了二次训练带来的时间花销，还能在搜索到最佳补全部分后，考虑到整体的真实性对修复后的图片进行优化以得到最优修复结果。步骤五的具体步骤为：
步骤5.1，构造值在[-1，1]区间内随机分布的与含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z(1),Z(2),...,Z(n)}，n为正整数，通过已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成操作，得到一系列与真实图片相同尺寸的向量分布，输出生成向量G(z)。
步骤5.2，将生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜；其中，加权语义损失为受损图像和生成向量G(z)之间的加权差值Ls:Ls＝||Md⊙(G(z)-x)||1；
其中，Md为加距离加权修复掩膜，，x为受损图像，Ls为加权语义损失。
使用深度卷积生成式对抗网络对受损部分呈大型区域型、离散型或噪声点型的图像进行修复，对比传统的修复方法可以达到很好的修复效果。由Raymond Yeh等人发表于2016的文章Semantic Image Inpainting with Per-ceptual and Contextual Losses给出一种二进制掩膜，待修复图像的受损区域对应值为0，未受损区域对应值为1，在加掩膜后的生成样本G(z)中搜索，寻找到与待修复图像未受损区域最接近的生成图像进行补全。然而这种方法没有考虑到位置信息，默认待修复区域距离不同的像素对补全所做的贡献相同，这可能导致生成器只注意到距离修复区域远的像素信息，而忽略修复区域的边缘信息，造成修复的不连贯。
因此，本实施例在此基础上加入了距离权重，提出了一种基于距离的距离加权修复掩膜Md，以及反向距离加权修复掩膜由于待修复区域边缘的像素对应权值更大，在图像修复过程中占更加重要的地位，故与待修复图像的像素分布存在差异时惩罚力度应更大，因此当搜索到的补全图像与受损图像的像素分布差值为同一值时，待修复区域边缘的像素分布与最优向量的形态分布更加逼近受损图像，从而在一定程度上改善了补全图像边缘不连续问题。
距离加权修复掩膜Md通过公式(2)计算：
为反向距离加权修复掩膜通过公式(3)计算：
其中，x为受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij为受损图像当前像素点位置，M矩阵为障碍物位置标定矩阵，Mij为障碍物位置标定矩阵内位置为(i，j)的对应点。步骤5.3，将覆盖距离加权修复掩膜后的生成向量G(z)中筛选多个语义损失较小的向量分布，然后输入到裂缝生成模型的判别器D中判别真伪，并得到感知损失Lp＝log(1-D(G(z)))。
步骤5.4，将感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜
步骤5.5，此时只考虑了待修复区域，而没有考虑拼接后图像的真实性,、因此将拼接后的新图像重新输入到判别器中进行判别，并将判别器得到的全局损失回传给生成器，不断迭代完成循环修复操作，通过对最优向量的分布进行调整，使得拼接图像更加的真实。最终裂缝修复效果图如图7所示，故将覆盖反向距离加权修复掩膜的最优向量与受损图像拼接得到拼接修复图像，将拼接修复图像输入判别器D中进行再判别，且得到全局损失
其中Lg为全局损失，Md为距离加权修复掩膜，为反向距离加权修复掩膜；
步骤5.6，根据公式(1)得到联合损失：L＝Ls+λLp+μLg (1)；
L为联合损失，λ为感知参数，μ为全局参数，Ls为加权语义损失，Lp为感知损失，Lg为全局损失；
将联合损失输入生成器G，生成器G根据联合损失对最优向量进行调整；
步骤5.7，重复步骤5.1至步骤5.6，多次迭代完成后获得修复后的裂缝图像。步骤5.1至步骤5.6为循环判别模型的具体处理过程。
本发明具体工作过程如下：
本发明具体的运行操作环境分为两部分：硬件部分和软件环境。(1)硬件部分：本发明的图像采集装置采用日本Panasonic公司的wv-BP330相机。计算机硬件采用Inter(R)Core(TM)i5-6600中央处理器，主频为3.31GHZ，主机内存为8G，硬盘大小为1024G。(2)软件环境：本发明的软件开发环境具体为:采用的操作系统为Ubuntu14.04，采用的深度学习框架为tensorflow1.0，开发语言为shell语言，python2.7、C++以及matlab，采用的开源图像计算机视觉处理库为OpenCv2.4.9。
本发明是基于上述的软硬件环境进行具体实现的，具体的实现步骤如下所示：
(1)利用图像采集装置采集1059张形态不同的落叶图片，并对采集到的落叶图片加leaf类标签。
(2)将加好标签的落叶图片作为输入数据放入Faster-RCNN中进行训练。另采集100张含有落叶的裂缝图片，并送入训练好的Faster-RCNN网络中进行测试，将网络标记好的落叶位置和单张图片的识别率写入配置文件。
(3)利用图像采集装置采集不同背景纹理、不同材质且不含落叶等其他物体的桥梁裂缝图片，采集的图片总数为10235张，并且将所有的图片调整为128*128大小，将统一大小的图片进行90°、180°、270°的翻转，共得到30705张裂缝图片。
(4)将30705张裂缝图片输入到本发明提出的裂缝生成模型中，设置epoch＝25，batchsize＝64后开始模型的训练。
(5)将采集到的100张含有落叶的裂缝图像从配置文件中读入落叶的位置信息以及对应的识别率，将识别率大于等于百分之九十的图片对其落叶所在位置进行信息擦除。掩膜创建方法为对标定区域像素值置零，其余像素值置一的二进制掩膜，每张图片得到一个二进制掩膜和一个对标定区域像素值置一其余像素值置零的反向掩膜。
(6)构造值在[-1，1]区间内随机分布的100维随机向量Z，并送入本发明的循环判别修复模型中，因循环判别修复模型的基本框架是已经训练有素的裂缝生成模型，故直接利用裂缝生成模型的生成器生成128*128*3大小的向量，也即是生成了生成图像。
(7)将生成图像以及擦除信息后的受损图像覆盖本创新提出的距离加权修复掩膜，在区别是否需要修复的同时考虑到距离对修复效果的影响，待修复区域值置零，其他位置则采取类似近大远小的修复思想将残缺图像中的有效像素点和到待修复区域中心的像素差值按照公式(2)进行计算，并将求出的当前像素点的影响因子写入受损图像对应的权值矩阵，图像矩阵与其对应的权值矩阵实施点乘操作，获得点乘结果即完成了距离加权修复掩膜操作(生成图像覆盖与受损图像相同的掩膜)，并记录语义损失。
(8)随后筛选出几个语义损失较小的覆盖掩膜后的生成图像输入到判别器中判别真伪，并将判别损失记为感知损失回传。
(9)将感知损失和语义损失加权求和，和值最小的生成图片即为本次最优补全图片，对最优补全图片覆盖反向距离加权修复掩膜，掩膜结构如公式(3)所示，覆盖方法如步骤(7)。
(10)将覆盖反向距离修复掩膜后的本次最优补全图片与待修复图片进行拼接得到修复图，但此时仅考虑了生成图像的真实性，并没有考虑到拼接后图像的真实性。故将修复图送入先前训练好的判别器中进行判别，并将判别得到的全局损失回传。
(11)整理回传的损失，进行加权求和，求出联合损失，具体操作如公式(1)所示。将联合损失回传给生成器，生成器根据损失值采用adam优化算法对最优补全图对应的最优向量的分布进行调整。
(12)不断的重复步骤7)至步骤11)，直至3000次后完成迭代，落叶修复效果图如图8所示。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (5)
1.一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，其特征在于：包括以下步骤：
步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster-RCNN中进行训练；
通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；
步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；
步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；
步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；
步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。
2.根据权利要求1所述的方法，其特征在于：所述步骤五的具体步骤为：
步骤5.1，构造值在[-1，1]区间内随机分布的与所述含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z(1),Z(2),...,Z(n)}，n为正整数，通过所述已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成，输出生成向量G(z)；
步骤5.2，将所述生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜，并计算加权语义损失Ls:
其中，Md为加距离加权修复掩膜，x为受损图像；步骤5.3，将所述生成向量G(z)输入到所述已训练完成的裂缝生成模型的判别器D中得到感知损失Lp＝log(1-D(G(z)))；
步骤5.4，将所述感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜
步骤5.5，将所述覆盖反向距离加权修复掩膜的最优向量与所述受损图像拼接得到拼接修复图像，将拼接修复图像输入所述判别器D中进行再判别，且得到全局损失
其中Lg为全局损失，Md为距离加权修复掩膜，为反向距离加权修复掩膜；
步骤5.6，根据公式(1)得到联合损失：L＝Ls+λLp+μLg (1)；
L为联合损失，λ为感知参数，μ为全局参数，Ls为加权语义损失，Lp为感知损失，Lg为全局损失；
将所述联合损失输入所述生成器G，生成器G根据联合损失对最优向量
步骤5.7，重复步骤5.1至步骤5.6，多次迭代完成后获得修复后的裂缝图像。
3.根据权利要求2所述的方法，其特征在于：所述距离加权修复掩膜Md通过公式(2)计算：
所述为反向距离加权修复掩膜通过公式(3)计算：
其中，x表示受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，xij表示受损图像当前像素点位置，M表示障碍物位置标定矩阵，Mij表示障碍物位置标定矩阵内位置为(i，j)的对应点。
4.根据权利要求1-3任一所述的方法，其特征在于：所述步骤三中所述裂缝生成模型包括判别子模型和生成子模型，所述判别子模型采用六层卷积层，且顺次的第一至第五层卷积层每层卷积层均采用大小为5*5的卷积核，第六层卷积层采用大小为1*1的卷积核；
所述生成子模型包括五层反卷积层，且每层反卷积层均采用大小为5*5的卷积核。
5.根据权利要求4所述的方法，其特征在于：步骤一的具体步骤为：
步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；
步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；
障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：
其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810182147.5A CN108492281B (zh) | 2018-03-06 | 2018-03-06 | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810182147.5A CN108492281B (zh) | 2018-03-06 | 2018-03-06 | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108492281A true CN108492281A (zh) | 2018-09-04 |
| CN108492281B CN108492281B (zh) | 2021-09-21 |
Family
ID=63341344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810182147.5A Expired - Fee Related CN108492281B (zh) | 2018-03-06 | 2018-03-06 | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492281B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN109800708A (zh) * | 2018-12-13 | 2019-05-24 | 程琳 | 基于深度学习的航空发动机孔探图像损伤智能识别方法 |
| CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
| CN110120038A (zh) * | 2019-05-07 | 2019-08-13 | 重庆同济同枥信息技术有限公司 | 一种基于对抗生成网络的路面裂缝缺陷检测方法 |
| CN110188835A (zh) * | 2019-06-05 | 2019-08-30 | 国家广播电视总局广播电视科学研究院 | 基于生成式对抗网络模型的数据增强行人再识别方法 |
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN110276299A (zh) * | 2019-06-21 | 2019-09-24 | 国网北京市电力公司 | 计量箱外观故障图像识别模型及方法 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| CN110807462A (zh) * | 2019-09-11 | 2020-02-18 | 浙江大学 | 一种针对语义分割模型的上下文不敏感的训练方法 |
| CN111325699A (zh) * | 2020-03-20 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 图像修复方法和图像修复模型的训练方法 |
| CN111724327A (zh) * | 2020-06-29 | 2020-09-29 | 成都数之联科技有限公司 | 图像修复模型训练方法及系统及图像修复方法 |
| CN111768483A (zh) * | 2019-03-15 | 2020-10-13 | 富士通株式会社 | 信息处理设备和累积图像选择方法 |
| CN111861982A (zh) * | 2020-06-07 | 2020-10-30 | 中国葛洲坝集团第一工程有限公司 | 可视化图像监测识别系统 |
| CN112419174A (zh) * | 2020-11-04 | 2021-02-26 | 中国科学院自动化研究所 | 基于门循环单元的图像文字去除方法、系统及装置 |
| CN112488942A (zh) * | 2020-12-02 | 2021-03-12 | 北京字跳网络技术有限公司 | 修复图像的方法、装置、设备和计算机可读介质 |
| KR20220017657A (ko) * | 2020-08-05 | 2022-02-14 | (주)이포즌 | 콘크리트 균열 탐지 장치 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN107610193A (zh) * | 2016-06-23 | 2018-01-19 | 西门子保健有限责任公司 | 使用深度生成式机器学习模型的图像校正 |
| CN107679483A (zh) * | 2017-09-27 | 2018-02-09 | 北京小米移动软件有限公司 | 号牌识别方法及装置 |
-
2018
- 2018-03-06 CN CN201810182147.5A patent/CN108492281B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN107610193A (zh) * | 2016-06-23 | 2018-01-19 | 西门子保健有限责任公司 | 使用深度生成式机器学习模型的图像校正 |
| CN107679483A (zh) * | 2017-09-27 | 2018-02-09 | 北京小米移动软件有限公司 | 号牌识别方法及装置 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN109800708A (zh) * | 2018-12-13 | 2019-05-24 | 程琳 | 基于深度学习的航空发动机孔探图像损伤智能识别方法 |
| CN111768483A (zh) * | 2019-03-15 | 2020-10-13 | 富士通株式会社 | 信息处理设备和累积图像选择方法 |
| CN110070124A (zh) * | 2019-04-15 | 2019-07-30 | 广州小鹏汽车科技有限公司 | 一种基于生成式对抗网络的图像扩增方法及系统 |
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN110120038A (zh) * | 2019-05-07 | 2019-08-13 | 重庆同济同枥信息技术有限公司 | 一种基于对抗生成网络的路面裂缝缺陷检测方法 |
| CN110188835A (zh) * | 2019-06-05 | 2019-08-30 | 国家广播电视总局广播电视科学研究院 | 基于生成式对抗网络模型的数据增强行人再识别方法 |
| CN110276299A (zh) * | 2019-06-21 | 2019-09-24 | 国网北京市电力公司 | 计量箱外观故障图像识别模型及方法 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110807462A (zh) * | 2019-09-11 | 2020-02-18 | 浙江大学 | 一种针对语义分割模型的上下文不敏感的训练方法 |
| CN110807462B (zh) * | 2019-09-11 | 2022-08-30 | 浙江大学 | 一种针对语义分割模型的上下文不敏感的训练方法 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| CN111325699A (zh) * | 2020-03-20 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 图像修复方法和图像修复模型的训练方法 |
| CN111861982A (zh) * | 2020-06-07 | 2020-10-30 | 中国葛洲坝集团第一工程有限公司 | 可视化图像监测识别系统 |
| CN111861982B (zh) * | 2020-06-07 | 2024-03-12 | 中国葛洲坝集团第一工程有限公司 | 可视化图像监测识别系统 |
| CN111724327A (zh) * | 2020-06-29 | 2020-09-29 | 成都数之联科技有限公司 | 图像修复模型训练方法及系统及图像修复方法 |
| KR20220017657A (ko) * | 2020-08-05 | 2022-02-14 | (주)이포즌 | 콘크리트 균열 탐지 장치 및 방법 |
| KR102408407B1 (ko) | 2020-08-05 | 2022-06-14 | (주)이포즌 | 콘크리트 균열 탐지 장치 및 방법 |
| CN112419174A (zh) * | 2020-11-04 | 2021-02-26 | 中国科学院自动化研究所 | 基于门循环单元的图像文字去除方法、系统及装置 |
| CN112419174B (zh) * | 2020-11-04 | 2022-09-20 | 中国科学院自动化研究所 | 基于门循环单元的图像文字去除方法、系统及装置 |
| CN112488942A (zh) * | 2020-12-02 | 2021-03-12 | 北京字跳网络技术有限公司 | 修复图像的方法、装置、设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108492281B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492281A (zh) | 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法 | |
| CN108460760A (zh) | 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法 | |
| CN108305239A (zh) | 一种基于生成式对抗网络的桥梁裂缝图像的修复方法 | |
| US11521379B1 (en) | Method for flood disaster monitoring and disaster analysis based on vision transformer | |
| CN109544555B (zh) | 基于生成式对抗网络的细小裂缝分割方法 | |
| Zhao et al. | Object-based convolutional neural network for high-resolution imagery classification | |
| Chen et al. | A self organizing map optimization based image recognition and processing model for bridge crack inspection | |
| Li et al. | Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system | |
| CN107563328A (zh) | 一种基于复杂环境下的人脸识别方法及系统 | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| Ni et al. | A Generative adversarial learning strategy for enhanced lightweight crack delineation networks | |
| CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN115482491B (zh) | 一种基于transformer的桥梁缺陷识别方法与系统 | |
| CN110245587B (zh) | 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法 | |
| CN108647593A (zh) | 基于图像处理和svm的无人机路面破损分类检测方法 | |
| Pan et al. | Monitoring asphalt pavement aging and damage conditions from low-altitude UAV imagery based on a CNN approach | |
| CN108334941A (zh) | 一种基于生成式对抗网络的桥梁裂缝图像生成模型 | |
| CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及系统 | |
| CN114119524A (zh) | 一种改进Faster R-CNN的热轧钢带缺陷检测方法 | |
| CN117079145B (zh) | 一种道路状况综合评价方法、电子设备及存储介质 | |
| Bakirman et al. | Use of artificial intelligence toward climate-neutral cultural heritage | |
| CN111325724A (zh) | 隧道裂纹区域检测方法和装置 | |
| Gorintla et al. | Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system | |
| CN116052110A (zh) | 一种路面标线缺损智能定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |