CN113758927B - 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 - Google Patents
一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 Download PDFInfo
- Publication number
- CN113758927B CN113758927B CN202110123654.3A CN202110123654A CN113758927B CN 113758927 B CN113758927 B CN 113758927B CN 202110123654 A CN202110123654 A CN 202110123654A CN 113758927 B CN113758927 B CN 113758927B
- Authority
- CN
- China
- Prior art keywords
- model
- crack
- bridge
- image
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 72
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 239000004567 concrete Substances 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 4
- 239000011513 prestressed concrete Substances 0.000 claims description 4
- 239000011150 reinforced concrete Substances 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000004880 explosion Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 description 12
- 238000013519 translation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004224 protection Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
Landscapes
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的在于，提供一种基于反向残差瓶颈的编码器‑解码器小型桥梁底部裂缝检测系统。一种基于反向残差瓶颈的编码器‑解码器小型桥梁底部裂缝检测系统，包括设置于桥梁底部的工业摄像机组，用于平移拍摄桥梁底部裂缝的视频，并且摄像机组连接远距离WiFi传输模块，该WiFi传输模块被设置在相机内部，只需在计算机与相机处于相同频段则可以传输数据；对于工业相机的供电设备采用太阳能供电，将太阳能板以及小型转换电压设备紧贴在桥梁侧壁；计算机获得视频后，动态进行提取视频帧为图像，计算机内置于反向残差瓶颈的编码器‑解码器模型，用于检测图像中是否存在裂缝，并对裂缝进行长度、宽度以及面积的计算，当达到报警的指标时，计算机会产生报警信号通知相关工作人员。
Description
技术领域
本发明涉及一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法，具体是一种工况在正常交通时的小型桥梁底部裂缝检测与计算底部裂缝的长度、宽度和面积，及其报警控制系统与方法。
背景技术
随着我国建设交通强国政策的提出，我国用于基础交通设施的资金逐年增加，其中有相当大的一部分用于桥梁的建设，桥梁的数量正在日益增。对于桥梁的寿命，运营安全问题日益突出，为了避免在车辆行驶过程中，桥梁造成坍塌，倾斜。有必要对于桥梁的病害进行预防和治理。然而造成桥梁坍塌、倾斜的最大的凶手便是桥梁底部的裂缝。我们必须要抱着‘早发现，早治理’的理念，面对桥梁的病害。
对于桥梁的裂缝存在着：斜裂缝、宽裂缝、交叉裂缝、网状裂缝。每一种裂缝的长度、宽度和面积当达到一定的标准时，都会对桥梁造成很大程度的危害，如果未能及时治理，则可能会造成坍塌，造成人们的生命财产安全。因此，应采取有效的措施，及时的检测到重大危害的裂缝，并对裂缝及时进行填补，从而确保人们的生命财产安全。
由于小型桥梁是生活中最为常见的桥梁，在交通网中起着重要的作用，一旦发生事故将造成严重的后果，此外本发明有别于利用机器视觉进行桥梁裂缝检测的方法，本发明使用深度学习算法应用在小型桥梁的裂缝检测，将机器视觉与深度学习进行有机结合。也有别于利用深度学习模型进行的桥梁裂缝检测系统，本发明利用全新的深度学习模型进行小型桥梁裂缝检测，并与硬件装置进行结合，使得检测过程自动、高效率、高精度。
发明内容
本发明的目的在于，提供一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，主要用于多孔跨径总长小于30m的小型桥梁底部裂缝与单孔跨径总长小于20m的小型桥梁底部裂缝自动检测，以及计算裂缝的物理指标进行自动预警的功能，然后人为对裂缝进行修补，使得桥梁底部的裂缝指标整体达到《公路钢筋混凝土及预应力混凝土桥涵设计规范》JTG D62-2019的要求。
为了实现上述目的，本发明采用如下的技术方案：
一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，包括设置于桥梁底部的工业摄像机组，用于平移拍摄桥梁底部裂缝的视频，并且摄像机组连接远距离WiFi传输模块，该WiFi传输模块被设置在相机内部，只需在计算机与相机处于相同频段则可以传输数据；对于工业相机的供电设备采用太阳能供电，将太阳能板以及小型转换电压设备紧贴在桥梁侧壁；计算机获得视频后，动态进行提取视频帧为图像，计算机内置于反向残差瓶颈的编码器-解码器模型，用于检测图像中是否存在裂缝，并对裂缝进行长度、宽度以及面积的计算，当达到报警的指标时，计算机会产生报警信号通知相关工作人员。
进一步地，所述的桥梁底部的工业摄像机组包括在一个专用防水外壳中，外壳借助滑道悬挂在桥梁的跨中位置，只保留在相机头部在外侧，其他使用外壳进行包裹，相当于普通工业相机的三倍，对于水上或者水下拍摄的桥梁底部裂缝视频时，采用最高帧率拍摄视频，相机可以30p或25p捕获高质量4K UHD视频，比特率为102Mbps。利用80倍带光源读数显微镜实际肉眼观测缺陷得知，混凝土缺陷形态非常复杂，缺陷边缘呈现大量的毛刺、孔隙等噪声点，使得缺陷宽度变化范围较大，缺陷形态极不规则，缺陷位置无规律，给缺陷定量检测带来了很大的困难；桥梁缺陷检测精度要求高。按照《公路桥梁养护规范》要求，桥梁缺陷检测精度应达到0.1mm。相机的供电设备紧贴在桥梁的侧壁，相机每次充电大概200余次，考虑到实际测量现场光照条件的变化，利用闪光灯(推荐使用尼康闪光灯SB910)进行补光。为了补偿测量时测量倾角对测量精度的影响，增加了角度传感器(推荐使用角度传感器DWQTH)，进行角度测量，为软件处理提供采集到的视频帧以及抓拍到的图像。
进一步地，所述的供电设备模块紧贴在桥梁侧壁上，为了避免日常风刮雨打的侵蚀，本发明同样选取一个矩形的安装箱进行悬挂，矩形的安装箱大约采用长为30cm、宽为40cm的带有开关门的防水箱。当天气良好时，可以采用充电电池将采集到的电量进行储存，当作储备能源，并且为了防止发生意外，采用备用电池组当作辅助能源，只需工作人员定期进行更换。
进一步地，所述的太阳能板与工业相机之间设置有电压转换模块，电压转换模块将太阳能板所采集到的电压转换为12V直流电压，传输的线缆使用防水、防晒装置进行包裹，连接到工业摄像机中。
进一步地，所述的WiFi传输模块，需要我们在安装之前进行调试，我们在菜单键进行设计，将WiFi功能打开，并设置密码，最后通过计算机进行相机的WiFi匹配。
进一步地，所述的计算机处理视频帧，当视频进行远距离传输到计算机之后，计算机为了模型的输入图像需要对视频运动帧进行图像的提取，对于视频帧的提取图像，本发明采用抽样的方式进行截取，而裂缝的位置判断根据相机的移动速率以及视频帧的移动速率进行结合，最后对相同位置的裂缝进行判断实际的长度、宽度和面积。
进一步地，所述的模型检测桥梁底部裂缝模块，根据输入的桥梁裂缝图像，输入到模型中，模型是上述训练好的基于反向残差瓶颈的编码器-解码器结构模型，模型会根据编码器-解码器结构输出语义分割模型，找出裂缝的像素级位置，将裂缝精确到每一个像素，最后提取出裂缝的骨架，计算裂缝的物理意义。
进一步地，所述的桥梁底部裂缝的物理计算，根据裂缝的像素级分割结果，通过图像处理的方法提取出裂缝骨架，最后根据裂缝的骨架计算裂缝所占像素的个数，最后通过相机标定之后的外参矩阵以及内参矩阵进行还原实际中裂缝的长度、宽度和面积。
进一步地，所述的裂缝报警模块，根据计算机计算的裂缝的长度、宽度和面积与设定的裂缝的容纳范围进行比对，最后进行预警。
一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测方法，包括以下步骤：
步骤一，将工业摄像机拍摄模式设置为录像模式和拍摄模式，但是单纯的摄影是不可取的，方法采用了在原来的录像模式和拍摄模式切换的方法进行图像的获取，在摄影的情况下增加抓拍的功能，每一次间隔t1为一次抓拍对象，每次抓拍共保存五组图像，基于工业相机的平移速度MOV，本发明设置抓拍的时间，在一段区域中按照指定时间间隔进行抓拍，在全部抓拍完毕，摄像机准备进行下次录像前，我们可以调整时间t2时间，但是每一次调整的时间，都是基于工业摄像机的运动速度，以便于我们最后进行裂缝的比对位置，以及裂缝检测的确认。
提取视频帧的方法为抽样提取方法，如在相同一秒钟进行的平移图像，我们仅取其中的p张图片作为模型的输入，用于判断是否含有裂缝。
步骤二，将摄像机采集的视频采集成图像并进行裂缝匹配，对原图像裂缝进行匹配，使每一个视频帧Fi采集的图像到视频帧Fi+m中间为同一个裂缝的图像得到匹配，便于裂缝由像素坐标系到世界坐标系的转换。这个过程的目的是为了预估图像中的裂缝和视频帧的运动融合，在录像过程中，摄像机的视野于桥梁底部的距离保持不变，因此视频仅出现了单方向的移动速度，不必每一次都进行相机标定，所以基于视频帧的运动轨迹去估算裂缝的位置成为可能。基于模板匹配，得到运动向量MOVi为视频帧Fi内所观察区域的运动位移，并且也是视频帧Fi与Fi+1之间的最佳匹配，为此，采用像素强度的绝对值之和作为匹配的准则。因此从视频帧Fi到Fi+1之间的运动位移MOVi，i+q等于MOVi+MOVi+1+······+MOVi+q-1(q>0)，而对于辅助抓拍图片的模式，我们同样基于MOVi的平移速度去设置，抓取的图像是为了增加报警的正确率，在本方法中提取视频帧时的像素为实际拍摄的像素，便于裂缝的长度、宽度和面积的计算。
步骤三，图像输入验证方法，我们拍摄的图像的分辨率是p1×p2的图像，本方法选取了包含裂缝图像的视频帧，对裂缝图像进行了标注，由于不能将图像进行输入到模型中，为了模型的精度效果，以及平衡训练模型的计算强度。本方法是将图像在输入模型之后，模型的前端进行动态的裁剪，以尺寸大小为m1×m2的滑动窗口的方式对图像进行扫描裁剪，步长根据作为超参数进行设置，我们可以根据图像实际的大小进行选择，本方法采取横向滑动步长为s1，纵向滑动步长为s2的速度进行裁剪，并且在裁剪之后，采取动态的数据集扩增方法增加数据集用来增加模型的判断精度为了增加模型的适用性；并在原数据集中分别加入了一定数量的包含噪声的数据集，如：光源，笔划，阴影、落叶等，分别对数据进行数据增强。
进一步地，在图像裁剪之后必然会产生完全无裂缝的图像，或者裂缝与背景的像素不平衡问题，本方法考虑到类别不平衡的问题，因此在基于裂缝检测并进行监测的基础上，本方法暂时忽略类别不平衡的问题，让深度学习模型之间对原始数据集进行学习，我们对模型的调参方面，仅仅采用验证集的像素精度去进行考虑。
步骤四，模型结构的方法，本发明对于模型的设计采用反向残差瓶颈去代替卷积核，因为反向残差瓶颈是对卷积核参数的简化，同样的卷积核的参数要远大于反向残差瓶颈的参数量，由于对于图像的卷积操作是大数量的，因此我们基于原来的解码器-编码器结构进行改进，将原来模型的编码器的卷积核全部替换成反向残差瓶颈，则会大幅度的减少参数量，并且效果较原来的有所改善；最后的转置卷积采取为SegNet的解码器，最后形成与原图类似的裂缝语义分割图像，改进后的模型我们取名为M-SegNet。并且最后在每个反向残差瓶颈之后加入了中间跳转层，记录模型的每一个卷积之后的裂缝特征信息，相当于普通深度学习的残差网络，本方法的跳转层相当于记录了模型的信息，方便最后转置卷积对于信息的填写，并且降低了内存的利用率，有效解决了内存爆炸的问题，使得我们进行模型输入时，可以大批次的图像输入，使得模型的效果更加优秀，这样组成的模型，参数较少，检测效率较高，模型精度大的效果。
步骤五，模型调参的方法，模型采用了反向传播算法进行模型参数的调优，最后的损失函数采用自适应学习率算法RMSPropOptimizer算法，而模型的验证集验证模型有别于传统的方法，由于模型是不断通过在验证集上的指标调节模型的参数，所以在反复优化模型的参数时，模型会对验证集产生一定的依赖，使得模型的参数越来越符合验证集的表征，因此模型最后在测试集或者真实桥梁裂缝检测时，精度会产生一定的下降。因此本方法选择对验证集的验证时选择随机抽样的方法，如：100张用于验证的桥梁裂缝图像，我们随机选取二十张进行验证，之后根据二十张验证结果调节模型参数，随后的选取依然进行随机选取，这样可以延缓参数对于验证集的学习速率。
步骤六：模型输出的图像处理方法，对于测试集，也就是模型训练完成后，安装布置在现场之后的测试，这种输出的图像较工业相机拍摄的图像尺寸相差较多：如模型在输入图像之后进行了动态裁剪，所以最后原则上输出尺寸为裁剪之后的图像然而真实中需要计算，桥梁底部裂缝在世界坐标系下的数值，因此最后在进行现场布置时，模型的输出采用拼接的方法将尺寸大小为m1×m2按照动态滑动时设置的步长进行反向拼接，拼接成图像尺寸为p1×p2的原图像，中间重叠的部分，本方法采取以下措施，假设第一张图像在像素点P预测为裂缝的像素点，之后的N张图片由于滑动尺寸的缘故，图像中的裂缝有重叠，将N+1图像按照滑动尺寸进行摆放，对于同样一个像素点，若干图像判断为裂缝，若干图像判断为非裂缝像素为FP，我们按照如下关系设置：
式中P为N+1张裂缝图像监测为有裂缝的像素值，FP为N+1张裂缝图像监测为无裂缝的像素值，TPT则为真正的原图中的像素值为裂缝，TPF则为真正的原图中的像素值为非裂缝的像素值。
步骤六：对于模型的长度、宽度、面积的方法，本方法进行骨架提取，根据上述所得的语义分割模型先对裂缝的骨架的像素，根据像素的区域进行求平均，获得每一块平行区域的裂缝像素边界信息，如上边界的像素坐标为(Ui,Vi)以及竖直平行区域的像素坐标值(Uj,Vj)两者的中间骨架公式为
式中Ui、Vi、Uj、Vj分别为像素Pi、Pj在像素坐标系中的像素坐标值，而Umean和Vmean是桥底裂缝骨架的坐标值。
步骤七，系统的报警方法，在计算出裂缝的物理坐标值之后，与本方法设置的裂缝的长度、宽度和面积阈值比较，则当不满足《公路钢筋混凝土及预应力混凝土桥涵设计规范》JTG D62-2019的要求时，系统会将抓拍到的图像进行验证，当同样存在不满足要求时，便会产生高级报警，如果抓拍图像达到规格要求，但是系统同样产生低级报警，此时需要检测人员进行照片视频比较，或者前往现场进行查验。
本发明与现有技术相比具有以下技术特点：
(1)将深度学习技术与桥梁病害检测与机器视觉技术进行结合，三者结合应用在低型桥梁底部裂缝自动检测研究，提出了一种可去除人员参与，快速高效检测裂缝并进行自动报警的方法。
(2)专门针对低型桥梁底部的拍摄裂缝问题，在桥梁底部增加滑道为摄像机的拍摄提供平移，解决了工业相机保持视角位置不变，如何去除人工的问题。
(3)考虑到工业相机的防护，如防水性或者大型涨潮问题，本方法在桥梁的侧壁增加安全箱，便于相机在非工作状态下返回安全箱。
(4)摄像机组设有抓拍模式和录像模式，系统报警对于两种拍摄模式的处理，分为两个级别的报警，增加了报警的准确率，并对操作人员提出建议。
(5)利用相机的WiFi传输模块进行远距离传输，在计算机布置深度学习技术M-SegNet，相较于现有的深度学习技术增加了硬件装置，与实际领域的接触更为密切，扩增了深度学习的实用性，增强了深度学习技术与自动装置的联系。
(6)摄像机采集到的视频功能，本系统对于帧的提取，以及对裂缝的重合匹配，使得桥梁检测的视频可以按照此方法进行提取裂缝图像。
(7)数据集的扩增方法相对于现有的方法，本方法更加倾向于构造符合真实的低型桥梁底部裂缝检测，并人为的增加噪声进行贴切桥梁底部复杂的环境。
(8)将数据集的训练集进行了加工，相对于现有的深度学习训练模型方法，本方法的训练集进行了动态扩增，采用滑动窗口式的数据集扩增方法。
(9)关于验证集的改变，对于验证集相对于现有的深度学习方法调节参数，本方法采用随机抽取验证集的方法，增大用于验证的储备库，保留随机的特性，能够延缓模型调参时，模型对验证集的学习，增加模型的调参次数。
(10)关于测试集的改变，测试集是真实搭建的摄像机获得的摄影，相比于现有的深度学习方法，本方法按照前述知识，对模型的输出语义分割图片进行了拼接，用于下一步机器视觉还原裂缝在物理坐标系的位置。
(11)对于语义分割图拼接原始图像尺寸的技术，拼接采用的模型的像素公式进行获得每一个裂缝的的像素值的取舍。
(12)深度学习模型的结构，相比于现有的方法，本系统采取的是将反向残差瓶颈作为编码器完全的取代了编码器的卷积核的结构，反向残差瓶颈数目的改变，并在后端增加了解码器，使得模型进行像素级的检测精度，相对于现有的深度学习模型增加了模型的检测效率，并减小了模型的参数量，减小了模型的训练时间。
(13)模型后端与前端之间加入跳转层，结合参数少，内存占用率低，模型精度高的特点，更加符合模型结合实际应用场景的要求。
(14)模型的骨架提取，对于原始桥梁底部裂缝图像的语义分割图，本方法选取上述公式进行提取裂缝的骨架。
(15)报警的方式分为两种模式，便于工作人员检验，同时输出裂缝物理信息。
附图说明
图1为本发明实施例所用的小型桥梁设备搭建主视图与测试图；
图2为本发明实施例所用的工业摄像机组采集、传输、处理控制程序图；
图3为本发明实施例的反向残差瓶颈的编码器-解码器输入输出流程图；
图4为本发明实施例的深度学习输出结果图。
以下结合附图和实例对本发明作进一步的详细说明。
具体实施方式
附图仅用于示例性说明，不能作为本发明限制的依据；为了更好的说明被实施例，对于本领域人员，在一些公知结构及其说明可能在文中有所省略，在附图中，某些部件会存在省略、放大或者缩小，并不能代表物体在实际中的大小，仅仅作为示意；在附图中，工作的位置关系，并不能理解为对本发明的制约。
实施例1：
依据公路桥涵设计通用规范，桥梁主要分为特大型桥梁、大型桥梁、中型桥梁、小型桥梁，而对于以上四种桥梁，本发明实例主要用于解决小型桥梁的桥梁病害检测问题，为多孔跨径总长小于30m的小型桥梁底部裂缝与单孔跨径总长小于20m的小型桥梁底部裂缝自动检测，以及计算裂缝的物理指标进行自动预警的功能，然后人为对裂缝进行修补，使得桥梁底部的裂缝指标整体达到《公路钢筋混凝土及预应力混凝土桥涵设计规范》JTG D62-2019的要求。
本发明实例为基于反向残差瓶颈的编码器-解码器的小型桥梁裂缝检测方法主要包括以下五个部分，包括工业摄像机的安装、移动、功能、保护；工业摄像机采集桥梁底部裂缝数据，进行数据处理；桥梁底部裂缝的语义分割；裂缝的世界坐标计算；报警系统的处理。
下面结合附图对本发明作进一步描述。以下实例仅用于更加清楚地说明本发明的技术方案，而不能限制本发明的保护范围。
本实例的实验环境为某小型桥梁，为室外环境。如图1所示，本发明主要的设备安装便是滑道的安装以及相机的安装，以及太阳能板和电机的拖动，在滑道安装的过程中，首先注意的是滑道于桥底的距离决定工业相机的视野，所以滑道不能紧贴桥梁底部，而是对桥梁形成一种环状包围桥梁底部，在本发明实例中我们考虑到相机视野精度，以及水位的涨落距离，由于水下的拍摄始终会对图像造成一定的干扰，本实例尽可能的采用水上拍摄，当然对于模型的训练数据集，同样会加入水下拍摄的视频帧截取的图像，作为模型的学习对象。因此将滑道设置为桥梁底部以下0.2m以上，位于洪水位以上小箱梁以下部位。滑道的数目根据多孔径与单孔径的大小以及相机的视野大小设置，或者采用一个滑道但是多个相机进行拍摄。
相机在安装前在桥梁底部固定视野下先进行相机标定，计算相机的内参矩阵以及外参矩阵，便于计算裂缝的物理坐标。相机的录像模式设置为每天的15：00中进行拍摄，然后数据进行适时传输，相机的平移速度是人工设置的，本实例只需在设置初始移动速度为0.05m/s，最后在滑道中保持匀速。
如图2所示，本发明实例通过WiFi传输模块，远程传输到计算机中，我们对视频帧进行截取图像时，基于模板匹配，得到运动向量MOVi＝0.05m/s为视频帧Fi内所观察区域的运动位移，并且也是视频帧Fi与Fi+1之间的最佳匹配，为此，采用像素强度的绝对值之和作为匹配的准则。因此从视频帧Fi到Fi+1之间的运动位移MOVi，i+q等于MOVi+MOVi+1+······+MOVi+q-1(q>0)。由此截取图像，最后从中筛选出模型中含有裂缝的图像，作为模型的数据集的一部分，并单独分离出一部分作为模型的测试集。
同时为了模型的精度，本实例采用了公开的混凝土裂缝数据集进行掺杂，以及手动拍摄的裂缝数据集，组建出8500张含有混凝土裂缝的图像，当然图像的尺寸不必相同，本发明可以在模型输入之后进行动态裁剪，并进行动态数据集扩增，如改变随机改变高斯值，去给图像乘以0-1之间的高斯值，改变图像的亮度，或者加入椒盐噪声，或者对图片进行旋转等，本发明依托于模型的反向残差瓶颈参数量少的特点和跳转层的内存占用率低的特点，需要部署模型在PC端，借助高性能计算机，部署在windows10系统上，使用英伟达显卡，借助开源的深度学习框架Tensorflow进行训练，对模型进行训练调参。
如图3所示，本发明的模型结构，模型从数据流角度可分为输入层、隐藏层和输出层。在图像识别领域的应用中，输入层可直接处理图像原始像素值，并对输入数据进行标准化处理，以提高模型性能。隐藏层的基本构造由原来的卷积核变成了反向残差瓶颈块，该层可对输入数据进行了信息提取。通常情况下，模型可以通过加深网络深度及宽度以提高网络性能。但当随着网络层数的加深，选取不好的激活函数将使得模型的训练难度也越来越大，导致原来裂缝图像特征信息的丢失。为了克服裂缝特征的丢失，我们在最后一层由原来的Relu激活函数转化成了线性激活函数，充分的保留了裂缝的特征，使得信息不会丢失。所以前端采用反向残差瓶颈提取裂缝的特征。
最后本实例通过解码器的连接，选取SegNet的后端模型通过更加深层的卷积获取裂缝特征然后基于转置卷积恢复图像的尺寸，以及中间对应位置的跳转层获得卷积之前的信息，最后形成与原图类似的裂缝语义分割图像，改进后的模型本发明取名为M-SegNet。
本发明对于道路裂缝自动检测模型调优分为两步：
Step1：首先进行数据扩增的基础上，然后使用数据迭代器解决内存占用过大问题，确定模型损失函数，确定模型的反向传播算法，确定超参数：初始学习率，衰减系数；其次是使用验证集评估模型的效果，根据验证指标对模型进行参数调优。本实例为了降低内存的占用率，采用数据迭代器的方法对程序进行优化，与全部读入不同，我们每次读入之前将全部的数据集打乱，设置程序批次大小为43，从中选取43张图像进行读入，然后再次将剩余的图像打乱，再次筛选读入，使用数据迭代器优化后的程序可应对大数据量读取问题。在进行模型调优的前提步骤就是确定损失函数，以及反向传播算法，我们采取交叉熵损失函数，以及自适应学习率算法进行梯度下降。
Step2：对于模型的验证集调参部分在上述已经提到，本实例采用精度指标Accuracy，作为衡量指标。本研究中，裂纹检测的问题是如何将裂纹从背景中分离出来，从而检测出裂纹。简而言之，这是一个二元分类问题。真阳性(TP)是一个真裂缝被真正识别为裂缝的像素的总和。假阳性(FP)表示不是裂缝的像素被识别为裂缝的像素的总数。同时，假阴性(FN)是指一个裂纹像素被错误地识别为非裂纹像素的像素数。真阴性(TN)是正确识别为不是裂缝的像素的总数。本实例可以根据图像的像素总数计算出输入裂纹图像像素的四种识别状态，从而使用更准确的指标来评价我们的模型的质量。模型的验证集输入，由于模型是不断通过在验证集上的指标调节模型的参数，所以在反复优化模型的参数时，模型会对验证集产生一定的依赖，使得模型的参数越来越符合验证集的表征，因此模型最后在测试集或者真实桥梁裂缝检测时，精度会产生一定的下降。因此本发明选择对验证集的验证时选择随机抽样的方法，如：100张用于验证的桥梁裂缝图像，我们随机选取二十张进行验证，之后根据二十张验证结果调节参数，随后的选取依然进行随机选取，这样可以延缓参数对于验证集的学习速率。
如图4所示，模型输出语义分割图像，本实例对模型输入10张含有桥梁底部裂缝的图像在进行现场布置时，模型的输出采用拼接的方法将尺寸大小为256×256按照动态滑动时设置的步长进行反向拼接，拼接成图像尺寸为3840×2160的原图像，中间重叠的部分，本实例采取以下措施，假设第一张图像在像素点P预测为裂缝的像素点，之后的N张图片由于滑动尺寸的缘故，图像中的裂缝有重叠，将N+1图像按照滑动尺寸进行摆放，对于同样一个像素点，若干图像判断为裂缝，若干图像判断为非裂缝像素为FP，根据上述公式，得到图像中真正的裂缝像素点，最后本实例成功得到模型输出图。
根据上述的数据集划分，选取测试集对模型输入，最后获得裂缝的语义分割图，我们采取上述提到的骨架的算法，获得裂缝的骨架。模型对于裂缝的长度计算，我们只需统计裂缝骨架所占像素的个数，因为骨架只占一个像素宽度，所以像素总和便是裂缝的长度；而裂缝的面积，我们需要对整个裂缝建立函数解析式，根据裂缝的上下边界形成两个函数，最后对函数进行积分，便可得到裂缝的面积；我们对于裂缝的平均宽度的计算，需要使用裂缝的面积与裂缝的长度的比值，这样便可以计算裂缝的平均宽度。
按照桥梁缺陷检测精度要求高。按照《公路桥梁养护规范》要求，桥梁缺陷检测精度应达到0.1mm，对于较远距离图像采集设备要求很高，本实例将长度、宽度和面积与低型桥梁养护要求做对比，如果抓拍图像达到规格要求，但是系统同样产生低级报警，此时需要检测人员进行照片视频比较，或者前往现场进行查验。
Claims (10)
1.一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，包括设置于桥梁底部的工业摄像机组，用于平移拍摄桥梁底部裂缝的视频，并且摄像机组连接远距离WiFi传输模块，该WiFi传输模块被设置在相机内部，只需在计算机与相机处于相同频段则可以传输数据；对于工业相机的供电设备采用太阳能供电，将太阳能板以及小型转换电压设备紧贴在桥梁侧壁；计算机获得视频后，动态进行提取视频帧为图像，计算机内置于反向残差瓶颈的编码器-解码器模型，用于检测图像中是否存在裂缝，并对裂缝进行长度、宽度以及面积的计算，当达到报警的指标时，计算机会产生报警信号通知相关工作人员，其特征包括如下步骤:
S1、设置于小型桥梁底部的滑道、工业摄像机、休息舱和供电设备,以及WiFi传输模块；
S2、通过远程传输的视频，提取图像，以及图像位置匹配；
S3、包括采集的图像以及公共混凝土裂缝数据集共同组成数据集；
S4、模型的构建，使用反向残差瓶颈去代替卷积核,转置卷积采取为SegNet的解码器,形成与原图类似的裂缝语义分割图像，改进后的模型取名为M-SegNet，并且最后在每个反向残差瓶颈之后加入了中间跳转层，记录模型的每一个卷积之后的裂缝特征信息，相当于普通深度学习的残差网络，方便最后转置卷积对于信息的填写，组成深度学习模型；
S5、对训练数据集的扩增，动态裁剪训练集的图片，以及图像扩增；
S6、模型的参数调优时，验证集随机对模型输入；
S7、测试集输入模型之后，拼接处理裂缝语义分割图像；
S8、计算裂缝的长度、宽度和面积；
S9、预警系统，两种模式预警。
2.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S1具体包括：
S11、桥梁底部的工业摄像机组包括在一个专用防水外壳中，外壳借助滑道悬挂在小型桥梁的跨中位置，只保留在相机头部在外侧，其他使用外壳进行包裹，相当于普通工业相机的三倍；
S12、供电设备模块紧贴在桥梁侧壁上，为了避免日常风刮雨打的侵蚀，同样选取一个矩形的安装箱进行悬挂，当天气良好时，可以采用充电电池将采集到的电量进行储存，当作储备能源，并且为了防止发生意外，采用备用电池组当作辅助能源，只需工作人员定期进行更换，而更换的条件根据摄像机的视频传输情况进行动态选择，所述的太阳能板与工业相机之间设置有电压转换模块，电压转换模块将太阳能板所采集到的电压转换为12V直流电压，传输的线缆使用防水、防晒装置进行包裹，连接到工业摄像机中；
S13、WiFi传输模块，需要在安装之前进行调试，在菜单键进行设计，将WiFi功能打开，并设置密码，最后通过计算机进行相机的WiFi匹配。
3.根据权利要求2所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S2具体包括：
S21、计算机为了模型的输入图像需要对视频运动帧进行图像的提取，对于视频帧的提取图像，采用抽样的方式进行截取，而裂缝的位置判断根据相机的移动速率以及视频帧的移动速率进行结合。
4.根据权利要求2或3所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S3具体包括：
S31、相机的供电设备紧贴在桥梁的侧壁，考虑到实际测量现场光照条件的变化，利用闪光灯进行补光；为了补偿测量时测量倾角对测量精度的影响，增加了角度传感器，进行角度测量，为软件处理提供数据；在获取视频时，摄像机与桥梁之间的距离是不变的，为了得到不同光照条件下的裂缝图像，采集了一天中不同时段的桥梁图像；
S32、结合采集的数据集，与公共数据集共构成M张桥梁裂缝数据集，并人为的随机选取一部分留下录像中提取的裂缝图像数据集作为测试。
5.根据权利要求2或3所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S4具体包括：
S41、模型结构的方法，对于模型的设计采用反向残差瓶颈去代替卷积核，因为反向残差瓶颈是对卷积核参数的简化，同样的卷积核的参数要远大于反向残差瓶颈的参数量，由于对于图像的卷积操作是大数量的，因此基于原来的解码器-编码器结构进行改进，将原来模型的编码器的卷积核全部替换成反向残差瓶颈，则会大幅度的减少参数量，并且效果较原来的有所改善；
S42、最后的转置卷积采取为SegNet的解码器，最后形成与原图类似的裂缝语义分割图像，改进后的模型取名为M-SegNet，并且最后在每个反向残差瓶颈之后加入了中间跳转层，记录模型的每一个卷积之后的裂缝特征信息，相当于普通深度学习的残差网络，跳转层相当于记录了模型的信息，方便最后转置卷积对于信息的填写，并且降低了内存的利用率，有效解决了内存爆炸的问题，使得进行模型输入时，可以大批次的图像输入，使得模型的效果更加优秀，这样组成的模型，参数较少，检测效率较高，模型精度大的效果。
6.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S5具体包括：
S51、图像输入验证方法，拍摄的图像的分辨率是p1×p2的图像，选取了包含裂缝图像的视频帧，对裂缝图像进行了标注，由于不能将图像进行输入到模型中，为了模型的精度效果，以及平衡训练模型的计算强度，将图像在输入模型之后，模型的前端进行动态的裁剪，以尺寸大小为m1×m2的滑动窗口的方式对图像进行扫描裁剪，步长根据作为超参数进行设置，可以根据图像实际的大小进行选择；
S52、采取横向滑动步长为s1，纵向滑动步长为s2的速度进行裁剪，并且在裁剪之后，采取动态的数据集扩增方法增加数据集用来增加模型的判断精度为了增加模型的适用性；并在原数据集中分别加入了一定数量的含噪声的数据集，包括：光源，笔划，阴影、落叶，分别对数据进行数据增强。
7.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S6具体包括：
S61、关于验证集的改变，对于验证集相对于现有的深度学习方法调节参数，采用随机抽取验证集的方法，增大用于验证的储备库，保留随机的特性，能够延缓模型调参时，模型对验证集的学习，增加模型的调参次数；
S62、模型调参的方法，模型采用了反向传播算法进行模型参数的调优，最后的损失函数采用自适应学习率算法RMSPropOptimizer算法，而模型的验证集验证模型有别于传统的方法，由于模型是不断通过在验证集上的指标调节模型的参数，所以在反复优化模型的参数时，模型会对验证集产生一定的依赖，使得模型的参数越来越符合验证集的表征；
S63、因为模型最后在测试集或者真实桥梁裂缝检测时，精度会产生一定的下降，因此对验证集的验证时选择随机抽样的方法，用于验证的100张桥梁裂缝图像，随机选取二十张进行验证，之后根据二十张验证结果调节参数，随后的选取依然进行随机选取，这样可以延缓参数对于验证集的学习速率。
8.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S7具体包括：
S71、模型的输出采用拼接的方法将尺寸大小为m1×m2按照动态滑动时设置的步长进行反向拼接，拼接成图像尺寸为p1×p2的原图像，中间重叠的部分，本实例采取以下措施，假设第一张图像在像素点P预测为裂缝的像素点，之后的N张图片由于滑动尺寸的缘故，图像中的裂缝有重叠，将N+1图像按照滑动尺寸进行摆放，对于同样一个像素点，若干图像判断为裂缝，若干图像判断为非裂缝像素为FP，经过计算，得到图像中真正的裂缝像素点。
9.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S8具体包括：
S81、模型的骨架提取，对于原始桥梁底部裂缝图像的语义分割图，选取平均值法进行裂缝骨架的提取，按照M-SegNet模型先对裂缝的骨架的像素，根据像素的区域进行求平均，获得每一块平行区域的裂缝像素边界信息。
10.根据权利要求1所述的基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统，其特征在于，所述步骤S9具体包括：
S91、系统的报警方法，在计算出裂缝的物理坐标值之后，与设置的裂缝的长度、宽度和面积阈值比较，则当不满足《公路钢筋混凝土及预应力混凝土桥涵设计规范》JTG D62-2019的要求时，系统会将抓拍到的图像进行验证，当同样存在不满足要求时，便会产生高级报警，如果抓拍图像达到规格要求，但是系统同样产生低级报警，此时需要检测人员进行照片视频比较，或者前往现场进行查验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123654.3A CN113758927B (zh) | 2021-01-31 | 2021-01-31 | 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110123654.3A CN113758927B (zh) | 2021-01-31 | 2021-01-31 | 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113758927A CN113758927A (zh) | 2021-12-07 |
| CN113758927B true CN113758927B (zh) | 2024-03-29 |
Family
ID=78786534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110123654.3A Active CN113758927B (zh) | 2021-01-31 | 2021-01-31 | 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113758927B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101970488B1 (ko) * | 2017-12-28 | 2019-04-19 | 포항공과대학교 산학협력단 | 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치 |
| CN110120038A (zh) * | 2019-05-07 | 2019-08-13 | 重庆同济同枥信息技术有限公司 | 一种基于对抗生成网络的路面裂缝缺陷检测方法 |
| CN111127449A (zh) * | 2019-12-25 | 2020-05-08 | 汕头大学 | 一种基于编码器-解码器的自动化裂缝检测方法 |
| CN111222580A (zh) * | 2020-01-13 | 2020-06-02 | 西南科技大学 | 一种高精度的裂缝检测方法 |
| CN111627012A (zh) * | 2020-05-28 | 2020-09-04 | 华北电力大学（保定） | 一种基于特征融合的深度神经网络表面缺陷检测方法 |
| KR102157610B1 (ko) * | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10691978B2 (en) * | 2018-06-18 | 2020-06-23 | Drvision Technologies Llc | Optimal and efficient machine learning method for deep semantic segmentation |
| US11087165B2 (en) * | 2018-11-29 | 2021-08-10 | Nec Corporation | Method and system for contextualizing automatic image segmentation and regression |
| US10977530B2 (en) * | 2019-01-03 | 2021-04-13 | Beijing Jingdong Shangke Information Technology Co., Ltd. | ThunderNet: a turbo unified network for real-time semantic segmentation |
-
2021
- 2021-01-31 CN CN202110123654.3A patent/CN113758927B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101970488B1 (ko) * | 2017-12-28 | 2019-04-19 | 포항공과대학교 산학협력단 | 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN110120038A (zh) * | 2019-05-07 | 2019-08-13 | 重庆同济同枥信息技术有限公司 | 一种基于对抗生成网络的路面裂缝缺陷检测方法 |
| KR102157610B1 (ko) * | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법 |
| CN111127449A (zh) * | 2019-12-25 | 2020-05-08 | 汕头大学 | 一种基于编码器-解码器的自动化裂缝检测方法 |
| CN111222580A (zh) * | 2020-01-13 | 2020-06-02 | 西南科技大学 | 一种高精度的裂缝检测方法 |
| CN111627012A (zh) * | 2020-05-28 | 2020-09-04 | 华北电力大学（保定） | 一种基于特征融合的深度神经网络表面缺陷检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| Improved Pixel-Level Pavement-Defect Segmentation Using a Deep Autoencoder;Rytis Augustauskas;《Sensors》;第20卷;全文 * |
| Lightweight Bridge Crack Detection Method Based on SegNet and Bottleneck Depth-Separable Convolution With Residuals;Gang Li;《IEEE Access》;第9卷;全文 * |
| 基于光纤陀螺的桥梁微小形变检测技术;甘维兵;胡文彬;张瑶;刘芳;李盛;符晶华;;中国惯性技术学报(第03期);全文 * |
| 基于多尺度卷积网络的路面图像裂缝分割方法;孙梦园;刘义;范文慧;;软件(第05期);全文 * |
| 基于深度卷积神经网络的隧道衬砌裂缝识别算法;柴雪松;朱兴永;李健超;薛峰;辛学仕;;铁道建筑(第06期);全文 * |
| 基于稀疏编码的桥梁路面裂缝分类方法研究;李良福;高小小;孙瑞;陆铖;;轻工学报(第03期);全文 * |
| 柴雪松 ; 朱兴永 ; 李健超 ; 薛峰 ; 辛学仕 ; .基于深度卷积神经网络的隧道衬砌裂缝识别算法.铁道建筑.2018,(第06期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113758927A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321853B (zh) | 基于视频智能检测的分布式电缆防外破系统 | |
| CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
| CN111179232A (zh) | 基于图像处理的钢筋尺寸检测系统及方法 | |
| CN103096121B (zh) | 一种摄像头移动检测方法及装置 | |
| CN111368615B (zh) | 一种违章建筑预警方法、装置及电子设备 | |
| CN113887412B (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
| CN111383429A (zh) | 建筑工地工人着装检测方法、系统、装置、存储介质 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN105976365A (zh) | 一种夜间火灾视频检测方法 | |
| CN111446920A (zh) | 光伏电站监控方法、装置及系统 | |
| CN110896462B (zh) | 一种视频监控集群的控制方法、装置、设备及存储介质 | |
| CN106339657A (zh) | 基于监控视频的秸秆焚烧监测方法、装置 | |
| CN114266299A (zh) | 基于无人机作业的铁路桥梁钢结构缺陷检测方法及系统 | |
| CN105096305A (zh) | 绝缘子状态分析的方法及装置 | |
| CN113326783A (zh) | 一种水利行业的边缘预警方法 | |
| CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
| CN114267082A (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN116453278A (zh) | 一种深度学习智能检测与光纤振动传感结合的入侵监测方法 | |
| KR102169211B1 (ko) | 전차 선로의 조류 둥지 자동 검출 장치 및 방법 | |
| CN113758927B (zh) | 一种基于反向残差瓶颈的编码器-解码器小型桥梁底部裂缝检测系统与方法 | |
| JP4108593B2 (ja) | 浸水監視装置 | |
| CN111079642B (zh) | 线路可移动监控方法及装置及计算机可读介质 | |
| CN112733734B (zh) | 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 | |
| CN113569956A (zh) | 一种基于ai算法的山火灾害勘查识别方法 | |
| Yu et al. | An Algorithm for Target Detection of Engineering Vehicles Based on Improved CenterNet. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Gang Inventor after: Liu Yiyang Inventor after: Zhang Shuailong Inventor after: Chen Yubo Inventor after: Lan Dongchao Inventor after: Li Xiyuan Inventor after: Dai Yu Inventor after: Chen Yongqiang Inventor before: Li Gang Inventor before: Zhang Shuailong Inventor before: Chen Yubo Inventor before: Lan Dongchao Inventor before: Li Xiyuan Inventor before: Dai Yu Inventor before: Chen Yongqiang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |