CN110118788A - 水下结构病害检测接触式视觉传感设备及图像处理方法 - Google Patents

水下结构病害检测接触式视觉传感设备及图像处理方法 Download PDF

Info

Publication number
CN110118788A
CN110118788A CN201910360466.5A CN201910360466A CN110118788A CN 110118788 A CN110118788 A CN 110118788A CN 201910360466 A CN201910360466 A CN 201910360466A CN 110118788 A CN110118788 A CN 110118788A
Authority
CN
China
Prior art keywords
image
defect inspection
elastomer
visual sensing
submerged structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910360466.5A
Other languages
English (en)
Inventor
吴刚
陈熹
侯士通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910360466.5A priority Critical patent/CN110118788A/zh
Publication of CN110118788A publication Critical patent/CN110118788A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明的一种水下结构病害检测接触式视觉传感设备，包括照明电路子系统、图像采集子系统和图像处理子系统，图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面外侧粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。本发明借助PDMS弹性体强大的变形适应能力，运用深度学习算法对采集到的病害图像进行多维的定性与定量分析，目前可达到水下混浊环境中，混凝土表面各类病害90％以上的识别精度，实现0.1mm级裂缝的精准识。

Description

水下结构病害检测接触式视觉传感设备及图像处理方法
技术领域
本发明涉及视觉传感器技术领域，具体是水下结构病害检测接触式视觉传感设备及图像处理方法。
背景技术
传感器在桥梁健康监测中一直起着非常重要的作用，它不仅制约着桥梁健康监测的内容,而且直接决定了监测系统的可靠性和工作寿命。随着科学技术的进步，近年来传感器发展快速，一些可靠、精确和便宜的新型传感器的开发和应用，有力地推动了桥梁健康监测的发展。与此同时，研发更加高效、经济、实用、耐久的高性能检测传感器是结构健康监测领域的主要课题之一。当前现有的传感器主要还是以“点式测量”和“人工布设”为主，这些传统的传感器虽然具有较高的观测精度，但由于其操作过程费时、费力、存在安全隐患等局限性，使得传统的人工布设的“点式”传感器始终无法大规模地向水下结构检测中推广。因此，智能化检测传感器的研发与应用成为水下结构检测中的重大问题。
目前最新的水下结构检测技术主要有基于计算机视觉技术和基于声呐设备的超声检测两大类，但这两种技术都存在着不同程度的局限性。比如：在一些水下环境能见度低、成像环境比较恶劣的条件下，计算机视觉技术难以看清结构表面的状况；在一些水流较为湍急的区段，声呐设备的稳定性较差，从而影响了检测结果的精度。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供水下结构病害检测接触式视觉传感设备及图像处理方法。
技术方案：为解决上述技术问题，本发明的一种水下结构病害检测接触式视觉传感设备，包括照明电路子系统、图像采集子系统和图像处理子系统，图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面外侧粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。
高分辨率成像设备的摄像头的中心与弹性体的中心处于同一条直线上。
其中，弹性体由聚二甲基硅氧烷制成。
其中，照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的LED照明电路。
其中，LED照明电路的光源与摄像头高分辨率成像设备的摄像头的轴线垂直。
其中，LED照明电路上串联可变电阻，使得有机玻璃盒内部光强可调。
本发明还提供一种水下结构病害检测接触式视觉传感设备的图像处理方法，包括以下步骤：
(1)读取高分辨率成像设备的摄像头所采集到的病害图像；
(2)将图像切分为多个Patch文件；
(3)对Patch文件进行预处理；
(4)将预处理后的patch文件转化为LIVIDB的格式储存，送入卷积神经网络中进行训练处理。
其中，步骤(3)中对Patch文件进行预处理过程包括：图像灰度化处理、波谷阈值分割及梯度方向直方图过滤。
其中，所述卷积神经网络为经典的VGG16网络结构，其中第一层为图像输入层，最后一层是输出层。
有益效果：本发明具有以下有益效果：
本发明借助PDMS弹性体强大的变形适应能力，运用深度学习算法对采集到的病害图像进行多维的定性与定量分析，目前可达到水下混浊环境中，混凝土表面各类病害90％以上的识别精度，实现0.1mm级裂缝的精准识别；能够实现水下混浊或类似能见度很低环境下混凝土表面病害的快速识别与定量分析，从而有效地克服了目前水下环境传统的人工检测或其他成像设备(声呐、阵列相机等)遇到的成像难、精度低的技术难题，为水下桥墩病害检测提供了一种全新的思路和技术手段。本发明所包含的“接触式视觉传感”的理念，搭配目前研究较为成熟的多自由度机械手臂，也使得该设备的适用范围不仅仅局限于结构检测领域，具有很广泛的前景。
附图说明
图1为本发明的接触式视觉传感器的内部结构示意图；
图2为本发明的高分辨率成像设备工作原理图；
图3为本发明具体实施方式中图像处理模块的工作流程图；
图4为本发明具体实施方式中图像处理模块的算法工作流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1和图2所示，本发明包括照明电路子系统、图像采集子系统和图像处理子系统，图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面上粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。高分辨率成像设备的摄像头的中心与弹性体的中心处于同一条直线上。弹性体由聚二甲基硅氧烷制成。照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的LED照明电路。
作为一种实施方式，如图1所示，图像采集子系统包括立方体型的有机玻璃盒，有机玻璃盒的顶面外侧粘附有弹性体1，有机玻璃盒底面上设置有高分辨率成像设备3；弹性体1内侧壁设有环绕弹性体1的LED照明电路2、4，具体地，高分辨率成像设备3的摄像头设置于弹性体1的正下方，摄像头的中心与弹性体1的中心处于同一条直线上。如图2所示，图像采集子系统采用两个STM32F4系列单片机6作为主控，均通过数据并口A的通信方式，一个与摄像头5对接，另一个与TFT触控屏7对接；两个单片机之间通过网线B连接；摄像头采用OV5640模组，最高清晰度可达500万像素，且高分辨率成像设备设有二次开发的接口，可实现定时自动抓拍；摄像头与显示屏的通信方式设为自定义。成像设备的工作原理如图2所示。
弹性体由自主研发的高性能疏水类柔性有机硅化合物：聚二甲基硅氧烷(Polydimethylsiloxane，缩写为PDMS)制成，与现有技术的PDMS相比，本发明通过改变硅胶与固化剂的比例至(40-60):1以及加热时的固化温度(90-110℃)，可以得到高柔软度的PDMS。通过改变硅胶与固化剂的比例以及加热固化时的温度，得到不同弹性的PDMS；这种材料具有很强的弹性和柔软性，因此可以自由地适应结构表面的纹理状况，同时其透明性确保摄像头可以拍摄到清晰的纹理图像。本发明的水下结构病害检测接触式视觉传感设备，目前可达到水下混浊环境中，混凝土表面各类病害90％以上的识别精度，实现0.1mm级裂缝的精准识别。
图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果；可通过电池供能子系统采用锂电池提供3.7V标准电压为照明电路子系统和图像采集子系统供电。
照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的LED照明电路。LED照明电路的光源与摄像头高分辨率成像设备的摄像头的轴线垂直。LED照明电路上串联可变电阻，使得有机玻璃盒内部光强可调。对于照明电路子系统，为了保证图像的成像质量，采用光源与摄像头垂直的构建方式；为便于在设备内部形成平行光源的成像环境，采用四条发光二极管组成的LED灯带粘在四壁，围绕在弹性体的底部周围；再通过在电路上串联变电阻，使得内部光强变为可调模式。
显示子系统中的显示屏选用4.3寸TFT液晶屏，显示子系统的主控为STM32F407；液晶屏与主控之间采用FSMC方式并口连接。显示子系统另外包含网络接口，用于和图像采集子系统之间通信，接受图像信息；图像采集子系统与显示子系统之间采用网络的方式进行通信，通信选用UDP协议。
本发明所采用的图像处理方法通过图像采集子系统集成的深度学习算法(CNN神经网络)对高分辨率成像设备3的摄像头所采集到的病害图像进行批量处理；图像处理的流程图如图3所示。该方法包括以下步骤：
(1)读取高分辨率成像设备的摄像头所采集到的病害图像；
(2)将图像切分为多个Patch文件；
(3)对Patch文件进行预处理；由于不同材料的裂缝数据有非常明显的自身特点，为了去掉多余的背景信息和减少信息量，在训练CNN之前，根据裂缝数据的特点，对数据进行一定的处理之后再送入CNN网络。对Patch文件进行预处理过程包括：图像灰度化处理、波谷阈值分割及梯度方向直方图过滤；该预处理过程有效地提高了识别精度，同时降低了计算机的工作负担，从而进一步提高了识别效率。
(4)将处理后的patch文件转化为LIVIDB的格式储存，得到两个文件夹train_mdb和test_mdb，送入卷积神经网络中进行训练处理。另外，训练模型需要配置两个文件：网络模型文件和训练方案文件，这两个文件的功能分别是设计网络模型和控制训练过程。整个图像处理子系统的工作流程如图4所示。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种水下结构病害检测接触式视觉传感设备，包括照明电路子系统、图像采集子系统和图像处理子系统，其特征在于：图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面外侧粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。
2.根据权利要求1所述的水下结构病害检测接触式视觉传感设备，其特征在于：高分辨率成像设备的摄像头的中心与弹性体的中心处于同一条直线上。
3.根据权利要求1所述的水下结构病害检测接触式视觉传感设备，其特征在于：弹性体由聚二甲基硅氧烷制成。
4.根据权利要求1所述的水下结构病害检测接触式视觉传感设备，其特征在于：照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的LED照明电路。
5.根据权利要求4所述的水下结构病害检测接触式视觉传感设备，其特征在于：LED照明电路的光源与摄像头高分辨率成像设备的摄像头的轴线垂直。
6.根据权利要求5所述的水下结构病害检测接触式视觉传感设备，其特征在于：LED照明电路上串联可变电阻，使得有机玻璃盒内部光强可调。
7.一种水下结构病害检测接触式视觉传感设备的图像处理方法，其特征在于，包括以下步骤：
(1)读取高分辨率成像设备的摄像头所采集到的病害图像；
(2)将图像切分为多个Patch文件；
(3)对Patch文件进行预处理；
(4)将预处理后的patch文件转化为LIVIDB的格式储存，送入卷积神经网络中进行训练处理。
8.根据权利要求7所述的水下结构病害检测接触式视觉传感设备的图像处理方法，其特征在于：步骤(3)中对Patch文件进行预处理过程包括：图像灰度化处理、波谷阈值分割及梯度方向直方图过滤。
9.根据权利要求7所述的水下结构病害检测接触式视觉传感设备的图像处理方法，其特征在于：所述卷积神经网络为经典的VGG16网络结构，其中第一层为图像输入层，最后一层是输出层。
CN201910360466.5A 2019-04-30 2019-04-30 水下结构病害检测接触式视觉传感设备及图像处理方法 Pending CN110118788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910360466.5A CN110118788A (zh) 2019-04-30 2019-04-30 水下结构病害检测接触式视觉传感设备及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910360466.5A CN110118788A (zh) 2019-04-30 2019-04-30 水下结构病害检测接触式视觉传感设备及图像处理方法

Publications (1)

Publication Number Publication Date
CN110118788A true CN110118788A (zh) 2019-08-13

Family

ID=67521827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910360466.5A Pending CN110118788A (zh) 2019-04-30 2019-04-30 水下结构病害检测接触式视觉传感设备及图像处理方法

Country Status (1)

Country Link
CN (1) CN110118788A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671032A (zh) * 2021-08-20 2021-11-19 东南大学 极端环境中水下混凝土结构表观损伤快速定位与识别装置
CN115527109A (zh) * 2022-08-29 2022-12-27 邯郸市亿润工程咨询有限公司 一种水下混凝土病害监测方法、装置、水下机器人及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364408A (zh) * 2013-07-10 2013-10-23 三峡大学 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法
CN104568287A (zh) * 2014-12-24 2015-04-29 北京工业大学 一种利用pdms薄膜的形变直接测量微通道内压力装置
CN105954282A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于水下观测网的水体浊度检测装置和方法
CN105954292A (zh) * 2016-04-29 2016-09-21 河海大学常州校区 基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN107576665A (zh) * 2017-10-12 2018-01-12 上海遨拓深水装备技术开发有限公司 一种基于机器视觉的水下结构物裂缝检测系统
CN108573277A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种受电弓碳滑板表面病害自动识别系统及方法
CN109117838A (zh) * 2018-08-08 2019-01-01 哈尔滨工业大学 应用于无人船感知系统的目标检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364408A (zh) * 2013-07-10 2013-10-23 三峡大学 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法
CN104568287A (zh) * 2014-12-24 2015-04-29 北京工业大学 一种利用pdms薄膜的形变直接测量微通道内压力装置
CN105954292A (zh) * 2016-04-29 2016-09-21 河海大学常州校区 基于复眼仿生视觉的水下构筑物表面裂缝检测装置及方法
CN105954282A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于水下观测网的水体浊度检测装置和方法
CN106052914A (zh) * 2016-07-21 2016-10-26 清华大学 一种基于视觉的触觉测量传感器
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN107576665A (zh) * 2017-10-12 2018-01-12 上海遨拓深水装备技术开发有限公司 一种基于机器视觉的水下结构物裂缝检测系统
CN108573277A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种受电弓碳滑板表面病害自动识别系统及方法
CN109117838A (zh) * 2018-08-08 2019-01-01 哈尔滨工业大学 应用于无人船感知系统的目标检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113671032A (zh) * 2021-08-20 2021-11-19 东南大学 极端环境中水下混凝土结构表观损伤快速定位与识别装置
CN115527109A (zh) * 2022-08-29 2022-12-27 邯郸市亿润工程咨询有限公司 一种水下混凝土病害监测方法、装置、水下机器人及介质
CN115527109B (zh) * 2022-08-29 2023-04-28 邯郸市亿润工程咨询有限公司 一种水下混凝土病害监测方法、装置、水下机器人及介质

Similar Documents

Publication Publication Date Title
CN111709333B (zh) 基于笼养鸡异常粪便的溯源预警系统及健康监测方法
CN106405040A (zh) 一种基于无人设备的水质巡检、污染物溯源系统及其方法
CN110146673A (zh) 可远程控制的水质检测船及应用其的水质检测方法
CN110118788A (zh) 水下结构病害检测接触式视觉传感设备及图像处理方法
CN108549000A (zh) 一种养殖水体健康水质的在线监测设备
CN103108412A (zh) 水产养殖场水质参数远程监测系统及控制方法
CN102124964B (zh) 海水养殖智能化管理系统
CN104198013B (zh) 基于机器视觉技术的水位测量装置
CN110910067A (zh) 一种结合深度学习与Q-learning的活鱼运输水质智能调控方法和系统
CN109297763A (zh) 水体污染物采样监测系统及控制方法
CN109509173A (zh) 一种细菌菌落的计数方法及计数装置
CN203625754U (zh) 一种多功能道路检测仪
CN107907645A (zh) 一种水生动物行为信息驱动的水质预警装置及方法
CN109964888A (zh) 基于水下机器人平台的海珍品捕捞及可视参数监测系统
CN206618746U (zh) 基于4g的养殖水域多功能检测浮标
CN206960462U (zh) 一种海水水质光学在线监测系统
CN110232660A (zh) 一种新型红外图像识别预处理灰度拉伸方法
Chen et al. Double yolk nondestructive identification system based on Raspberry Pi and computer vision
CN205720196U (zh) 多参数水质检测系统
CN214041371U (zh) 一种可移动式海上油田注水水质在线监测装置
CN114112945A (zh) 一种新型巢湖蓝藻水华监测系统
CN106841152A (zh) 一种水生植物的无人机叶绿素荧光仪测量取样研究装置
CN114120154A (zh) 一种高层建筑玻璃幕墙破损的自动检测方法
CN209148348U (zh) 一种多类型复杂样品统一采样的多功能水下采样装置
CN102707025A (zh) 一种湖库营养状态的智能判别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination