CN116734744B - 基于红外靶标的在线式相机位移轻量化测量方法及系统 - Google Patents
基于红外靶标的在线式相机位移轻量化测量方法及系统 Download PDFInfo
- Publication number
- CN116734744B CN116734744B CN202310739084.XA CN202310739084A CN116734744B CN 116734744 B CN116734744 B CN 116734744B CN 202310739084 A CN202310739084 A CN 202310739084A CN 116734744 B CN116734744 B CN 116734744B
- Authority
- CN
- China
- Prior art keywords
- target
- infrared
- displacement
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 89
- 238000000691 measurement method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000005259 measurement Methods 0.000 claims abstract description 50
- 238000001931 thermography Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 17
- 238000000746 purification Methods 0.000 claims abstract description 17
- 229910021389 graphene Inorganic materials 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000005507 spraying Methods 0.000 claims abstract description 7
- 239000003973 paint Substances 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011347 resin Substances 0.000 claims description 6
- 229920005989 resin Polymers 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 239000012774 insulation material Substances 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000011247 coating layer Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 239000000853 adhesive Substances 0.000 claims description 2
- 230000001070 adhesive effect Effects 0.000 claims description 2
- 230000009545 invasion Effects 0.000 claims description 2
- 239000010445 mica Substances 0.000 claims description 2
- 229910052618 mica group Inorganic materials 0.000 claims description 2
- 239000003960 organic solvent Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000007962 solid dispersion Substances 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000004927 fusion Effects 0.000 claims 1
- 239000011810 insulating material Substances 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 11
- 230000036541 health Effects 0.000 description 8
- 230000005855 radiation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000011882 ultra-fine particle Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于红外靶标的在线式相机位移轻量化测量方法及系统，创新地利用红外热成像相机，通过由镂空椭圆特征靶标与背景形成温度差异，并由石墨烯喷漆靶标表面增强红外发射率，进而利用图像处理技术进行目标位移测量，设计了一种在低能见度下使用的工程结构位移轻量化测量系统。针对热成像原始图像质量不理想、噪声多以及靶标受到环境遮挡造成解算误差大的问题，提出了一种基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法，有效提高结果解算精度和鲁棒性。该方法在工程结构暗光现场无需有源靶标，相比于可见光相机繁琐供电系统更为低成本与低能源依赖性，可实现全天候位移测量，具备工业轻量化监测和低能源消耗优势。
Description
技术领域
本发明属于结构健康监测技术领域，尤其涉及一种基于红外靶标的在线式相机位移轻量化测量方法及系统。
背景技术
随着我国国民经济的飞速发展，交通运输量的大幅度增长，行车密度及车辆荷载的增大，桥梁的负担日趋严重，安全度日益下降。许多桥梁在事故发生前，已出现挠度过大、桥梁线形出现较大变化等现象，因此，通过桥梁健康监测系统监测桥梁在各种环境条件下的结构响应与行为至关重要，其获取反映结构状况和环境因素的各种信息，由此分析结构健康状态、评估结构的可靠性，为桥梁的管理与维护决策提供科学依据。目前国内外对桥梁健康监测与预警系统方面的相关研究及实践应用主要集中在大型复杂桥梁，但系统庞大复杂，线缆错综复杂，成本缺乏竞争力，配置灵活度不足，在很大程度上影响和制约了其在量大面广的常规中小跨径桥梁上的应用。针对中小跨径桥梁结构和受力特点，借鉴既有特大桥梁健康监测研究和应用成果，利用先进的传感技术和监测手段在中小跨径桥梁上发展低成本、低能耗、快安装的轻量化监测是未来发展趋势。
桥梁健康监测中桥梁在车辆荷载和环境(风、温度)作用下的变形测量是一项极其重要的内容。现有的桥梁变形测量方法多是基于传统的测量和测绘仪器，包括静态GPS、全站仪和液位连通管等，传统位移测量适用场景往往会受到限制，对于一些复杂地形处的桥梁结构测量难度大。对于大部分传统方法，一次只能测量单个点的位移信息，很难达到多点位移同步测量的要求。而且传统的位移测量方法大都需要在结构处安装传感器或测量标识，安装过程复杂且耗费人力，成本较高。而且部分方法受到距离的限制，很难达到远程测量，在测量时需要封闭桥上交通，对行车通行造成一定影响。总之，传统方法在某些实际应用中的限制较大，不符合当下桥梁轻量化监测低功耗、低成本、快安装的需要。
近年来，基于计算机视觉技术的非接触传感与监测系统逐渐得到重视，该技术通过数字图像处理、深度学习算法等先进手段可以挖掘出图像数据中所隐含的高维与深层次特征，且具有非接触式测量、高精度和多点同步的独特优势。目前，计算机视觉技术已被开发用于结构动静态位移测量、应变与应力监测、索力监测、裂纹或缺陷监测、车流的时空分布监测、施工吊装监测等领域，应用前景广阔。机器视觉应用于桥梁位移测量较多，近年来，Pan、Feng、Yu、Han等学者对图像处理进行进一步优化，提高了其测量精度以更好地适用于桥梁结构的动态位移非接触式测量。针对传统光学测量方法容易受光照和遮挡等干扰影响的问题，一些学者认为可以利用近年来被广泛研究的深度学习方法解决。基于深度学习的目标检测算法一般具有良好的抗干扰能力，在病害检测中，即使图像受到光照、遮挡和污渍侵蚀，也能准确识别其中的病害。因此，一些学者尝试将深度学习技术融入视觉测量方法中。Xu et al(2021)提出了一种精确无干扰结构的位移测量方法，该方法整合了Siamese跟踪和基于相关性的模板匹配算法，解决了对环境变化的测量鲁棒性问题。Huang et al(2021)提出了一种基于深度学习增强视觉的结构位移测量方法，利用卷积神经网络(CNN)和生成对抗网络(GAN)增强图像中的目标特征从而获得更稳健的测量结果。Zhu et al(2021)提出了一种基于重构的高效卷积算子的视觉追踪算法，利用多分辨率深度特征框架对图像信息表示进行高效编码，从而达到无目标和高准确度的效果。Yang et al(2022)提出了一种基于深度学习的数字图像相关(DIC)方法，通过设计两个卷积神经网络，位移网络和应变网络，实现对位移和应变的直接端到端预测。Ye等人尝试将CCD相机应用于基于视觉的测量中，发现它不适合在黑暗或朦胧的条件下使用。
这种基于图像的测量系统虽然有助于克服传统传感器的问题，也无法解决在夜晚无光环境下的位移测量，此时只能布置LED灯等需要进行供电的发光靶标，但需要布设大量的电线形成供电系统，而常规中小桥梁的健康监测系统往往系统分散性强、规模较小、供电和有线通讯条件不完备、管养单位对系统造价敏感，因而在桥梁轻量化快速测量中面临挑战。
发明内容
发明目的：本发明的目的在于提供一种基于红外靶标的在线式相机位移轻量化测量方法及系统，可实现工程结构动态位移在夜晚无光环境下的位移测量，以克服可见光相机在低能见度光照下需要布设繁琐供电系统问题。
技术方案：本发明的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，包括以下步骤：
步骤1、通过隔热材料制作靶标平板，并在靶标平板中心上镂空一个圆形椭圆特征与背景形成温度差异，在靶标表面喷设石墨烯涂料层增强红外辐射率，从而在红外热像图上形成对比度差异，得到无源特征靶标；
步骤2、在桥梁待测量截面安装的目标区域布置无源特征靶标，利用红外热成像相机采集无源特征靶标的红外热像图；
步骤3、将红外热像图输入深度学习网络，提取复杂场景下的特征靶标以实现环境光变化下精确定位靶标；
步骤4、基于融合边缘保护滤波和自适应灰度拉伸的红外增强算法，平滑红外热像图的高斯噪声以及椒盐噪声并进行对比度提升；
步骤5、采用基于多项式插值的亚像素边缘定位算法，得到靶标中心点的亚像素级别位移轨迹，利用DBSCAN聚类和RANSAC提纯剔除掉有遮挡物时所有的非边缘点，从而得到无源靶标圆形特征的中心，通过定位无源靶标中心，对桥梁的位移进行测量。
进一步的，基于红外热成像的无源靶标设计和制作，原理如下：
红外热成像仪利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。热成像镜头与可见光摄像机镜头不同，采用的是锗玻璃镜头，通过和滤光片组合可以滤除不需要的其他频段的能量，只保留有效的红外波段。经光学系统会聚后，把接收的红外光波映射至二维的红外焦平面探测器上。焦平面探测器中的单个像元中的吸收层接收到红外辐射能量后产生温度变化，进而导致非晶硅热敏电阻的阻值变化，最后，互补式金属氧化物半导体电路将热敏电阻阻值的变化转变为差分电流并进行积分放大，得到红外热焦平面阵列中单个像元的输出值。通过以上红外热成像技术，可以探测物体本身温度导致的红外热辐射，产生与景物热辐射分布相对应的红外热成像图像。热成像仪有多种彩色模式可以选择，这些模式用于不同的场景，黑热成像模式效果和人眼看到的比较一致，符合人使用习惯，本发明采用黑热模式进行热图像的采集，具体流程如图2所示。
在测量目标方面，目标物体发射出的红外能并不是仅由温度这一个因素来决定的。还需要考虑发射率。一个物体的发射率受到材料本身、表面状态、反射率和不透明度的影响。发射率的科学定义是在某一特定温度下物体发射出的红外能与理论上在没有损失时的完全值的比例。换句话讲，发射率就是一个物体实际发射的红外能与其理论值的比率。这一值介于0.000和1.000之间。发射率如果能够达到理论上没有损失的完全值，则称之为黑体。黑体是一个完美的发射器，因为它理论上发射100％红外能，所以它的发射率值为1.000。一个物体如果发射出60％的理论上的红外能值，则称其发射率值为0.600。目标物体的发射率受材料属性的影响较大。大多数非金属材料的发射率值接近0.9，表示所测90％的辐射由目标发出。大多数抛光金属的发射率值约为0.05至0.1，其表面所测多为反射热辐射。根据氧化或腐蚀的不同程度，生锈、被氧化或被腐蚀金属的发射率值范围为0.3至0.9。如果不能通过某种方式提高目标物体的发射率值，那么，发射率低于0.7的材料将会很难测量。为了靶标长期稳定性，本发明的无源靶标采用隔热性能较好的非金属隔热材料，他是由云母和树脂构成。
进一步地，本发明提出石墨烯材料作为无源靶标涂层以提高红外成像效果，石墨烯材料可有效提高物体红外发射率，最高可达0.98，相同温度下，能一定程度提高物体成像的灰度对比度差异。石墨烯涂料是以高纯石墨烯饼为固体分散状、有机溶剂以及树脂粘合剂制成的液态分散液。采用固定碳含量>99％高纯度、超细粒子、分散性强和化学稳定的树脂混合而成的散热涂料。热量会激发涂层材料中石墨烯晶格结构的不规则振动，这些晶格振动直接激发石墨烯的二维碳质平面结构持续高效的产生远红外线，将热量以辐射形式向外传递。
进一步的，步骤3中，所述深度学习网络为YOLO目标检测网络，根据红外热像图边界框的坐标从原始图像中提取测量对象。可利用YOLO目标检测网络快速精确地识别结构上安装的靶标，然后根据边界框的坐标从原始图像中提取测量对象。所提出方法中的目标检测只需要检测具有明显镂空圆形特征的靶标，因此直接选择了最新的YOLO v7网络作为本发明的目标检测网络，其他目标检测算法也可以用于检测校准对象。
进一步的，步骤4中，本发明提出融合边缘保护滤波和自适应灰度拉伸的红外增强算法进行图像改善。目前市场上主流的热红外摄像机产品的图像分辨率较低。为此，要想利用热红外图像进行更高精度的图像定位侦测，需要有特殊的图像综合处理技术来支持，在本发明中，红外图主要应针对热图像的低信噪比提升、对比度增强等方面。
首先，本方法致力于热图像的低信噪比提升。由于热量引起的大气分子运动和红外成像系统中探测器焦平面阵列不均匀造成的固定噪声都会在成像时产生影响，所以红外图像中含有较多的噪声成分，采用Simon Reich提出的保边滤波算法能有效的保持图像细节信息，特别是所需要的特征靶标的圆形边缘信息，并将其加以改正以应用到本发明热像仪所采集到的灰度图中。
具体的流程为：
(1)首先，将图像划分为大小为N＝k·l的子窗口Ψ，其中每个子窗口相对于最后一个子窗口移动一个像素，使得图像中有多少像素就有多少子窗口。
(2)然后使用高斯核平滑每个子窗口。对于每个以像素位置(i，j)为中心的子窗口，在灰度域中计算距离矩阵Δ(i，j)和平均距离通过阈值τ(它定义了噪声和边缘之间的阈值)判断噪声，将子窗口中像素的颜色值移动到子窗口的平均颜色。
子窗口Ψ的大小为k·l，在子窗口中的像素位置定义为(r，s)。子窗口中像素距离分量存储在矩阵Δ(i，j)中，
是子窗口中灰度信息的平均值。对于子窗口Ψ(i，j)，平均像素距离分量为
通过设置τ阈值，本方法区别出所需的边缘信息、噪声还是其他不需要操作的像素。如果的值比较小，但是其中一个像素包含丰富的灰度颜色信息，即/>的值过大，这时应视他为噪声外点需要取代。其他的情况则不要进行操作。
(3)进一步地，进行热图像对比度增强。环境中各物体的热交换时刻都在发生，而大气在不同物体热交换中起到了介质的作用，因此使得背景或目标物体局部范围内温度差异不会很大，就会导致图像所有像素的灰度值分布不均匀，而是集中在某一特定的小区域，导致图像中的所有信息的灰度值都很接近，即对比度差，很难从图像中分辨出某一特征的信息。在(1)(2)步骤中已经选取具有和背景有一定对比度差异的无源靶标，因此本发明进一步采用自适应灰度拉伸方法，通过增大灰度间距来增大反差，即将图像的灰度级别由集中在某一小部分灰度级分散成在所有灰度级别都有一定的覆盖，进而增强对比度使得图像的细节变得更加清晰。
在图像区域中，像素位置定义为(i，j)，像素灰度值G(i,j)，区域内去噪后灰度最大和最小值为maxG和minG，那么经过灰度拉伸后该像素位置处的灰度定义为：
进一步的，所述步骤(5)中的基于亚像素边缘检测和提纯优化策略的椭圆中心定位方法，原理及步骤如下：
所采用的圆形特征靶标在透视投影变换中往往变为椭圆，因此椭圆图像中心精确定位是视觉测量中的关键。本发明为了提高精度，采用亚像素的技术，在不改变硬件成本的前提下提高检测精度。此外，传统算法面对完整的椭圆时具有很好的识别效果，但是椭圆一旦面临遮挡时形成残缺的椭圆时这些算法即失效。因而，本发明提出了基于亚像素边缘检测和提纯优化策略的椭圆中心定位方法。
首先，本发明拟采用一种基于多项式插值的亚像素边缘定位算法，从而得到靶标中心点的亚像素级别位移轨迹。由于边缘的亚像素位置待求，所以边缘的灰度梯度方向未知，而已知的边缘点的灰度梯度方向是可以得到的，因此用已知的边缘点的梯度方向近似替代未知的亚像素点的梯度方向，并在此方向上进行插值以得到边缘的亚像素位置。对于灰度图像中任意点的梯度幅值用R表示，设R0为边缘点P0(m，n)的灰度梯度的模，RL，RR分别是在梯度方向上与P0点相邻的两像素点的梯度幅值，则经过推导可得亚像素点坐标为：
进一步地，利用DBSCAN聚类和RANSAC提纯剔除掉有遮挡物时所有的非边缘点。首先利用DBSCAN聚类算法将上一步亚像素边缘检测得到的边缘数据进行分类，由于噪点一般是随机出现且时间较短，因此聚类结果中的不属于任何簇的离群点即为噪点，将幅度较小的噪点分辨出来，最后再基于RANSAC剔除由于遮挡影响产生的新的边缘点从而得到椭圆的中心，原理图如图3中的(a)所示，图3中的(b)展示了关键步骤的效果示意图。
DBSCAN是一种基于密度的聚类算法，主要原理是通过数据间密度的连通性寻找不同形状的簇。DBSCAN需要提供两个参数：扫描半径(eps)和最小包含点数(minPts)。如果被选择点的直接密度可达点数量小于minPts，则定义该点为噪声点。DBSCAN只是粗略剔除去除不属于任何簇的噪声点，面对因为遮挡物的侵入而产生的新的边缘点簇，需要通过RANSAC方法进行椭圆边缘点提纯从而得到椭圆的中心。随机抽样一致性算法(RANSAC)是一种有效的参数估计算法，它可以从一组包含局内点和局外点的观测数据集中，将误差大的输入点剔除，生成一个误差较小的点集，称为内点集,，通过不断迭代的方式估计数学模型的参数，完成对观测数据集进行数学模型拟合的过程，实现对数据集的局外点进行剔除的目的。RANSAC需要k次迭代才能保证有概率p(0.95～0.99)可以选择到仅由内点组成的子集。如果假设每个测量被选取是互相独立的，则最小抽样数k必须满足：
1-[1-(1-ε)m]k＝p#
其中，ε为局外点在样本数据中所占的比例，m为计算模型参数所需的最小样本数量。由该式可知，在保证结果的置信度不变的情况下，ε变大，k增大；ε变小，k减小。
RANSAC椭圆提纯的具体步骤为：
1)通过上述DBSCAN去噪得到的亚像素边缘坐标作为输入。
2)随机取5个数据点进行椭圆方程拟合，并求出椭圆方程参数。
3)接着利用求得的椭圆模型进行数据点评估，判断条件为代数距离二范数，小于设定的阈值则认为是符合该椭圆模型的内点集。
4)判断求出的内点集数量是否大于上一次内点集数量，如果是，则更新最优内点集及最优椭圆模型。
5)判断最优内点集是否达到预期数量，如果是，则退出循环，输出最优椭圆模型。
6)完成椭圆的拟合并输出中心坐标。
本发明还公开一种基于红外靶标的在线式相机位移轻量化监测系统，所述方法利用红外热成像相机和无源靶标，设计在低能见度条件下使用的桥梁位移轻量化测量系统，通过由镂空圆形特征靶标与背景形成温度差异，并由石墨烯喷漆靶标表面增强红外发射率，进而利用图像处理技术进行目标位移测量。针对热成像原始图像质量不理想、噪声多以及靶标受到环境遮挡造成解算误差大的问题，提出了一种基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法，所提出的图像增强算法相对于未处理的图像，靶标中心定位的RMSE从0.0649mm降低至0.0185mm，所提出的提纯优化的亚像素椭圆中心定位算法相对于传统圆形检测能有效抵抗异物遮挡。并在实桥的跨中位移测量和拉索振动测量工程应用中，热成像与可见光相机和其他类型设备得到的结果均相差不大。
发明原理：红外热成像技术通过测量目标物体的红外辐射，经过光电转换、信号处理等手段，将目标物体的热分布数据转换成视频图像的设备，它不受可见光影响，可全天候工作，在夜间完全无光的情况下依然能清晰成像，可成为解决上述问题的有效手段。红外热像仪跟踪结构的温度信号，然后反演结构的特性，通过对比红外热像法和加速度计的测量结果，对红外热像法的可行性进行了实验研究。结果表明，由于热像仪的成像原理和图像处理工艺，即使在恶劣环境下，也能在固有频率偏差3.84％的范围内获得振动信号，这证明了热成像仪是光学相机的一种合适的非接触式SHM传感器的替代品。然而目前将红外热成像技术应用于桥梁位移测量的研究几乎没有。
因此，本发明提出了一种基于无源红外靶标的在线式相机位移轻量化测量方法及其监测系统，以克服可见光相机在低能见度光照下需要布设繁琐供电系统问题。
基于红外靶标辅助的桥梁位移轻量化测量方法提供了一种新的思路，进行桥梁位移测量的具体流程框架如图1所示，包括提出利用红外热成像相机和无源靶标的低能见度桥梁位移轻量化测量系统和基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法两部分内容。
(1)针对暗光或夜晚等光线差的恶劣环境中，可见光相机需要桥梁布设电线繁琐的问题。提出一种利用红外热成像相机和无源靶标的低能见度桥梁位移轻量化测量系统，靶标由隔热材料制成，靶标镂空一个圆形特征与背景形成温度差异，并由石墨烯喷漆靶标表面增强红外辐射率，从而在热成像图像上形成对比度差异，进而可利用图像处理技术进行目标位移测量，该系统安装轻量便捷，具备低能源依赖性；
(2)针对原始热图像的低信噪比、低对比度以及易受到环境遮挡的问题，提出一种基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法。首先利用深度学习自动提取复杂场景下的特征靶标以实现环境光变化下精确定位靶标，进而提出一种融合边缘保护滤波和自适应灰度拉伸的红外增强算法，以平滑红外图像的高斯噪声以及椒盐噪声并进行对比度提升。进一步地，提出一种基于DBSCAN聚类-RANSAC提纯的高鲁棒椭圆检测方法，以克服面对物体遮挡时通用的霍夫变换检测方法失效的问题。
有益效果：针对现有可见光相机在夜晚暗光条件下需要布设供电的有源靶标和繁琐电线问题，本发明所提出的一种基于红外靶标的在线式相机位移轻量化测量方法及其监测系统，与现有的桥梁位移测量方法有很大的不同，可以更加有效地对桥梁进行安全评估和维护管理，提高桥梁监测效率，是一种很有潜力的桥梁位移监测新方法，主要优势有：
(1)提出一种利用红外热成像相机和无源靶标的低能见度桥梁位移轻量化测量系统，通过由镂空圆形特征靶标与背景形成温度差异，并由石墨烯喷漆靶标表面增强红外发射率，进而利用图像处理技术进行目标位移测量，相比于可见光相机繁琐供电系统更为低成本与低能源依赖性；
(2)针对热成像原始图像质量不理想、噪声多以及靶标受到环境遮挡造成解算误差大的问题，提出了一种基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法，所提出的图像增强算法相对于未处理的图像，靶标中心定位的RMSE从0.0649mm降低至0.0185mm，所提出的提纯优化的亚像素椭圆中心定位算法相对于传统圆形检测能有效抵抗异物遮挡，本发明所提出的方法能有效提高结果解算精度和鲁棒性。
(3)所提出方法在保持与工程应用成熟的设备一致的精度条件下，在桥梁工程暗光现场无需有源靶标，验证了该方法的准确性和可行性，具备轻量化和低碳优势，有较大的工程应用前景。
附图说明
图1为该发明的总流程图；
图2为所提出红外热成像和无源靶标测量方法图；
图3(a)为椭圆中心定位方法示意图，(b)为关键步骤的效果示意图；
图4为精度试验验证现场布置图；
图5为6米处的动态往复运动位移曲线图；
图6为不同距离下最大动态位移示值误差图；
图7为实桥试验现场布置图；
图8为白天过车动态位移曲线图；
图9为白天过车动态位移曲线图(30秒放大)；
图10为夜晚实桥试验现场布置图；
图11为夜晚过车动态位移曲线图；
图12为夜晚过车动态位移曲线图(30秒放大)。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
在实验室环境下，为了验证所提出的结构位移测量方法的有效性，与现在桥梁通用的可见光相机和有源靶标组合模式进行了对比，进行了由线性执行器触发的步进测试和往复运动的动态测试。位移台系统由DM542步进驱动器，步进伺服电机液晶控制器，直流开关电源三部分组成，通过编程可实现控制目标竖向的位移动态测试时进行幅值为40mm的往复运动，运动绝对最大值为80mm。测试现场布置图如图4所示，热成像在前述已经介绍，可见光图像拍摄部分由海康工业相机MV-CA050-20UM完成，分辨率为2592pixel×2048pixel，像元尺寸为4.8微米，帧频最大71.8fps，采用工业镜头，焦距为25mm。工业相机和热成像采集的图像通过千兆以太网网线传输到笔记本电脑。LED灯靶和无源靶标均固定在位移台同一个位移滑块上。
图5为6米处测量距离动态位移测量的实验结果，共进行三次往复运动，运动量程为80mm，其中蓝色曲线代表热成像相机所得到的位移，红色曲线代表可见光相机所测结果。可见本文提出的基于热成像的方法的测量结果与可见光和位移滑台的测量结果一致。为了进一步比较所提出方法的精度，我们计算热成像与可见光三次往复运动的示值进行误差计算和分析，假设位移滑台步进值为真值。误差结果如表1所示。从表1中可以看出，基于热成像的方法与位移滑台最大误差0.2474mm，最大相对误差0.31％，基于可见光的方法与位移滑台最大误差0.1944mm，最大相对误差0.24％。热成像方法误差虽然稍大于可见光方法，但已完全满足实际工程误差要求。
表1两种方法的数据比较
图6为不同距离测量下距离动态位移测量的实验结果，分别为3m，6米，9米，12米，15米，取各次的最大动态位移示值误差进行对比，其中红色柱形代表热成像相机的误差结果，灰色柱形代表可见光相机误差结果。可见本发明提出的基于热成像的方法的测量结果与可见光的测量结果基本保持一致。并且两种方法均随着距离的增大而增大，在15米距离处，热成像最大误差为0.93mm，最大相对误差为1.16％，可见光最大误差为0.88mm，最大相对误差为1.10％，热成像方法误差虽然稍大于可见光方法，但已完全满足实际工程误差要求。
实施例
下面利用实际桥梁竖向位移测量案例来说明所提出的一种基于红外靶标的在线式相机位移轻量化测量方法实施步骤。
为了进一步验证本文所提出位移轻量化测量方法的在实际桥梁应用的有效性，在南京江宁区方山大桥上进行测试。测试的某跨T梁跨度为25米，桥面宽8米，为双向两车道。白天所测试的时间为下午5点左右，夜晚所测试的时间为晚上8点左右，该桥为乡镇间交通要道，车流较多，主梁在车流荷载下会产生较为明显的过车下挠变形。所采用的热成像相机和可见光相机信息与前述试验一致，同时采用微波雷达设备布置于靶标底部进行对比验证，距离梁底约1米，引入基于结构变形连续性的自适应相位解缠绕技术实现被测结构大变形的高精度测量，精度达0.01mm，以验证光学系统所测量位移的有效性。现场布置如图7所示。
使用本研究所提出方法以及可见光相机方法对该跨桥梁进行白天位移测试，所得到的动态过车位移曲线如图8所示，并与微波雷达测得结果进行对比。为了更直观的展示结果，选取其中30秒时长数据进行放大，共有6次明显过车变形。6次过车结果如表2所示，可见本研究所提出的热成像方法与通用的有源LED方法以及微波雷达得到的动态位移具有较好的一致性。
表2白天和夜间三种测量方法的比较
如图10所示，对该跨桥梁进行夜晚位移测试，手电筒灯光打开仅为展示现场布置，所得到的动态过车位移曲线如图11所示，并与微波雷达测得结果进行对比。为了更直观的展示结果，选取其中30秒时长数据进行放大。前6次过车结果如表2所示，可见本研究所提出的热成像方法与通用的有源LED方法以及微波雷达得到的动态位移具有较好的一致性。
测试实桥的的全景图、监测目标、本发明的位移的监测结果比较如图所示，可得本发明可以更加有效地对桥梁进行安全评估和维护管理，提高桥梁检测效率，是一种很有潜力的位移监测新方法。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，包括以下步骤：
步骤1、通过隔热材料制作靶标平板，并在靶标平板中心镂空一个椭圆特征与背景形成温度差异，在靶标表面喷设石墨烯涂料层增强红外辐射率，从而在红外热像图上形成对比度差异，得到特征靶标；
步骤2、在桥梁待测量截面安装特征靶标，利用红外热成像相机采集特征靶标的红外热像图；
步骤3、将红外热像图输入深度学习网络，提取复杂场景下的特征靶标以实现环境光变化下精确定位靶标；
步骤4、基于融合边缘保护滤波和自适应灰度拉伸的红外增强算法，平滑红外热像图的高斯噪声以及椒盐噪声并进行对比度提升；
步骤4中，所述基于融合边缘保护滤波和自适应灰度拉伸的红外增强算法具体包括如下步骤：
步骤4.1、将图像划分为大小为N＝k·l的子窗口Ψ，其中每个子窗口相对于最后一个子窗口移动一个像素，使得图像中子窗口的数量与像素的数量相对应；
步骤4.2、使用高斯核平滑每个子窗口；对于每个以像素位置(i，j)为中心的子窗口，在灰度域中计算距离矩阵Δ(i，j)和平均距离通过阈值τ判断噪声，阈值τ为定义了噪声和边缘之间的阈值，将子窗口中像素的颜色值移动到子窗口的平均颜色；
子窗口Ψ的大小为k·l，在子窗口中的像素位置定义为(r，s)，子窗口中像素距离分量存储在矩阵Δ(i，j)中，
是子窗口中灰度信息的平均值，对于子窗口Ψ(i，j)，平均像素距离分量为
通过设置τ阈值，区别出所需的边缘信息、噪声还是无关像素，如果的值较小，但其中一个像素包含丰富的灰度颜色信息，即/>的值过大，将其视为噪声外点需要取代，其他的情况则不要进行操作；
步骤4.3、进行热图像对比度增强，采用自适应灰度拉伸方法，通过增大灰度间距来增大反差，即将图像的灰度级别由集中在某一小部分灰度级分散成在所有灰度级别都有相应覆盖，进而增强对比度使得图像的细节变得更加清晰，在图像区域中，像素位置定义为(i，j)，像素灰度值G(i,j)，区域内去噪后灰度最大和最小值为maxG和minG，则经过灰度拉伸后该像素位置处的灰度定义为：
步骤5、采用基于多项式插值的亚像素边缘定位算法，得到靶标中心点的亚像素级别位移轨迹，利用DBSCAN聚类和RANSAC提纯剔除掉有遮挡物时所有的非边缘点，从而得到靶标椭圆特征的中心，通过定位靶标中心，对桥梁的位移进行测量。
2.根据权利要求1所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，步骤1中，所述隔热材料为云母和树脂构成的混合材料；所述石墨烯涂料层是以高纯石墨烯饼为固体分散状、有机溶剂以及树脂粘合剂制成。
3.根据权利要求1所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，步骤2中，所述红外热成像相机采用黑热模式进行红外热像图的采集。
4.根据权利要求1所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，步骤3中，所述深度学习网络为YOLO目标检测网络，根据红外热像图边界框的坐标从原始图像中提取测量对象。
5.根据权利要求1所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，步骤5中，所述基于多项式插值的亚像素边缘定位算法具体为：
对于灰度图像中任意点的梯度幅值用R表示，设R0为边缘点P0(m，n)的灰度梯度的模，RL，RR分别是在梯度方向上与P0点相邻的两像素点的梯度幅值，则经过推导可得亚像素点坐标为：
6.根据权利要求1所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，步骤5中，所述利用DBSCAN聚类和RANSAC提纯剔除掉有遮挡物时所有的非边缘点具体为：
DBSCAN是一种基于密度的聚类算法，需要提供两个参数：扫描半径eps和最小包含点数minPts，如果被选择点的直接密度可达点数量小于minPts，则定义该点为噪声点，DBSCAN粗略剔除去除不属于任何簇的噪声点，面对因为遮挡物的侵入而产生的新的边缘点簇，需要通过RANSAC方法进行椭圆边缘点提纯从而得到椭圆的中心，RANSAC的需要k次迭代才能保证有概率p选择到仅由内点组成的子集，如果假设每个测量被选取是互相独立的，则最小抽样数k必须满足：
1-[1-(1-ε)m]k＝p
其中，ε为局外点在样本数据中所占的比例，m为计算模型参数所需的最小样本数量，由该式可知，在保证结果的置信度不变的情况下，ε变大，k增大；ε变小，k减小。
7.根据权利要求1或6所述的一种基于红外靶标的在线式相机位移轻量化测量方法，其特征在于，RANSAC椭圆提纯的具体步骤为：
步骤8.1、通过上述DBSCAN去噪得到的亚像素边缘坐标作为输入；
步骤8.2、随机取5个数据点进行椭圆方程拟合，并求出椭圆方程参数；
步骤8.3、接着利用求得的椭圆模型进行数据点评估，判断条件为代数距离二范数，小于设定的阈值则认为是符合该椭圆模型的内点集；
步骤8.4、判断求出的内点集数量是否大于上一次内点集数量，如果是，则更新最优内点集及最优椭圆模型；
步骤8.5、判断最优内点集是否达到预期数量，如果是，则退出循环，输出最优椭圆模型；
步骤8.6、完成椭圆的拟合并输出中心坐标。
8.一种基于红外靶标的在线式相机位移轻量化监测系统，其特征在于，包括红外热成像相机、特征靶标和深度学习网络；通过红外热成像相机、特征靶标和深度学习网络执行如权利要求1所述的基于红外靶标的在线式相机位移轻量化测量方法；通过由镂空椭圆特征靶标与背景形成温度差异，并由石墨烯喷漆靶标表面增强红外发射率，进而利用图像处理技术进行目标位移测量；并基于热成像图像增强和提纯优化的亚像素椭圆中心定位算法对靶标中心进行定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739084.XA CN116734744B (zh) | 2023-06-21 | 2023-06-21 | 基于红外靶标的在线式相机位移轻量化测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310739084.XA CN116734744B (zh) | 2023-06-21 | 2023-06-21 | 基于红外靶标的在线式相机位移轻量化测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116734744A CN116734744A (zh) | 2023-09-12 |
| CN116734744B true CN116734744B (zh) | 2024-04-05 |
Family
ID=87900872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310739084.XA Active CN116734744B (zh) | 2023-06-21 | 2023-06-21 | 基于红外靶标的在线式相机位移轻量化测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116734744B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118297837B (zh) * | 2024-04-26 | 2024-09-13 | 陕西盈建仕航科技有限责任公司 | 基于图像处理的红外模拟器虚拟图像增强系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103256985A (zh) * | 2013-02-28 | 2013-08-21 | 北京振兴计量测试研究所 | 一种适应宽温范围环境的透射式红外温差标准源 |
| CN110345878A (zh) * | 2019-08-19 | 2019-10-18 | 云南航天工程物探检测股份有限公司 | 一种基于红外靶标技术的隧道变形自动监测系统及方法 |
| CN110926620A (zh) * | 2018-09-19 | 2020-03-27 | 北京振兴计量测试研究所 | 一种基于单晶硅基底的红外靶标及其制作方法、保护结构 |
| CN210946763U (zh) * | 2019-08-12 | 2020-07-07 | 陕西交建公路工程试验检测有限公司 | 一种边坡形变监测系统 |
| CN113483975A (zh) * | 2021-06-28 | 2021-10-08 | 同济大学 | 一种高精度视觉挠度监测系统 |
| CN113566968A (zh) * | 2020-04-29 | 2021-10-29 | 上海宝信软件股份有限公司 | 采用红外视觉识别进行铁钢包号码识别的系统和方法 |
| CN115717865A (zh) * | 2022-10-26 | 2023-02-28 | 东南大学 | 环形结构全场变形测量方法 |
| CN115790387A (zh) * | 2022-11-03 | 2023-03-14 | 东南大学 | 基于在线式相机的桥梁位移转角同步实时监测方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL2024966B1 (en) * | 2020-02-21 | 2021-10-06 | Fnv Ip Bv | Apparatus and method for measuring locations on an object |
-
2023
- 2023-06-21 CN CN202310739084.XA patent/CN116734744B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103256985A (zh) * | 2013-02-28 | 2013-08-21 | 北京振兴计量测试研究所 | 一种适应宽温范围环境的透射式红外温差标准源 |
| CN110926620A (zh) * | 2018-09-19 | 2020-03-27 | 北京振兴计量测试研究所 | 一种基于单晶硅基底的红外靶标及其制作方法、保护结构 |
| CN210946763U (zh) * | 2019-08-12 | 2020-07-07 | 陕西交建公路工程试验检测有限公司 | 一种边坡形变监测系统 |
| CN110345878A (zh) * | 2019-08-19 | 2019-10-18 | 云南航天工程物探检测股份有限公司 | 一种基于红外靶标技术的隧道变形自动监测系统及方法 |
| CN113566968A (zh) * | 2020-04-29 | 2021-10-29 | 上海宝信软件股份有限公司 | 采用红外视觉识别进行铁钢包号码识别的系统和方法 |
| CN113483975A (zh) * | 2021-06-28 | 2021-10-08 | 同济大学 | 一种高精度视觉挠度监测系统 |
| CN115717865A (zh) * | 2022-10-26 | 2023-02-28 | 东南大学 | 环形结构全场变形测量方法 |
| CN115790387A (zh) * | 2022-11-03 | 2023-03-14 | 东南大学 | 基于在线式相机的桥梁位移转角同步实时监测方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 童胜杰.基于机器视觉的工业机器人打磨目标识别与定位算法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2022,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116734744A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109804232B (zh) | 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 | |
| Tang et al. | Novel visual crack width measurement based on backbone double-scale features for improved detection automation | |
| Luo et al. | Autonomous detection of damage to multiple steel surfaces from 360 panoramas using deep neural networks | |
| CN116734744B (zh) | 基于红外靶标的在线式相机位移轻量化测量方法及系统 | |
| Jiang et al. | A robust line-tracking photogrammetry method for uplift measurements of railway catenary systems in noisy backgrounds | |
| Lu et al. | Vision-based structural displacement measurement under ambient-light changes via deep learning and digital image processing | |
| CN106682674B (zh) | 一种基于智能巡检机器人的指针式仪表自动读数方法 | |
| Chen et al. | Quantify pixel-level detection of dam surface crack using deep learning | |
| Xing et al. | Improved yolov5-based uav pavement crack detection | |
| Li et al. | A grid‐based classification and box‐based detection fusion model for asphalt pavement crack | |
| Chen et al. | The devil is in the crack orientation: A new perspective for crack detection | |
| Jiang et al. | Full-field deformation measurement of structural nodes based on panoramic camera and deep learning-based tracking method | |
| Guan et al. | Multi-scale asphalt pavement deformation detection and measurement based on machine learning of full field-of-view digital surface data | |
| Lin et al. | Accurate measurement of bridge vibration displacement via deep convolutional neural network | |
| Zhang et al. | Real-time pavement damage detection with damage shape adaptation | |
| Zhu et al. | High precision rail surface obstacle detection algorithm based on 3D imaging LiDAR | |
| Gao et al. | Low saliency crack detection based on improved multimodal object detection network: an example of wind turbine blade inner surface | |
| Liu et al. | A novel scratch detection and measurement method for automotive stamping parts | |
| Su et al. | Thermography measurement for bridge displacement in the darkness using power-free target | |
| Zhang et al. | Computer vision-based real-time monitoring for swivel construction of bridges: from laboratory study to a pilot application | |
| Yi et al. | Tire body defect detection: From the perspective of industrial applications | |
| CN115330832A (zh) | 一种基于计算机视觉的输电铁塔全自由度位移监测系统和方法 | |
| Yu et al. | Machine Learning‐Based Distraction‐Free Method for Measuring the Optical Displacement of Long‐Span Bridge Structures | |
| CN115393387A (zh) | 一种建筑物位移监测方法和装置 | |
| Wen et al. | Structural displacement measurement using deep optical flow and uncertainty analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |