CN117422679B - 一种基于时序图像和稠密光流估计的裂缝变化监测方法 - Google Patents
一种基于时序图像和稠密光流估计的裂缝变化监测方法 Download PDFInfo
- Publication number
- CN117422679B CN117422679B CN202311363480.3A CN202311363480A CN117422679B CN 117422679 B CN117422679 B CN 117422679B CN 202311363480 A CN202311363480 A CN 202311363480A CN 117422679 B CN117422679 B CN 117422679B
- Authority
- CN
- China
- Prior art keywords
- crack
- sequence
- time
- optical flow
- sequences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 79
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008859 change Effects 0.000 title claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 238000005286 illumination Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000006073 displacement reaction Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 16
- 230000001154 acute effect Effects 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时序图像和稠密光流估计的裂缝变化监测方法；包括获得被监测场景时序图像序列；对时序图像序列进行空间位置配准和光照校正；对相邻的两图像进行稠密光流估计得到时序光流序列；在指定的裂缝点周围寻找两个能分别代表裂缝两侧表面结构运动变化的区域，并计算区域内平均时序光流序列得到两组时序运动序列；对其分别累加后得到两组时序位置序列，分别使用最小二乘法拟合序列，用于估计表面结构的运动方向，进而计算两方向的夹角，完成对裂缝错动夹角的监测；估计裂缝总体变化方向，将两组时序位置序列向此方向进行投影，计算投影后两组序列中各点的距离，完成对裂缝宽度变化的监测。
Description
技术领域
本发明属于裂缝监测技术领域，主要涉及一种基于时序图像和稠密光流估计的裂缝变化监测方法。
背景技术
裂缝在人类日常生产生活中非常常见，它们可能出现在不同的材料、结构、地质环境中。人造物如建筑物表面、道路表面、材料表面出现裂缝会带来极大的安全隐患，而自然界中土体、岩石、冰川等表面出现裂缝，则有可能预示着自然灾害的发生。因此，对裂缝有着长时间、持续性的监测具有重要的意义。
随着云计算、物联网技术的不断发展，现阶段出现了采用监控连续拍摄、实时上传的方式采集裂缝图像时序数据的数据采集方式，在此基础之上探索出一种合适的裂缝变化监测算法具有较大的意义。
裂缝监测作为计算机视觉的经典问题，已经有了数十年的研究。主流的裂缝监测算法主要针对于单张图像的分析，通过图像处理算法对裂缝处进行分割提取，计算裂缝宽度。将此应用于时序图像，可计算形成裂缝变化的时序结果。但是，主流的裂缝监测算法存在着以下几个缺点：
一是分割精度不足，误分概率大。在常见的裂缝监测场景下，如混凝土表面裂缝、土壤表面裂缝、道路表面裂缝等，被监测物体的表面极为粗糙，分割算法不能很好地区分微小的结构裂缝和固有纹理。
二是对于监督学习的分割算法，缺乏相应的数据。开源裂缝数据集一般为现代道路表面、钢筋混凝土建筑物表面等场景，小众场景下的有标记裂缝图像数据较少，只能采用迁移学习的方式进行分析计算，导致精度不佳。
三是对于裂缝宽度计算较为困难。主流的缝隙监测算法因为只从裂缝本身进行测量，但许多微小裂缝的宽度小于一个像素，导致测量相对误差较大。
四是只能计算裂缝型状、宽度，无法对裂缝错动情况进行分析。
因此，针对现有主流的裂缝监测算法存在的上述四个缺点，迫切地需要一种裂缝变化监测方法，分析裂缝两侧的变化趋势，实现对裂缝宽度、错动情况的监测。
发明内容
鉴于上述，本发明的目的是提供一种基于时序图像和稠密光流估计的裂缝变化监测方法，对校正后时序图像的前后两帧进行稠密光流估计，利用光流结果来分析裂缝两侧的变化趋势，实现对裂缝宽度、错动情况的监测。
为达到上述目的，本发明提供的一种基于时序图像和稠密光流估计的裂缝变化监测方法，包括以下步骤：
步骤1，获取裂缝检测区域的时序图像序列，并对时序图像序列依次进行空间位置配准和全局光照矫正，得到全局光照矫正后时序图像序列；
步骤2，基于全局光照矫正后时序图像序列中相邻图像进行光流估计，得到时序光流序列；
步骤3，在预先确定裂缝上的监测点周围找到两个分别能代表裂缝两侧表面结构运动变化的区域，并根据时序光流序列计算区域内的平均时序光流序列，得到两组时序运动序列；
步骤4，分别对两组时序运动序列进行逐项累加，得到两组代表裂缝两侧表面结构相对位置的两组时序位置序列；
步骤5，基于两组时序位置序列分别拟合裂缝两侧的表面结构位移方向，得到裂缝错动夹角；
步骤6，依表面结构位移方向估计裂缝总体变化方向，将时序位置序列向裂缝总体变化方向投影后，计算对应的裂缝宽度变化情况。
优选地，对时序图像序列进行空间位置配准时，使用基于图像特征点匹配的算法进行图像配准，依次实现Oi+1向O′i的配准，得到配准后的时序图像序列O′i，i＝1，2，...，n。
优选地，步骤2，包括：
将全局光照矫正后的时序图像序列由RGB色彩空间转换到灰度色彩空间，得到灰度时序图像序列Gi，i＝1，2，...，n，对灰度时序图像Gi，使用Farneback稠密光流算法对Gi向Gi+1的变化进行稠密光流估计，得到稠密光流结果为L(i)(i+1)，稠密光流结果L(i)(i+1)由W*H个二维向量组成，其中坐标为(x，y)的二维向量代表图像Gi向Gi+1变化时，点(x，y)位置像素的运动情况；对灰度时序图像序列中的所有灰度时序图像进行稠密光流估计，得到由n-1个稠密光流估计结果L(i)(i+1)构成的时序光流序列L(i)(i+1)，此时，i＝1，2，...，n-1。
优选地，步骤3，包括：
预先确定裂缝上的监测点记作A，以监测点A为圆心，绘制一个半径不小于两倍裂缝宽度的圆，在圆周上进行等间隔采样m个点，得到采样点记为Bj，其坐标为
计算以采样点为中心，边长为Δa的正方形区域Cj内的稠密光流估计结果L(i)(i+1)的平均值/>作为一个平均光流运动，对所有时序光流序列上所有采样点进行计算，得到m组长度为n-1的平均光流运动序列/>并记为/>
计算m组平均光流运动序列中距离最远的两组序列，其下标分别记为p，q，两组序列分别代表裂缝在采样点Bp侧和采样点Bq侧的表面结构的时序运动序列
优选地，时序运动序列的计算方法具体为：p，q的值为取最大值时k，j的值，且/>
优选地，步骤4，包括：
对两组裂缝两侧表面结构的时序运动序列分别以(0，0)点位置为起点，依次累加，得到对应Bp，Bq区域的表面结构在Ti时刻相对于T1时刻的时序位置和/>其中mp1＝mq1＝(0，0)，i＝2，3，...，n，进而得到时序位置序列{mpi，i＝1，2，…，n}和{mqi，i＝1，2，…，n}。
优选地，步骤5，包括：
对两组时序位置序列mpi和mqi，分别使用最小二乘法拟合估计结构位移方向，得到两条直线lp和lq，分别为表示裂缝两侧表面结构位移的总体轴线；
在两组时序位置序列mpi和mqi中选择同一时刻下距离最远的对应点对mpmax和mqmax；
对于时序位置序列mpi，计算从(0，0)点到mpmax点的二维向量取直线lp的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bp的侧表面结构位移主方向/>
对于时序位置序列mqi，采用相同的方法确定裂缝在采样点Bq侧的表面结构位移主方向即计算从(0，0)点到mqmax点的二维向量/>取直线lq的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bq的侧表面结构位移主方向
根据两组确定的表面结构位移主方向，计算裂缝变化的错动角度θpq。
优选地，步骤6，包括：
依据两个表面结构位移方向和/>计算两者角平分线的方向 代表对裂缝本体走向的估计；
计算与方向向量垂直的方向/>代表对裂缝宽度收缩、扩张方向的估计；
将方向表示成/>的形式，将两组时序位置序列mpi和mqi上的点分别向lc投影，得到两组投影后时序位置序列mppi和mpqi，其中，lc为：/>
根据两组投影后时序位置序列mppi和mpqi计算Ti时刻相对距离的变化Di，并根据裂缝的扩张还是收缩决定Di的正负号，得到的序列Di代表Ti时刻相对于时刻T1的裂缝宽度的变化情况。
优选地，Di的正负号根据以下步骤判断：
(a)分别计算区域Bp和区域Bq到直线lc的投影B′p和B′q，计算两点之间的距离为
(b)计算B′p沿方向运动/>后的点/>同理计算B′q沿方向/>运动/>后的点/>
(c)分别计算B″p和B″q到直线lc的投影B″′p和B″′q，计算B″′p和B″′q的距离
(d)根据选取的点对mpmax和mqmax，计算 为满足Di＞0时表示裂缝扩张，Di＜0时表示裂缝收缩，需在Di计算时选择合适的正负号，满足当/>时，选择符号使得Dmax＜0。反之，需使得Dmax＞0。
与现有技术相比，本发明具有的有益效果至少包括：
1.通过图像分析手段得到裂缝两侧区域表面结构随时间运动的定量关系，在一定程度上避免了裂缝过小、型状不规则给裂缝变化监测带来的精度下降的问题。
2.本方法得到的裂缝变化监测结果可以为裂缝类型判别、裂缝成因溯源裂缝修复评估等工作提供一定的依据。
3.本方法适用于多种不同场景下的裂缝监测数据，可迁移性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于时序图像和稠密光流估计的裂缝变化监测方法的流程图：
图2为实施例提供的输入时序图像序列示意图；
图3为实施例提供的图像配准前效果示意图；
图4为实施例提供的图像配准、裁剪后效果示意图；
图5为实施例提供的两张图像之间的光流估计结果示意图；
图6为实施例提供的步骤5对应的操作示意图；
图7为实施例提供的裂缝两侧表面结构相对于初始位置的位移可视化展示结果图；
图8为实施例提供裂缝宽度变化可视化展示结果图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
以下对本发明中涉及的定义或概念内涵做以说明解释：
OpenCV开源库：OpenCV是一个开源的计算机视觉库，旨在提供一系列用于处理图像和视频的功能和工具。它由一组高效且优化的算法组成，用于在计算机视觉领域进行各种任务，如图像处理、对象检测、人脸识别、摄像机标定、机器学习等。
torchvision开源库：torchvision是一个开源的计算机视觉库，是PyTorch生态系统的一部分，用于在深度学习中处理图像和视频数据。其提供了许多常用的数据集、数据变换、模型架构和图像处理工具。
稠密光流估计：稠密光流估计是计算机视觉领域的一项重要任务，旨在分析时序图像序列中相邻帧之间的像素级运动信息。光流是描述图像中像素在时间上的移动模式的概念，稠密光流估计就是要为每个像素计算出其在相邻帧之间的运动向量。
实施例提供的基于时序图像和稠密光流估计的裂缝变化监测方法，通过对表面结构时序图像进行光流估计，从而得到其表面结构运动趋势，并在此基础之上对表面裂缝的变化情况进行监测。如图1所示，包括以下步骤：
S110，获取裂缝检测区域的时序图像序列，并对时序图像序列依次进行空间位置配准和光照矫正，得到处理后时序图像序列。
实施例中，裂缝检测区域的时序图像序列为对同一场景进行定时拍摄所得到，且包含时间标签的一组图像Oi(i＝1，2，...，n)，每张图像对应的时间记为Ti(i＝1，2，...，n)，如图2所示为获取的时序图像序列，该组时序图像序列拍摄方位大体不变，但存在镜头角度随机偏移、环境光照具有差异的特征。
实施例中，对时序图像序列进行空间位置配准时，使用基于图像特征点匹配的算法进行图像配准，具体对于图像O2，进行O2向O1的配准得到O′2。对于后续图像，依次实现Oi+1向O′i的配准，得到配准后的时序图像序列O′i(i＝1，2，...，n)，特别地，O′1＝O1。如图3所示为配准前效果，图像位置有偏移；如图4所示为配准后效果，图像位置正确，阴影部分为裁剪后所剩余区域。通过基于图像特征点匹配的算法，利用了时序图像序列拍摄方位大体不变的特征，对匹配得到的特征点对进行了筛选，去除了空间位置距离过远的特征点对。
具体地，空间位置配准过程为：
(a)选取第1、2张图像O1、O2。
(b)使用OpenCV开源库中SIFT_create函数提取两张图像的特征点，应确保设置合理阈值，使所得的特征点数量不小于5000。
(c)使用OpenCV开源库中FLANN算法库，将检测完成的特征点进行匹配，形成点对。在匹配完成后，利用时序图像序列偏移量有限的特性进行筛选，去除空间距离差异大于一定阈值的点对。阈值的选取应和时序图像序列的随机偏移程度相关，一般需要大于所有点对空间距离均值的2倍。
(d)利用步骤(c)得到的点对，使用OpenCV开源库中的findHomography函数计算所有点对之间的最优单映射变换矩阵，即均方误差最小的3行3列单映射变换矩阵。
(e)使用OpenCV开源库中的warpPerspective函数将变换矩阵应用于O2，实现O2向O1的配准得到O′2。
(f)对于后续图像，依次实现Oi+1向O′i的配准，得到配准后的时序图像序列，对配准后时序图像序列，选取合适的宽度，裁剪图像因变换带来的黑边。合适的宽度指保证图像序列均不存在黑边的情况下的小宽度。
实施例中，对配准后的时序图像序列O′i(i＝1,2，...，n)进行全局光照矫正，使得单张图像整体光照均匀，不存在突出的阴影区域、高光区域，使得图像之间不存在明显亮度差异。将完成全局光照校正后的时序图像序列记为Ii(i＝1,2，...，n)，序列中皆为宽度为W，高度为H的RGB图像。
具体地，全局光照矫正过程包括：
(a)将RGB色彩空间的时序图像序列，转变成HSV色彩空间的灰度时序图像序列。
(b)对于步骤(a)得到的灰度时序图像序列中的每一张图像，单独提取出其中的V(Value分量，其代表图像的亮度Vold。
(c)对于步骤(b)得到的图像V分量，进行多尺度的高斯滤波处理。
(d)对于步骤(c)得到的高斯滤波处理结果，使用增强二维Gamma函数进行校正，即其中，Vold代表调整前的V分量，Vnew代表调整后的V分量，Vmean代表调整前图像V分量的均值，m为目标光照均值，可以取128。
(e)根据步骤(d)将原图像V分量替换为校正后的V分量，重新组合成新的HSV色彩空间图像，并转换回RGB分量图像。
S120，基于全局光照矫正后时序图像序列中相邻图像进行光流估计，得到时序光流序列。
具体地，光流计算过程为：将全局光照矫正后的时序图像序列由RGB色彩空间转换到灰度色彩空间，得到灰度时序图像序列Gi(i＝1,2，...，n)；对灰度时序图像Gi，使用利用OpenCV开源库中的calcOpticalFameback稠密光流算法对Gi向Gi+1的变化进行稠密光流估计，得到稠密光流结果为L(i)(i+1)，稠密光流结果L(i)(i+1)由W*H个二维向量组成，其中坐标为(x，y)的二维向量代表图像Gi向Gi+1变化时，点(x，y)位置像素的运动情况；对灰度时序图像序列中的所有灰度时序图像进行稠密光流估计，得到由n-1个稠密光流估计结果L(i)(i+1)构成的时序光流序列L(i)(i+1)(i＝1,2，...，n-1)；对每个稠密光流估计结果L(i)(i+1)进行可视化展示。图5展示了相邻两张图像的稠密光流估计结果，箭头代表光流的方向，粗实线代表裂缝。
S130，在预先确定裂缝上的监测点周围找到两个分别能代表裂缝两侧表面结构运动变化的区域，并根据时序光流序列计算区域内的平均时序光流序列，得到两组时序运动序列。
实施例中，S130的具体过程为：
S131，预先确定裂缝上的监测点记作A，可以是人工指定的。以监测点A为圆心，绘制一个半径不小于两倍裂缝宽度的圆，在圆周上进行等间隔采样m个点，得到采样点记为Bj(j＝1，2，...，m)，其坐标为假设监测点A的坐标为(xA，yA)，圆半径为r，则 如图6所示，粗实线代表裂缝，A为选择的监测点。
S132，计算以采样点为中心，边长为Δa的正方形区域Cj内的稠密光流估计结果L(i)(i+1)的平均值/>作为一个平均光流运动，Δa为人工指定的正方形区域边长，对所有时序光流序列上所有采样点进行计算，得到m组长度为n-1的平均光流运动序列/>并记为/>
S133，计算m组平均光流运动序列中距离最远的两组序列，其下标分别记为p，q。两组序列分别代表裂缝在采样点Bp侧和采样点Bq侧的表面结构的时序运动序列其计算方法具体为：p，q的值为/>取最大值时k，j的值，且 如图6所示，虚线方框则代表被选中的裂缝两侧的区域，边长为Δa，箭头代表表面结构运动方向。
S140，分别对两组时序运动序列进行逐项累加，得到两组代表裂缝两侧表面结构相对位置的时序位置序列。
实施例中，对两组裂缝两侧表面结构的时序运动序列 分别以(0，0)点位置为起点，依次累加，得到对应Bp，Bq区域的表面结构在Ti时刻相对于T1时刻的时序位置和/>(0，0)点代表初始时刻Bp、Bq的相对位移为0，mp1＝mq1＝(0，0)，i＝2,3，...，n，进而得到时序位置序列mpi(i＝1,2，...，n)和mqi(i＝1,2，...，n)。
S150，基于两组时序位置序列分别拟合裂缝两侧的表面结构位移方向，得到裂缝错动夹角。
实施例中，S150的具体过程为：
S151，对两组时序位置序列mpi和mqi，分别使用最小二乘法拟合估计结构位移方向，可以得到两条直线lp：y＝kpx+bp和lq：y＝kqx+bq，分别为表示裂缝两侧表面结构位移的总体轴线。
S152，在两组时序位置序列mpi和mqi中选择同一时刻下距离最远的对应点对mpmax和mqmax。mpmax和mqmax的计算方法具体为：对于||mpr-mqr||≥||mpi-mqi||成立时的mpr为mpmax，mqr即为mqmax。
S153，对于时序位置序列mpi，计算从(0，0)点到mpmax点的二维向量取直线lp的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bp的侧表面结构位移主方向/>具体计算方法为，计算直线lp的一个方向向量计算/>与/>的夹角余弦值/>若cosθ＞0，则认为/>为裂缝在采样点Bp的侧表面结构位移主方向/>反之主方向/>为/>
S154，对于时序位置序列mqi，采用相同的方法确定裂缝在采样点Bq侧的表面结构位移主方向即计算从(0，0)点到mqmax点的二维向量/>取直线lq的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bq的侧表面结构位移主方向/>
S155，根据两组确定的表面结构位移主方向，计算裂缝变化的错动角度θpq。具体计算方法为，
S160，依表面结构位移方向估计裂缝总体变化方向，将时序位置序列向裂缝总体变化方向投影后，计算对应的裂缝宽度变化情况。
实施例中，S160的具体过程为：
S161，依据两个表面结构位移方向和/>计算两者角平分线的方向 代表对裂缝本体走向的估计。计算与方向向量/>垂直的方向/> 代表对裂缝宽度收缩、扩张方向的估计。由于/>的计算结果为两个方向相反的向量，任取其中一个作为/>的值参与后续的投影计算。
S162，将方向表示成/>的形式，将两组时序位置序列mpi和mqi上的点分别向lc：/>投影，可以得到两组投影后时序位置序列mppi和mpqi。
S163，根据两组投影后时序位置序列mppi和mpqi计算Ti时刻相对距离的变化并根据裂缝的扩张还是收缩决定Di的正负号，得到的序列Di代表Ti时刻相对于时刻T1的裂缝宽度的变化情况。其中，Di的正负号根据以下步骤判断：
(a)分别计算区域Bp和区域Bq到直线lc的投影B′p和B′q，计算两点之间的距离为
(b)计算B′p沿方向运动/>后的点/>同理计算B′q沿方向/>运动/>后的点/>
(c)分别计算B″p和B″q到直线lc的投影B″p和B″′q，计算B″′p和B″′q的距离
(d)根据选取的点对mpmax和mqmax，计算 为满足Di＞0时表示裂缝扩张，Di＜0时表示裂缝收缩，需在Di计算时选择合适的正负号。满足当/>时，选择符号使得Dmax＜0。反之，需使得Dmax＞0。
利用上述方法进行了实验测试，测试结果于图7和图8展示。在图7中可以看到，本发明通过对裂缝两侧表面结构位移的定量计算，实现了对裂缝变化的监测，并绘制了时间-相对位置图像、计算了裂缝错动夹角。在图8中可以看到，本发明实现了对裂缝宽度亚像素级别的持续性监测，展示了裂缝扩张后收缩的过程。
综上所述，通过本发明实现了一种基于时序图像和稠密光流估计的裂缝变化监测算法。相对于传统的裂缝提取、宽度计算的方法，本发明实现了对于裂缝的亚像素级别持续性监测，对数据要求小，且准确度更高。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，包括以下步骤：
步骤1，获取裂缝检测区域的时序图像序列，并对时序图像序列依次进行空间位置配准和全局光照矫正，得到全局光照矫正后时序图像序列；
步骤2，基于全局光照矫正后时序图像序列中相邻图像进行光流估计，得到时序光流序列，包括：
将全局光照矫正后的时序图像序列由RGB色彩空间转换到灰度色彩空间，得到灰度时序图像序列Gi，i＝1,2,...,n，对灰度时序图像Gi，使用Farneback稠密光流算法对Gi向Gi+1的变化进行稠密光流估计，得到稠密光流结果为L(i)(i+1)，稠密光流结果L(i)(i+1)由W*H个二维向量组成，其中坐标为(x,y)的二维向量代表图像Gi向Gi+1变化时，点(x,y)位置像素的运动情况；对灰度时序图像序列中的所有灰度时序图像进行稠密光流估计，得到由n-1个稠密光流估计结果L(i)(i+1)构成的时序光流序列L(i)(i+1)，此时，i＝1,2,...,n-1；
步骤3，在预先确定裂缝上的监测点周围找到两个分别能代表裂缝两侧表面结构运动变化的区域，并根据时序光流序列计算区域内的平均时序光流序列，得到两组时序运动序列；
步骤4，分别对两组时序运动序列进行逐项累加，得到两组代表裂缝两侧表面结构相对位置的两组时序位置序列；
步骤5，基于两组时序位置序列分别拟合裂缝两侧的表面结构位移方向，得到裂缝错动夹角；
步骤6，依表面结构位移方向估计裂缝总体变化方向，将时序位置序列向裂缝总体变化方向投影后，计算对应的裂缝宽度变化情况。
2.根据权利要求1所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，对时序图像序列进行空间位置配准时，使用基于图像特征点匹配的算法进行图像配准，依次实现Oi+1向O′i的配准，得到配准后的时序图像序列O′i，i＝1,2,...,n。
3.根据权利要求1所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，步骤3，包括：
预先确定裂缝上的监测点记作A，以监测点A为圆心，绘制一个半径不小于两倍裂缝宽度的圆，在圆周上进行等间隔采样m个点，得到采样点记为Bj，其坐标为
计算以采样点为中心，边长为Δa的正方形区域Cj内的稠密光流估计结果L(i)(i+1)的平均值/>作为一个平均光流运动，对所有时序光流序列上所有采样点进行计算，得到m组长度为n-1的平均光流运动序列/>并记为/>
计算m组平均光流运动序列中距离最远的两组序列，其下标分别记为p，q，两组序列分别代表裂缝在采样点Bp侧和采样点Bq侧的表面结构的时序运动序列
4.根据权利要求3所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，时序运动序列的计算方法具体为：p,q的值为/>取最大值时k,j的值，且/>
5.根据权利要求3所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，步骤4，包括：
对两组裂缝两侧表面结构的时序运动序列分别以(0,0)点位置为起点，依次累加，得到对应Bp,Bq区域的表面结构在Ti时刻相对于T1时刻的时序位置和/>其中mp1＝mq1＝(0,0),i＝2,3,...,n，进而得到时序位置序列{mpi，i＝1,2,...,n}和{mqi，i＝1,2,...,n}。
6.根据权利要求1所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，步骤5，包括：
对两组时序位置序列mpi和mqi，分别使用最小二乘法拟合估计结构位移方向，得到两条直线lp和lq，分别为表示裂缝两侧表面结构位移的总体轴线；
在两组时序位置序列mpi和mqi中选择同一时刻下距离最远的对应点对mpmax和mqmax；
对于时序位置序列mpi，计算从(0,0)点到mpmax点的二维向量取直线lp的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bp的侧表面结构位移主方向/>
对于时序位置序列mqi，采用相同的方法确定裂缝在采样点Bq侧的表面结构位移主方向即计算从(0,0)点到mqmax点的二维向量/>取直线lq的两个方向中的与/>夹角为锐角的方向为裂缝在采样点Bq的侧表面结构位移主方向/>
根据两组确定的表面结构位移主方向，计算裂缝变化的错动角度θpq。
7.根据权利要求6所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，步骤6，包括：
依据两个表面结构位移方向和/>计算两者角平分线的方向/> 代表对裂缝本体走向的估计；
计算与方向向量垂直的方向/>代表对裂缝宽度收缩、扩张方向的估计；
将方向表示成/>的形式，将两组时序位置序列mpi和mqi上的点分别向lc投影，得到两组投影后时序位置序列mppi和mpqi，其中，lc为：/>
根据两组投影后时序位置序列mppi和mpqi计算Ti时刻相对距离的变化Di，并根据裂缝的扩张还是收缩决定Di的正负号，得到的序列Di代表Ti时刻相对于时刻T1的裂缝宽度的变化情况。
8.根据权利要求7所述的基于时序图像和稠密光流估计的裂缝变化监测方法，其特征在于，Di的正负号根据以下步骤判断：
(a)分别计算区域Bp和区域Bq到直线lc的投影B′p和B′q，计算两点之间的距离为
(b)计算B′p沿方向运动/>后的点/>同理计算B′q沿方向/>运动/>后的点/>
(c)分别计算B″p和B″q到直线lc的投影B″′p和B″′q，计算B″′p和B″′q的距离
(d)根据选取的点对mpmax和mqmax，计算 为满足Di>0时表示裂缝扩张，Di<0时表示裂缝收缩，需在Di计算时选择合适的正负号，满足当时，选择符号使得Dmax<0，反之，需使得Dmax>0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311363480.3A CN117422679B (zh) | 2023-10-20 | 2023-10-20 | 一种基于时序图像和稠密光流估计的裂缝变化监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311363480.3A CN117422679B (zh) | 2023-10-20 | 2023-10-20 | 一种基于时序图像和稠密光流估计的裂缝变化监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422679A CN117422679A (zh) | 2024-01-19 |
| CN117422679B true CN117422679B (zh) | 2024-05-31 |
Family
ID=89525854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311363480.3A Active CN117422679B (zh) | 2023-10-20 | 2023-10-20 | 一种基于时序图像和稠密光流估计的裂缝变化监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422679B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013058105A (ja) * | 2011-09-08 | 2013-03-28 | Kyushu Institute Of Technology | 物体運動推定装置、物体運動推定方法及びプログラム |
| CN110191320A (zh) * | 2019-05-29 | 2019-08-30 | 合肥学院 | 基于像素时序运动分析的视频抖动与冻结检测方法及装置 |
| CN110926771A (zh) * | 2019-11-20 | 2020-03-27 | 佛山科学技术学院 | 一种基于模态曲率误差法的叶片裂纹区域确定方法 |
| CN111460988A (zh) * | 2020-03-31 | 2020-07-28 | 国网河北省电力有限公司沧州供电分公司 | 一种违规行为识别方法及装置 |
| CN114429555A (zh) * | 2022-01-20 | 2022-05-03 | 中国科学技术大学 | 由粗到细的图像稠密匹配方法、系统、设备及存储介质 |
| CN114862903A (zh) * | 2021-01-20 | 2022-08-05 | 中国电信股份有限公司 | 流体运动特征描述方法、装置以及介质 |
| CN116188417A (zh) * | 2023-02-19 | 2023-05-30 | 南京理工大学 | 基于slam和图像处理的裂缝检测及其三维定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3086143C (en) * | 2019-07-10 | 2022-09-27 | Mark Polak | Monitoring wear of double roll crusher teeth by digital video processing |
-
2023
- 2023-10-20 CN CN202311363480.3A patent/CN117422679B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013058105A (ja) * | 2011-09-08 | 2013-03-28 | Kyushu Institute Of Technology | 物体運動推定装置、物体運動推定方法及びプログラム |
| CN110191320A (zh) * | 2019-05-29 | 2019-08-30 | 合肥学院 | 基于像素时序运动分析的视频抖动与冻结检测方法及装置 |
| CN110926771A (zh) * | 2019-11-20 | 2020-03-27 | 佛山科学技术学院 | 一种基于模态曲率误差法的叶片裂纹区域确定方法 |
| CN111460988A (zh) * | 2020-03-31 | 2020-07-28 | 国网河北省电力有限公司沧州供电分公司 | 一种违规行为识别方法及装置 |
| CN114862903A (zh) * | 2021-01-20 | 2022-08-05 | 中国电信股份有限公司 | 流体运动特征描述方法、装置以及介质 |
| CN114429555A (zh) * | 2022-01-20 | 2022-05-03 | 中国科学技术大学 | 由粗到细的图像稠密匹配方法、系统、设备及存储介质 |
| CN116188417A (zh) * | 2023-02-19 | 2023-05-30 | 南京理工大学 | 基于slam和图像处理的裂缝检测及其三维定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| An Optimal Control Approach for the Registration of Image Time-Series;Marc Niethammer等;《 Proceedings of the 48h IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference》;20100129;2427-2434 * |
| Marker-free fatigue crack detection and localization by integrating the optical flow and information entropy;Xin, C等;《Structural Health Monitoring》;20220523;第22卷(第2期);1008-1026 * |
| 基于计算机视觉方法的古建筑变形监测;汪德佳等;《CNKI中国优秀硕士毕业论文全文库（工程科技Ⅱ辑）》;20230715(第07期);C038-110 * |
| 视频中的未来动作预测研究综述;张天予等;《计算机学报》;20230526;第46卷(第06期);1315-1338 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422679A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
| Li et al. | Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network | |
| CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| JP6099479B2 (ja) | ひび割れ検出方法 | |
| CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN106846359A (zh) | 基于视频序列的运动目标快速检测方法 | |
| CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN105894521A (zh) | 基于高斯拟合的亚像素边缘检测方法 | |
| WO2018049704A1 (en) | Vehicle detection, tracking and localization based on enhanced anti-perspective transformation | |
| JP5812705B2 (ja) | ひび割れ検出方法 | |
| CN113312973B (zh) | 一种手势识别关键点特征提取方法及系统 | |
| CN101976504A (zh) | 一种基于颜色空间信息的多车辆视频跟踪方法 | |
| CN106875430B (zh) | 动态背景下基于固定形态的单一运动目标追踪方法和装置 | |
| CN109671084B (zh) | 一种工件形状的测量方法 | |
| CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| Ye et al. | An improved algorithm for Harris corner detection | |
| CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
| Garcia et al. | Large scale semantic segmentation of virtual environments to facilitate corrosion management | |
| CN109271865A (zh) | 基于散射变换多层相关滤波的运动目标跟踪方法 | |
| CN117422679B (zh) | 一种基于时序图像和稠密光流估计的裂缝变化监测方法 | |
| CN117367404A (zh) | 基于动态场景下slam的视觉定位建图方法及系统 | |
| CN108959355B (zh) | 一种船只分类方法、装置及电子设备 | |
| CN116188826A (zh) | 一种复杂光照条件下的模板匹配方法及装置 | |
| Dryanovski et al. | Real-time pose estimation with RGB-D camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |