CN114549613A - 基于深度超分辨率网络的结构位移测量方法及装置 - Google Patents

基于深度超分辨率网络的结构位移测量方法及装置 Download PDF

Info

Publication number
CN114549613A
CN114549613A CN202210114593.9A CN202210114593A CN114549613A CN 114549613 A CN114549613 A CN 114549613A CN 202210114593 A CN202210114593 A CN 202210114593A CN 114549613 A CN114549613 A CN 114549613A
Authority
CN
China
Prior art keywords
super
resolution
displacement
image sample
images before
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210114593.9A
Other languages
English (en)
Inventor
陆新征
孙楚津
廖文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210114593.9A priority Critical patent/CN114549613A/zh
Publication of CN114549613A publication Critical patent/CN114549613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度超分辨率网络的结构位移测量方法及装置，方法包括：获取待测结构位移前后的原始图像，分别从位移前后的原始图像中提取初始ROI图像；分别将位移前后的初始ROI图像输入图像超分辨模型，得到位移前后的超分辨率ROI图像；分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。通过图像超分辨模型可以根据位移前后的初始ROI图像，获得相应的超分辨率ROI图像，进而获得位移前后的超分辨率图像，利用位移前后的超分辨率图像，可以得到更加精确的位移测量结果，有效提升了结构位移的测量精度。

Description

基于深度超分辨率网络的结构位移测量方法及装置
技术领域
本发明涉及结构监测与数据处理技术领域，尤其涉及一种基于深度超分辨率网络的结构位移测量方法及装置。
背景技术
对建筑与基础设施的位移变形以及地震等灾害下的位移响应进行监测预警，可以及时发现建筑与基础设施出现的潜在安全风险。上述监测预警过程中，需要以目标结构的位移测量结果作为数据依据。
然而，现有的结构位移测量方法，存在测量精度低的不足，难以满足实际应用需求。
发明内容
本发明提供一种基于深度超分辨率网络的结构位移测量方法及装置，用以解决现有技术中结构位移测量方法存在测量精度低的缺陷，实现高精度的结构位移测量。
第一方面，本发明提供一种基于深度超分辨率网络的结构位移测量方法，该方法包括：
获取待测结构位移前后的原始图像，并分别从位移前后的所述原始图像中提取初始ROI(Region Of Interest，感兴趣区域)图像；
分别将位移前后的所述初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，所述图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；
分别对位移前后的所述超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；
基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，所述图像超分辨模型的训练过程，包括：
分别获取待测结构的第一原始图像样本和第二原始图像样本；其中，所述第二原始图像样本包含待测结构的表面精细纹理特征；
将所述第二原始图像样本与所述第一原始图像样本进行图像配准，得到超分辨率图像样本；
基于所述第一原始图像样本和所述超分辨率图像样本，构建得到图像样本数据集；
基于所述图像样本数据集，对预先构建的深度超分辨率网络进行训练，得到图像超分辨模型。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，将所述第二原始图像样本与所述第一原始图像样本进行图像配准，得到超分辨率图像样本，包括：
从所述待测结构的位移平面内确定多个参考点；
分别获取每个参考点在所述第一原始图像样本中的第一坐标，以及在所述第二原始图像样本中的第二坐标；
基于各个参考点的所述第一坐标和所述第二坐标，求取单应矩阵；
基于所述单应矩阵，将所述第二原始图像样本中待测结构的表面精细纹理特征透视变换至所述第一原始图像样本中，得到超分辨率图像样本。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，基于所述第一原始图像样本和所述超分辨率图像样本，构建得到图像样本数据集，包括：
从所述第一原始图像样本中提取初始ROI图像样本；
从所述超分辨率图像样本中提取超分辨率ROI图像样本；
基于所述初始ROI图像样本和所述超分辨率ROI图像样本，构建得到图像样本对；
对所述图像样本对进行数据增强处理，得到图像样本数据集。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，所述数据增强处理包括：图像随机平移和图像随机旋转。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果，包括：
基于位移前后的所述超分辨率图像，获取待测结构的像素位移；
将所述像素位移转换为真实位移，得到位移测量结果。
根据本发明提供的一种基于深度超分辨率网络的结构位移测量方法，所述原始图像通过静态图像数据或动态视频数据处理得到。
第二方面，本发明还提供一种基于深度超分辨率网络的结构位移测量装置，该装置包括：
第一处理模块，用于获取待测结构位移前后的原始图像，并分别从位移前后的所述原始图像中提取初始ROI图像；
第二处理模块，用于分别将位移前后的所述初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，所述图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；
第三处理模块，用于分别对位移前后的所述超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；
第四处理模块，用于基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度超分辨率网络的结构位移测量方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度超分辨率网络的结构位移测量方法的步骤。
本发明提供的基于深度超分辨率网络的结构位移测量方法及装置，通过图像超分辨模型可以根据位移前后的初始ROI图像，获得相应的超分辨率ROI图像，进而获得位移前后的超分辨率图像，利用位移前后的超分辨率图像，可以得到更加精确的位移测量结果，从而有效提升了结构位移测量的测量精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度超分辨率网络的结构位移测量方法的流程示意图；
图2是超分辨率生成对抗网络的结构原理示意图；
图3是应用Shi-Tomasi角点检测算法识别图案边缘角点得到的测量结果的均方根误差箱线图；
图4是应用Shi-Tomasi角点检测算法识别图案边缘角点得到的测量结果在环境变量影响下的均方根误差箱线图；
图5是应用Shi-Tomasi角点检测方法识别图案内部角点和边缘角点得到的测量对比结果的均方根误差箱线图；
图6是应用SIFT特征点匹配算法测量位移量得到的测量结果的均方根误差箱线图；
图7是应用SIFT特征点匹配算法测量位移量得到的测量结果在环境变量影响下的均方根误差箱线图；
图8是应用KLT光流追踪算法测量得到的位移时程图；
图9是本发明提供的基于深度超分辨率网络的结构位移测量装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本发明实施例针对的现有技术方案进行详细说明：
随着城镇化进程发展，城市既有建筑与基础设施潜藏一定安全风险，有必要对建筑与基础设施的位移变形和在地震等灾害下的位移响应进行监测预警。
随着计算机视觉技术的发展，基于视觉的位移测量技术在民用基础设施的监测评估任务当中的应用得到广泛研究，其测量结果可以服务于模态识别、损伤检测和结构模型更新等结构健康监测应用。与此同时，城市中分布着大量的处于工作中的视频监控设备，无需额外安装，即可记录大量建筑与基础设施的图像和视频信息，有潜力服务于上述应用。
然而，对于城市中的固定式视频监控设备而言，由于自身硬件分辨率有限和监测对象距离较远等原因，用于开展结构响应监测时，尤其是待测量结构的位移与坐标换算比例因子数量级相近时，存在测量数据精度低的不足。
通常情况下，提升基于视觉的位移测量精度有两个方法，其一是升级硬件以提高分辨率，其二是采用亚像素技术。然而，前者对于大量城市固定式视频监控设备不具有可行性；后者虽理论上可以提高精度，但实际应用中无法突破相机传感器物理机制的限制，精度受到系统与环境噪声的影响。因此，现有方案难以有效提升结构位移的测量精度。
下面结合图1-图9描述本发明实施例提供的基于深度超分辨率网络的结构位移测量方法及装置。
图1示出了本发明实施例提供的基于深度超分辨率网络的结构位移测量方法，该方法包括：
步骤110：获取待测结构位移前后的原始图像，并分别从位移前后的原始图像中提取初始ROI图像。
需要说明的是，本实施例中待测结构位移前后的原始图像，可以通过静态图像数据或动态视频数据处理得到，上述静态图像数据或动态视频数据均是低分辨率数据，通常由城市固定式视频监控设备或手机拍摄得到。
其中，低分辨的静态图像数据指待测结构发生位移前后的静态图片，低分辨率的动态视频数据指包含待测结构动态位移响应的动态视频。由于拍摄设备的硬件限制或待测结构距离拍摄设备较远，待测结构在上述图像数据或视频数据中分辨率较低且纹理细节缺失。
步骤120：分别将位移前后的初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的。
在示例性实施例中，上述图像超分辨模型的训练过程，具体可以包括：
首先，分别获取待测结构的第一原始图像样本和第二原始图像样本；其中，第二原始图像样本包含待测结构的表面精细纹理特征；
然后，将第二原始图像样本与第一原始图像样本进行图像配准，得到超分辨率图像样本；
接着，基于第一原始图像样本和超分辨率图像样本，构建得到图像样本数据集；
最后，基于图像样本数据集，对预先构建的深度超分辨率网络进行训练，得到图像超分辨模型。
需要说明的是，本实施例中第一原始图像样本可以是结构位移前低分辨率的图像数据或视频数据；第二原始图像样本可以是高分辨率图像，可以由高清相机拍摄得到。
高分辨率图像应与低分辨率的图像数据或视频数据包含同一待测结构，且高分辨率图像包含该待测结构丰富的表面精细纹理特征。高分辨率图像的拍摄角度应与低分辨率的图像数据或视频数据的拍摄角度保持接近，但无需严格一致。
在示例性实施例中，将第二原始图像样本与第一原始图像样本进行图像配准，得到超分辨率图像样本的过程，具体可以包括：
首先，从待测结构的位移平面内确定多个参考点。
本实施例在待测结构的位移平面内人工选取一组可目视辨别的参考点*Pi+，其应当共同显示在低分辨率的图像或视频数据和高分辨率图像的画面范围内，参考点数量不应小于4个。
然后，分别获取每个参考点在第一原始图像样本中的第一坐标，以及在第二原始图像样本中的第二坐标。
在本实施例中，Pi在高分辨率图像(即第二原始图像样本)中的像素坐标(即第二坐标)为(xi,yi)，在待测结构位移前的低分辨率图像数据或视频数据(即第一原始图像样本)中的像素坐标(第一坐标)为(xi ′,yi ′)。
接着，基于各个参考点的第一坐标和第二坐标，求取单应矩阵。
在本实施例中，上述第二坐标(xi,yi)和第一坐标(xi ′,yi ′)之间存在单应矩阵H使得：
Figure BDA0003495802190000081
对于每一组参考点*Pi+，对应一组上述方程，可以使用RANSAC(RANdom SAmpleConsensus，随机样本共识)算法求解单应矩阵H。
最后，基于单应矩阵，将第二原始图像样本中待测结构的表面精细纹理特征透视变换至第一原始图像样本中，得到超分辨率图像样本。
在获得了单应矩阵H之后，将高分辨率图像内待测结构的表面精细纹理特征透视变换到待测结构位移前的低分辨率图像数据或视频数据中对应位置，使待测结构的平面特征在高分辨率图像和待测结构位移前的低分辨率图像数据或视频数据中对齐。
在示例性实施例中，基于第一原始图像样本和超分辨率图像样本，构建得到图像样本数据集的过程，具体可以包括：
首先，从第一原始图像样本中提取初始ROI图像样本；
然后，从超分辨率图像样本中提取超分辨率ROI图像样本。
在完成对齐之后，确定需要进行超分辨率以应用结构位移测量方法的感兴趣区域(ROI)，在超分辨率图像样本和第一原始图像样本中分别截取ROI部分，得到超分辨率ROI图像样本和初始ROI图像样本。
接着，基于初始ROI图像样本和超分辨率ROI图像样本，构建得到图像样本对。
根据上述得到的超分辨率ROI图像样本和初始ROI图像样本，可以进一步构造成对的低分辨率-高分辨率图像数据，即图像样本对。最后，对图像样本对进行数据增强处理，得到图像样本数据集。
对图像样本对中各图像数据进行增强，可以包括随机平移、随机旋转等处理，以模拟待测结构在ROI区域内的运动，得到任意数量的成对低分辨率-高分辨率数据集，即图像样本数据集。
步骤130：分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像。
将超分辨率ROI图像(或图像序列)还原到分辨率等比例放大的低分辨率图像数据或视频数据内相应ROI位置，得到超分辨率的图像或视频数据，即超分辨率图像，本实施例中超分辨率图像具有高分辨率和丰富纹理细节的ROI区域。
步骤140：基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。
在示例性实施例中，基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果的过程，具体可以包括：
首先，基于位移前后的超分辨率图像，获取待测结构的像素位移；
然后，将像素位移转换为真实位移，得到位移测量结果。
具体地，对于基于静态图像的结构位移测量，在超分辨率图像的ROI区域应用Shi-Tomasi角点检测算法或SIFT特征点匹配算法获得待测结构在图像坐标系下的像素位移；对于基于动态视频的结构位移测量，在超分辨率视频的ROI区域应用Kanade-Lucas-Tomasi(KLT)光流追踪算法获得待测结构在图像坐标系下的像素位移。
之后，采用比例因子将图像坐标系下的像素位移换算到世界坐标系下的真实位移。换算过程中，比例因子s根据世界坐标系下待测结构位移平面内的已知真实距离D和图像坐标系下的对应像素距离d得到，即：
Figure BDA0003495802190000091
其中，s为比例因子，D为真实距离，d为像素距离。
下面通过具体实例详细说明本发明实施例中图像超分辨模型的构建和训练过程。
本发明实施例中深度学习超分辨率网络使用超分辨率生成对抗网络(SRGAN)，其基本架构如图2所示。SRGAN由一个生成器网络G和一个判别器网络D组成，训练过程通过迭代优化求解对抗min-max问题，即：
Figure BDA0003495802190000101
式中，PHR和PLR是一组对应的高分辨率和低分辨率的ROI图像样本分布，G(z)为生成的超分辨率ROI图像。
生成器网络G以带有跳跃连接(skip-connections)的残差块(residual blocks)为核心，每个残差块包含两个卷积层(convolutional layers)，卷积层带有批标准化层(batch-normalization layers)和作为激活函数的Parametric ReLU，本发明的实施例中残差块的数量取16。图像分辨率上采样由亚像素卷积层(sub-pixel convolution layers)实现，每一层上采样2倍，本实施例中采用8倍超分辨率即3组亚像素卷积层。
判别器网络D以8个卷积层为核心，采用Leaky ReLU作为激活函数，得到的特征图经过两层加密层(dense layers)和sigmoid激活函数后得到高分辨率ROI图像(真)或超分辨率ROI图像(伪)的判别结果。
SRGAN的损失函数由均方误差损失lMSE、感知损失lVGG和对抗损失ladv组成，本实施例中保证三种损失的数量级基本一致，损失函数的表达式如下：
l＝lMSE+0.006×lVGG+0.001×ladv (4)
式中，l为损失函数，lMSE为均方误差损失，lVGG为感知损失，ladv为对抗损失。
本实施例中采用的SRGAN训练策略是，首先以均方误差损失lMSE对SRGAN的生成器网络进行初始化训练200epochs，之后再使用完整损失函数对完整的SRGAN训练，生成器网络和判别器网络交替更新200epochs。
本实施例中参考点{Pi}的数量取4个，成对的低分辨率-高分辨率图像集包含300对，通过对上述深度超分辨率网络进行训练，最终得到图像超分辨模型。
为了证明本实施例提供的基于深度超分辨率网络的结构位移测量方法在提升测量精度方面的有效性，本实施例分别以静态图像和动态视频为数据源进行验证，下面通过具体的实施例进行详细说明。
实施例1
本实施例针对的数据源是静态图片，待测结构为窗户，在试验过程中，将一个窗户图案以四组预设间距打印在纸上，并张贴于平整表面，利用相机拍摄其低清照片和高清照片，低清照片考虑正常、模糊和暗光三种工况。采用本实施例提供的基于深度超分辨率网络的结构位移测量方法测量多组位移值并与实际值进行比较。
在进行位移值检测时，本实施例又设置以下三种位移量的检测方案：
方案1：应用Shi-Tomasi角点检测算法识别图案边缘角点以实现位移量检测，测量结果的均方根误差(RMSE)箱线图如图3所示，图3中，ORI表示原低清图片上测量，BIC表示基于插值的超分辨率图片上测量，GAN表示基于深度超分辨率网络生成的超分辨图像上测量，subpix表示在整数角点像素坐标基础上应用亚像素技术。
由附图3可以看出，本发明实施例提供的基于深度超分辨率网络的结构位移测量方法可以提高测量精度，并降低了结果的离散性，优于采用亚像素技术或基于插值的超分辨率测量方法。
上述三种测量方式下各自受环境变量的影响结果如图4所示，其中，后缀B表示模糊条件，后缀L表示暗光条件。
由附图4可以看出，本实施例提供的基于深度超分辨率网络的结构位移测量方法在模糊和暗光条件下保持了良好的精度和离散性。图4示出的验证结果中，本实施例提供的方法测量精度相比在低分辨率图像上测量和在基于插值的超分辨率图像上测量，可分别提升29％和41％。
方案2：应用Shi-Tomasi角点检测算法识别图案内部角点以实现位移量检测，测量结果的均方根误差(RMSE)箱线图如图5所示，图5中，ORI表示原低清图片上测量，BIC表示基于插值的超分辨率图片上测量，GAN表示基于深度超分辨率网络生成的超分辨图像上测量，且无后缀表示根据边缘角点测量，后缀inner表示根据内部角点测量。
可见，本发明提供的基于深度超分辨率网络的结构位移测量方法，由于提升了图案纹理细节，在基于图案内部角点的测量任务中保持了良好的测量精度和离散性，优于在原低清图片或基于插值的超分辨率图片上的测量方式。本验证结果中，本实施例提供的方法测量精度相比在低分辨率图像上测量和在基于插值的超分辨率图像上测量可分别提升66％和43％。
方案3：应用SIFT特征点匹配算法检测位移量，测量结果的均方根误差(RMSE)箱线图如图6和图7所示。其中，ORI表示原低清图片上测量，BIC表示基于插值的超分辨率图片上测量，GAN表示基于深度超分辨率网络的生成的超分辨图像上测量，后缀B表示模糊条件，后缀L表示暗光条件。
由图6和图7可以看出，本实施例提供的基于深度超分辨率网络的结构位移测量方法，由于提升了图案纹理细节，位移的测量精度和离散性有了显著改善，且在模糊和暗光条件下均能保持良好的稳定性。本验证结果中，本实施例提供的方法测量精度相比在低分辨率图像上测量和在基于插值的超分辨率图像上测量可分别提升84％和81％。
实施例2
本实施例针对的数据源是动态视频，针对的被测结构为振动台上的试件，动态视频采用某振动台试验视频，从该视频中截取多帧视频帧，可以组成图像序列，从而能够作为本实施例的原始图像。在试验过程中，分别采用本实施例提供的基于深度超分辨率网络的结构位移测量方法以及多种现有方法追踪振动台上试件上部ROI区域的位移值并与实测值进行比较。
本实施例应用KLT光流追踪算法进行位移量检测，测量得到的位移时程如图8所示，其中，ORI’表示原低清视频上测量，BIC’表示基于插值的超分辨率视频上测量，GAN表示基于深度超分辨率网络的生成的超分辨图像上测量，GT表示传感器实测值，横坐标为时间(t)，纵坐标为位移(Displacement)。
由图8可以看出，本实施例提供的方法减小了光流追踪的漂移问题。本验证结果中，本实施例提供的方法测量精度相比在低分辨率视频上测量和在基于插值的超分辨率视频上测量可分别提升67％和72％。
由此可见，无论采用何种位移量检测算法，且无论数据源是静态图片还是动态视频，本实施例提供的基于深度超分辨率网络的结构位移测量方法与现有的结构位移测量方法相比，均能达到更优的测量精度和稳定性。
下面对本发明提供的基于深度超分辨率网络的结构位移测量装置进行描述，下文描述的基于深度超分辨率网络的结构位移测量装置与上文描述的基于深度超分辨率网络的结构位移测量方法可相互对应参照。
图9示出了本发明实施例提供的基于深度超分辨率网络的结构位移测量装置，该装置包括：
第一处理模块910，用于获取待测结构位移前后的原始图像，并分别从位移前后的原始图像中提取初始ROI图像；
第二处理模块920，用于分别将位移前后的初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；
第三处理模块930，用于分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；
第四处理模块940，用于基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。
在示例性实施例中，基于深度超分辨率网络的结构位移测量装置，还可以包括：
模型训练模块，用于分别获取待测结构的第一原始图像样本和第二原始图像样本；其中，第二原始图像样本包含待测结构的表面精细纹理特征；将第二原始图像样本与第一原始图像样本进行图像配准，得到超分辨率图像样本；基于第一原始图像样本和超分辨率图像样本，构建得到图像样本数据集；基于图像样本数据集，对预先构建的深度超分辨率网络进行训练，得到图像超分辨模型。
进一步地，上述模型训练模块可以通过如下方式实现将第二原始图像样本与第一原始图像样本进行图像配准，得到超分辨率图像样本的功能，包括：
从待测结构的位移平面内确定多个参考点；
分别获取每个参考点在第一原始图像样本中的第一坐标，以及在第二原始图像样本中的第二坐标；
基于各个参考点的第一坐标和第二坐标，求取单应矩阵；
基于单应矩阵，将第二原始图像样本中待测结构的表面精细纹理特征透视变换至第一原始图像样本中，得到超分辨率图像样本。
进一步地，上述模型训练模块可以通过如下方式实现基于第一原始图像样本和超分辨率图像样本，构建得到图像样本数据集的功能，包括：
从第一原始图像样本中提取初始ROI图像样本；
从超分辨率图像样本中提取超分辨率ROI图像样本；
基于初始ROI图像样本和超分辨率ROI图像样本，构建得到图像样本对；
对图像样本对进行数据增强处理，得到图像样本数据集。
具体地，本实施例中数据增强处理具体可以包括：图像随机平移和图像随机旋转。
在示例性实施例中，上述第四处理模块940，具体可以用于：基于位移前后的超分辨率图像，获取待测结构的像素位移；将像素位移转换为真实位移，得到位移测量结果。
具体地，本实施例中原始图像可以通过静态图像数据或动态视频数据处理得到。
由此可见，本发明实施例提供的基于深度超分辨率网络的结构位移测量装置，通过将深度学习超分辨率网络引入结构位移测量过程中，提升了基于图像或视频开展结构位移视觉测量的精度，可以解决目标物体在计算机视觉图像或视频中分辨率较低且细节质量较差的问题，为基于城市固定式视频监控设备或手机开展基础设施位移响应监测提供参考。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)101、通信接口(Communications Interface)102、存储器(memory)103和通信总线104，其中，处理器101，通信接口102，存储器103通过通信总线104完成相互间的通信。处理器101可以调用存储器103中的逻辑指令，以执行基于深度超分辨率网络的结构位移测量方法，该方法包括：获取待测结构位移前后的原始图像，并分别从位移前后的原始图像中提取初始ROI图像；分别将位移前后的初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。
此外，上述的存储器103中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于深度超分辨率网络的结构位移测量方法，该方法包括：获取待测结构位移前后的原始图像，并分别从位移前后的原始图像中提取初始ROI图像；分别将位移前后的初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度超分辨率网络的结构位移测量方法，该方法包括：获取待测结构位移前后的原始图像，并分别从位移前后的原始图像中提取初始ROI图像；分别将位移前后的初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；分别对位移前后的超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；基于位移前后的超分辨率图像，对待测结构进行位移测量，得到位移测量结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度超分辨率网络的结构位移测量方法，其特征在于，包括：
获取待测结构位移前后的原始图像，并分别从位移前后的所述原始图像中提取初始ROI图像；
分别将位移前后的所述初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，所述图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；
分别对位移前后的所述超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；
基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果。
2.根据权利要求1所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，所述图像超分辨模型的训练过程，包括：
分别获取待测结构的第一原始图像样本和第二原始图像样本；其中，所述第二原始图像样本包含待测结构的表面精细纹理特征；
将所述第二原始图像样本与所述第一原始图像样本进行图像配准，得到超分辨率图像样本；
基于所述第一原始图像样本和所述超分辨率图像样本，构建得到图像样本数据集；
基于所述图像样本数据集，对预先构建的深度超分辨率网络进行训练，得到图像超分辨模型。
3.根据权利要求2所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，将所述第二原始图像样本与所述第一原始图像样本进行图像配准，得到超分辨率图像样本，包括：
从所述待测结构的位移平面内确定多个参考点；
分别获取每个参考点在所述第一原始图像样本中的第一坐标，以及在所述第二原始图像样本中的第二坐标；
基于各个参考点的所述第一坐标和所述第二坐标，求取单应矩阵；
基于所述单应矩阵，将所述第二原始图像样本中待测结构的表面精细纹理特征透视变换至所述第一原始图像样本中，得到超分辨率图像样本。
4.根据权利要求2所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，基于所述第一原始图像样本和所述超分辨率图像样本，构建得到图像样本数据集，包括：
从所述第一原始图像样本中提取初始ROI图像样本；
从所述超分辨率图像样本中提取超分辨率ROI图像样本；
基于所述初始ROI图像样本和所述超分辨率ROI图像样本，构建得到图像样本对；
对所述图像样本对进行数据增强处理，得到图像样本数据集。
5.根据权利要求4所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，所述数据增强处理包括：图像随机平移和图像随机旋转。
6.根据权利要求1所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果，包括：
基于位移前后的所述超分辨率图像，获取待测结构的像素位移；
将所述像素位移转换为真实位移，得到位移测量结果。
7.根据权利要求1所述的一种基于深度超分辨率网络的结构位移测量方法，其特征在于，所述原始图像通过静态图像数据或动态视频数据处理得到。
8.一种基于深度超分辨率网络的结构位移测量装置，其特征在于，包括：
第一处理模块，用于获取待测结构位移前后的原始图像，并分别从位移前后的所述原始图像中提取初始ROI图像；
第二处理模块，用于分别将位移前后的所述初始ROI图像输入预先构建的图像超分辨模型，得到位移前后的超分辨率ROI图像；其中，所述图像超分辨模型是基于图像样本数据集对深度超分辨率网络进行训练得到的；
第三处理模块，用于分别对位移前后的所述超分辨率ROI图像进行还原处理，得到位移前后的超分辨率图像；
第四处理模块，用于基于位移前后的所述超分辨率图像，对所述待测结构进行位移测量，得到位移测量结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度超分辨率网络的结构位移测量方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度超分辨率网络的结构位移测量方法的步骤。
CN202210114593.9A 2022-01-30 2022-01-30 基于深度超分辨率网络的结构位移测量方法及装置 Pending CN114549613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210114593.9A CN114549613A (zh) 2022-01-30 2022-01-30 基于深度超分辨率网络的结构位移测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210114593.9A CN114549613A (zh) 2022-01-30 2022-01-30 基于深度超分辨率网络的结构位移测量方法及装置

Publications (1)

Publication Number Publication Date
CN114549613A true CN114549613A (zh) 2022-05-27

Family

ID=81674492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210114593.9A Pending CN114549613A (zh) 2022-01-30 2022-01-30 基于深度超分辨率网络的结构位移测量方法及装置

Country Status (1)

Country Link
CN (1) CN114549613A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115638731A (zh) * 2022-09-07 2023-01-24 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115638731A (zh) * 2022-09-07 2023-01-24 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法
CN115638731B (zh) * 2022-09-07 2023-08-15 清华大学 一种基于超分辨率的振动台试验计算机视觉位移测量方法

Similar Documents

Publication Publication Date Title
Koch et al. Evaluation of cnn-based single-image depth estimation methods
Liu et al. Deep learning–based enhancement of motion blurred UAV concrete crack images
Shao et al. Computer vision based target-free 3D vibration displacement measurement of structures
JP7099509B2 (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
KR20150027291A (ko) 광류 추적 방법 및 장치
CN109472829B (zh) 一种物体定位方法、装置、设备和存储介质
CN109711246B (zh) 一种动态物体识别方法、计算机装置及可读存储介质
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
CN109934873B (zh) 标注图像获取方法、装置及设备
CN106062824A (zh) 边缘检测装置、边缘检测方法和程序
Shao et al. Target-free 3D tiny structural vibration measurement based on deep learning and motion magnification
Sun et al. Vision‐based displacement measurement enhanced by super‐resolution using generative adversarial networks
CN110705433A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN114792345B (zh) 一种基于单目结构光系统的标定方法
CN112967312A (zh) 一种面向野外刚体目标的实时鲁棒位移监测方法及系统
CN113686314A (zh) 船载摄像头的单目水面目标分割及单目测距方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
Sun et al. Three-dimensional structural displacement measurement using monocular vision and deep learning based pose estimation
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
Rodriguez et al. Optical analysis of strength tests based on block‐matching techniques
Jiang et al. Full-field deformation measurement of structural nodes based on panoramic camera and deep learning-based tracking method
CN112270693B (zh) 一种飞行时间深度相机运动伪差检测方法和装置
US20210304417A1 (en) Observation device and observation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination