CN117036454B - 一种基于稠密匹配算法的构件表面位移场检测方法 - Google Patents

一种基于稠密匹配算法的构件表面位移场检测方法 Download PDF

Info

Publication number
CN117036454B
CN117036454B CN202311069744.4A CN202311069744A CN117036454B CN 117036454 B CN117036454 B CN 117036454B CN 202311069744 A CN202311069744 A CN 202311069744A CN 117036454 B CN117036454 B CN 117036454B
Authority
CN
China
Prior art keywords
matching
image
model
displacement field
loftr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311069744.4A
Other languages
English (en)
Other versions
CN117036454A (zh
Inventor
余倩倩
王杰
高铁山
顾祥林
张伟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202311069744.4A priority Critical patent/CN117036454B/zh
Publication of CN117036454A publication Critical patent/CN117036454A/zh
Application granted granted Critical
Publication of CN117036454B publication Critical patent/CN117036454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稠密匹配算法的构件表面位移场检测方法,属于机器视觉技术领域,包括以下步骤:S1:采集图像或视频数据;S2:对数据进行预处理;S3:使用改进的LoFTR模型得到稠密匹配特征点对坐标;S4:计算每对特征点的位移,提供插值反演出位移场。本发明可以实现在实际工程中便捷地检测构件表面位移场,使用方便,不需要繁琐的准备工作;采用相机作为检测仪器,非接触式测量,且成本较低。

Description

一种基于稠密匹配算法的构件表面位移场检测方法
技术领域
本发明属于机器视觉领域技术领域,具体涉及一种基于稠密匹配算法的构件表面位移场检测方法。
背景技术
在结构健康检测或是实际工程和实验中经常需要测量构件表面的形变,通过形变可以反映构件的工作状态。形变通常通过位移、应变等数据进行表征,目前常用的位移测量方法包括位移计、应变片重建位移场、数字图像相关技术、激光扫描等。
位移计、应变片属于接触式测量,需要将传感器布置在待测构件的特定测点处,同时只能得到测点处的数据,在空间上离散,需要通过反演算法再得到整体的位移场。
数字图像相关法属于非接触式测量,通过相机拍摄构件表面的相片即可得到目标构件的连续位移场。其仪器简单、精度高,但在测量前需要对待检测的构件表面喷涂散斑,因此并不适用于实际的检测,并且散斑喷涂的质量会对位移场检测结果产生较大影响。
激光扫描也属于非接触式测量,具有更高的精度以及便捷的操作,并且能得到连续位移场,但其测量仪器的成本更高,不适用于实际工程测量。
发明内容
有鉴于此,本发明的目的在于提供一种基于稠密匹配算法的构件表面位移场检测方法。
为达到上述目的,本发明提供如下技术方案:
一种基于稠密匹配算法的构件表面位移场检测方法,包括以下步骤:
S1:采集图像或视频数据;
S2:对数据进行预处理;
S3:使用改进的LoFTR模型得到稠密匹配特征点对坐标;
S4:计算每对特征点的位移,提供插值反演出位移场。
进一步,步骤S1中,使用普通消费级相机或工业相机对构件表面进行视频录制或固定时间间隔的相片拍摄。
进一步,步骤S2所述对数据进行预处理,具体包括:
若输入数据为视频,对视频以固定频率进行抽帧得到固定时间间隔的图像;
对视频抽帧得到的图像或输入的多张图像进行高斯去噪。
进一步,当图像视野范围不满足条件时,构件表面进行扫描式拍摄,获取多幅图像,通过图像拼接,扩大图像的视野范围。
进一步,所述改进的LoFTR模型是一种用于进行稀疏纹理区域内的特征点稠密匹配的深度神经网络模型,特征点检测与匹配任务是检测并匹配两帧图像中对应于同一真实点的像素点,稠密匹配任务则是在此基础上尽可能地提高匹配点的数量与密度;
所述改进的LoFTR模型包括用于提取特征的卷积模块、用于寻找大致匹配点对的粗匹配Transformer模块和用于提升匹配点精度的细匹配Transformer模块;
所述卷积模块先将原图依次降采样为初始分辨率的1/2、1/4、1/8,再上采样为1/4、1/2、1,在上采样过程中,与相应分辨率的降采样所得特征图进行特征融合;
所述粗匹配Transformer模块将卷积模块得到的特征图进行编码与匹配,得到整像素匹配点;
所述细匹配Transformer模块用于以粗匹配得到的每对像素点为中心取一小窗口,对所述小窗口进行优化,得到亚像素的匹配点。
进一步,所述改进的LoFTR模型在编码器中集成有更高分辨率的上采样层。
进一步,在匹配模块中引入空间一致性约束,剔除错误的匹配特征点对。
进一步,将输入分块为多个特定分辨率的子图,对于每个子图分别输入改进的LoFTR模型中得到匹配结果,再将所有子图的匹配结果转换到原图的统一坐标系中。
进一步,在对输入图像分块时,通过设置重叠部分以考虑构件可能存在的变形。
进一步,所述改进的LoFTR模型的训练步骤如下:首先在通用图像数据集上训练得到预训练模型,然后在钢板图像数据集上微调得到最终模型。
本发明的有益效果在于:本发明可以实现在实际工程中便捷地检测构件表面位移场,使用方便,不需要繁琐的准备工作;采用相机作为检测仪器,非接触式测量,且成本较低。
本发明的其他优点、目标和特征将在随后的说明书中进行阐述,并且在某种程度上对本领域技术人员而言是显而易见的,或者本领域技术人员可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明所述基于稠密匹配算法的构件表面位移场检测方法流程图;
图2为本发明所述改进的特征提取编码器结构图。
具体实施方式
本发明提出了一种能够便捷检测实际工程中的结构或构件表面位移场的算法。采用相机作为检测仪器,采集构件在受到外力作用时的连续图像或视频,将两帧图像进行特征点匹配,即可得到构件上该点在此时刻的位移,当特征点足够稠密时,即可得到构件表面的位移场。由于构件表面存在大量纹理稀疏区域,使得传统特征点检测与匹配的结果不理想,本发明引入了机器视觉中稀疏纹理区域的稠密匹配算法,该算法为卷积模块与Transformer模块结合的深度神经网络模型,能够对构件表面的相邻两帧进行稠密的特征点匹配,从而输出构件表面位移场。本发明的结构组成和工作原理如图1所示,包括以下步骤:
1、数据采集
使用普通消费级相机或工业相机对构件表面进行视频录制或固定时间间隔的相片拍摄。
2、数据预处理
若输入数据为视频,对于视频以固定频率进行抽帧得到固定时间间隔的图像。对于视频抽帧得到的图像或输入的多张图像进行高斯去噪。
3、图像拼接
当图像视野范围较小时,可选择对于构件表面进行扫描式拍摄,获取多幅图像,通过图像拼接得到一幅大视野图像。
4、改进的LoFTR模型是一种用于稀疏纹理区域内特征点稠密匹配的深度神经网络模型,特征点检测与匹配任务是检测并匹配两帧图像中对应于同一真实点的像素点,由于稀疏纹理区域缺乏明显特征点,LoFTR模型弥补了传统模型在稀疏纹理区域难以进行特征点匹配的不足。为了使模型在构件表面的图像有较好的表现,得到更为稠密的匹配特征点对从而输出位移场,本发明对LoFTR模型进行了如下的改进:
(1)修改特征提取编码器结构,如附图2所示,在编码器中集成更高分辨率的上采样层,大量增加可以参与特征匹配的像素数,以此提高匹配特征点对数。
模型主要包含三部分:用于提取特征的卷积模块、用于寻找大致匹配点对的粗匹配Transformer模块和用于提升匹配点精度的细匹配Transformer模块。卷积模块为先将原图依次降采样为初始分辨率的1/2、1/4、1/8,再上采样为1/4、1/2、1,在上采样过程中,与相应分辨率的降采样所得特征图进行特征融合。粗匹配Transformer模块将卷积模块得到的特征图进行编码与匹配,得到整像素匹配点。以粗匹配得到的每对像素点为中心取一小窗口,对于该小窗口通过细匹配Transformer模块进行编码以及优化,得到亚像素的匹配点。Transformer模块均采用8头注意力机制,由4次重复的自注意力、交叉注意力形成。
(2)在匹配模块中引入空间一致性约束,剔除错误的匹配特征点对,提高匹配准确度与输出位移场的精度。由于局部区域内像素点的位移变化连续,每个像素点的位移变化受到周围像素点位移变化的约束,而错误的特征匹配点则不满足此约束,通过该约束可以剔除错误匹配点对。
(3)由于模型接受固定分辨率的图像输入,而输出位移场的分辨率与输入图像的分辨率保持一致,若直接将高分辨率的输入图像降采样为该低分辨率,则损失图像信息,大大降低了输出位移场的分辨率。因此将输入分块为多个特定分辨率的子图,对于每个子图分别输入模型中得到匹配结果,再将所有子图的匹配结果转换到原图的统一坐标系中。考虑到子图上的像素可能由于构件变形,在下一帧时部分像素可能运动到该子图范围外,因此在对输入图像分块时,通过设置重叠部分以考虑构件可能存在的变形。
(4)对于改进的LoFTR模型,训练由两步进行。首先在通用图像数据集Scannet上训练得到预训练模型,然后在钢板图像数据集上微调得到最终模型。
5、输出位移场
在LoFTR模型中输出稠密的匹配特征点对坐标,计算每对特征点的位移,通过插值反演出位移场。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于稠密匹配算法的构件表面位移场检测方法,其特征在于:包括以下步骤:
S1:采集图像或视频数据;
S2:对数据进行预处理;
S3:使用改进的LoFTR模型得到稠密匹配特征点对坐标;
S4:计算每对特征点的位移,提供插值反演出位移场;
所述改进的LoFTR模型是一种适用于进行稀疏纹理区域内特征点稠密匹配的深度神经网络模型,特征点检测与匹配任务是检测并匹配两帧图像中对应于同一真实点的像素点,稠密匹配任务则是在此基础上尽可能地提高匹配点的数量与密度;
所述改进的LoFTR模型包括用于提取特征的卷积模块、用于寻找大致匹配点对的粗匹配Transformer模块和用于提升匹配点精度的细匹配Transformer模块;
所述卷积模块先将原图依次降采样为初始分辨率的1/2、1/4、1/8,再上采样为1/4、1/2、1,在上采样过程中,与相应分辨率的降采样所得特征图进行特征融合;
所述粗匹配Transformer模块将卷积模块得到的特征图进行编码与匹配,得到整像素匹配点;
所述细匹配Transformer模块用于以粗匹配得到的每对像素点为中心取一小窗口,对所述小窗口进行优化,得到亚像素的匹配点;
所述改进的LoFTR模型在编码器中集成有更高分辨率的上采样层;
在匹配模块中引入空间一致性约束,剔除错误的匹配特征点对;
将输入分块为多个特定分辨率的子图,对于每个子图分别输入改进的LoFTR模型中得到匹配结果,再将所有子图的匹配结果转换到原图的统一坐标系中;
在对输入图像分块时,通过设置重叠部分以考虑构件可能存在的变形。
2.根据权利要求1所述的基于稠密匹配算法的构件表面位移场检测方法,其特征在于:步骤S1中,使用普通消费级相机或工业相机对构件表面进行视频录制或多张相片拍摄。
3.根据权利要求1所述的基于稠密匹配算法的构件表面位移场检测方法,其特征在于:步骤S2所述对数据进行预处理,具体包括:
若输入数据为视频,对视频以固定频率进行抽帧得到固定时间间隔的图像;
对视频抽帧得到的图像或输入的多张图像进行高斯去噪。
4.根据权利要求1所述的基于稠密匹配算法的构件表面位移场检测方法,其特征在于:当图像视野范围不满足条件时,构件表面进行扫描式拍摄,获取多幅图像,通过图像拼接,扩大图像的视野范围。
5.根据权利要求1所述的基于稠密匹配算法的构件表面位移场检测方法,其特征在于:所述改进的LoFTR模型的训练步骤如下:首先在通用图像数据集上训练得到预训练模型,然后在钢板图像数据集上微调得到最终模型。
CN202311069744.4A 2023-08-24 2023-08-24 一种基于稠密匹配算法的构件表面位移场检测方法 Active CN117036454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311069744.4A CN117036454B (zh) 2023-08-24 2023-08-24 一种基于稠密匹配算法的构件表面位移场检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311069744.4A CN117036454B (zh) 2023-08-24 2023-08-24 一种基于稠密匹配算法的构件表面位移场检测方法

Publications (2)

Publication Number Publication Date
CN117036454A CN117036454A (zh) 2023-11-10
CN117036454B true CN117036454B (zh) 2024-05-14

Family

ID=88631519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311069744.4A Active CN117036454B (zh) 2023-08-24 2023-08-24 一种基于稠密匹配算法的构件表面位移场检测方法

Country Status (1)

Country Link
CN (1) CN117036454B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559348A (zh) * 2018-11-30 2019-04-02 东南大学 一种基于特征点追踪的桥梁非接触式变形测量方法
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN113283525A (zh) * 2021-06-07 2021-08-20 郑健青 一种基于深度学习的图像匹配方法
CN115564975A (zh) * 2022-08-30 2023-01-03 海口乐帆技术开发有限公司 图像的匹配方法、装置、终端设备及存储介质
CN115578426A (zh) * 2022-10-25 2023-01-06 哈尔滨工业大学 一种基于稠密特征匹配的室内服务机器人重定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559348A (zh) * 2018-11-30 2019-04-02 东南大学 一种基于特征点追踪的桥梁非接触式变形测量方法
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN113283525A (zh) * 2021-06-07 2021-08-20 郑健青 一种基于深度学习的图像匹配方法
CN115564975A (zh) * 2022-08-30 2023-01-03 海口乐帆技术开发有限公司 图像的匹配方法、装置、终端设备及存储介质
CN115578426A (zh) * 2022-10-25 2023-01-06 哈尔滨工业大学 一种基于稠密特征匹配的室内服务机器人重定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LoFTR: Detector-Free Local Feature Matching with Transformers;Jiaming Sun et al.;《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20211102;第8918-8927页 *

Also Published As

Publication number Publication date
CN117036454A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN102436652B (zh) 一种多源遥感图像自动配准方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN109580630A (zh) 一种机械零部件缺陷的视觉检测方法
CN110544233A (zh) 基于人脸识别应用的深度图像质量评价方法
CN107374638A (zh) 一种基于双目视觉模块的身高测量系统及方法
CN101832756A (zh) 测量图像中目标位移以及应变与应变率成像的方法和装置
CN110348459A (zh) 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法
CN114396877B (zh) 面向材料力学性能的智能三维位移场及应变场测量方法
CN117036454B (zh) 一种基于稠密匹配算法的构件表面位移场检测方法
CN113256706A (zh) 一种基于zynq的实时光条纹中心提取系统及方法
CN111256596B (zh) 基于cv技术的尺寸测量方法、装置、计算机设备及介质
CN110532725B (zh) 基于数字图像的工程结构力学参数识别方法及系统
CN115638731B (zh) 一种基于超分辨率的振动台试验计算机视觉位移测量方法
CN111696143A (zh) 一种事件数据的配准方法与系统
CN116183226A (zh) 基于相位的轴承试验台振动位移测量及模态分析算法
CN116416234A (zh) 一种轨道机车表面缺陷检测方法及系统
CN115731345A (zh) 基于双目视觉的人体三维重建方法
CN110472085A (zh) 三维图像搜索方法、系统、计算机设备和存储介质
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN113406006B (zh) 一种用于探测第二模态凸型内孤立波振幅的方法
CN114065650A (zh) 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法
Peng et al. Full-field visual vibration measurement of rotating machine under complex conditions via unsupervised retinex model
Li et al. Computer simulation of image distortion by atmospheric turbulence using time-series image data with 250-million-pixels
Dahal et al. Deep Learning-Based Super-Resolution of Digital Elevation Models in Data Poor Regions.
CN115420277B (zh) 一种物体位姿测量方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant