CN109829856A - 一种桥梁裂缝信息融合方法 - Google Patents

一种桥梁裂缝信息融合方法 Download PDF

Info

Publication number
CN109829856A
CN109829856A CN201910088866.5A CN201910088866A CN109829856A CN 109829856 A CN109829856 A CN 109829856A CN 201910088866 A CN201910088866 A CN 201910088866A CN 109829856 A CN109829856 A CN 109829856A
Authority
CN
China
Prior art keywords
image
point
width
crack
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910088866.5A
Other languages
English (en)
Other versions
CN109829856B (zh
Inventor
杜建超
李红丽
李云松
汪小鹏
郭祥伟
栗一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Kanghong Transportation Technology Co Ltd
Xi'an Pincode Electronic Technology Co Ltd
Xidian University
Original Assignee
Shaanxi Kanghong Transportation Technology Co Ltd
Xi'an Pincode Electronic Technology Co Ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Kanghong Transportation Technology Co Ltd, Xi'an Pincode Electronic Technology Co Ltd, Xidian University filed Critical Shaanxi Kanghong Transportation Technology Co Ltd
Priority to CN201910088866.5A priority Critical patent/CN109829856B/zh
Publication of CN109829856A publication Critical patent/CN109829856A/zh
Application granted granted Critical
Publication of CN109829856B publication Critical patent/CN109829856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种桥梁裂缝信息融合方法,主要解决现有的图像拼接算法对桥梁裂缝信息融合准确性差的问题;其实现方案是:获取桥梁裂缝检测标注图像;检测图像特征点并匹配特征点;根据图像匹配特征点计算图像的相机内参矩阵和旋转矩阵,并对图像做投影变换;对投影变换图像做曝光补偿及多频带融合得到拼接图像;提取拼接图像的裂缝位置坐标;细化裂缝并对裂缝分条,获取裂缝数量、长度信息;计算拼接前后坐标对应关系,获取裂缝宽度信息。本发明通过图像处理技术对桥梁裂缝检测标注图像进行图像拼接以及裂缝数量、长度、宽度的信息融合,能够提取经过图像拼接后的桥梁裂缝信息,且实用性强,准确性和可靠性高,可用于对各类桥梁裂缝的检测。

Description

一种桥梁裂缝信息融合方法
技术领域
本发明属于测试技术领域,特别涉及一种信息融合方法,可用于桥梁裂缝的检测。
背景技术
对于桥梁裂缝检测,其方法正在由手工检测向图像自动化检测转变。目前,出现许多自动化裂缝检测算法,可以对摄像机拍摄的桥梁表面图像中存在的裂缝进行检测,测量得到裂缝的位置、数量、长度、宽度等信息。但是,自动化桥梁检测存在的一个问题是摄像机拍摄范围有限,检测结果大多是局部的,难以对桥梁某一完整结构区域作病害评估。因此,需要对桥梁某一完整结构区域拍摄多组图像,进行图像拼接与信息融合,得到全局裂缝检测结果,从而更好的评估桥梁表面病害程度。
现阶段,图像拼接主要由图像配准和图像融合这两个部分组成,其中:
所述图像配准分为两大类:基于灰度的模板匹配和基于轮廓的特征匹配。
基于灰度的模板匹配方法较简单、速度较快,但准确性较低,当待匹配图像存在较大的噪声和灰度差异时很难获得成功,但由于其直接、易实现的特性,仍被广泛采用。
基于轮廓的特征匹配方法准确性较高,但速度较慢,要求待匹配图像具有较明显的轮廓特征。基于轮廓的特征匹配的常用算法有三种:尺度不变特征变换SIFT算法、稳定特征加速SURF算法、角点检测与特征描述ORB算法。这三种算法随着精度依次递减而速度依次增加,采用SURF或ORB算法可以提高处理速度,但在匹配精度上有所下降。
所述图像融合分为两大类:空间域融合和变换域融合。
空间域融合方法速度较快,实现简单,但噪声干扰较多,容易出现接缝线或重影现象,融合效果较差。
变换域融合方法可以针对不自然的现象进行处理,得到较完整真实的结果,融合效果较好,但运算较复杂,速度较慢。
图像融合方法主要针对图像表面的轮廓融合,没有考虑图像内部的信息融合,且像素坐标和像素值要经过复杂处理,导致难以推导融合前后图像内部的信息对应关系,给裂缝信息融合造成困难。
综上,目前提出的许多图像拼接方法,大都存在拼接质量与速度难以兼容,实际拼接结果不自然和准确性低的问题,且没有准确快速的融合图像内部信息的方法,影响桥梁裂缝检测的实际应用。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种桥梁裂缝信息融合方法,以提高桥梁图像拼接的准确性,实现对桥梁裂缝信息的快速融合。
为实现上述目的,本发明采取的技术方案包括如下:
(1)获取桥梁裂缝检测标注图像:
计算机读取一组经过桥梁裂缝检测的桥梁图像,得到裂缝位置和裂缝宽度,利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注,即在R通道赋该裂缝点对应宽度值,在G通道赋0,在B通道赋255;再在每幅图像的中点处给R通道赋255,G通道赋0,B通道赋0,作为中点标记点;
(2)检测图像特征点及匹配特征点:
(2a)将每幅标注图像按照输入图像数量开方的倍数缩小,并计算每幅缩小后图像的特征点及特征点描述子;
(2b)根据特征点及特征点描述子,获取每两幅缩小后图像的匹配特征点对,根据匹配特征点对,计算每两幅缩小后图像的单应性矩阵与置信度;
(2c)保留置信度高于设定阈值l=1的缩小后图像,并根据置信度的高低确定保留图像的拼接顺序,得到n组匹配图像对;
(3)计算及矫正图像的相机内参矩阵和旋转矩阵:
(3a)根据单应性矩阵,计算所有匹配图像的整体相机焦距fu,并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri,i=1,...,n;
(3b)利用误差指标函数矫正相机内参矩阵和旋转矩阵;
(4)图像投影变换:即根据旋转矩阵,将每幅匹配图像作波形矫正;根据相机内参矩阵和旋转矩阵,将每幅匹配图像作正向映射,再作反向映射,得到投影变换图像;
(5)图像曝光补偿及多频带融合:
(5a)计算每幅投影变换图像的增益系数,得到曝光补偿图像;
(5b)搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线,接缝线两侧选择各自对应的图像部分,得到融合图像;
(5c)对每幅融合图像做金字塔变换,得到拼接图像;
(6)拼接图像提取裂缝位置坐标:
(6a)计算投影变换图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为投影变换裂缝点,记录投影变换裂缝点坐标;
(6b)计算拼接图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为拼接裂缝点,记录投影变换裂缝点坐标并将其置为1,将其余点置为0,得到裂缝图像;
(7)细化裂缝并分条,获取裂缝数量、长度信息:
(7a)遍历拼接裂缝点,细化裂缝图像中的裂缝,搜索裂缝起始点及其对应的裂缝连续点,得到分条裂缝;
(7b)统计裂缝条数得到裂缝数量,统计每条裂缝的裂缝点数得到裂缝长度;
(8)计算拼接前后坐标对应关系,获取裂缝宽度信息:
(8a)在投影变换图像和拼接图像中分别提取中点标记点坐标,计算坐标偏移量,根据坐标偏移量,计算裂缝骨架点在投影变换图像中的对应位置;
(8b)搜索对应位置处距离最近的投影变换裂缝点并提取宽度值,计算每条裂缝平均宽度,完成对桥梁信息的融合。
本发明与现有技术相比,具有以下优点:
第一、由于本发明在图像拼接中不仅实现图像坐标变换,还加入曝光补偿及多频带融合对图像像素值进行处理,增强在视觉上的图像拼接效果,不会出现明显的拼接痕迹及色调不均匀的情况,使得最终的拼接图像更真实完整。
第二、由于本发明在图像拼接基础上进行桥梁裂缝融合,不仅能够准确融合多幅桥梁裂缝检测结果图像,而且能够快速融合桥梁裂缝检测结果图像中包含的裂缝信息,使得桥梁裂缝信息在经过图像拼接之后能够提取出来,弥补了桥梁裂缝检测在实际应用时难以统计裂缝信息的缺陷。
附图说明
图1为本发明的实现流程图;
图2为本发明的仿真结果图。
具体实施方式
下面结合附图对本发明的实施例和效果作进一步阐述。
参照图1,本发明的具体实现如下:
步骤1.获取桥梁裂缝检测标注图像。
计算机读取一组经过桥梁裂缝检测的桥梁图像,得到裂缝位置和裂缝宽度,利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注,即在R通道赋该裂缝点对应宽度值,在G通道赋0,在B通道赋255;再在每幅图像的中点处给R通道赋255,G通道赋0,B通道赋0,作为中点标记点。
步骤2.检测图像特征点及匹配特征点,获得n组匹配图像对。
(2a)将每幅标注图像按照输入图像数量开方的倍数缩小,并计算每幅缩小后图像的特征点及特征点描述子:
现有的计算每幅缩小后图像的特征点及特征点描述子的算法有:尺度不变特征变换SIFT算法、稳定特征加速SURF算法、角点检测与特征描述ORB算法计算,本实例中采用但不限于尺度不变特征变换SIFT算法实现对每幅缩小后图像的特征点及特征点描述子的计算;
(2b)根据特征点及特征点描述子,获取每两幅缩小后图像的匹配特征点对,根据匹配特征点对,计算每两幅缩小后图像的单应性矩阵与置信度:
(2b1)对k幅缩小后图像,根据第i幅和第j幅缩小后图像的特征点描述子,计算第i幅和第j幅缩小后图像中的两个特征点之间的欧式距离,i=1,...,k,j=1,...,k,j≠i:
其中,a表示第i幅缩小后图像中的特征点,b、c表示第j幅缩小后图像中与a的欧氏距离最近的两个特征点;Lij(ab)表示a与b的欧式距离,Lij(ac)表示a与c的欧式距离,(x1,...,x128)为a的特征点描述子,(y1,...,y128)为b的特征点描述子,(z1,...,z128)为c的特征点描述子;
(2b2)设定匹配阈值ρ=0.2,使用最近邻算法判断a与b是否为匹配特征点对:
若Lij(ab)/Lij(ac)<1-ρ,且Lij(ab)<Lij(ac),则a与b是匹配特征点对,否则,a与b不是匹配特征点对;
(2b3)随机抽取第i幅和第j幅缩小后图像的4对匹配特征点对,且其中任意3个匹配特征点不共线,计算第i幅和第j幅缩小后图像的单应性矩阵Hij
Hij=Pji*Pij -1
其中,Pij表示第i幅缩小后图像中的匹配特征点坐标矩阵,Pji表示第j幅缩小后图像中的匹配特征点坐标矩阵;
(2b4)计算第i幅和第j幅缩小后图像的所有匹配特征点对的重映射误差dij
dij=||Pji-Hij*Pij||;
(2b5)设定内点阈值η=0.8,判断匹配特征点对是否为内点对:
若dij<η,则匹配特征点对为内点对,否则,匹配特征点对为外点对;
(2b6)分别统计第i幅和第j幅缩小后图像的内点对数量Lij与外点对数量Fij
(2b7)计算最大迭代次数Nij
Nij=log(1-q)/log([1-(1-εij)S]),
其中,q=0.5表示设定抽取概率,εij=Fij/(Lij+Fij)表示外点对数与匹配特征点对数的比例,S=4表示随机抽取数量;
(2b8)重复(2b3)-(2b6)共Nij次;
(2b9)根据第i幅和第j幅缩小后图像的内点对,按照(2b3)公式重新计算第i幅和第j幅缩小后图像的单应性矩阵Hij
(2b10)根据内点对数量Lij与外点对数量Fij,计算第i幅和第j幅缩小后图像的置信度cij
cij=Lij/(8.0+0.3*Fij);
(2c)保留置信度高于设定阈值l=1的缩小后图像,并根据置信度的高低确定保留图像的拼接顺序,得到n组匹配图像对。
步骤3.计算及矫正图像的相机内参矩阵和旋转矩阵。
(3a)根据单应性矩阵,计算所有匹配图像的整体相机焦距fu,并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri,i=1,...,n:
(3a1)对n组匹配图像对,根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij,分别计算第i幅匹配图像的两个焦距参数fai和fbi,i=1,...,n,j=1,...,n,j≠i:
其中,h1ij-h9ij表示单应性矩阵Hij的9个数值;
(3a2)根据第i幅匹配图像的两个焦距参数fai和fbi,计算第i幅匹配图像的相机焦距fi
(3a3)根据第i幅匹配图像的相机焦距fi,计算所有匹配图像的整体相机焦距fu
(3a4)根据所有匹配图像的整体相机焦距fu,第i幅匹配图像的两个焦距参数fai和fbi,分别计算第i幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri
其中,(xi,yi)表示第i幅匹配图像的中点坐标;
(3b)利用误差指标函数矫正相机内参矩阵和旋转矩阵:
现有的误差指标函数矫正方法有:重映射误差指标函数矫正方法、射线发散误差指标函数矫正方法,本实例中采用但不限于重映射误差指标函数矫正方法,其实现如下:
(3b1)对n组匹配图像对,根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij,计算第i幅匹配图像的重映射误差ei(h),i=1,...,n,j=1,...,n,j≠i:
ei(h)=||hj-Hij*hi||,
其中,hi表示第i幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量,hj表示第j幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量;
(3b2)根据第i幅匹配图像的重映射误差ei(h),计算所有匹配图像的最小重映射误差指标E:
步骤4.图像投影变换。
根据旋转矩阵,将每幅匹配图像作波形矫正;
根据相机内参矩阵和旋转矩阵,将每幅匹配图像作正向映射,再作反向映射,得到投影变换图像:
现有的图像正向映射和反向映射方法有:平面投影映射方法、柱面投影映射方法、球面投影映射方法、鱼眼投影映射方法,本实例中采用但不限于柱面投影映射方法实现对每幅匹配图像的映射。
步骤5.图像曝光补偿及多频带融合。
(5a)计算每幅投影变换图像的增益系数,得到曝光补偿图像:
现有的图像曝光补偿方法有:增益补偿方法、分块增益补偿方法,本实例采用但不限于分块增益补偿方法,其实现如下:
(5a1))将n幅投影变换图像每幅平均分成32*32大小的m块,计算第i幅投影变换图像的第m块最小增益系数ezi,i=1,...,n,z=1,...,m:
其中,Nij表示第i幅投影变换图像与第j幅投影变换图像的重叠区域的像素点数,Iij表示第i幅投影变换图像在第j幅投影变换图像的重叠区域的强度平均值,gi表示第i幅投影变换图像的增益系数,gj表示第j幅投影变换图像的增益系数,σN=10表示误差标准差,σg=0.1表示增益标准差;
(5a2)通过分割线性滤波对第i幅投影变换图像的第m块最小增益系数ezi进行平滑;
(5a3)将第i幅投影变换图像的第m块乘上平滑后的最小增益系数,得到曝光补偿图像;
(5b)搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线,接缝线两侧选择各自对应的图像部分,得到融合图像:
现有的图像最佳接缝线搜索算法有:逐点搜索算法、法动态规划搜索算法、最大流图割搜索算法,本实例中采用但不限于最大流图割搜索算法实现对每相邻两幅曝光补偿图像的重叠区域的最佳接缝线的搜索;
(5c)对每幅融合图像做金字塔变换,得到拼接图像:
现有的图像融合算法有:羽化融合算法、多频带融合算法,本实例采用但不限于多频带融合算法,其实现如下:
(5c1)对n幅融合图像,分别建立第i幅融合图像的多层拉普拉斯图像,记为融合图像的拉普拉斯金字塔Yi,i=1,...,n;
(5c2)将每相邻两幅融合图像重叠区域的拉普拉斯金字塔进行合并,得到多层合并后的图像,记为合并金字塔Z:
Z=(YI1*w1+YI2*w2)/(w1+w2),
其中,YI1表示重叠区域接缝线左侧部分的拉普拉斯金字塔,w1表示YI1的权值,YI2表示重叠区域接缝线右侧部分的拉普拉斯金字塔,w2表示YI2的权值;
(5c3)将合并金字塔Z做逆拉普拉斯变换,得到多层变换后的图像,取最底层的变换后图像作为拼接图像。
步骤6.拼接图像提取裂缝位置坐标。
(6a)计算投影变换图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为投影变换裂缝点,记录投影变换裂缝点坐标;
(6b)计算拼接图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为拼接裂缝点,记录投影变换裂缝点坐标并将其置为1,将其余点置为0,得到裂缝图像。
步骤7.细化裂缝并分条,获取裂缝数量、长度信息。
(7a)遍历拼接裂缝点,细化裂缝图像中的裂缝,搜索裂缝起始点及其对应的裂缝连续点,得到分条裂缝:
现有的图像裂缝细化算法有:Hilditch细化算法、Deutch细化算法、索引表细化算法,本实例采用但不限于索引表细化算法,其实现如下:
(7a1)遍历裂缝图像中的拼接裂缝点,计算拼接裂缝点八邻域内的像素点ri的加权和A,i=1,...,8:
A=r1+8*r2+64*r3+2*r4+16+128*r5+4*r6+32*r7+256*r8
(7a2)根据索引表细化算法中的细化索引表,获取像素点加权和A对应的索引值γ,判断拼接裂缝点是否可以保留:
若γ=0,则不保留拼接裂缝点,即将拼接裂缝点置为0,否则,保留拼接裂缝点,得到裂缝骨架点;
(7a3)统计每个裂缝骨架点八邻域内的裂缝骨架点个数qi,i=1,2,...,判断裂缝骨架点是否是裂缝起始点:
若qi=1,则裂缝骨架点是裂缝起始点,记录该裂缝起始点坐标,否则,裂缝骨架点不是裂缝起始点;
(7a4)遍历裂缝起始点,将当前裂缝起始点作为第1搜索点,并将该第1搜索点置为0;
(7a5)统计第i搜索点八邻域内的裂缝骨架点个数pi,i=1,2,...,判断第i搜索点八邻域内是否有裂缝连续点:
若pi=0,则第i搜索点八邻域内无裂缝连续点,若pi=1,则第i搜索点八邻域内有1个裂缝连续点,记录该裂缝连续点坐标,将该裂缝连续点置为0,并将该裂缝连续点作为第i+1搜索点;
若pi=2,则第i搜索点八邻域内有2个裂缝连续点,记录该2个裂缝连续点坐标,将该2个裂缝连续点都置为0,并将该2个裂缝连续点分别作为第i+1搜索点和第i+2搜索点;
(7a6)重复(7a4)-(7a5),直到裂缝起始点遍历完毕;
(7b)统计裂缝条数得到裂缝数量,统计每条裂缝的裂缝点数得到裂缝长度。
步骤8.计算拼接前后坐标对应关系,获取裂缝宽度信息。
(8a)在投影变换图像和拼接图像中分别提取中点标记点坐标,计算投影变换图像和拼接图像的中点标记点的坐标差值,将坐标差值记为坐标偏移量;再根据坐标偏移量,将裂缝骨架点坐标与坐标偏移量相加,得到裂缝骨架点在投影变换图像中的对应位置;
(8b)搜索对应位置处距离最近的投影变换裂缝点,提取投影变换裂缝点处的宽度值,计算每条裂缝平均宽度。
以上获取拼接图像,以及获取裂缝数量、长度和平均宽度信息后,即完成了对桥梁裂缝信息的融合。
对本发明的效果可通过以下仿真进一步说明。
1.仿真条件:
本发明的仿真实验在CPU主频3.50GHz、内存3.88GB、Windows7的硬件环境和Visual Studio 2013、OpenCV3.10的软件环境下进行的。
选取一块桥梁结构体,使用图像采集设备CCD相机拍摄4*4幅桥梁图像,桥梁图像分辨率为5760*3840,对每幅桥梁图像做桥梁裂缝检测和标注,得到桥梁裂缝检测标注图像,将桥梁裂缝检测标注图作为仿真实验用图。
2.仿真内容:
用本发明方法对仿真实验用图进行裂缝信息融合,得到拼接图像和裂缝信息,如图2所示,其中:
图2(a)为桥梁裂缝检测标注图;
图2(b)为用本发明对将图2(a)进行裂缝信息融合后得到的拼接图像;
从图2(b)可以看出,本发明能够对桥梁裂缝检测标注图像进行准确拼接,拼接图像中裂缝显示准确,没有接缝线和重影这些不自然的问题。
对图2(a)进行裂缝信息融合后得到的裂缝信息进行统计,结果如表1。
表1裂缝信息统计结果一览表
通过表1可以看出,本发明能够对桥梁裂缝信息进行快速融合,融合得到的桥梁裂缝信息与实际测量的桥梁裂缝信息的误差较小。

Claims (9)

1.一种桥梁裂缝信息融合方法,其特征在于,包括如下:
(1)获取桥梁裂缝检测标注图像:
计算机读取一组经过桥梁裂缝检测的桥梁图像,得到裂缝位置和裂缝宽度,利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注,即在R通道赋该裂缝点对应宽度值,在G通道赋0,在B通道赋255;再在每幅图像的中点处给R通道赋255,G通道赋0,B通道赋0,作为中点标记点;
(2)检测图像特征点及匹配特征点:
(2a)将每幅标注图像按照输入图像数量开方的倍数缩小,并计算每幅缩小后图像的特征点及特征点描述子;
(2b)根据特征点及特征点描述子,获取每两幅缩小后图像的匹配特征点对,根据匹配特征点对,计算每两幅缩小后图像的单应性矩阵与置信度;
(2c)保留置信度高于设定阈值l=1的缩小后图像,并根据置信度的高低确定保留图像的拼接顺序,得到n组匹配图像对;
(3)计算及矫正图像的相机内参矩阵和旋转矩阵:
(3a)根据单应性矩阵,计算所有匹配图像的整体相机焦距fu,并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri,i=1,...,n;
(3b)利用误差指标函数矫正相机内参矩阵和旋转矩阵;
(4)图像投影变换:即根据旋转矩阵,将每幅匹配图像作波形矫正;根据相机内参矩阵和旋转矩阵,将每幅匹配图像作正向映射,再作反向映射,得到投影变换图像;
(5)图像曝光补偿及多频带融合:
(5a)计算每幅投影变换图像的增益系数,得到曝光补偿图像;
(5b)搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线,接缝线两侧选择各自对应的图像部分,得到融合图像;
(5c)对每幅融合图像做金字塔变换,得到拼接图像;
(6)拼接图像提取裂缝位置坐标:
(6a)计算投影变换图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为投影变换裂缝点,记录投影变换裂缝点坐标;
(6b)计算拼接图像中每个像素点处B通道与G通道的差值,将满足差值大于100的像素点记为拼接裂缝点,记录投影变换裂缝点坐标并将其置为1,将其余点置为0,得到裂缝图像;
(7)细化裂缝并分条,获取裂缝数量、长度信息:
(7a)遍历拼接裂缝点,细化裂缝图像中的裂缝,搜索裂缝起始点及其对应的裂缝连续点,得到分条裂缝;
(7b)统计裂缝条数得到裂缝数量,统计每条裂缝的裂缝点数得到裂缝长度;
(8)计算拼接前后坐标对应关系,获取裂缝宽度信息:
(8a)在投影变换图像和拼接图像中分别提取中点标记点坐标,计算坐标偏移量,根据坐标偏移量,计算裂缝骨架点在投影变换图像中的对应位置;
(8b)搜索对应位置处距离最近的投影变换裂缝点并提取宽度值,计算每条裂缝平均宽度,完成对桥梁信息的融合。
2.根据权利要求1所述的方法,其特征在于,(2a)中计算每幅缩小后图像的特征点及特征点描述子,使用尺度不变特征变换SIFT算法或稳定特征加速SURF算法或角点检测与特征描述ORB算法计算。
3.根据权利要求1所述的方法,其特征在于,所述(2b)其实现如下:
(2b1)对k幅缩小后图像,根据第i幅和第j幅缩小后图像的特征点描述子,计算第i幅和第j幅缩小后图像中的两个特征点之间的欧式距离,i=1,...,k,j=1,...,k,j≠i:
其中,a表示第i幅缩小后图像中的特征点,b、c表示第j幅缩小后图像中与a的欧氏距离最近的两个特征点;Lij(ab)表示a与b的欧式距离,Lij(ac)表示a与c的欧式距离,(x1,...,x128)为a的特征点描述子,(y1,...,y128)为b的特征点描述子,(z1,...,z128)为c的特征点描述子;
(2b2)设定匹配阈值ρ=0.2,使用最近邻算法判断a与b是否为匹配特征点对:
若Lij(ab)/Lij(ac)<1-ρ,且Lij(ab)<Lij(ac),则a与b是匹配特征点对,否则,a与b不是匹配特征点对;
(2b3)随机抽取第i幅和第j幅缩小后图像的4对匹配特征点对,且其中任意3个匹配特征点不共线,计算第i幅和第j幅缩小后图像的单应性矩阵Hij
Hij=Pji*Pij -1
其中,Pij表示第i幅缩小后图像中的匹配特征点坐标矩阵,Pji表示第j幅缩小后图像中的匹配特征点坐标矩阵;
(2b4)计算第i幅和第j幅缩小后图像的所有匹配特征点对的重映射误差dij
dij=||Pji-Hij*Pij||;
(2b5)设定内点阈值η=0.8,判断匹配特征点对是否为内点对:
若dij<η,则匹配特征点对为内点对,否则,匹配特征点对为外点对;
(2b6)分别统计第i幅和第j幅缩小后图像的内点对数量Lij与外点对数量Fij
(2b7)计算最大迭代次数Nij
Nij=log(1-q)/log([1-(1-εij)S]),
其中,q=0.5表示设定抽取概率,εij=Fij/(Lij+Fij)表示外点对数与匹配特征点对数的比例,S=4表示随机抽取数量;
(2b8)重复(2b3)-(2b6)共Nij次;
(2b9)根据第i幅和第j幅缩小后图像的内点对,按照(2b3)公式重新计算第i幅和第j幅缩小后图像的单应性矩阵Hij
(2b10)根据内点对数量Lij与外点对数量Fij,计算第i幅和第j幅缩小后图像的置信度cij
cij=Lij/(8.0+0.3*Fij)。
4.根据权利要求1所述的方法,其特征在于,(3a)中计算,计算所有匹配图像的整体相机焦距fu,并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri,i=1,...,n,其实现如下:
(3a1)对n组匹配图像对,根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij,分别计算第i幅匹配图像的两个焦距参数fai和fbi,i=1,...,n,j=1,...,n,j≠i:
其中,h1ij-h9ij表示单应性矩阵Hij的9个数值;
(3a2)根据第i幅匹配图像的两个焦距参数fai和fbi,计算第i幅匹配图像的相机焦距fi
(3a3)根据第i幅匹配图像的相机焦距fi,计算所有匹配图像的整体相机焦距fu
(3a4)根据所有匹配图像的整体相机焦距fu,第i幅匹配图像的两个焦距参数fai和fbi,分别计算第i幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri
其中,(xi,yi)表示第i幅匹配图像的中点坐标。
5.根据权利要求1所述的方法,其特征在于,(3b)中利用误差指标函数矫正相机内参矩阵和旋转矩阵,其实现如下:
(3b1)对n组匹配图像对,根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij,计算第i幅匹配图像的重映射误差ei(h),i=1,...,n,j=1,...,n,j≠i:
ei(h)=||hj-Hij*hi||,
其中,hi表示第i幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量,hj表示第j幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量;
(3b2)根据第i幅匹配图像的重映射误差ei(h),计算所有匹配图像的最小重映射误差指标E:
6.根据权利要求1所述的方法,其特征在于,(5a)中计算每幅投影变换图像的增益系数,得到曝光补偿图像,其实现如下:
(5a1)将n幅投影变换图像每幅平均分成32*32大小的m块,计算第i幅投影变换图像的第m块最小增益系数ezi,i=1,...,n,z=1,...,m:
其中,Nij表示第i幅投影变换图像与第j幅投影变换图像的重叠区域的像素点数,Iij表示第i幅投影变换图像在第j幅投影变换图像的重叠区域的强度平均值,gi表示第i幅投影变换图像的增益系数,gj表示第j幅投影变换图像的增益系数,σN=10表示误差标准差,σg=0.1表示增益标准差;
(5a2)通过分割线性滤波对第i幅投影变换图像的第m块最小增益系数ezi进行平滑;
(5a3)将第i幅投影变换图像的第m块乘上平滑后的最小增益系数,得到曝光补偿图像。
7.根据权利要求1所述的方法,其特征在于,(5c)中对每幅融合图像做金字塔变换,得到完整拼接图像,其实现如下:
(5c1)对n幅融合图像,分别建立第i幅融合图像的多层拉普拉斯图像,记为融合图像的拉普拉斯金字塔Yi,i=1,...,n;
(5c2)将每相邻两幅融合图像重叠区域的拉普拉斯金字塔进行合并,得到多层合并后的图像,记为合并金字塔Z:
Z=(YI1*w1+YI2*w2)/(w1+w2),
其中,YI1表示重叠区域接缝线左侧部分的拉普拉斯金字塔,w1表示YI1的权值,YI2表示重叠区域接缝线右侧部分的拉普拉斯金字塔,w2表示YI2的权值;
(5c3)将合并金字塔Z做逆拉普拉斯变换,得到多层变换后的图像,取最底层的变换后图像作为拼接图像。
8.根据权利要求1所述的方法,其特征在于,(7a)中细化裂缝图像中的裂缝,搜索裂缝起始点及其对应的裂缝连续点,其实现如下:
(7a1)遍历裂缝图像中的拼接裂缝点,计算拼接裂缝点八邻域内的像素点ri的加权和A,i=1,...,8:
A=r1+8*r2+64*r3+2*r4+16+128*r5+4*r6+32*r7+256*r8
(7a2)根据索引表细化算法中的细化索引表,获取像素点加权和A对应的索引值γ,判断拼接裂缝点是否可以保留:
若γ=0,则不保留拼接裂缝点,即将拼接裂缝点置为0,否则,保留拼接裂缝点,得到裂缝骨架点;
(7a3)统计每个裂缝骨架点八邻域内的裂缝骨架点个数qi,i=1,2,...,判断裂缝骨架点是否是裂缝起始点:
若qi=1,则裂缝骨架点是裂缝起始点,记录该裂缝起始点坐标,否则,裂缝骨架点不是裂缝起始点;
(7a4)遍历裂缝起始点,将当前裂缝起始点作为第1搜索点,并将该第1搜索点置为0;
(7a5)统计第i搜索点八邻域内的裂缝骨架点个数pi,i=1,2,...,判断第i搜索点八邻域内是否有裂缝连续点:
若pi=0,则第i搜索点八邻域内无裂缝连续点,若pi=1,则第i搜索点八邻域内有1个裂缝连续点,记录该裂缝连续点坐标,将该裂缝连续点置为0,并将该裂缝连续点作为第i+1搜索点;
若pi=2,则第i搜索点八邻域内有2个裂缝连续点,记录该2个裂缝连续点坐标,将该2个裂缝连续点都置为0,并将该2个裂缝连续点分别作为第i+1搜索点和第i+2搜索点;
(7a6)重复(7a4)-(7a5),直到裂缝起始点遍历完毕。
9.根据权利要求1所述的方法,其特征在于,(8a)中计算坐标偏移量,根据坐标偏移量,计算裂缝骨架点在投影变换图像中的对应位置,其实现如下:
计算投影变换图像和拼接图像的中点标记点的坐标差值,将坐标差值记为坐标偏移量;
将裂缝骨架点坐标与坐标偏移量相加,得到裂缝骨架点在投影变换图像中的对应位置。
CN201910088866.5A 2019-01-30 2019-01-30 一种桥梁裂缝信息融合方法 Active CN109829856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910088866.5A CN109829856B (zh) 2019-01-30 2019-01-30 一种桥梁裂缝信息融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910088866.5A CN109829856B (zh) 2019-01-30 2019-01-30 一种桥梁裂缝信息融合方法

Publications (2)

Publication Number Publication Date
CN109829856A true CN109829856A (zh) 2019-05-31
CN109829856B CN109829856B (zh) 2022-09-20

Family

ID=66863005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910088866.5A Active CN109829856B (zh) 2019-01-30 2019-01-30 一种桥梁裂缝信息融合方法

Country Status (1)

Country Link
CN (1) CN109829856B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798423A (zh) * 2020-07-01 2020-10-20 上海理工大学 一种混凝土裂缝图片拼接与检测方法
CN112200824A (zh) * 2020-09-30 2021-01-08 山东省交通科学研究院 一种准确计算裂缝图像中单个像素实际宽度的方法
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216089A1 (en) * 2010-04-22 2013-08-22 The University Of North Carolina At Charlotte Method and System for Remotely Inspecting Bridges and Other Structures
CN108334941A (zh) * 2018-03-06 2018-07-27 陕西师范大学 一种基于生成式对抗网络的桥梁裂缝图像生成模型
CN108985363A (zh) * 2018-07-03 2018-12-11 长安大学 一种基于rbpnn的钢筋混凝土桥梁裂缝分类识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130216089A1 (en) * 2010-04-22 2013-08-22 The University Of North Carolina At Charlotte Method and System for Remotely Inspecting Bridges and Other Structures
CN108334941A (zh) * 2018-03-06 2018-07-27 陕西师范大学 一种基于生成式对抗网络的桥梁裂缝图像生成模型
CN108985363A (zh) * 2018-07-03 2018-12-11 长安大学 一种基于rbpnn的钢筋混凝土桥梁裂缝分类识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋文波等: "基于数字图像的混凝土道路裂缝检测方法综述", 《西华大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798423A (zh) * 2020-07-01 2020-10-20 上海理工大学 一种混凝土裂缝图片拼接与检测方法
CN111798423B (zh) * 2020-07-01 2022-08-23 上海理工大学 一种混凝土裂缝图片拼接与检测方法
CN112200824A (zh) * 2020-09-30 2021-01-08 山东省交通科学研究院 一种准确计算裂缝图像中单个像素实际宽度的方法
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质

Also Published As

Publication number Publication date
CN109829856B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN109829856A (zh) 一种桥梁裂缝信息融合方法
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN110349086B (zh) 一种非同心成像条件的图像拼接方法
US20220036589A1 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
CN106030653A (zh) 用于生成高动态范围图像的图像处理系统和图像处理方法
CN110544202B (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
EP2897101A1 (en) Visual perception matching cost on binocular stereo images
CN114332183A (zh) 图像配准方法、装置、计算机设备和存储介质
Wang et al. Robust color correction in stereo vision
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN112833821B (zh) 高密度ic焊点的微分几何立体微视觉检测系统及方法
JPH11191150A (ja) 画像処理方法、画像処理装置、画像収集装置、及び画像処理システム
CN112270748B (zh) 基于图像的三维重建方法及装置
CN113068016A (zh) 白平衡校正方法、装置和计算机设备
Luo et al. Using surface model to correct and fit disparity data in stereo vision
CN110728296B (zh) 一种加速特征点匹配的两步随机抽样一致性方法及系统
CN112233119A (zh) 工件缺陷质检方法、装置及系统
Fursov et al. Correction of distortions in color images based on parametric identification
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN115393187A (zh) 一种高自由度的微观图像拼接融合方法及系统
CN114973384A (zh) 基于关键点和视觉显著目标检测的电子人脸照片采集方法
CN111681271B (zh) 一种多通道多光谱相机配准方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant