CN105352975B - 一种桥梁缆索外观检测方法 - Google Patents
一种桥梁缆索外观检测方法 Download PDFInfo
- Publication number
- CN105352975B CN105352975B CN201510873378.7A CN201510873378A CN105352975B CN 105352975 B CN105352975 B CN 105352975B CN 201510873378 A CN201510873378 A CN 201510873378A CN 105352975 B CN105352975 B CN 105352975B
- Authority
- CN
- China
- Prior art keywords
- msub
- msup
- mrow
- mtd
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000007547 defect Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000000746 purification Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005259 measurement Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
- G01N2021/887—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/10—Scanning
- G01N2201/103—Scanning by mechanical motion of stage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种桥梁缆索外观检测方法，结构图像经过矩阵式拼接后，再经过图像矫正，实现图形像素的坐标与实际CAD图纸坐标一一对应；形成一张结构物高清地图，并在图上进行缺陷量测、定位、标注、分类、统计等；本发明不仅可以得到桥梁缆索表面的缺陷信息，还保证检测的精度和客观性，可以观测到亚毫米级的缺陷，满足实际工程的需求。
Description
技术领域
本发明涉及一种桥梁缆索外观检测方法。
背景技术
悬索桥、斜拉桥和拱桥是大跨径桥梁的主要结构形式，其中缆索是非常重要的结构受力构件，起传递荷载的重要作用，国内有宜宾小南门桥、綦江县彩虹桥等桥梁都是因为缆索(吊杆)断裂引发的桥梁倒塌的重大事故。因此桥梁缆索对于桥梁结构安全至关重要作用。
缆索检测是非常重要的日常工作。目前日常检测主要通过望远镜；定期检测通过卷扬机拉动钢丝绳提升吊篮，检测人员在吊篮中对缆索检测，这种检测效率低、成本高、安全性低。
针对人工吊篮检测存在的安全性差、效率低的缺点，国内外很多研究机构也开发专用于缆索外观检测的设备，专利CN 101538830A公开了桥梁索缆健康监测机器人，CN104074135A也公开了一种桥梁索缆检测装置。
上述两个专利设备共同特点是：大量机械(车架组件和悬挂组件)和爬升组件部件完成缆索的自动爬升，搭载的检测设备靠近缆索，代替人工完成自动检测工作。机械结构复杂，设备成本高，不易操作，设备成本高，检测时间长，且不同类型桥梁缆索的角度、直径、环境等差异很大，一套设备很难适应所有缆索的检测，因此缆索的自动检测设备并没有大规模投入使用。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种桥梁缆索外观检测方法。
为解决上述技术问题，本发明所采用的技术方案是：一种桥梁缆索外观检测方法，采用外观检测装置，该外观检测装置包括三脚架和采集平台，所述采集平台包括第一框架和第二框架，所述第一框架通过竖直设置的转轴与所述三脚架顶部连接，且所述第一框架可绕所转轴轴向旋转，所述第二框架两侧各通过一根转动轴与所述第一框架两侧连接，且所述第二框架能以两根转动轴的连线为中心轴旋转；所述第二框架上安装有相机和镜头，且所述相机中心水平线与所述两根转动轴处于同一平面；包括以下步骤：
1)将桥梁缆索分为两个视角，所述两个视角分别设置在桥梁缆索的两侧，然后对桥梁缆索进行正面拍摄；
2)根据相机传感器尺寸、镜头焦距参数、图像重叠率，计算出单幅图像拍摄范围；然后自动将桥梁缆索进行矩阵对角线分区，并计算出每个分区的两个转动角度；通过第一框架和第二框架实现竖向和水平轴转动，按从上至下的顺序拍摄，直至完成桥梁缆索的图像采集，并确定位置矩阵M；
3)根据位置矩阵M确定待拼接的图像，对采集的图像进行拼接处理；
4)对拼接后的图像进行配准处理；
5)由矢量CAD文件确定图形文件像素大小，并根据像素尺寸和像素个数确定缺陷的长度、宽度和面积，采用地图集的方式对结构物外观的缺陷进行标记和量测，并将缺陷数据记录到数据库之中，形成缺陷信息数据库。
所述步骤2)的具体实现过程包括以下步骤：
1)确定相机单幅图像拍摄区域范围fov：fov＝360÷PI×arctan(36÷coef÷(2×f×mx))；其中，PI为圆周率；c为相机变焦系数；f为相机焦距；mx为焦距倍增数；
2)确定fov后，根据下式确定拍摄区域的行row、列col值，对拍摄区域分区：
row＝((AE_y-AS_y+fov)-ol×fov)/(fov×(1-ol)+1；
col＝((AE_x-AS_x+fov)-ol×fov)/(fov×(1-ol)+1；
其中，AE_x是转轴在水平方向的终点位置；AE_y是转动轴在竖直方向的终点位置；AS_x是转轴在水平方向的初始位置；AS_y是转动轴在竖直方向的初始位置；ol为图像重叠率；ol为图像重叠率；
3)计算转轴和转动轴的单位转动角度x_angle,y_angle：
x_angle＝(AE_x-AS_x)/(col-1)；
y_angle＝(AE_y-AS_y)/(row-1)；
其中，AE_x是转轴在水平方向的终点位置；AE_y是转动轴在竖直方向的终点位置；AS_x是转轴在水平方向的初始位置；AS_y是转动轴在竖直方向的初始位置；
4)确定位置矩阵M，M中对角线上任意位置(i,j)处的转轴转动位置由下式确定：
M[i,j]＝{AS_y+i×y_angle,AS_x+j×x_angle}；其中，i,j≥2；
其中，AS_y是转动轴在竖直方向的初始位置；AS_x是转轴在水平方向的初始位置。
对采集的图像进行拼接处理包括以下步骤：
1)由位置矩阵M对角线上的元素M[i-1,j-1]和M[i,j]确定待拼接的相邻两张图像文件P1和P2；
2)根据重叠率ol分别在P1的左侧选取长为P1长度、宽为w1的重叠区域I1，在P2的右侧选取长为P2的长度、宽为w2的重叠区域I2，确定拼接对象，w1、w2均大于ol；
3)对I1和I2进行高斯平滑处理以后，采用Surf算子进行特征点提取，I1和I2对应的特征点集为f1和f2；
4)对特征点集f1和f2采用RANSAC算法进行提纯，剔除无效特征点，利用k-d tree和BBF算法对提纯后的f1和f2进行特征点匹配，将I1和I2中的特征点进行一一对应；
5)利用下式对齐I1和I2：
其中，是需要对齐的像素对齐后在图像中的位置；是需要对齐的像素在原始图像中的位置；和是进行对齐的几何变换矩阵和平移矩阵；
6)采用加权平均的方法对对齐后的I1和I2进行融合，得到I'(x,y)：
其中，I1(x,y)是I1中(x,y)处的像素值；I2(x,y)是I2中(x,y)处的像素值；w1、w2分别为I1和I2的宽度；
7)对融合后的区域进行直方图均衡处理，消除拼接缝。
对拼接后的图像进行配准处理包括以下步骤：
1)将拼接后的图像进行灰度化、均衡化和二值化处理，获取图像中结构物的边界位置信息；
2)将图像中的结构物边界坐标与CAD图中结构物边界坐标一一对应，通过双线性变化，确定图像中每个像素的正确坐标位置(x*,y*)；
3)将CAD图中结构物边界的下边两个顶点坐标、配准前图像结构物边界下边的两个顶点坐标代入下式，求出系数a,b,c,d,e,f,g,h：
其中，(x”,y”)是每个像素经过几何变换后在图像中的位置；
4)通过上述变换，实现图像每个像素的坐标与实际CAD图坐标一一对应，完成图像与CAD图配准。
与现有技术相比，本发明所具有的有益效果为：本发明不仅可以得到桥梁缆索表面的缺陷信息，还可保证检测的精度和客观性，可以观测到亚毫米级的缺陷，满足实际工程的需求；可以对缺陷进行准确定位、拍照、分类(裂纹、侵蚀、泄漏、剥落等)，精确测量它们的几何参数，每根缆索通过从两个垂直缆索的方向分别设站采集图像数据，将缆索分为两个视角(分别在缆索的两侧)进行正面拍摄，由此形成一个完备的缺陷数据库，并自动生成缺陷分布图和各类缺陷统计数据。通过定期的检测结果的对比，可以获得桥梁缆索的表面缺陷宏观和微观的演变趋势，并建立结构物健康电子档案系统。
附图说明
图1是本发明提供的基于高清全景图像的高耸结构物外观检测系统的流程图；
图2是本发明提供的采集平台的设备仪器图；
图3是本发明拍摄区域矩阵对角线模式分区图(一个视角)；其中A和B为缆索的两端，C为分区拍摄，D为分区图像重复区域
图4(1)是CAD图；图4(2)是配准前图像。
具体实施方式
下面结合附图对本发明进行详细的说明。
(1)高清图像采集平台
图像采集平台包括三脚架4和采集平台，所述采集平台包括第一框架6和第二框架1，所述第一框架6通过竖直设置的转轴8与所述三脚架4顶部连接，且所述第一框架6可绕所转轴8轴向旋转，所述第二框架1两侧各通过一根转动轴7与所述第一框架6两侧连接，且所述第二框架1能以两根转动轴7的连线为中心轴旋转；所述第二框架1上安装有相机2和镜头3，且所述相机2中心水平线与所述两根转动轴7处于同一平面。
高清图像采集平台主要作用是：首先根据相机传感器尺寸、镜头焦距参数、图像重叠率，计算出单幅图像拍摄范围；然后自动将目标桥梁缆索进行矩阵对角线分区(如图3所示)，并计算出每个分区的两个转动角度(竖向和水平向)；最后通过空间转动框架系统实现竖向和水平轴转动，按从上至下的顺序自动拍摄，并记录每张图像的2个转动角度，为后一步骤的图像拼接提供矩阵式的位置数据。
软件控制系统同时控制空间转动框架系统和相机拍摄系统；空间转动框架系统控制的主要参数如下：
拍摄起始/终点位置AS(x,y)/AE(x,y)，x是横向转轴转动的角度，y是竖向转轴转动的角度；图像重叠率ol(≥25％)；镜头焦距f、相机变焦系数coef、焦距倍增器mx和相机单幅图像拍摄区域范围fov。
具体计算步骤如下：
a)确定相机单幅图像拍摄区域范围fov，fov由式(1)求得。
fov＝360÷PI×arctan(36÷coef÷(2×f×mx)) (1)
确定fov后，根据式(2)、(3)确定拍摄区域的行(row)列(col)值对拍摄区域分区；
row＝((AE_y-AS_y+fov)-ol×fov)/(fov×(1-ol)+1； (2)
col＝((AE_x-AS_x+fov)-ol×fov)/(fov×(1-ol)+1； (3)
b)根据式(4)、(5)计算横、竖转轴单位转动角度x_angle,y_angle。
x_angle＝(AE_x-AS_x)/(col-1) (4)
y_angle＝(AE_y-AS_y)/(row-1) (5)
c)依据以上步骤可以求得转轴拍摄每一幅图像的移动位置，按照行列排列，可以得到一个位置矩阵M。M中任意位置(i,j)处的转轴转动位置可由式(6)求得。
M[i,j]＝{AS_y+i×y_angle,AS_x+j×x_angle} (6)
软件控制系统通过逐个读取位置矩阵M对角线上的位置信息，控制两个转轴转动到达指定的位置，然后启动拍摄程序进行图像采集，逐一完成M对角线上所有位置的拍摄。
软件控制系统可以预设相机的快门、光圈和感光度值，还可控制对焦位置，实现转动框架系统和拍摄系统联动，达到自动控制目的，即框架系统转动到位后，立即按照事先定义相机参数进行自动拍摄，图像自动储存，存储完成后框架系统自动转动到下一个分区位置进行拍摄，直至完成缆索的图像采集。
(2)图像拼接处理
高清图像采集平台分区拍摄多张图像文件，这些图像是由在一个固定位置上的相机以不同角度拍摄到的一系列图像，这些图像只有轻微的运动视差，根据拍摄角度和重叠区域阈值将这些图像文件整理成为矩阵式图像序列，如图3所示。具体的拼接如下所示：
a)由上述平台采集得到的位置矩阵对角线上元素M[i-1,j-1]和M[i,j](i,j≥2)确定待拼接的相邻两张图像文件P1和P2；
b)根据重叠率ol分别在P1的左下角和P2的右上角选取长宽为w的重叠区域I1和I2，确定拼接对象，w大于ol；
c)对I1和I2进行高斯平滑处理以后，采用Surf算子进行特征点提取，I1和I2对应的特征点集为f1和f2。
d)对特征点集f1和f2采用RANSAC算法进行提纯，剔除无效特征点，利用k-dtree和BBF算法对提纯后的f1和f2进行特征点匹配，将I1和I2中的特征点进行一一对应。
e)由于相机镜头拍摄的角度不同，使得拍摄到的相邻两幅图像中的景物会出现几何形变，因此需要I1和I2进行对齐。根据c)中求得特征点计算对应的几何变换Homography矩阵。采用式(7)完成图像对齐。
f)I1和I2对齐后，采用加权平均的方法对I1和I2进行融合，加权平均公式如式(8)所示，I(x,y)是(x,y)处的像素值，w是重叠区域的宽度。I1和I2的宽度相同，因此直接采用像素均值进行融合，然后对融合后的区域进行直方图均衡处理，消除拼接缝。
(3)图形配准处理
上一步骤完成了高清图片的拼接工作，高清的缆索图像已经建立起来。接下来就是高清图像的配准工作，其目的是：对高清图像进行裁剪和校准，使得图像中结构物与相应的CAD矢量图坐标、尺寸相一致，即将缆索图像配准到CAD图形之中。
配准的方法是通过坐标变化将图像中的每个像素变换到CAD坐标系中对应的坐标位置，使得图像变成与地图类似具备几何坐标和尺寸信息的图像文件。其具体步骤如下：
a)将上述高清图图形进行灰度化、均衡化和二值化处理，获取图像中结构物的边界位置信息。
b)图像中的桥梁缆索与其实际形状和尺寸有偏差，如图4所示，图形配准的目的就是将图像数据进行几何变换，实现与CAD图形一一对应。将图像中结构物边界坐标与CAD图中结构物边界坐标一一对应，通过双线性变化，为图像中每个像素确定正确的坐标位置(x,y)，图4(1)和图4(2)的双线映射关系如下：
c)将A和A’、B和B’等相应4个点分别带入式(9)，即可求出上述a-h的8个系数。
e)通过上述变换后，实现每个像素的坐标与实际CAD图纸坐标一一对应，完成图像与CAD图纸配准。
(4)将采集平台移至缆索的另外一侧，重复(2)-(3)步骤完成索缆另外侧面的图像数据采集和拼接。
(5)数据库系统
图形进行配准后，由矢量CAD文件确定了图形文件像素大小。并根据像素尺寸和像素个数确定缺陷的长度、宽度和面积。完成配准后的图像可以采用地图集的方式对结构物外观的缺陷进行标记和量测。并将这些缺陷数据如：位置、长度、宽度和面积记录到数据库之中，形成缺陷信息数据库。
在配准后的图形文件之中，对缺陷分类标注和编号，测量其位置和尺寸。通过对数据进行分析和统计，得到能反映桥梁缆索健康状态的缺陷信息数据库。
为反应结构健康状态的演化规律，在缺陷数据库中可以将不同时间检测结果进行对比分析，研究和判断结构物健康状态。为桥梁缆索的管养和维护提供科学、全面的数据。
Claims (4)
1.一种桥梁缆索外观检测方法，采用外观检测装置，该外观检测装置包括三脚架(4)和采集平台，所述采集平台包括第一框架(6)和第二框架(1)，所述第一框架(6)通过竖直设置的转轴(8)与所述三脚架(4)顶部连接，且所述第一框架(6)可绕所转轴(8)轴向旋转，所述第二框架(1)两侧各通过一根转动轴(7)与所述第一框架(6)两侧连接，且所述第二框架(1)能以两根转动轴(7)的连线为中心轴旋转；所述第二框架(1)上安装有相机(2)和镜头(3)，且所述相机(2)中心水平线与所述两根转动轴(7)处于同一平面；其特征在于，包括以下步骤：
1)将桥梁缆索分为两个视角，所述两个视角分别设置在桥梁缆索的两侧，然后对桥梁缆索进行正面拍摄；
2)根据相机传感器尺寸、镜头焦距参数、图像重叠率，计算出单幅图像拍摄范围；然后自动将桥梁缆索进行矩阵对角线分区，并计算出每个分区的两个转动角度；通过第一框架(6)和第二框架(1)实现竖向和水平轴转动，按从上至下的顺序拍摄，直至完成桥梁缆索的图像采集，并确定位置矩阵M；
3)根据位置矩阵M确定待拼接的图像，对采集的图像进行拼接处理；
4)对拼接后的图像进行配准处理；
5)由矢量CAD文件确定图形文件像素大小，并根据像素尺寸和像素个数确定缺陷的长度、宽度和面积，采用地图集的方式对结构物外观的缺陷进行标记和量测，并将缺陷数据记录到数据库之中，形成缺陷信息数据库。
2.根据权利要求1所述的方法，其特征在于，所述步骤2)的具体实现过程包括以下步骤：
1)确定相机单幅图像拍摄区域范围fov：fov＝360÷PI×arctan(36÷coef÷(2×f×mx))；其中，PI为圆周率；coef为相机变焦系数；f为相机焦距；mx为焦距倍增数；
2)确定fov后，根据下式确定拍摄区域的行row、列col值，对拍摄区域分区：
row＝((AE_y-AS_y+fov)-ol×fov)/(fov×(1-ol)+1)；
col＝((AE_x-AS_x+fov)-ol×fov)/(fov×(1-ol)+1)；
其中，AE_x是转轴在水平方向的终点位置；AE_y是转动轴在竖直方向的终点位置；AS_x是转轴在水平方向的初始位置；AS_y是转动轴在竖直方向的初始位置；ol为图像重叠率；
3)计算转轴和转动轴的单位转动角度x_angle,y_angle：
x_angle＝(AE_x-AS_x)/(col-1)；
y_angle＝(AE_y-AS_y)/(row-1)；
4)确定位置矩阵M，M中对角线上任意位置(i,j)处的转轴转动位置由下式确定：
M[i,j]＝{AS_y+i×y_angle,AS_x+j×x_angle}；其中，i,j≥2。
3.根据权利要求2所述的方法，其特征在于，对采集的图像进行拼接处理包括以下步骤：
1)由位置矩阵M对角线上的元素M[i-1,j-1]和M[i,j]确定待拼接的相邻两张图像文件P1和P2；
2)根据重叠率ol分别在P1的左侧选取长为P1长度、宽为w1的重叠区域I1，在P2的右侧选取长为P2的长度、宽为w2的重叠区域I2，确定拼接对象，w1、w2均大于ol；
3)对I1和I2进行高斯平滑处理以后，采用Surf算子进行特征点提取，I1和I2对应的特征点集为f1和f2；
4)对特征点集f1和f2采用RANSAC算法进行提纯，剔除无效特征点，利用k-d tree和BBF算法对提纯后的f1和f2进行特征点匹配，将I1和I2中的特征点进行一一对应；
5)利用下式对齐I1和I2：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>22</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>t</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>t</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，是需要对齐的像素对齐后在图像中的位置；是需要对齐的像素在原始图像中的位置；和是进行对齐的几何变换矩阵和平移矩阵；
6)采用加权平均的方法对对齐后的I1和I2进行融合，得到I'(x,y)：
<mrow>
<msup>
<mi>I</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>*</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，I1(x,y)是I1中(x,y)处的像素值；I2(x,y)是I2中(x,y)处的像素值；7)对融合后的区域进行直方图均衡处理，消除拼接缝。
4.根据权利要求3所述的方法，其特征在于，对拼接后的图像进行配准处理包括以下步骤：
1)将拼接后的图像进行灰度化、均衡化和二值化处理，获取图像中结构物的边界位置信息；
2)将图像中的结构物边界坐标与CAD图中结构物边界坐标一一对应，通过双线性变化，确定图像中每个像素的正确坐标位置(x*,y*)；
3)将CAD图中结构物边界的下边两个顶点坐标、配准前图像结构物边界下边的两个顶点坐标代入下式，求出系数a,b,c,d,e,f,g,h：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<msup>
<mi>ax</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<msup>
<mi>by</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<msup>
<mi>cx</mi>
<mo>*</mo>
</msup>
<msup>
<mi>y</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>y</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>=</mo>
<msup>
<mi>ex</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<msup>
<mi>fy</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<msup>
<mi>gx</mi>
<mo>*</mo>
</msup>
<msup>
<mi>y</mi>
<mo>*</mo>
</msup>
<mo>+</mo>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，(x”,y”)是每个像素经过几何变换后在图像中的位置；
4)通过上述变换，实现图像每个像素的坐标与实际CAD图坐标一一对应，完成图像与CAD图配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510873378.7A CN105352975B (zh) | 2015-12-02 | 2015-12-02 | 一种桥梁缆索外观检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510873378.7A CN105352975B (zh) | 2015-12-02 | 2015-12-02 | 一种桥梁缆索外观检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105352975A CN105352975A (zh) | 2016-02-24 |
| CN105352975B true CN105352975B (zh) | 2017-10-10 |
Family
ID=55328981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510873378.7A Active CN105352975B (zh) | 2015-12-02 | 2015-12-02 | 一种桥梁缆索外观检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105352975B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105911073B (zh) * | 2016-06-17 | 2018-09-14 | 北京科技大学 | 一种内窥式缆索锈蚀检测方法及检测装置 |
| CN108992947B (zh) * | 2018-08-17 | 2020-05-29 | 浙江大丰实业股份有限公司 | 舞台威亚破坏度估算平台 |
| CN109342439B (zh) * | 2018-10-22 | 2021-05-25 | 湖南拓达结构监测技术有限公司 | 基于无人机的索结构外观检测方法 |
| CN109358065B (zh) * | 2018-10-22 | 2021-08-24 | 湖南拓达结构监测技术有限公司 | 一种地铁隧道外观检测方法 |
| CN109959406B (zh) * | 2019-04-17 | 2024-02-02 | 福州大学 | 轮式旋转悬臂水下桥墩检测装置及其工作方法 |
| CN111539935B (zh) * | 2020-04-24 | 2021-05-25 | 江苏大学 | 一种基于机器视觉的电缆表面缺陷在线检测方法 |
| CN111932491B (zh) * | 2020-06-23 | 2022-02-08 | 联宝(合肥)电子科技有限公司 | 一种部件检测方法、装置及存储介质 |
| CN113218951A (zh) * | 2021-04-22 | 2021-08-06 | 安徽圭目机器人有限公司 | 一种用于索缆检测的相机调节机构及机器人 |
| KR102560525B1 (ko) * | 2023-02-27 | 2023-07-27 | 주식회사 티엠이앤씨 | 다경로 영상을 이용한 다수의 교량 케이블의 변위 측정장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6519357B2 (en) * | 1998-12-01 | 2003-02-11 | Tokyo Seimitsu Co., Ltd. | Appearance inspection machine and method for concurrently performing defect detection and classification |
| CN101995325A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种图像传感器的外观检测方法及系统 |
| CN103207187A (zh) * | 2012-01-17 | 2013-07-17 | 大日本网屏制造株式会社 | 外观检查装置及外观检查方法 |
| CN103533235A (zh) * | 2013-09-17 | 2014-01-22 | 北京航空航天大学 | 面向重大案事件现场的快速的基于线阵ccd的数字全景装置 |
| CN104616275A (zh) * | 2013-11-04 | 2015-05-13 | 北京兆维电子(集团)有限责任公司 | 一种缺陷检测方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4940110B2 (ja) * | 2007-11-20 | 2012-05-30 | キヤノン株式会社 | 画像処理装置およびその制御方法並びにプログラム、プリンタ |
| KR101711193B1 (ko) * | 2010-06-04 | 2017-02-28 | 삼성전자 주식회사 | 웨이퍼 검사 방법 및 웨이퍼 검사 시스템 |
-
2015
- 2015-12-02 CN CN201510873378.7A patent/CN105352975B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6519357B2 (en) * | 1998-12-01 | 2003-02-11 | Tokyo Seimitsu Co., Ltd. | Appearance inspection machine and method for concurrently performing defect detection and classification |
| CN101995325A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种图像传感器的外观检测方法及系统 |
| CN103207187A (zh) * | 2012-01-17 | 2013-07-17 | 大日本网屏制造株式会社 | 外观检查装置及外观检查方法 |
| CN103533235A (zh) * | 2013-09-17 | 2014-01-22 | 北京航空航天大学 | 面向重大案事件现场的快速的基于线阵ccd的数字全景装置 |
| CN104616275A (zh) * | 2013-11-04 | 2015-05-13 | 北京兆维电子(集团)有限责任公司 | 一种缺陷检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105352975A (zh) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105352975B (zh) | 一种桥梁缆索外观检测方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| CN101394573B (zh) | 一种基于特征匹配的全景图生成方法及系统 | |
| CN106600644B (zh) | 全景摄像机的参数矫正方法及装置 | |
| CN105758623B (zh) | 一种基于tdi‑ccd的大口径长焦距遥感相机畸变测量装置及方法 | |
| CN109961398B (zh) | 风机叶片图像分割与网格优化拼接方法 | |
| CN105303615A (zh) | 一种图像二维拼接与三维表面重建的组合方法 | |
| CN106023193B (zh) | 一种用于浑浊介质中结构表面检测的阵列相机观测方法 | |
| CN104700395A (zh) | 一种构造物外观裂缝检测方法及系统 | |
| CN112949478A (zh) | 基于云台相机的目标检测方法 | |
| CN108195472B (zh) | 一种基于轨道移动机器人的热传导全景成像方法 | |
| CN112102395B (zh) | 一种基于机器视觉的自主巡检的方法 | |
| CN104992446B (zh) | 非线性光照自适应的图像拼接方法及其实现系统 | |
| CN105354855B (zh) | 一种高耸结构外观检测装置及方法 | |
| CN109374632A (zh) | 一种显示面板的检测方法及系统 | |
| CN112541932A (zh) | 基于双光相机不同焦距变换参数的多源图像配准方法 | |
| CN107845056A (zh) | 基于柱面模型的鱼眼图像全景生成方法 | |
| CN106530226A (zh) | 获取高分辨率高清晰工业图像的实现方法 | |
| CN205158453U (zh) | 一种高耸结构外观检测装置 | |
| CN108447042A (zh) | 城市景观影像数据的融合方法及系统 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN114463170A (zh) | 一种针对agv应用的大场景图像拼接方法 | |
| CN110634136B (zh) | 一种管道壁破损检测方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |