CN112556574A - 一种水空协同的渡槽裂缝检测定位方法 - Google Patents
一种水空协同的渡槽裂缝检测定位方法 Download PDFInfo
- Publication number
- CN112556574A CN112556574A CN202011350690.5A CN202011350690A CN112556574A CN 112556574 A CN112556574 A CN 112556574A CN 202011350690 A CN202011350690 A CN 202011350690A CN 112556574 A CN112556574 A CN 112556574A
- Authority
- CN
- China
- Prior art keywords
- crack
- aqueduct
- unmanned aerial
- underwater robot
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明公开了一种水空协同的渡槽裂缝检测定位方法,属于检测定位技术领域。该方法利用水下机器人和空中无人机从空域和水域两域协同进行渡槽裂缝检测并确定其位置,控制中心对两域设备的检测结果进行比对,若渡槽仅有一侧存在裂缝,则将裂缝位置坐标存储下来,以便后期再检测时直接进行比对;若渡槽两侧的同一位置处均检测到存在裂缝,则将裂缝位置坐标以及检测结果存储下来,并发出修补信息。本方法采用水空两域裂缝位置信息的对比,能够更准确的判断渡槽破损的严重程度,并为渡槽的裂缝检修提供更加精准的定位信息。
Description
技术领域
本发明涉及检测定位技术领域,尤其是指一种水空协同的渡槽裂缝检测定位方法。
背景技术
为解决水资源时空分布不平衡的问题,实现水资源的优化配置,可采用跨地区、跨流域、长距离的调水工程。若调水工程的渡槽出现裂缝,将不仅会造成水资源的浪费,更有可能造成整个建设工程的失败。因此,检测渡槽是否存在裂缝并精准确定裂缝位置以供维修人员对渡槽进行及时维修至关重要。
针对空域检测定位,现有研究包括GPS差分定位技术,载波相位差分的高精度无人机导航系统,基于KGP算法的INS/GPS组合导航定位系统,将单目视觉定位方法与包含GPS信息的无人机定位方法相结合的定位技术等。针对水域检测定位,现有技术包括水下机器人定位导航系统,基于等效声速的TOA/AOA水声定位系统,基于重复广义估计相互关系时延的超短水声基线定位系统,基于水下双目视觉系统的水下机器人导航定位系统。
但是,现有技术仅局限于单域(水域或者空域)定位,检测及定位结果精确度欠佳。
发明内容
本发明的目的在于克服以上不足,提供一种水空协同的渡槽裂缝检测定位方法,其利用水下机器人(Autonomous Underwater Vehicle,AUV)和空中无人机(UnmannedAerial Vehicle,UAV)从水域和空域两个维度同时对渡槽进行裂缝检测,检测结果准确,并能对裂缝的位置进行精准定位。
为了实现上述目的,本发明采用的技术方案为:
一种水空协同的渡槽裂缝检测定位方法,其包括以下步骤:
(1)控制中心控制水下机器人和空中无人机进行渡槽裂缝检测;水下机器人和空中无人机均配备有双目摄像头;当水下机器人检测到裂缝时,执行步骤(201)~(202),当空中无人机检测到裂缝时,执行步骤(301)~(302);
(201)水下机器人确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至水面GPS浮标基阵,再通过基阵发送至控制中心;
(202)控制中心将水下机器人检测到的裂缝坐标发送至空中无人机,空中无人机运行至该坐标处,检测渡槽外围是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(301)空中无人机确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至控制中心;
(302)控制中心将空中无人机检测到的裂缝坐标发送至水下机器人,水下机器人运行至该坐标处,检测渡槽内部是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(4)控制中心对两设备的检测结果进行比对,若渡槽仅有一侧存在裂缝,则将裂缝位置坐标存储下来,以便后期再检测时直接进行比对;若渡槽两侧的同一位置处均检测到存在裂缝,则将裂缝位置坐标以及检测结果存储下来,并发出修补信息。
进一步的,水下机器人确定自身在世界坐标系下的位置坐标的具体方式为:
(1)水下机器人检测到裂缝时进行制动;
(2)将水下机器人与四个水听器所在的浮标基阵的距离表示为:
其中,第i个浮标的坐标为(xi,yi,zi),待定位水下水下机器人的位置为(x,y,z),ti为从水下机器人上的发射换能器发射声波经传播达到第i个水听器所在的浮标基阵的时间,c为声波的传播速度;
(3)由定位空间方程求差处理得到线性方程:
即:
令
则式(3)化为:
Ax=B (4)
(4)构造增广矩阵C=[-B|A],对其进行奇异值分解得:
上式中,U、V分别为增广矩阵的左、右奇异矩阵,Π是半正定对角矩阵,uk和vk分别为左、右奇异向量,uk为矩阵U的第k列,vk为矩阵V的第k列,σk为C对应的奇异值,且满足σ1≥σ2≥σ3≥σ4;
(5)当没有测量误差时,则有rank{C}=3,此时σ4=0,并且Ax=B式存在唯一解;当测量误差存在时,则有rank{C}=4;此时σ4≠0,Ax=B式存在唯一的总体最小二乘算法的解:
(6)令
对式(7)在(x0,y0,z0)处进行泰勒级数展开,忽略高阶项,则有:
令
则一阶项Un表示为:
(7)以总体最小二乘估计值作为初值(x0,y0,z0)进行迭代,每次迭代时通过水下机器人到水听器阵的测量距离Rn求出(Δx,Δy,Δz),然后根据给出的门限η判断下式是否成立:
若成立则迭代结束,否则将(x0+Δx,y0+Δy,z0+Δz)作为新的初始坐标进行计算,直到满足式(10)的条件,最终得到的坐标即为水下机器人的位置坐标。
进一步的,空中无人机确定自身在世界坐标系下位置坐标的具体方式为:
(1)空中无人机检测到裂缝时进行制动;
(2)获取惯性导航系统根据无人机的运动角加速度和线加速度经过二次积分运算所得到的无人机位置坐标(xins,yins,zins);
(3)获取通过导航定位解算得到的无人机位置坐标(xgps,ygps,zgps);
(4)获取组合导航系统中由姿态误差角、速度误差、位置误差、陀螺仪漂移误差以及加速度计零误差组成的SINS误差状态,得到误差向量为:
状态方程为:
式中,W(t)=[wgx wgy wgz wax way waz]T为系统白噪声,F(t)为系统状态转移矩阵:
式(12)中,FINS由惯导基本误差方程决定:
状态方程中,G(t)为系统噪声传播矩阵:
(5)获取组合导航系统中的位置量测方程以及速度量测方程:
式(15)中,NN、NE和NU为GPS接收机导航下的位置量测误差,(L,λ,h)为无人机真实位置值;
式(16)中,NVE、NVN、NVN为GPS速度量测误差,(VE,VN,VU)为无人机真实速度值;
将式(15)和式(16)组合,得到量测方程
(6)进行变分贝叶斯扩展卡尔曼滤波算法运算,具体方式如下:
滤波时间更新:
滤波量测更新:
1)初始化各函数变量
2)更新状态误差协方差Pk|k-1的逆威沙特分布参数:
3)更新测量噪声协方差Rk的逆威沙特分布参数:
4)更新状态估计值:
求取第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望:
求第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望的逆:
更新估计状态值:
更新状态误差协方差:
(8)根据变分贝叶斯扩展卡尔曼滤波算法得到更小的位置误差,由此获得更加精确的无人机位置值(x,y,z)。
进一步的,水下机器人和空中无人机确定裂缝位置坐标的方式为:
(1)水下机器人或空中无人机检测到渡槽裂缝并确定自身位置后,利用装载的双目摄像机拍摄裂缝图像;
(2)选取裂缝特征点;
(3)进行基于Census变换的补色均值反色化立体匹配算法运算,具体方式为:
1)选择大小为3×3的变换窗口,中心像素点I(p)的灰度值为128,通过Census变换得到比特串110100101;
2)对变换窗口进行补色处理;
3)求取补色后的中心像素邻域灰度值的累加和的均值,并将其代替中心像素灰度值;
4)将邻域灰度像素值进行补色处理且同时将中心像素灰度值进行反色处理,得到改进后的窗口像素灰度值;
5)将步骤4)处理后的窗口像素灰度值进行Census变换,获得比特串101001010;
6)将视差图再进行左右一致性检测以及细化视差来消除异常点,即利用左图像的视差图上的某点p,求得的视差值是dl,那么p在右图中的对应点就是(p-dl),其视差值记作dr;若|dr-dl| 大于阈值,则采用其左右方向上的正常灰度值对于遮挡点p进行填补;
(4)获取更为精确的裂缝位置的三维坐标(x,y,z):
其中,(Xl,Yl)为点P的左图像坐标,f为照相机焦距,b为两台照相机的平行光轴之间的距离,即基线距离;
(5)通过坐标系之间的转换关系公式得到渡槽裂缝在世界坐标系下的位置坐标;
(6)水下机器人利用GPS浮标基阵通过基站将裂缝位置信息发送至控制中心;空中无人机通过基站将裂缝位置信息发送至控制中心。
本发明相对于现有技术的有益效果在于:
1、本发明可从水空两域采集裂缝位置信息并进行对比,能够更准确地判断渡槽破损的严重程度,提供更准确的检测信息。
2、本发明方法可从空域和水域两域协同进行渡槽裂缝检测并确定其位置,为渡槽的裂缝检修提供更加精准的定位信息。
附图说明
图1为本发明实施例中检测定位方法的场景示意图。
图2为“水空协同”定位系统硬件框架图。
图3为控制决策平台的工作流程图。
图4为AUV工作模块的流程图。
图5为UAV工作模块的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案做进一步的详细说明。
图1所示为“水空协同”移动定位系统的场景示意图,该系统包括水域定位系统,空域定位系统和地面控制决策平台。应用该系统可实现水空协同的渡槽裂缝检测定位方法,其主要工作步骤如下:
控制决策平台初始化并启动,然后控制AUV与UAV进行工作。AUV进行初始化并启动,然后进行渡槽裂缝检测。当检测到裂缝时,AUV先确定自身在世界坐标系下的位置,然后通过双目视觉定位方法处理AUV拍摄的裂缝图片以确定裂缝位置坐标,最后AUV将裂缝坐标发送至控制决策平台。UAV进行初始化并启动,然后进行渡槽裂缝检测。当检测到裂缝时,UAV先确定自身在世界坐标系下的位置信息,然后通过双目视觉定位方法处理UAV拍摄的裂缝图片以确定裂缝位置坐标,最后UAV将裂缝坐标发送至控制决策平台。当控制决策平台收到被AUV或UAV检测到的裂缝位置坐标时,该平台控制UAV或AUV到达裂缝处进行检测对比,并将检测对比的结果发送至渡槽维修模块。
图2所示为“水空协同”移动定位系统硬件框架图,该系统包括水域定位系统,空域定位系统和地面控制决策平台。其各部分包含的硬件设备如下:
水域定位系统主要负责水环境中渡槽裂缝的检测及定位。水域定位系统包括GPS浮标基阵与水下AUV,GPS浮标基阵包括GPS接收机、数据处理中心、扩频信号发生仪、发射换能器、接收换能器和5G收发器等。GPS接收机接收卫星导航定位信号,通过算法对浮标位置进行高精度实时测量,同时将坐标数据发送至数据处理中心。数据处理中心收集处理位置信息后将数据发送至扩频信号发生仪,发生仪扩频调制定位信号,并在每个同步时刻将信号传送至发射换能器。发射换能器将传送的信号从电信号转换为声信号,并发送到AUV的接收换能器用于AUV的自身定位。接收换能器接收从AUV发送的声信号并将其转化为电信号,再发送至扩频信号发生仪,数据经处理后被发送到数据处理中心,最后通过5G收发器发送至控制决策平台。水下AUV主要包括接收换能器、数据处理中心、驱动控制中心、双侧双目摄像头、图像处理中心、发射换能器等。接收换能器接收到GPS浮标基阵传输的水声信号,并将其转化为电信号发送至数据处理中心,信号经解算处理后用于水下AUV的自身定位。双侧双目摄像头拍摄水下渡槽两侧的图像发送到图像处理中心,该中心判决裂缝是否存在并计算裂缝坐标,之后将坐标信息通过驱动控制中心发送至数据处理中心,再通过发射换能器将电信号转化为声信号发送给GPS浮标基阵。另外,驱动控制中心还负责控制AUV的运行。
表1为GPS浮标基阵与AUV应用指标表:
若水域定位系统中的视觉检测部分检测到裂缝的存在,则AUV携带的定位装置负责定位裂缝位置,并通过GPS浮标基阵将该位置信息发送至控制决策平台。
空域定位系统主要负责空域环境中的渡槽裂缝的检测及定位。空域定位系统由UAV构成。UAV主要包含数据处理中心、驱动控制中心、GPS接收机与惯性测量单元(Inertialmeasurement unit,IMU)、单侧双目摄像头、图像处理中心和5G收发器等。GPS接收机接收到卫星导航定位信号后,结合IMU(包含加速度计、磁力计和陀螺仪等)的位置解算结果,通过数据融合方法精准确定UAV位置坐标,然后将数据发送至数据处理中心。单侧双目摄像头拍摄空中渡槽的图像发送到图像处理中心,该中心判决裂缝是否存在并计算裂缝坐标。驱动控制中心用于控制UAV飞行,并将图像处理中心计算得到的裂缝位置信息发送至数据处理中心,最后通过5G收发器发送至控制决策平台。
表2为UAV应用指标表:
若空域定位系统中的视觉检测部分检测到裂缝的存在,则UAV携带的定位装置负责定位裂缝位置,并将该位置信息发送至控制决策平台。
控制决策平台为一台高性能笔记本电脑,主要负责视频监测、AUV和UAV的运动控制、定位信息的收发与处理、渡槽严重破损警告等,对AUV与UAV检测到的渡槽破损裂缝进行确认。一旦控制决策平台确认AUV或UAV检测到的是裂缝,该平台立刻对AUV或UAV进行制动,并通过基站将AUV检测到的裂缝定位信息发送给空域定位系统或将UAV检测到的裂缝定位信息发送给水域定位系统。当确认渡槽两侧均存在裂缝时,渡槽维修模块则记录渡槽破损位置信息,并对维修人员做出警告。
图3~图5所示为“水空协同”移动定位系统各模块的工作流程图,包括控制决策平台工作流程、AUV工作模块流程、UAV工作模块流程。
具体来说,水空协同的渡槽裂缝检测定位方法的步骤如下:
(1)控制中心控制水下机器人和空中无人机进行渡槽裂缝检测;水下机器人和空中无人机均配备有双目摄像头;当水下机器人检测到裂缝时,执行步骤(201)~(202),当空中无人机检测到裂缝时,执行步骤(301)~(302);
(201)水下机器人确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至水面GPS浮标基阵,再通过基阵发送至控制中心;
(202)控制中心将水下机器人检测到的裂缝坐标发送至空中无人机,空中无人机运行至该坐标处,检测渡槽外围是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(301)空中无人机确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至控制中心;
(302)控制中心将空中无人机检测到的裂缝坐标发送至水下机器人,水下机器人运行至该坐标处,检测渡槽内部是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(4)控制中心对两设备的检测结果进行比对,若渡槽仅有一侧存在裂缝,则将裂缝位置坐标存储下来,以便后期再检测时直接进行比对;若渡槽两侧的同一位置处均检测到存在裂缝,则将裂缝位置坐标以及检测结果存储下来,并发出修补信息。
进一步的,水下机器人确定自身在世界坐标系下的位置坐标的具体方式为:
(1)水下机器人检测到裂缝时进行制动;
(2)将水下机器人与四个水听器所在的浮标基阵的距离表示为:
其中,第i个浮标的坐标为(xi,yi,zi),待定位水下水下机器人的位置为(x,y,z),ti为从水下机器人上的发射换能器发射声波经传播达到第i个水听器所在的浮标基阵的时间,c为声波的传播速度;
(3)由定位空间方程求差处理得到线性方程:
即:
令
则式(3)化为:
Ax=B (4)
(4)构造增广矩阵C=[-B|A],对其进行奇异值分解得:
上式中,U、V分别为增广矩阵的左、右奇异矩阵,Π是半正定对角矩阵,uk和vk分别为左、右奇异向量,uk为矩阵U的第k列,vk为矩阵V的第k列,σk为C对应的奇异值,且满足σ1≥σ2≥σ3≥σ4;
(5)当没有测量误差时,则有rank{C}=3,此时σ4=0,并且Ax=B式存在唯一解;当测量误差存在时,则有rank{C}=4;此时σ4≠0,Ax=B式存在唯一的总体最小二乘算法的解:
(6)令
对式(7)在(x0,y0,z0)处进行泰勒级数展开,忽略高阶项,则有:
令
则一阶项Un表示为:
(7)以总体最小二乘估计值作为初值(x0,y0,z0)进行迭代,每次迭代时通过水下机器人到水听器阵的测量距离Rn求出(Δx,Δy,Δz),然后根据给出的门限η判断下式是否成立:
若成立则迭代结束,否则将(x0+Δx,y0+Δy,z0+Δz)作为新的初始坐标进行计算,直到满足式(10)的条件,最终得到的坐标即为水下机器人的位置坐标。
进一步的,空中无人机确定自身在世界坐标系下位置坐标的具体方式为:
(1)空中无人机检测到裂缝时进行制动;
(2)获取惯性导航系统根据无人机的运动角加速度和线加速度经过二次积分运算所得到的无人机位置坐标(xins,yins,zins);
(3)获取通过导航定位解算得到的无人机位置坐标(xgps,ygps,zgps);
(4)获取组合导航系统中由姿态误差角、速度误差、位置误差、陀螺仪漂移误差以及加速度计零误差组成的SINS误差状态,得到误差向量为:
状态方程为:
式中,W(t)=[wgx wgy wgz wax way waz]T为系统白噪声,F(t)为系统状态转移矩阵:
式(12)中,FINS由惯导基本误差方程决定:
状态方程中,G(t)为系统噪声传播矩阵:
(5)获取组合导航系统中的位置量测方程以及速度量测方程:
式(15)中,NN、NE和NU为GPS接收机导航下的位置量测误差,(L,λ,h)为无人机真实位置值;
式(16)中,NVE、NVN、NVN为GPS速度量测误差,(VE,VN,VU)为无人机真实速度值;
将式(15)和式(16)组合,得到量测方程
(6)进行变分贝叶斯扩展卡尔曼滤波算法运算,具体方式如下:
滤波时间更新:
滤波量测更新:
5)初始化各函数变量
6)更新状态误差协方差Pk|k-1的逆威沙特分布参数:
7)更新测量噪声协方差Rk的逆威沙特分布参数:
8)更新状态估计值:
求取第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望:
求第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望的逆:
更新估计状态值:
更新状态误差协方差:
(8)根据变分贝叶斯扩展卡尔曼滤波算法得到更小的位置误差,由此获得更加精确的无人机位置值(x,y,z)。
进一步的,水下机器人和空中无人机确定裂缝位置坐标的方式为:
(1)水下机器人或空中无人机检测到渡槽裂缝并确定自身位置后,利用装载的双目摄像机拍摄裂缝图像;
(2)选取裂缝特征点;
(3)进行基于Census变换的补色均值反色化立体匹配算法运算,具体方式为:
1)选择大小为3×3的变换窗口,中心像素点I(p)的灰度值为128,通过Census变换得到比特串110100101;
2)对变换窗口进行补色处理;
3)求取补色后的中心像素邻域灰度值的累加和的均值,并将其代替中心像素灰度值;
4)将邻域灰度像素值进行补色处理且同时将中心像素灰度值进行反色处理,得到改进后的窗口像素灰度值;
5)将步骤4)处理后的窗口像素灰度值进行Census变换,获得比特串101001010;
6)将视差图再进行左右一致性检测以及细化视差来消除异常点,即利用左图像的视差图上的某点p,求得的视差值是dl,那么p在右图中的对应点就是(p-dl),其视差值记作dr;若|dr-dl| 大于阈值,则采用其左右方向上的正常灰度值对于遮挡点p进行填补;
(4)获取更为精确的裂缝位置的三维坐标(x,y,z):
其中,(Xl,Yl)为点P的左图像坐标,f为照相机焦距,b为两台照相机的平行光轴之间的距离,即基线距离;
(5)通过坐标系之间的转换关系公式得到渡槽裂缝在世界坐标系下的位置坐标;
(6)水下机器人利用GPS浮标基阵通过基站将裂缝位置信息发送至控制中心;空中无人机通过基站将裂缝位置信息发送至控制中心。
Claims (4)
1.一种水空协同的渡槽裂缝检测定位方法,其特征在于,包括以下步骤:
(1)控制中心控制水下机器人和空中无人机进行渡槽裂缝检测;水下机器人和空中无人机均配备有双目摄像头;当水下机器人检测到裂缝时,执行步骤(201)~(202),当空中无人机检测到裂缝时,执行步骤(301)~(302);
(201)水下机器人确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至水面GPS浮标基阵,再通过基阵发送至控制中心;
(202)控制中心将水下机器人检测到的裂缝坐标发送至空中无人机,空中无人机运行至该坐标处,检测渡槽外围是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(301)空中无人机确定自身在世界坐标系下的位置坐标,然后通过双目视觉定位方法处理其所拍摄的裂缝图片,确定裂缝位置的坐标,接着将裂缝坐标发送至控制中心;
(302)控制中心将空中无人机检测到的裂缝坐标发送至水下机器人,水下机器人运行至该坐标处,检测渡槽内部是否存在裂缝,并将裂缝位置信息和检测结果发送至控制中心;然后转到步骤(4);
(4)控制中心对两设备的检测结果进行比对,若渡槽仅有一侧存在裂缝,则将裂缝位置坐标存储下来,以便后期再检测时直接进行比对;若渡槽两侧的同一位置处均检测到存在裂缝,则将裂缝位置坐标以及检测结果存储下来,并发出修补信息。
2.根据权利要求1所述的一种水空协同的渡槽裂缝检测定位方法,其特征在于,水下机器人确定自身在世界坐标系下的位置坐标的具体方式为:
(1)水下机器人检测到裂缝时进行制动;
(2)将水下机器人与四个水听器所在的浮标基阵的距离表示为:
其中,第i个浮标的坐标为(xi,yi,zi),待定位水下水下机器人的位置为(x,y,z),ti为从水下机器人上的发射换能器发射声波经传播达到第i个水听器所在的浮标基阵的时间,c为声波的传播速度;
(3)由定位空间方程求差处理得到线性方程:
即:
令
则式(3)化为:
Ax=B (4)
(4)构造增广矩阵C=[-B|A],对其进行奇异值分解得:
上式中,U、V分别为增广矩阵的左、右奇异矩阵,Π是半正定对角矩阵,uk和vk分别为左、右奇异向量,uk为矩阵U的第k列,vk为矩阵V的第k列,σk为C对应的奇异值,且满足σ1≥σ2≥σ3≥σ4;
(5)当没有测量误差时,则有rank{C}=3,此时σ4=0,并且Ax=B式存在唯一解;当测量误差存在时,则有rank{C}=4;此时σ4≠0,Ax=B式存在唯一的总体最小二乘算法的解:
(6)令
对式(7)在(x0,y0,z0)处进行泰勒级数展开,忽略高阶项,则有:
令
则一阶项Un表示为:
(7)以总体最小二乘估计值作为初值(x0,y0,z0)进行迭代,每次迭代时通过水下机器人到水听器阵的测量距离Rn求出(Δx,Δy,Δz),然后根据给出的门限η判断下式是否成立:
若成立则迭代结束,否则将(x0+Δx,y0+Δy,z0+Δz)作为新的初始坐标进行计算,直到满足式(10)的条件,最终得到的坐标即为水下机器人的位置坐标。
3.根据权利要求1所述的一种水空协同的渡槽裂缝检测定位方法,其特征在于,空中无人机确定自身在世界坐标系下位置坐标的具体方式为:
(1)空中无人机检测到裂缝时进行制动;
(2)获取惯性导航系统根据无人机的运动角加速度和线加速度经过二次积分运算所得到的无人机位置坐标(xins,yins,zins);
(3)获取通过导航定位解算得到的无人机位置坐标(xgps,ygps,zgps);
(4)获取组合导航系统中由姿态误差角、速度误差、位置误差、陀螺仪漂移误差以及加速度计零误差组成的SINS误差状态,得到误差向量为:
状态方程为:
式中,W(t)=[wgx wgy wgz wax way waz]T为系统白噪声,F(t)为系统状态转移矩阵:
式(12)中,FINS由惯导基本误差方程决定:
状态方程中,G(t)为系统噪声传播矩阵:
(5)获取组合导航系统中的位置量测方程以及速度量测方程:
式(15)中,NN、NE和NU为GPS接收机导航下的位置量测误差,(L,λ,h)为无人机真实位置值;
式(16)中,NVE、NVN、NVN为GPS速度量测误差,(VE,VN,VU)为无人机真实速度值;
将式(15)和式(16)组合,得到量测方程
(6)进行变分贝叶斯扩展卡尔曼滤波算法运算,具体方式如下:
滤波时间更新:
滤波量测更新:
1)初始化各函数变量
2)更新状态误差协方差Pk|k-1的逆威沙特分布参数:
3)更新测量噪声协方差Rk的逆威沙特分布参数:
4)更新状态估计值:
求取第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望:
求第i次迭代时状态误差协方差Pk|k-1和测量噪声协方差Rk的期望的逆:
更新估计状态值:
更新状态误差协方差:
(8)根据变分贝叶斯扩展卡尔曼滤波算法得到更小的位置误差,由此获得更加精确的无人机位置值(x,y,z)。
4.根据权利要求1所述的一种水空协同的渡槽裂缝检测定位方法,其特征在于,水下机器人和空中无人机确定裂缝位置坐标的方式为:
(1)水下机器人或空中无人机检测到渡槽裂缝并确定自身位置后,利用装载的双目摄像机拍摄裂缝图像;
(2)选取裂缝特征点;
(3)进行基于Census变换的补色均值反色化立体匹配算法运算,具体方式为:
1)选择大小为3×3的变换窗口,中心像素点I(p)的灰度值为128,通过Census变换得到比特串110100101;
2)对变换窗口进行补色处理;
3)求取补色后的中心像素邻域灰度值的累加和的均值,并将其代替中心像素灰度值;
4)将邻域灰度像素值进行补色处理且同时将中心像素灰度值进行反色处理,得到改进后的窗口像素灰度值;
5)将步骤4)处理后的窗口像素灰度值进行Census变换,获得比特串101001010;
6)将视差图再进行左右一致性检测以及细化视差来消除异常点,即利用左图像的视差图上的某点p,求得的视差值是dl,那么p在右图中的对应点就是(p-dl),其视差值记作dr;若|dr-dl|大于阈值,则采用其左右方向上的正常灰度值对于遮挡点p进行填补;
(4)获取更为精确的裂缝位置的三维坐标(x,y,z):
其中,(Xl,Yl)为点P的左图像坐标,f为照相机焦距,b为两台照相机的平行光轴之间的距离,即基线距离;
(5)通过坐标系之间的转换关系公式得到渡槽裂缝在世界坐标系下的位置坐标;
(6)水下机器人利用GPS浮标基阵通过基站将裂缝位置信息发送至控制中心;空中无人机通过基站将裂缝位置信息发送至控制中心。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011350690.5A CN112556574A (zh) | 2020-11-26 | 2020-11-26 | 一种水空协同的渡槽裂缝检测定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011350690.5A CN112556574A (zh) | 2020-11-26 | 2020-11-26 | 一种水空协同的渡槽裂缝检测定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112556574A true CN112556574A (zh) | 2021-03-26 |
Family
ID=75045900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011350690.5A Pending CN112556574A (zh) | 2020-11-26 | 2020-11-26 | 一种水空协同的渡槽裂缝检测定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112556574A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506257A (zh) * | 2021-07-02 | 2021-10-15 | 同济大学 | 一种基于自适应窗口匹配的裂缝提取方法 |
CN113848209A (zh) * | 2021-08-23 | 2021-12-28 | 浙江工业大学 | 一种基于无人机与激光测距的堤坝裂缝检测方法 |
CN117308847A (zh) * | 2023-11-30 | 2023-12-29 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于有限元的渡槽裂缝监控方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102656425A (zh) * | 2009-12-17 | 2012-09-05 | 波音公司 | 利用移动数据的方位和取向确定 |
CN103364408A (zh) * | 2013-07-10 | 2013-10-23 | 三峡大学 | 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法 |
CN103411609A (zh) * | 2013-07-18 | 2013-11-27 | 北京航天自动控制研究所 | 一种基于在线构图的飞行器返航路线规划方法 |
US20170147932A1 (en) * | 2015-11-19 | 2017-05-25 | Korea Advanced Institute Of Science And Technology | System and method for predicting collapse of structure using throw-type sensor |
US20170199269A1 (en) * | 2014-12-12 | 2017-07-13 | University Of Kansas | TECHNIQUES FOR NAVIGATING UAVs USING GROUND-BASED TRANSMITTERS |
CN107231181A (zh) * | 2017-05-03 | 2017-10-03 | 上海交通大学 | 一种跨介质通信的海空协同监测系统及其使用方法 |
CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
CN109714728A (zh) * | 2019-01-24 | 2019-05-03 | 上海孚实船舶科技有限公司 | 一种天海一体目标监测系统 |
CN110488334A (zh) * | 2019-09-03 | 2019-11-22 | 嘉陵江亭子口水利水电开发有限公司 | 一种水下物体定位装置、定位系统及其定位方法 |
CN110490809A (zh) * | 2019-08-28 | 2019-11-22 | 清华大学 | 多智能体协同定位与建图方法及装置 |
CN111026138A (zh) * | 2020-01-03 | 2020-04-17 | 苏州创飞智能科技有限公司 | 一种基于三维动态航道的管理监控系统 |
-
2020
- 2020-11-26 CN CN202011350690.5A patent/CN112556574A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102656425A (zh) * | 2009-12-17 | 2012-09-05 | 波音公司 | 利用移动数据的方位和取向确定 |
CN103364408A (zh) * | 2013-07-10 | 2013-10-23 | 三峡大学 | 一种采用水下机器人系统对水工混凝土结构水下表面裂缝检测的方法 |
CN103411609A (zh) * | 2013-07-18 | 2013-11-27 | 北京航天自动控制研究所 | 一种基于在线构图的飞行器返航路线规划方法 |
US20170199269A1 (en) * | 2014-12-12 | 2017-07-13 | University Of Kansas | TECHNIQUES FOR NAVIGATING UAVs USING GROUND-BASED TRANSMITTERS |
US20170147932A1 (en) * | 2015-11-19 | 2017-05-25 | Korea Advanced Institute Of Science And Technology | System and method for predicting collapse of structure using throw-type sensor |
CN107231181A (zh) * | 2017-05-03 | 2017-10-03 | 上海交通大学 | 一种跨介质通信的海空协同监测系统及其使用方法 |
CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
CN109714728A (zh) * | 2019-01-24 | 2019-05-03 | 上海孚实船舶科技有限公司 | 一种天海一体目标监测系统 |
CN110490809A (zh) * | 2019-08-28 | 2019-11-22 | 清华大学 | 多智能体协同定位与建图方法及装置 |
CN110488334A (zh) * | 2019-09-03 | 2019-11-22 | 嘉陵江亭子口水利水电开发有限公司 | 一种水下物体定位装置、定位系统及其定位方法 |
CN111026138A (zh) * | 2020-01-03 | 2020-04-17 | 苏州创飞智能科技有限公司 | 一种基于三维动态航道的管理监控系统 |
Non-Patent Citations (2)
Title |
---|
侯华等: "基于Census变换的补色均值反色化立体匹配算法", 《广播电视网络》 * |
侯华等: "基于泰勒级数展开的总体最小二乘水下短基线定位算法研究", 《电声技术》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506257A (zh) * | 2021-07-02 | 2021-10-15 | 同济大学 | 一种基于自适应窗口匹配的裂缝提取方法 |
CN113848209A (zh) * | 2021-08-23 | 2021-12-28 | 浙江工业大学 | 一种基于无人机与激光测距的堤坝裂缝检测方法 |
CN113848209B (zh) * | 2021-08-23 | 2023-12-15 | 浙江工业大学 | 一种基于无人机与激光测距的堤坝裂缝检测方法 |
CN117308847A (zh) * | 2023-11-30 | 2023-12-29 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于有限元的渡槽裂缝监控方法 |
CN117308847B (zh) * | 2023-11-30 | 2024-02-09 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于有限元的渡槽裂缝监控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109887057B (zh) | 生成高精度地图的方法和装置 | |
US10565732B2 (en) | Sensor fusion using inertial and image sensors | |
CN112556574A (zh) | 一种水空协同的渡槽裂缝检测定位方法 | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
EP3158293B1 (en) | Sensor fusion using inertial and image sensors | |
US9223025B2 (en) | Underwater platform with LIDAR and related methods | |
EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
EP3734394A1 (en) | Sensor fusion using inertial and image sensors | |
CN110887486B (zh) | 一种基于激光线辅助的无人机视觉导航定位方法 | |
CN103954283A (zh) | 基于景象匹配/视觉里程的惯性组合导航方法 | |
US20190301871A1 (en) | Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization | |
CN111435081B (zh) | 海面测量系统、海面测量方法以及存储介质 | |
CN113551665A (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
Caballero et al. | A visual odometer without 3D reconstruction for aerial vehicles. Applications to building inspection | |
Zachariah et al. | Camera-aided inertial navigation using epipolar points | |
Kakillioglu et al. | 3D sensor-based UAV localization for bridge inspection | |
Muñoz et al. | Learning the Ego-Motion of an Underwater Imaging Sonar: A Comparative Experimental Evaluation of Novel CNN and RCNN Approaches | |
CN114529585A (zh) | 基于深度视觉和惯性测量的移动设备自主定位方法 | |
CN116026316B (zh) | 一种耦合视觉惯性里程计与gnss的无人船航迹推算方法 | |
CN111486820B (zh) | 测量系统、测量方法以及存储介质 | |
CN114608554B (zh) | 一种手持slam设备以及机器人即时定位与建图方法 | |
Hsiung et al. | Localized Imaging and Mapping for Underwater Fuel Storage Basins–18364 | |
Zhang et al. | Obstacle detection for low flying UAS using monocular camera | |
CN117710476A (zh) | 基于单目视觉的无人机位姿估计与稠密建图方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |