CN114265427B - 一种基于红外图像匹配的巡检无人机辅助导航系统及方法 - Google Patents
一种基于红外图像匹配的巡检无人机辅助导航系统及方法 Download PDFInfo
- Publication number
- CN114265427B CN114265427B CN202111481839.8A CN202111481839A CN114265427B CN 114265427 B CN114265427 B CN 114265427B CN 202111481839 A CN202111481839 A CN 202111481839A CN 114265427 B CN114265427 B CN 114265427B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- point
- matching
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000013519 translation Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000000746 purification Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 3
- 229940088594 vitamin Drugs 0.000 claims description 3
- 229930003231 vitamin Natural products 0.000 claims description 3
- 235000013343 vitamin Nutrition 0.000 claims description 3
- 239000011782 vitamin Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Abstract
本发明公开了一种基于红外图像匹配的巡检无人机辅助导航方法,包括如下步骤:步骤1、无人机携带红外热成像仪获取实时待配准图像,并将待配准图像在红外景象匹配模块进行矢量化预处理;步骤2、将实时待配准图像与红外数字基准图库进行改进的SURF算法特征点匹配;步骤3、将经过改进SURF算法特征点匹配后的图像进行Fourier‑Mellin算法迭代,对待配准图像进行缩放、旋转、平移的补偿,输出配准图像及参数即定位数据;步骤4、组合导航融合模块获取红外景象匹配模块、惯性导航系统及卫星导航系统的定位数据进行实时融合。本发明能够修正惯性导航的积累误差、弥补卫星定位系统易受电磁干扰等缺陷,提高无人机导航系统整体定位精度。
Description
技术领域
本发明涉及无人机定位与导航技术领域,具体而言涉及一种基于红外图像匹配的巡检无人机辅助导航系统及方法。
背景技术
近年来无人机巡检已成为发现电网设备隐患的有力手段。电网附近存在强烈且复杂的电磁干扰,确保无人机在该环境下的精确定位与导航是电力无人机巡检安全的关键。传统的单一导航方式存在缺陷:卫星定位导航易受电磁干扰,在超高压、特高压等环境下尤其明显;惯性导航误差易随时间累积,及时误差消除是一大难题。
景象匹配技术是利用地物景象提供的精确定位信息,不易受电磁干扰且无误差累积,可用作辅助导航。可见光对光照度、气候条件敏感,景象匹配效果存在局限。与可见光相比,红外景象具有受环境影响小、检测范围大、昼夜监控等优势,结合景象匹配技术可作为无人机巡检全天候的辅助导航手段。
本专利基于改进SURF特征点算法、RANSAC算法和Fourier-Mellin算法,提高图像匹配实时性和鲁棒性,运用红外景象匹配技术,结合惯性导航、卫星导航构成全天候组合导航系统,弥补单一导航方式在无人机电力巡检中的不足。
发明内容
本发明针对现有技术中的不足,提供一种基于红外图像匹配的巡检无人机辅助导航系统及方法,采用红外景象导航技术,结合惯性导航、卫星导航导航构成组合导航系统
为实现上述目的,本发明采用以下技术方案:
一种基于红外图像匹配的巡检无人机辅助导航系统,包括红外传感器模块、红外景象匹配模块、组合导航融合模块;
红外传感器模块,通过无人机携带的红外热成像仪获取红外热成像实时待配准图像;
红外景象匹配模块,将红外热成像仪获取的实时待配准图像和红外数字基准图库进行图像配准,通过配准算法求得配准参数,输出配准图像及参数即定位数据,提交给组合导航融合模块用于组合导航融合;
组合导航融合模块获取多导航器无人机自带的惯性导航系统及卫星导航系统以及红外景象匹配模块的定位数据并进行融合,修正偏航误差,提高实时导航精度,弥补单一导航方式在无人机电力巡检中的不足。
一种基于红外图像匹配的巡检无人机辅助导航方法,包括如下步骤:
步骤1、无人机携带红外热成像仪获取实时待配准图像,并将待配准图像在红外景象匹配模块进行矢量化预处理;
步骤2、将实时待配准图像与红外数字基准图库进行改进的SURF(Speeded UpRobust Features,加速稳健特征点算法)算法特征点匹配;对特征点进行提取;以特征点为圆心,选取圆形区域,将圆形区域划分,将色彩信息引入特征描述符,构成降维的35维的特征描述向量;采用欧氏距离构建阀值自适应匹配,完成特征点匹配;运用改进的RANSAC算法(随机抽样一致算法)剔除误匹配,实现匹配点对的提纯;
步骤3、将经过改进SURF算法特征点匹配后的图像进行Fourier-Mellin(傅里叶-梅林)算法迭代,将两幅图像的旋转、缩放等变换转换为对数极坐标系下的平移变换,对待配准图像进行缩放、旋转、平移的补偿,输出配准图像及参数即定位数据;
步骤4、组合导航融合模块获取红外景象匹配模块、惯性导航系统及卫星导航系统的定位数据进行实时融合,修正偏航误差。
进一步地,步骤2中具体包括如下步骤:
步骤2.1、提取特征点:
步骤2.1.1、建立积分图像:图像中某一像素点的积分,表示为以该像素点和原点O为对顶点所组成的矩形区域像素总和;
步骤2.1.2、构建图像尺度空间:定义图像I的坐标(x,y),x,y分别为图像I的横坐标和纵坐标,图像尺度为σ,为保证算法具有尺度不变性,对初始图像进行4层分层的尺度空间兴趣点的检测;
步骤2.1.3、定位特征点:采用3*3*3邻域模板在三维(x,y,σ)尺度空间进行非极大值抑制,并通过构建快速的Hessian矩阵(海森矩阵)求取邻域内的极大值响应;通过求取各点Hessian行列式值以及迹,如果比邻域内其他点的值都大则为特征点,找到W个响应值中的最大的点,确定特征点的位置及尺度,W为大于1的自然数;
步骤2.2、构建改进的SURF特征描述向量:
步骤2.2.1、确定特征点主方向:以特征点为中心,计算半径为N*s邻域内的点在x方向和y方向的Haar响应值,并将其赋予高斯权重,N为大于1的自然数,s为特征点所在尺度的值,使用90°的扇形窗口扫描整个圆形区域,并计算每次旋转后区域内Haar小波特征值,数值最大的扇形对应的方向为主方向;
步骤2.2.2、降维生成SURF特征描述符并引入色彩信息;
步骤2.3、对特征点进行匹配:
步骤2.3.1、假设I,J分别为待配准图像和数字地图基准图像,其特征点集合分别为N1与N2,在N1中针对每一特征点,从N2中找到与之欧氏距离值最小及次最小的两个特征点jn1和jn2,n为SURF特征点的总数,得到集合Gj,满足:
步骤2.3.2、集合Gj进行降序排列,剔除前10%及后10%的数据,剩余数据构建新的集合,求平均值得到Tj,将其作为初始化阀值;
步骤2.3.3、若检测到的点的最近和次近邻域距离之比满足则进行匹配,直到检测完所有特征点得到匹配点对集合S;
步骤2.4、运用改进的RANSAC算法剔除误匹配:
在匹配点对集合S中选取特征点的最近邻与次近邻距离比值小于80%Tj的点集作为样本集合,进行改进的RANSAC剔除误匹配。
进一步地,步骤3具体为:Fourier-Mellin算法为在对数极坐标下求取配准图像和变换参数缩放因子α和旋转角度θ;待配准图像I经过旋转、缩放及平移变换可得到数字地图基准图像J,笛卡尔坐标系中某点坐标为(x,y),极坐标系中某点坐标为(r,θ),则某一点z用笛卡尔坐标系可表示为z=x+iy,用极坐标可表示为z=r(cosθ+isinθ)=reiθ,极坐标z可看成是(r,θ)的函数;
则J(x,y)满足:
J(x,y)=I(xα cos θ0+yα sinθ0+dx,-xα sinθ0+yαcosθ0+dy),
式中θ0代表旋转角度,(dx,dy)代表水平、垂直两个方向平移,α代表图像间的缩放参数,如α>1,表示放大;如0<α<1,表示缩小;
对上式进行傅里叶变换:
令M1和M2分别为I(wx,wy)和J(wx,wy)的幅值,对上式两端取幅值并进行极坐标变换可得:
M2(γ,θ)=M1(αγ,θ-θ0),
将坐标γ变换到对数坐标下可得:
M2(㏑γ,θ)=M1(㏑α+㏑γ,θ-θ0),
令w=㏑γ,η=㏑α,则:
M2(w,θ)=M1(w+η,θ-θ0),
可知缩放变换参数满足α=eη,可求取缩放因子α和旋转角度θ,输出配准图像。
进一步地,步骤4具体为:
红外景象匹配模块经过红外景象匹配后提供实时定位信息;定义多传感器融合系数km,且k1,k2,k3≥0,其中m∈{1,2,3},红外景象匹配模块、惯性导航及卫星导航定位m分别用下标1,2,3表示;红外景象匹配模块、惯性导航及卫星导航定位数据进行融合,修正偏航误差,使得融合导航参数满足,k1+k2+k3=1。
进一步地,步骤2.2.1具体为,积分A定义为以点A和原点O为对顶点所组成的矩形区域像素和,则对任意一积分区域S可表示为A、B、C、D四点分别与原点O为对顶点所组成的矩形区域加减运算,积分区域S满足S=D-B-C+A。经过处理后,计算结果不受矩形大小影响,矩形越大时,节省时间越显著。
进一步地,步骤2.2.2具体为:
步骤2.2.2.1、以特征点为圆心,在领域内选取半径为N*s的圆形区域;
步骤2.2.2.2、将圆形区域内再画一个同心圆,外圆半径为N*s,内圆半径为M*s,X轴与Y轴与2个圆共围成8个子区域;
步骤2.2.2.3、每个特征点的周围均有8个子区域,每个区域计算特征点在水平、垂直方向上的Haar小波响应值分别为dx、dy,对其赋予高斯加权系数,然后计算每个子区域Haar小波响应值的和;每个子区域可用H向量描述其特征强度,H=(∑dx,∑dy,∑|dx|,∑|dy|),其中,∑dx及∑dy代表特征点在水平、垂直方向上的Haar小波响应值求和,∑|dx|及∑|dy|代表特征点在水平、垂直方向上的Haar小波响应值绝对值求和;
步骤2.2.2.4、8个子区域叠加四维H向量,获得32维特征向量,经过圆形区域划分,原有SERF算法由64维描述符精简为32维;
步骤2.2.2.5、将图像色彩信息引入特征描述符。
红外图像包含有丰富的色彩信息,而传统SURF算法只考虑图像灰度,损失了有用色彩信息。因此将色彩信息引入特征描述符,以增强彩色信息对配准的影响,提高配准的准确率。
设r,g,b分别为SURF特征点i(x,y)处的RGB三通道的值,其中r,g,b∈[0,255],ri表示为特征点i的r值,gi为特征点i的g值,bi为特征点i的b值,n为SURF特征点的总数;定义μr、μg、μb分别为SURF特征点以及特征点邻域内所有像素点r,g,b值的均值:
得到一个包含RGB色彩均值的三维向量E=(μr、μg、μb);
步骤2.2.2.6、将包含RGB色彩均值的三维向量E引入圆形区域处理后32维特征向量:
将包含RGB色彩均值的三维向量E引入32维特征向量,组成35维包含色彩信息的改进SURF特征描述向量。
进一步地,步骤3中,W的取值为26。
进一步地,步骤2中,N的取值为6。
进一步地,步骤2.2.2中,M的取值为
本发明的有益效果是:
(1)本发明红外景象具有受环境影响小、检测范围大、昼夜监控等优势,结合景象匹配技术可作为无人机巡检全天候的辅助导航手段,而前人相关研究更倾向图像处理算法,与导航系统结合构成组合导航系统较少。
(2)本发明将利用SURF算法具有速度快、较为稳定的尺度不变和旋转不变特性,通过卷积面积优化、圆形区域划分、并将色彩信息引入特征描述符,构成降维的35维的特征描述向量、采用欧氏距离构建阀值自适应匹配等方面改进了SURF算法,减少计算量,提高算法特征点匹配效率。
(3)本发明有效地利用SURF特征点算法和Fourier-Melli的快速性特点,并得到改进和结合,避免过大的计算量,又兼顾图像配准精度要求。
附图说明
图1是本发明的一种基于红外图像匹配的巡检无人机辅助导航系统图;
图2是本发明的基于红外图像匹配的方法流程图;
图3是本发明的积分图像示意图;
图4是本发明的基于圆形区域提取描述符。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示,一种基于红外图像匹配的巡检无人机辅助导航系统,包括红外传感器模块、红外景象匹配模块、组合导航融合模块;
红外传感器模块,通过无人机携带的红外热成像仪获取红外热成像实时待配准图像;
红外景象匹配模块,将红外热成像仪获取的实时待配准图像和红外数字基准图库进行图像配准,通过配准算法求得配准参数,输出配准图像及参数即定位数据,提交给组合导航融合模块用于组合导航融合;
组合导航融合模块获取多导航器无人机自带的惯性导航系统及卫星导航系统以及红外景象匹配模块的定位数据并进行融合,修正偏航误差,提高实时导航精度,弥补单一导航方式在无人机电力巡检中的不足。
如图2所示,本发明基于红外图像匹配的方法流程图。无人机携带红外热成像仪获取实时待配准图像,矢量化处理后,实时待配准图像与红外数字基准图库经过特征点匹配,将色彩信息引入并将特征描述符降维为35维后,采用欧氏距离构建阀值自适应匹配,进行改进的SURF特征点匹配;运用改进的RANSAC算法剔除误匹配,实现匹配点对的提纯;将经过改进SURF算法特征点匹配后的图像进行Fourier-Mellin算法迭代,将两幅图像的旋转、缩放等变换转换为对数极坐标系下的平移变换,对待配准图像进行缩放、旋转、平移的补偿,输出配准图像及参数。
步骤2中具体包括如下步骤:
步骤2.1、提取特征点:
步骤2.1.1、建立积分图像:如图3所示,图像中某一像素点的积分,即阴影区域,表示为以该像素点和原点O为对顶点所组成的矩形区域像素总和。积分A定义为以点A和原点O为对顶点所组成的矩形区域像素和,则对任意一积分区域S可表示为A、B、C、D四点分别与原点O为对顶点所组成的矩形区域加减运算。积分区域S应满足S=D-B-C+A。如此处理后,计算结果不受矩形大小影响,矩形越大时,节省时间越显著。
步骤2.1.2、构建图像尺度空间:定义图像I的坐标(x,y),x,y分别为图像I的横坐标和纵坐标,图像尺度为σ,为保证算法具有尺度不变性,对初始图像进行4层分层的尺度空间兴趣点的检测;
第一层采用9*9方框大小的滤波器,第二、三、四滤波器尺寸分别为15*15、21*21、27*27方框大小的滤波器,进行图像尺度空间构建;
步骤2.1.3、定位特征点:采用3*3*3邻域模板在三维(x,y,σ)尺度空间进行非极大值抑制,并通过构建快速的Hessian矩阵求取邻域内的极大值响应;通过求取各点Hessian行列式值以及迹,如果比邻域内其他点的值都大则为特征点,找到26个响应值中的最大的点,由此确定特征点的位置及尺度;
步骤2.2、构建改进的SURF特征描述向量:
步骤2.2.1、确定特征点主方向:以特征点为中心,计算半径为6s邻域内的点在x方向和y方向的Haar响应值,并将其赋予高斯权重,其中,s为特征点所在尺度的值,使用90°的扇形窗口扫描整个圆形区域,并计算每次旋转后区域内Haar小波特征值,数值最大的扇形对应的方向为主方向;
步骤2.2.2、降维生成SURF特征描述符并引入色彩信息:
步骤2.2.2.1、以特征点为圆心,在领域内选取半径为6s的圆形区域;
步骤2.2.2.2、将圆形区域内再画一个同心圆,外圆半径为6s,内圆半径为X轴与Y轴与2个圆共围成8个子区域,如图4所示;
步骤2.2.2.3、每个特征点的周围均有8个子区域,每个区域计算特征点在水平、垂直方向上的Haar小波响应值分别为dx、dy,对其赋予高斯加权系数,然后计算每个子区域Haar小波响应值的和;
每个子区域可用H向量描述其特征强度,H=(∑dx,∑dy,∑|dx|,∑|dy|),其中,∑dx及∑dy代表特征点在水平、垂直方向上的Haar小波响应值求和,∑|dx|及∑|dy|代表特征点在水平、垂直方向上的Haar小波响应值绝对值求和;
步骤2.2.2.4、8个子区域叠加四维H向量,获得32维特征向量,
经过圆形区域划分,原有SERF算法由64维描述符精简为32维;
步骤2.2.2.5、将图像色彩信息引入特征描述符。
红外图像包含有丰富的色彩信息,而传统SURF算法只考虑图像灰度,损失了有用色彩信息。因此将色彩信息引入特征描述符,以增强彩色信息对配准的影响,提高配准的准确率。
设r,g,b分别为SURF特征点i(x,y)处的RGB三通道的值,其中r,g,b∈[0,255],ri表示为特征点i的r值,gi为特征点i的g值,bi为特征点i的b值,n为SURF特征点的总数;定义μr、μg、μb分别为SURF特征点以及特征点邻域内所有像素点r,g,b值的均值:
得到一个包含RGB色彩均值的三维向量E=(μr、μg、μb);
步骤2.2.2.6、将包含RGB色彩均值的三维向量E引入圆形区域处理后32维特征向量:
将包含RGB色彩均值的三维向量E引入32维特征向量,组成35维包含色彩信息的改进SURF特征描述向量;
步骤2.3、对特征点进行匹配:
步骤2.3.1、假设I,J分别为待配准图像和数字地图基准图像,其特征点集合分别为N1与N2,在N1中针对每一特征点,从N2中找到与之欧氏距离值最小及次最小的两个特征点jn1和jn2,n为SURF特征点的总数;
得到集合Gj,满足
步骤2.3.2、集合Gj进行降序排列,剔除前10%及后10%的数据,剩余数据构建新的集合,求平均值得到Tj,将其作为初始化阀值;
步骤2.3.3、若检测到的点的最近和次近邻域距离之比满足则进行匹配,直到检测完所有特征点得到匹配点对集合S。
步骤2.4、运用改进的RANSAC算法剔除误匹配:
最近邻与次近邻的比值越小,两者匹配的置信度越高,减少匹配范围,可减少迭代次数和提高配准精度,因此对RANSAC算法进行改进。
在匹配点对集合S中选取特征点的最近邻与次近邻距离比值小于80%Tj的点集作为样本集合,进行改进的RANSAC剔除误匹配。
步骤3具体为:Fourier-Mellin算法为在对数极坐标下求取配准图像和变换参数缩放因子α和旋转角度θ;待配准图像I经过旋转、缩放及平移变换可得到数字地图基准图像J,笛卡尔坐标系中某点坐标为(x,y),极坐标系中某点坐标为(r,θ),则某一点z用笛卡尔坐标系可表示为z=x+iy,用极坐标可表示为z=r(cosθ+isinθ)=reiθ,极坐标z可看成是(r,θ)的函数;
则J(x,y)满足:
J(x,y)=I(xαcosθ0+yαsinθ0+dx,-xαsinθ0+yαcosθ0+dy)
式中θ0代表旋转角度,(dx,dy)代表水平、垂直两个方向平移,α代表图像间的缩放参数,如α>1,表示放大;如0<α<1,表示缩小;
对上式进行傅里叶变换:
令M1和M2分别为I(wx,wy)和J(wx,wy)的幅值,对上式两端取幅值并进行极坐标变换可得:
M2(γ,θ)=M1(αγ,θ-θ0)
将坐标γ变换到对数坐标下可得:
M2(㏑γ,θ)=M1(㏑α+㏑γ,θ-θ0)
令w=㏑γ,η=㏑α,则:
M2(w,θ)=M1(w+η,θ-θ0)
可知缩放变换参数满足α=eη,可求取缩放因子α和旋转角度θ,输出配准图像。
步骤4具体为:红外景象匹配模块经过红外景象匹配后提供实时定位信息;定义多传感器融合系数km,且k1,k2,k3≥0,其中m∈{1,2,3},红外景象匹配模块、惯性导航及卫星导航定位m分别用下标1,2,3表示;红外景象匹配模块、惯性导航及卫星导航定位数据进行融合,修正偏航误差,使得融合导航参数满足,k1+k2+k3=1。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (8)
1.一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于,包括红外传感器模块、红外景象匹配模块、组合导航融合模块;
红外传感器模块,通过无人机携带的红外热成像仪获取红外热成像实时待配准图像;
红外景象匹配模块,将红外热成像仪获取的实时待配准图像和红外数字基准图库进行图像配准,通过配准算法求得配准参数,输出配准图像及参数即定位数据,提交给组合导航融合模块用于组合导航融合;
组合导航融合模块获取多导航器无人机自带的惯性导航系统及卫星导航系统以及红外景象匹配模块的定位数据并进行融合,修正偏航误差;
基于红外图像匹配的巡检无人机辅助导航系统的辅助导航方法包括如下步骤:
步骤1、无人机携带红外热成像仪获取实时待配准图像,并将待配准图像在红外景象匹配模块进行矢量化预处理;
步骤2、将实时待配准图像与红外数字基准图库进行改进的SURF算法特征点匹配;对特征点进行提取;以特征点为圆心,选取圆形区域,将圆形区域划分,将色彩信息引入特征描述符,构成降维的特征描述向量;采用欧氏距离构建阀值自适应匹配,完成特征点匹配;运用改进的RANSAC算法剔除误匹配,实现匹配点对的提纯;具体包括如下子步骤:
步骤2.1、提取特征点:
步骤2.1.1、建立积分图像:图像中某一像素点的积分,表示为以该像素点和原点O为对顶点所组成的矩形区域像素总和;
步骤2.1.2、构建图像尺度空间:定义图像I的坐标(x,y),x,y分别为图像I的横坐标和纵坐标,图像尺度为σ,为保证算法具有尺度不变性,对初始图像进行4层分层的尺度空间兴趣点的检测;
步骤2.1.3、定位特征点:采用3*3*3邻域模板在三维(x,y,σ)尺度空间进行非极大值抑制,并通过构建快速的Hessian矩阵求取邻域内的极大值响应;通过求取各点Hessian行列式值以及迹,如果比邻域内其他点的值都大则为特征点,找到W个响应值中的最大的点,确定特征点的位置及尺度,W为大于1的自然数;
步骤2.2、构建改进的SURF特征描述向量:
步骤2.2.1、确定特征点主方向:以特征点为中心,计算半径为N*s邻域内的点在x方向和y方向的Haar响应值,并将其赋予高斯权重,N为大于1的自然数,s为特征点所在尺度的值,使用90°的扇形窗口扫描整个圆形区域,并计算每次旋转后区域内Haar小波特征值,数值最大的扇形对应的方向为主方向;
步骤2.2.2、降维生成SURF特征描述符并引入色彩信息;
步骤2.3、对特征点进行匹配:
步骤2.3.1、假设I,J分别为待配准图像和数字地图基准图像,其特征点集合分别为N1与N2,在N1中针对每一特征点,从N2中找到与之欧氏距离值最小及次最小的两个特征点jn1和jn2,n为SURF特征点的总数,得到集合Gj,满足:
步骤2.3.2、集合Gj进行降序排列,剔除前10%及后10%的数据,剩余数据构建新的集合,求平均值得到Tj,将其作为初始化阀值;
步骤2.3.3、若检测到的点的最近和次近邻域距离之比满足则进行匹配,直到检测完所有特征点得到匹配点对集合S;
步骤2.4、运用改进的RANSAC算法剔除误匹配:
在匹配点对集合S中选取特征点的最近邻与次近邻距离比值小于80%Tj的点集作为样本集合,进行改进的RANSAC剔除误匹配;
步骤3、将经过改进SURF算法特征点匹配后的图像进行Fourier-Mellin算法迭代,将两幅图像的旋转、缩放变换转换为对数极坐标系下的平移变换,对待配准图像进行缩放、旋转、平移的补偿,输出配准图像及参数即定位数据;
步骤4、组合导航融合模块获取红外景象匹配模块、惯性导航系统及卫星导航系统的定位数据进行实时融合,修正偏航误差。
2.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤3具体为:Fourier-Mellin算法为在对数极坐标下求取配准图像和变换参数缩放因子α和旋转角度θ;待配准图像I经过旋转、缩放及平移变换得到数字地图基准图像J,笛卡尔坐标系中某点坐标为(x,y),极坐标系中某点坐标为(c,θ),则某一点z用笛卡尔坐标系表示为z=x+iy,用极坐标表示为z=c(cosθ+i sinθ)=ceiθ,极坐标z看成是(c,θ)的函数;
则J(x,y)满足:
J(x,y)=I(xαcosθ0+yαsinθ0+dx,-xαsinθ0+yαcosθ0+dy),
式中θ0代表旋转角度,(dx,dy)代表水平、垂直两个方向平移,α代表图像间的缩放参数,如α>1,表示放大;如0<α<1,表示缩小;
对上式进行傅里叶变换:
令M1和M2分别为I(wx,wy)和J(wx,wy)的幅值,对上式两端取幅值并进行极坐标变换可得:
M2(c,θ)=M1(αc,θ-θ0),
将坐标γ变换到对数坐标下可得:
M2(㏑c,θ)=M1(㏑α+㏑c,θ-θ0),
令w=㏑c,η=㏑α,则:
M2(w,θ)=M1(w+η,θ-θ0),
可知缩放变换参数满足α=eη,可求取缩放因子α和旋转角度θ,输出配准图像。
3.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤4具体为:
红外景象匹配模块经过红外景象匹配后提供实时定位信息;定义多传感器融合系数km,且k1,k2,k3≥0,其中m∈{1,2,3},红外景象匹配模块、惯性导航及卫星导航定位m分别用下标1,2,3表示;红外景象匹配模块、惯性导航及卫星导航定位数据进行融合,修正偏航误差,使得融合导航参数满足,k1+k2+k3=1。
4.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤2.2.1具体为,积分A定义为以点A和原点O为对顶点所组成的矩形区域像素和,则对任意一积分区域S可表示为A、B、C、D四点分别与原点O为对顶点所组成的矩形区域加减运算,积分区域S满足S=D-B-C+A。
5.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤2.2.2具体为:
步骤2.2.2.1、以特征点为圆心,在领域内选取半径为N*s的圆形区域;
步骤2.2.2.2、将圆形区域内再画一个同心圆,外圆半径为N*s,内圆半径为M*s,X轴与Y轴与2个圆共围成8个子区域;
步骤2.2.2.3、每个特征点的周围均有8个子区域,每个区域计算特征点在水平、垂直方向上的Haar小波响应值分别为dx、dy,对其赋予高斯加权系数,然后计算每个子区域Haar小波响应值的和;每个子区域可用H向量描述其特征强度,H=(∑dx,∑dy,∑|dx|,∑|dy|),其中,∑dx及∑dy代表特征点在水平、垂直方向上的Haar小波响应值求和,∑|dx|及∑|dy|代表特征点在水平、垂直方向上的Haar小波响应值绝对值求和;
步骤2.2.2.4、8个子区域叠加四维H向量,获得32维特征向量,经过圆形区域划分,原有SERF算法由64维描述符精简为32维;
步骤2.2.2.5、将图像色彩信息引入特征描述符;
设r,g,b分别为SURF特征点i(x,y)处的RGB三通道的值,其中r,g,b∈[0,255],ri表示为特征点i的r值,gi为特征点i的g值,bi为特征点i的b值,n为SURF特征点的总数;定义μr、μg、μb分别为SURF特征点以及特征点邻域内所有像素点r,g,b值的均值:
得到一个包含RGB色彩均值的三维向量E=(μr、μg、μb);
步骤2.2.2.6、将包含RGB色彩均值的三维向量E引入圆形区域处理后32维特征向量:
将包含RGB色彩均值的三维向量E引入32维特征向量,组成35维包含色彩信息的改进SURF特征描述向量。
6.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤3中,W的取值为26。
7.根据权利要求1所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征在于:步骤2中,N的取值为6。
8.根据权利要求5所述的一种基于红外图像匹配的巡检无人机辅助导航系统,其特征
在于:步骤2.2.2中,M的取值为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111481839.8A CN114265427B (zh) | 2021-12-06 | 2021-12-06 | 一种基于红外图像匹配的巡检无人机辅助导航系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111481839.8A CN114265427B (zh) | 2021-12-06 | 2021-12-06 | 一种基于红外图像匹配的巡检无人机辅助导航系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114265427A CN114265427A (zh) | 2022-04-01 |
CN114265427B true CN114265427B (zh) | 2024-02-02 |
Family
ID=80826378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111481839.8A Active CN114265427B (zh) | 2021-12-06 | 2021-12-06 | 一种基于红外图像匹配的巡检无人机辅助导航系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114265427B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114964209B (zh) * | 2022-05-13 | 2023-05-09 | 天健极光(北京)科技发展有限公司 | 基于红外阵列成像的长航时无人机自主导航方法和系统 |
CN116090094A (zh) * | 2022-12-27 | 2023-05-09 | 武汉理工大学 | 一种基于红外热成像的船体热模型建立方法、装置及设备 |
CN116793340B (zh) * | 2023-08-29 | 2023-11-24 | 陕西德鑫智能科技有限公司 | 一种无人机自动着陆导航方法、装置及电子设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464149A (zh) * | 2008-12-31 | 2009-06-24 | 武汉大学 | Pos辅助航空影像匹配方法 |
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及系统 |
CN103426186A (zh) * | 2013-09-05 | 2013-12-04 | 山东大学 | 一种改进的surf快速匹配方法 |
CN103954283A (zh) * | 2014-04-01 | 2014-07-30 | 西北工业大学 | 基于景象匹配/视觉里程的惯性组合导航方法 |
CN105760879A (zh) * | 2016-01-14 | 2016-07-13 | 西安电子科技大学 | 基于傅里叶梅林变换的图像几何匹配方法 |
CN107423768A (zh) * | 2017-08-02 | 2017-12-01 | 上海应用技术大学 | 基于surf和pca结合的图像哈希序列生成方法 |
CN107481273A (zh) * | 2017-07-12 | 2017-12-15 | 南京航空航天大学 | 一种航天器自主导航快速图像匹配方法 |
CN109141396A (zh) * | 2018-07-16 | 2019-01-04 | 南京航空航天大学 | 辅助信息与随机抽样一致算法融合的无人机位姿估计方法 |
CN113432594A (zh) * | 2021-07-05 | 2021-09-24 | 北京鑫海宜科技有限公司 | 一种基于地图与环境的无人机自动导航系统 |
WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
-
2021
- 2021-12-06 CN CN202111481839.8A patent/CN114265427B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464149A (zh) * | 2008-12-31 | 2009-06-24 | 武汉大学 | Pos辅助航空影像匹配方法 |
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及系统 |
CN103426186A (zh) * | 2013-09-05 | 2013-12-04 | 山东大学 | 一种改进的surf快速匹配方法 |
CN103954283A (zh) * | 2014-04-01 | 2014-07-30 | 西北工业大学 | 基于景象匹配/视觉里程的惯性组合导航方法 |
CN105760879A (zh) * | 2016-01-14 | 2016-07-13 | 西安电子科技大学 | 基于傅里叶梅林变换的图像几何匹配方法 |
CN107481273A (zh) * | 2017-07-12 | 2017-12-15 | 南京航空航天大学 | 一种航天器自主导航快速图像匹配方法 |
CN107423768A (zh) * | 2017-08-02 | 2017-12-01 | 上海应用技术大学 | 基于surf和pca结合的图像哈希序列生成方法 |
CN109141396A (zh) * | 2018-07-16 | 2019-01-04 | 南京航空航天大学 | 辅助信息与随机抽样一致算法融合的无人机位姿估计方法 |
WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
CN113432594A (zh) * | 2021-07-05 | 2021-09-24 | 北京鑫海宜科技有限公司 | 一种基于地图与环境的无人机自动导航系统 |
Non-Patent Citations (1)
Title |
---|
王凌云 ; 尹海波 ; 王琪 ; .SURF和RANSAC在图像拼接中的应用.电子测量技术.2016,(第04期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN114265427A (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114265427B (zh) | 一种基于红外图像匹配的巡检无人机辅助导航系统及方法 | |
CN111583110B (zh) | 一种航拍图像的拼接方法 | |
CN110097093B (zh) | 一种异源图像精确匹配方法 | |
CN109785291B (zh) | 一种车道线自适应检测方法 | |
CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
CN107610164B (zh) | 一种基于多特征混合的高分四号影像配准方法 | |
CN102865859B (zh) | 一种基于surf特征的航空序列图像位置估计方法 | |
CN110969667B (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
CN113298810B (zh) | 结合图像增强和深度卷积神经网络的道线检测方法 | |
CN109858527B (zh) | 一种图像融合方法 | |
CN105550994A (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
CN112907493A (zh) | 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法 | |
KR101941878B1 (ko) | 무인항공기 영상 자동 기하보정을 위한 처리시스템 | |
CN110992409A (zh) | 基于傅里叶变换配准的多光谱立体相机动态配准算法 | |
CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
CN112163995A (zh) | 一种超大航拍条带图像的拼接生成方法及装置 | |
CN114255197A (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
CN113223066A (zh) | 基于特征点微调的多源遥感图像匹配方法及装置 | |
CN115601407A (zh) | 一种红外与可见光图像配准方法 | |
Huang et al. | SAR and optical images registration using shape context | |
CN112150482B (zh) | 一种基于高程信息和归一化海水指数的海陆分割方法 | |
CN117576461A (zh) | 一种用于变电站场景的语义理解方法、介质及系统 | |
CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
CN115393196B (zh) | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 | |
CN108876755B (zh) | 一种改进的灰度图像的彩色背景的构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |