CN114255398A - 一种卫星视频图像的特征提取与匹配的方法及装置 - Google Patents

一种卫星视频图像的特征提取与匹配的方法及装置 Download PDF

Info

Publication number
CN114255398A
CN114255398A CN202111423785.XA CN202111423785A CN114255398A CN 114255398 A CN114255398 A CN 114255398A CN 202111423785 A CN202111423785 A CN 202111423785A CN 114255398 A CN114255398 A CN 114255398A
Authority
CN
China
Prior art keywords
point
corner
points
corner point
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111423785.XA
Other languages
English (en)
Inventor
王跃
姜洋
于龙江
范立佳
余婧
汪精华
高洪涛
杨文涛
张国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Space Technology CAST
Original Assignee
China Academy of Space Technology CAST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Space Technology CAST filed Critical China Academy of Space Technology CAST
Priority to CN202111423785.XA priority Critical patent/CN114255398A/zh
Publication of CN114255398A publication Critical patent/CN114255398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卫星视频图像的特征提取与匹配的方法及装置，能够解决卫星视频实时或近实时应用问题。采用确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；过滤所述角点；基于过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；对待匹配的卫星视频图像的特征向量进行匹配。

Description

一种卫星视频图像的特征提取与匹配的方法及装置
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种卫星视频图像的特征提取与匹配的方法及装置。
背景技术
特征提取与匹配是计算机视觉(Computer Vision,CV)应用的重要前提之一。特征是一种可以将目标与其它目标所区分出来的属性，常见特征包含点特征、线特征、面特征甚至是体特征等等。匹配在数学上可以理解为一个通过距离函数在高维向量间进行相似性度量的问题。距离度量函数的选择是影响匹配效率和精度的关键因素之一。对于不同描述子，往往有不同的距离度量函数可以使用。在遥感领域中，基于匹配的同名点对可以进行如影像的波段配准、卫星视频的稳像、卫星视频帧间位姿估计等应用。
现有技术1(参见Lowe,David G.."Object recognition from local scale-invariant features".Proceedings of the International Conference on ComputerVision.2.pp.1150–1157.)给出特征提取与匹配的方法，其主要包含在影像尺度空间的极值检测、特征角点的精确定位、特征方向确定以及特征点描述四个部分。基于高斯差分金字塔实现对特征点的检测，利用灰度方向直方图实现对特征点的描述，行程高维浮点型描述子用于匹配。SIFT特征应用在卫星视频的帧间特征提取与匹配主要在于效率问题。由于其为浮点型描述子，一般使用欧氏距离作为度量函数，采用KD-Tree建树的手段进行匹配加速。但上述加速手段无法满足卫星视频大数据量、实时或近实时需求的场景。
现有技术2(参见Rublee,Ethan；Rabaud,Vincent；Konolige,Kurt；Bradski,Gary."ORB:an efficient alternative to SIFT or SURF"(PDF).IEEE InternationalConference on Computer Vision(ICCV).)给出了快速特征提取与匹配的方法。通过采用Oriented-FAST和Steer-BRIEF只需计算窗口灰度质心和逻辑判断，算法简单基本满足了实时需求。但因此也会导致一定程度上的精度损失。由于FAST角点检测算子对于边缘响应很强，很容易在边缘找到很多伪特征点。针对此问题ORB通过计算每个候选角点的Harris得分并对其进行排序，最后通过阈值选取前n个角点作为特征点。但这样提取的特征点质量很大程度上受阈值影响，若阈值设置过低，一些强响应的边缘“伪角点”会被认为是角点，导致在提取大量ORB特征点时易发生“扎堆”现象，即特征点分布不均匀。“扎堆”的角点会给后续的匹配以及位姿估计带来很大影响，虽然提取的特征点数量较多，但最终匹配的特征点对较少，且由于特征点分布不均，不能反映整体变化情况。
考虑以上因素，本发明选用首先通过高斯-拉普拉斯算子对卫星视频图像进行角点检测与提取，进而获得待选的角点。利用特征点筛选方法过滤低对比度角点、伪边缘响应点等非角点，实现特征点的精确检测。在获得了角点之后，利用多维二进制描述子对角点进行描述，得到角点的特征描述向量，最后利用度量函数与匹配算法对特征向量进行相似性度量，获得匹配同名点对。该方法具有计算量较小、特征点提取精度较高、适用性广的特点，适用于卫星视频的帧间稳像、帧间位姿估计、帧间目标跟踪等应用。本发明的方案针对卫星视频的大数据量能够快速进行特征提取与匹配，适用于卫星视频帧间快速特征提取与匹配应用需求与场景。
发明内容
有鉴于此，本发明提供了一种卫星视频图像的特征提取与匹配的方法及装置，能够解决卫星视频实时或近实时应用问题，为卫星视频进一步实时或近实时应用提供起算数据与结果，具有应用领域广的特点。
为了解决上述技术问题，本发明是这样实现的。
一种卫星视频图像的特征提取与匹配的方法，包括：
步骤S1：确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
步骤S2：确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
步骤S3：基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
步骤S4：对待匹配的卫星视频图像的特征向量进行匹配。
优选地，所述步骤S1具体包括：
步骤S101：将所述待匹配的卫星视频图像划分为多个图像块Iij，从各图像块中提取若干特征点，图像块Iij表示第i行第j列的图像块；
步骤S102：构建高斯-拉普拉斯算子，使用所述高斯-拉普拉斯算子从每个图像块中提取预定数量的角点，其中：
高斯-拉普拉斯算子为
Figure BDA0003378314890000031
其中，LoG(Laplacian of Gaussian)为高斯-拉普拉斯算子，描述图像二阶空间导数的二维各向同性测度，ΔGσ(x,y)为高斯卷积函数在此处的二阶导数，x为图像像素列坐标，y为图像像素行坐标，Gσ(x,y)为高斯卷积函数，σ为高斯滤波函数的标准差；
Figure BDA0003378314890000032
其中，k取1.6，G(x,y,kσ)为和G(x,y,σ)为参数分别为σ和kσ的高斯滤波结果；
使用高斯-拉普拉斯算子从已经进行分割的各图像块中提取预定数量的角点，计算并记录图像块Iij中每一个使得公式4取得极大值的(x，y)：
Figure BDA0003378314890000041
其中，f(x,y)为点(x,y)的灰度值；求取的各个(x,y)组成卫星视频图像中初步提取到的角点。
优选地，所述步骤S2：过滤所述角点，包括：
步骤S201：确定并过滤低对比度的角点，即去除对噪声敏感的待选点：
对每个待选角点，设该待选角点为p0(x,y)，与其对应的极值点
Figure BDA0003378314890000042
的偏移量定义为Δp(Δx,Δy)，计算极值点与待选角点的差值绝对值，
Figure BDA0003378314890000043
Figure BDA0003378314890000044
取灰度值阈值Th＝0.03,若Diff≤Th，则保留该待选角点；否则认为该待选角点不稳定，过滤该待选角点；
Figure BDA0003378314890000045
为极值点
Figure BDA0003378314890000046
的灰度值，D(p0)为待选角点p0的灰度值；
步骤S202：从过滤后的待选角点中，确定并删除不稳定边缘响应点，即对全部过滤后的待选角点中的每一个，均执行以下操作：
对过滤后的待选角点p′(x,y)，构建该过滤后的待选角点的黑塞矩阵H
Figure BDA0003378314890000047
其中，Dxx、Dxy、Dyy是过滤后的待选触点p′(x,y)领域位置的差分结果；
令α为H矩阵的最大特征值，β为最小特征值，且α和β能够分别代表x和y方向的梯度，则有：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dxy)2＝αβ
设置阈值r，
Figure BDA0003378314890000051
若该待选角点p′(x,y)符合该判断条件，则该待选角点为不稳定边缘响应点，删除该不稳定边缘响应点；否则，保留该待选角点
优选地，所述步骤S3，包括：
过滤得到角点集合Point＝{p1,…,pi,…pnum}，其中，1≤i≤num，num为过滤得到的角点集合中角点的个数；
对于角点pi，选取角点pi周围128对像素对{Sinum1,Qinum1}，Sinum1，Qinum1为角点pi周围的像素，且Sinum1、Qinum1的分布规律符合高斯分布；每个像素对采用二进制描述子Rinum1进行表征，
Figure BDA0003378314890000052
其中，1≤num1≤128，则角点pi能够由128维由0、1组成的特征向量进行表征；此时，获取表征的所述待匹配的卫星视频图像的特征向量，由角点pi周围的128组像素对之间大小关系组成。
优选地，步骤S4：对待匹配的卫星视频图像的特征向量进行匹配，其中：
待匹配的卫星视频图像均由等长的二进制向量表征，将二进制向量作为二进制字符串，对待匹配的卫星视频图像Ia、Ib中包含特征点对应的二进制字符串两两计算汉明距离，即
Figure BDA0003378314890000053
其中，s表示特征向量的第s个值，disth表示汉明距离，dists按如下公式计算：
Figure BDA0003378314890000061
其中，as和bs分别为Ia和Ib中特征点的特征向量对应位置的取值。
当汉明距离disth大于向量长度的0.8倍时，认为待匹配的卫星视频图像Ia、Ib中的这组特征点匹配；否则，不匹配。
本发明所提供的一种卫星视频图像的特征提取与匹配的装置，所述装置包括：
角点获取模块：配置为确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
角点过滤模块：配置为确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
特征向量获取模块：配置为基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
匹配模块：配置为对待匹配的卫星视频图像的特征向量进行匹配。
优选地，角点获取模块包括：
图像分割子模块：配置为将所述待匹配的卫星视频图像划分为多个图像块Iij，从各图像块中提取若干特征点，图像块Iij表示第i行第j列的图像块；
角点获取子模块：配置为构建高斯-拉普拉斯算子，使用所述高斯-拉普拉斯算子从每个图像块中提取预定数量的角点，其中：
高斯-拉普拉斯算子为
Figure BDA0003378314890000062
其中，LoG(Laplacian of Gaussian)为高斯-拉普拉斯算子，描述图像二阶空间导数的二维各向同性测度，ΔGσ(x,y)为高斯卷积函数在此处的二阶导数，x为图像像素列坐标，y为图像像素行坐标，Gσ(x,y)为高斯卷积函数，σ为高斯滤波算子的标准差；
Figure BDA0003378314890000071
其中，k取1.6，G(x，y，kσ)为和G(x，y，σ)为参数分别为σ和kσ的高斯滤波结果；
使用高斯-拉普拉斯算子从已经进行分割的各图像块中提取预定数量的角点，计算并记录图像块Iij中每一个使得公式4取得极大值的(x，y)：
Figure BDA0003378314890000072
其中，f(x,y)为点(x,y)的灰度值；求取的各个(x,y)组成卫星视频图像中初步提取到的角点。
优选地，所述角点过滤模块包括：
第一过滤子模块：配置为确定并过滤低对比度的角点，即去除对噪声敏感的待选点：
对每个待选角点，设该待选角点为p0(x,y)，与其对应的极值点
Figure BDA0003378314890000073
的偏移量定义为Δp(Δx,Δy)，计算极值点与待选角点的差值绝对值，
Figure BDA0003378314890000074
Figure BDA0003378314890000075
取灰度值阈值Th＝0.03,若Diff≤Th，则保留该待选角点；否则认为该待选角点不稳定，过滤该待选角点；
Figure BDA0003378314890000076
为极值点
Figure BDA0003378314890000077
的灰度值，D(p0)为待选角点p0的灰度值；
第二过滤子模块：配置为从过滤后的待选角点中，确定并删除不稳定边缘响应点，即对全部过滤后的待选角点中的每一个，均执行以下操作：
对过滤后的待选角点p′(x,y)，构建该过滤后的待选角点的黑塞矩阵H
Figure BDA0003378314890000081
其中，Dxx、Dxy、Dyy是过滤后的待选触点p′(x,y)领域位置的差分结果；
令α为H矩阵的最大特征值，β为最小特征值，且α和β能够分别代表x和y方向的梯度，则有：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dxy)2＝αβ
设置阈值r，
Figure BDA0003378314890000082
若该待选角点p′(x,y)符合该判断条件，则该待选角点为不稳定边缘响应点，删除该不稳定边缘响应点；否则，保留该待选角点。
优选地，所述特征向量获取模块，包括：
角点集合获取子模块：配置为过滤得到角点集合Point＝{p1,…,pi,…pnum}，其中，1≤i≤num，num为过滤得到的角点集合中角点的个数；
特征获取子模块：配置为对于角点pi，选取角点pi周围128对像素对{Sinum1,Qinum1}，Sinum1，Qinum1为角点pi周围的像素，且Sinum1、Qinum1的分布规律符合高斯分布；每个像素对采用二进制描述子Rinum1进行表征，
Figure BDA0003378314890000083
其中，1≤num1≤128，则角点pi能够由128维由0、1组成的特征向量进行表征；此时，获取表征的所述待匹配的卫星视频图像的特征向量，由角点pi周围的128组像素对之间大小关系组成。
优选地，所述匹配模块，其中：
待匹配的卫星视频图像均由等长的二进制向量表征，将二进制向量作为二进制字符串，对待匹配的卫星视频图像Ia、Ib中包含特征点对应的二进制字符串两两计算汉明距离，即
Figure BDA0003378314890000091
其中，s表示特征向量的第s个值，disth表示汉明距离，dists按如下公式计算：
Figure BDA0003378314890000092
其中，as和bs分别为Ia和Ib中特征点的特征向量对应位置的取值。
当汉明距离disth大于向量长度的0.8倍时，认为待匹配的卫星视频图像Ia、Ib中的这组特征点匹配；否则，不匹配。
有益效果：
(1)本发明公开的一种适合于卫星视频的快速特征提取与匹配方法，采用基于像素灰度梯度的角点检测算法以及更为严格的角点筛选算法，相比于ORB特征，提取的特征点更加准确、可靠。
(2)本发明公开的一种适合于卫星视频的快速特征提取与匹配方法，采用了效率更高的二进制特征描述子，相比于SIFT特征的浮点型描述子，其描述、存储、匹配效率更高，耗时更少。
(3)本发明公开的一种适合于卫星视频的快速特征提取与匹配方法，适合于卫星视频帧间稳像、帧间位姿估计等场景，应用能力强。
附图说明
图1为卫星视频图像的特征提取与匹配的流程示意图；
图2为卫星视频图像的特征提取与匹配的示意图；
图3为提取的待选角点示意图；
图4为筛选后的角点示意图；
图5为匹配得到的匹配特征点对示意图；
图6为卫星视频图像的特征提取与匹配的装置结构示意图。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
本发明首先通过高斯-拉普拉斯算子对卫星视频图像进行角点检测与提取，进而获得待选的角点。利用特征点筛选方法过滤低对比度角点、伪边缘响应点等非角点，实现特征点的精确检测。在获得了角点之后，利用多维二进制描述子对角点进行描述，得到角点的特征描述向量，最后利用度量函数与匹配算法对特征向量进行相似性度量，获得匹配同名点对。
如图1-2所示，本发明提供的卫星视频图像的特征提取与匹配的方法，包括如下步骤：
步骤S1：确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
步骤S2：确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
步骤S3：基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
步骤S4：对待匹配的卫星视频图像的特征向量进行匹配。
所述步骤S1：确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点，包括：
步骤S101：将所述待匹配的卫星视频图像划分为多个图像块，从各图像块中提取若干特征点，其中：
将大小为w×h的卫星视频图像划分为m行，n列个图像块，采用并行处理的方式，从每个图像块中获取预置数量的特征点，对第i行第j列的图像块提取的任一特征点P(x，y)，其真实坐标按如下公式计算：
Figure BDA0003378314890000111
本实施例中，采用对整张影像分块提取的策略，其优势在于：每块都提取指定数量的特征点，在一定程度上可保证特征点分布的均匀性；可以通过并行加速的方式加速特征提取过程。
步骤S102：构建高斯-拉普拉斯算子，使用所述高斯-拉普拉斯算子从每个图像块中提取预定数量的角点，其中：
高斯-拉普拉斯算子表示为
Figure BDA0003378314890000112
其中，LoG(Laplacian of Gaussian)为高斯-拉普拉斯算子，描述图像二阶空间导数的二维各向同性测度，ΔGσ(x，y)为高斯卷积函数在此处的二阶导数，x为图像像素列坐标，y为图像像素行坐标，Gσ(x,y)为高斯卷积函数，σ为高斯滤波函数的标准差。
高斯-拉普拉斯算子可利用高斯函数差分近似计算，求得高斯-拉普拉斯函数的逼近公式如下：
Figure BDA0003378314890000113
其中，k取1.6，是高斯分布标准差的缩放比例，意在通过k缩放取得不同的高斯滤波参数，从而获得经过不同参数滤波图像相减形成高斯差分；G(x,y,kσ)为和G(x,y,σ)为参数分别为σ和kσ的高斯滤波结果。
使用高斯-拉普拉斯算子从已经进行分割的各图像块中提取预定数量的角点，计算并记录图像块Iij中每一个使得在公式4取得极大值的(x，y)：
Figure BDA0003378314890000121
其中，f(x,y)为点(x,y)的灰度值；求取的各个(x,y)组成卫星视频图像中初步提取到的角点。
逼近的优势是可以减少计算量，提高算法效率。
本实施例中，针对每个分块影像并行计算，分别提取图像特征。由于影像是由离散的像素灰度值构成的，因此从数学上来看，图像是一个二维离散域。在影像中，边缘区域可以看作是影像中一阶导数较大的地方，而特征点则是二阶导数较大的地方。即在两个方向上都是边缘的地方，边缘与边缘的交点也即是角点。在边缘检测算子的基础上加了高斯核函数。这样的算子是一种高通滤波器,是图像灰度函数在两个垂直方向二阶偏导数之和。
本实施例中，由于视频图像的帧频高，匹配的图像帧的数据量大，需要进一步提升快速性同时保证特征点的均匀性，对图像采取分块提取策略并行计算提升计算效率。针对卫星视频图像帧间尺度变化小的特点，采用高斯-拉普拉斯算子进行初步特征提取，同时采用算子的逼近算法，减少计算量，进一步提升计算速度。
步骤S1到的角点可能会有误差，一般会包含低对比度特征点与不稳定边缘响应点，分别根据上述两类伪角点的特征，设计筛选策略去除此类伪角点。
所述步骤S2，包括：
步骤S201：确定并过滤低对比度的角点，即去除对噪声敏感的待选点：
设待选角点p0(x,y)，与其对应的极值点
Figure BDA0003378314890000122
的偏移量定义为Δp(Δx,Δy)，为说明对灰度值的处理，设任一点p(x,y)的灰度值为D(p)，对D(p)进行泰勒展开可以得到：
Figure BDA0003378314890000131
公式5为泰勒展开的矩阵形式由于
Figure BDA0003378314890000132
是点p0的邻近区域局部极值点，所以对公式5求导并令导数为0，有：
Figure BDA0003378314890000133
将求得的Δp代入D(p)的泰勒展开中：
Figure BDA0003378314890000134
计算极值点与待选点的差值绝对值，
Figure BDA0003378314890000135
取灰度值阈值Th＝0.03,若Diff≤Th，则保留该待选角点；否则认为该待选角点不稳定，进行过滤。
步骤S202：从过滤后的待选角点中，确定并删除不稳定边缘响应点，即对全部过滤后的待选角点中的每一个，均执行以下操作：
对过滤后的待选角点p′(x,y)，构建该过滤后的待选角点的黑塞矩阵H
Figure BDA0003378314890000136
其中，Dxx、Dxy、Dyy是待选角点p′(x,y)邻域位置的差分结果。
令α为H矩阵的最大特征值，β为最小特征值，且α和β能够分别代表x和y方向的梯度，则有：
Tr(H)＝Dxx+Dyy＝α+β (公式9)
Det(H)＝DxxDyy-(Dxy)2＝αβ (公式10)
令α＝rβ，则：
Figure BDA0003378314890000137
根据数学知识可知(r+1)2/r的值在两个特征值(Dxx、Dyy)相等时有最小值，随r增大而增大。
因此设置阈值r，取值为12：
Figure BDA0003378314890000141
若该待选角点p′(x,y)满足公式12，则该待选角点为不稳定边缘响应点，删除该不稳定边缘响应点；否则，保留该待选角点。
本实施例中，在边缘梯度方向上主曲率值比较大，而沿着边缘方向的主曲率值较小，利用候选特征点构建DoG函数D(p′)的主曲率与黑塞矩阵的特征值成正比这一特性去除不稳定的边缘响应点。
所述步骤S3：基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量，包括：
过滤得到角点集合，Point＝{p1,…,pi,…pnum}，其中，1≤i≤num，num为过滤得到的角点集合中角点的个数；
对于角点pi，选取角点pi周围128对像素对{Sinum1,Qinum1}，Sinum1，Qinum1为角点pi周围的像素，且Sinum1、Qinum1的分布规律符合高斯分布；每个像素对采用二进制描述子Rinum1进行表征，
Figure BDA0003378314890000142
其中，1≤num1≤128，则角点pi能够由128维由0、1组成的特征向量进行表征；此时，获取表征的所述待匹配的卫星视频图像的特征向量，该特征向量为128维，由角点pi周围的128组像素对之间大小关系组成。
本实施例中，由于卫星视频在短时间内的帧间几何及灰度变化较小，因此可以直接使用二进制描述子进行描述。相比于其它特征描述方式，二进制表达存储与比较都非常快。虽然描述子尺度以及旋转适应性较弱，但由于卫星视频帧间差异本身较小，因此，此方法既可以满足需求，同时保持快速性。二进制描述子的向量由多个0和1组成。
步骤S4：对待匹配的卫星视频图像的特征向量进行匹配，其中：
待匹配的卫星视频图像均由等长的二进制向量表征，将二进制向量作为二进制字符串，对待匹配的卫星视频图像Ia、Ib中包含特征点对应的二进制字符串两两计算汉明距离，即
Figure BDA0003378314890000151
其中，s表示特征向量的第s个值，disth表示汉明距离，dists按如下公式计算：
Figure BDA0003378314890000152
其中，as和bs分别为Ia和Ib中特征点的特征向量对应位置的取值。
当汉明距离disth大于向量长度的0.8倍时，认为待匹配的卫星视频图像Ia、Ib中的这组特征点匹配；否则，不匹配。
本实施例中，由于采用二进制描述子进行特征描述，匹配问题等价于衡量两个二进制串之间的相似性，因此选择汉明距离作为度量函数。汉明距离表示在两个等长字符串中，对应位置不同字符数目的总和。
为了验证方法的可行性，选择某段卫星视频中的离散帧进行实验测试。选取的卫星视频大小为4096×3072，地表分辨率为2m，大约覆盖地表8km×
6km范围。地物主要包括海岸、港口以及城市人工建筑等，纹理较为密集，分布较为均匀。
如图1-2所示，本发明公开的一种适合于卫星视频的快速特征提取与匹配方法，包括如下步骤：
步骤一：特征角点提取
为加速角点提取过程，根据图像像素数量将待匹配视频图像i(i＝1、2)均分4块进行处理。
对2帧图像的每一块图像分别通过下式的高斯-拉普拉斯算子卷积运算，然后对卷积结果求取最大值，获得每块图像的待选角点。四块图像全部待选角点就是整张图像的待选角点。
Δ[Gσ(xi,yi)*f(xi,yi)])＝(LoG*f(xi,yi))
(i＝1、2)
部分提取出的视频图像的待选角点如图3所示。
步骤二：视频图像i(i＝1、2)在获得待选角点后，分别对低对比度角点、边缘响应点进行过滤，获得视频图像i(i＝1、2)相对稳定可靠的特征角点。
去除低对比度的角点。
设有某个待选角点x(x,y)，其偏移量定义为Δx(Δx,Δy)，灰度对比度为D(x)的绝对值|D(x)|，那么对D(x)在x点应用泰勒展开可以得到：
Figure BDA0003378314890000161
将求得的Δx代入D(x)的泰勒展开中：
Figure BDA0003378314890000162
Figure BDA0003378314890000163
是D(x)的极值点。
设对比度阈值为T，因此若
Figure BDA0003378314890000164
则保留该特征点，否则删除。
2、去除不稳定边缘响应点
构建黑塞矩阵H如下。
Figure BDA0003378314890000165
其中，Dxx、Dxy、Dyy是候选点邻域位置的差分。
令α为H矩阵的最大特征值，β为最小特征值，
α和β代表x和y方向的梯度。
令α＝rβ，则：
Figure BDA0003378314890000171
在上式中设置阈值r，构建下:
Figure BDA0003378314890000172
若上式成立，则剔除该特征点，否则保留。
通过两种方式去除伪角点后视频图像1的特征点如图4所示。
步骤三：视频图像i(i＝1、2)分别获得稳定角点后，采用二进制描述子对提取的角点进行描述，进而得到视频图像i(i＝1、2)特征描述向量。
取特征点周围选取128对像素点pk和qk(k＝1，2…128),pk和qk一般遵循某种分布规律进行选择，本用例选用高斯分布。分别每对像素的灰度按照如下公式进行比较。
Figure BDA0003378314890000173
得到128个比较结果，作为该特征点的一种描述，即可得到128维的由0、1组成的特征向量。
步骤四：对在不同帧中获得的特征点进行匹配，即可获得匹配的特征点对，如图5所示。
由于对视频图像i(i＝1、2)的每个特征点采用二进制描述子进行特征描述，匹配问题等价于衡量两个二进制串之间的相似性，选择汉明距离作为度量函数。
对于两个长度为128的特征点描述a、b，汉明距离用公式表示如下：
Figure BDA0003378314890000181
(h＝1，2…n，n为特征向量个数)
其中distk按如下公式计算：
Figure BDA0003378314890000182
相比于SIFT算法，本算法在特征描述与匹配上计算量更少，效率更高；相比于ORB算法，本方法在角点检测与过滤上有更好的效果，提取的特征点可靠性更高。
本发明还提供了一种卫星视频图像的特征提取与匹配的装置，如图6所示，该装置包括角点获取模块：配置为确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
角点过滤模块：配置为确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
特征向量获取模块：配置为基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
匹配模块：配置为对待匹配的卫星视频图像的特征向量进行匹配。
以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。

Claims (10)

1.一种卫星视频图像的特征提取与匹配的方法，其特征在于，包括：
步骤S1：确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
步骤S2：确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
步骤S3：基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
步骤S4：对待匹配的卫星视频图像的特征向量进行匹配。
2.如权利要求1所述的方法，其特征在于，所述步骤S1具体包括：
步骤S101：将所述待匹配的卫星视频图像划分为多个图像块Iij，从各图像块中提取若干特征点，图像块Iij表示第i行第j列的图像块；
步骤S102：构建高斯-拉普拉斯算子，使用所述高斯-拉普拉斯算子从每个图像块中提取预定数量的角点，其中：
高斯-拉普拉斯算子为
Figure FDA0003378314880000011
其中，LoG(Laplacian of Gaussian)为高斯-拉普拉斯算子，描述图像二阶空间导数的二维各向同性测度，ΔGσ(x,y)为高斯卷积函数在此处的二阶导数，x为图像像素列坐标，y为图像像素行坐标，Gσ(x,y)为高斯卷积函数，σ为高斯滤波函数的标准差；
Figure FDA0003378314880000012
其中，k取1.6，G(x,y,kσ)为和G(x,y,σ)为参数分别为σ和kσ的高斯滤波结果；
使用高斯-拉普拉斯算子从已经进行分割的各图像块中提取预定数量的角点，计算并记录图像块Iij中每一个使得公式4取得极大值的(x，y)：
Figure FDA0003378314880000021
其中，f(x,y)为点(x,y)的灰度值；求取的各个(x,y)组成卫星视频图像中初步提取到的角点。
3.如权利要求2所述的方法，其特征在于，所述步骤S2，包括：
步骤S201：确定并过滤低对比度的角点，即去除对噪声敏感的待选点：
对每个待选角点，设该待选角点为p0(x,y)，与其对应的极值点
Figure FDA0003378314880000023
的偏移量定义为Δp(Δx,Δy)，计算极值点与待选角点的差值绝对值，
Figure FDA0003378314880000024
Figure FDA0003378314880000025
取灰度值阈值Th＝0.03,若Diff≤Th，则保留该待选角点；否则认为该待选角点不稳定，过滤该待选角点；
Figure FDA0003378314880000026
为极值点
Figure FDA0003378314880000027
的灰度值，D(p0)为待选角点p0的灰度值；
步骤S202：从过滤后的待选角点中，确定并删除不稳定边缘响应点，即对全部过滤后的待选角点中的每一个，均执行以下操作：
对过滤后的待选角点p′(x,y)，构建该过滤后的待选角点的黑塞矩阵H
Figure FDA0003378314880000022
其中，Dxx、Dxy、Dyy是过滤后的待选触点p′(x,y)领域位置的差分结果；
令α为H矩阵的最大特征值，β为最小特征值，且α和β能够分别代表x和y方向的梯度，则有：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dxy)2＝αβ
设置阈值r，r取值12：
Figure FDA0003378314880000031
若该待选角点p′(x,y)符合该判断条件，则该待选角点为不稳定边缘响应点，删除该不稳定边缘响应点；否则，保留该待选角点。
4.如权利要求3所述的方法，其特征在于，所述步骤S3，包括：
过滤得到角点集合Point＝{p1,…,pi,…pnum}，其中，1≤i≤num，num为过滤得到的角点集合中角点的个数；
对于角点pi，选取角点pi周围128对像素对{Sinum1,Qinum1}，Sinum1，Qinum1为角点pi周围的像素，且Sinum1、Qinum1的分布规律符合高斯分布；每个像素对采用二进制描述子Rinum1进行表征，
Figure FDA0003378314880000032
其中，1≤num1≤128，则角点pi能够由128维由0、1组成的特征向量进行表征；此时，获取表征的所述待匹配的卫星视频图像的特征向量，由角点pi周围的128组像素对之间大小关系组成。
5.如权利要求4所述的方法，其特征在于，步骤S4：对待匹配的卫星视频图像的特征向量进行匹配，其中：
待匹配的卫星视频图像均由等长的二进制向量表征，将二进制向量作为二进制字符串，对待匹配的卫星视频图像Ia、Ib中包含特征点对应的二进制字符串两两计算汉明距离，即
Figure FDA0003378314880000033
其中，s表示特征向量的第s个值，disth表示汉明距离，dists按如下公式计算：
Figure FDA0003378314880000034
其中，as和bs分别为Ia和Ib中特征点的特征向量对应位置的取值。
当汉明距离disth大于向量长度的0.8倍时，认为待匹配的卫星视频图像Ia、Ib中的这组特征点匹配；否则，不匹配。
6.一种卫星视频图像的特征提取与匹配的装置，其特征在于，所述装置包括：
角点获取模块：配置为确定待匹配的卫星视频图像，从所述待匹配的卫星视频图像中提取角点；
角点过滤模块：配置为确定每个所述角点的灰度值与该角点对应的极值点的灰度值的差值，将该差值与预设阈值进行比较，对角点进行首次过滤；对首次过滤后的每个角点，确定角点的稳定性；基于稳定性，对角点进行二次过滤；
特征向量获取模块：配置为基于二次过滤后的角点，对所述待匹配的卫星视频图像进行表征，获取表征所述待匹配的卫星视频图像的特征向量；
匹配模块：配置为对待匹配的卫星视频图像的特征向量进行匹配。
7.如权利要求6所述的装置，其特征在于，所述角点获取模块包括：
图像分割子模块：配置为将所述待匹配的卫星视频图像划分为多个图像块Iij，从各图像块中提取若干特征点，图像块Iij表示第i行第j列的图像块；
角点获取子模块：配置为构建高斯-拉普拉斯算子，使用所述高斯-拉普拉斯算子从每个图像块中提取预定数量的角点，其中：
高斯-拉普拉斯算子为
Figure FDA0003378314880000041
其中，LoG(Laplacian of Gaussian)为高斯-拉普拉斯算子，描述图像二阶空间导数的二维各向同性测度，ΔGσ(x,y)为高斯卷积函数在此处的二阶导数，x为图像像素列坐标，y为图像像素行坐标，Gσ(x,y)为高斯卷积函数，σ为高斯滤波函数的标准差；
Figure FDA0003378314880000051
其中，k取1.6，G(x,y,kσ)为和G(x,y,σ)为参数分别为σ和kσ的高斯滤波结果；
使用高斯-拉普拉斯算子从已经进行分割的各图像块中提取预定数量的角点，计算并记录图像块Iij中每一个使得公式4取得极大值的(x，y)：
Figure FDA0003378314880000052
其中，f(x,y)为点(x,y)的灰度值；求取的各个(x,y)组成卫星视频图像中初步提取到的角点。
8.如权利要求7所述的装置，其特征在于，所述角点过滤模块包括：
第一过滤子模块：配置为确定并过滤低对比度的角点，即去除对噪声敏感的待选点：
对每个待选角点，设该待选角点为p0(x,y)，与其对应的极值点
Figure FDA0003378314880000053
的偏移量定义为Δp(Δx,Δy)，计算极值点与待选角点的差值绝对值，
Figure FDA0003378314880000054
Figure FDA0003378314880000055
取灰度值阈值Th＝0.03,若Diff≤Th，则保留该待选角点；否则认为该待选角点不稳定，过滤该待选角点；
Figure FDA0003378314880000056
为极值点
Figure FDA0003378314880000057
的灰度值，D(p0)为待选角点p0的灰度值；
第二过滤子模块：配置为从过滤后的待选角点中，确定并删除不稳定边缘响应点，即对全部过滤后的待选角点中的每一个，均执行以下操作：
对过滤后的待选角点p′(x,y)，构建该过滤后的待选角点的黑塞矩阵H
Figure FDA0003378314880000061
其中，Dxx、Dxy、Dyy是过滤后的待选触点p′(x,y)领域位置的差分结果；
令α为H矩阵的最大特征值，β为最小特征值，且α和β能够分别代表x和y方向的梯度，则有：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dxy)2＝αβ
设置阈值r，，r取值12：
Figure FDA0003378314880000062
若该待选角点p′(x,y)符合该判断条件，则该待选角点为不稳定边缘响应点，删除该不稳定边缘响应点；否则，保留该待选角点。
9.如权利要求8所述的装置，其特征在于，所述特征向量获取模块，包括：
角点集合获取子模块：配置为过滤得到角点集合Point＝{p1,…,pi,…pnum}，其中，1≤i≤num，num为过滤得到的角点集合中角点的个数；
特征获取子模块：配置为对于角点pi，选取角点pi周围128对像素对{Sinum1,Qinum1}，Sinum1，Qinum1为角点pi周围的像素，且Sinum1、Qinum1的分布规律符合高斯分布；每个像素对采用二进制描述子Rinum1进行表征，
Figure FDA0003378314880000063
其中，1≤num1≤128，则角点pi能够由128维由0、1组成的特征向量进行表征；此时，获取表征的所述待匹配的卫星视频图像的特征向量，由角点pi周围的128组像素对之间大小关系组成。
10.如权利要求9所述的装置，其特征在于，所述匹配模块，其中：
待匹配的卫星视频图像均由等长的二进制向量表征，将二进制向量作为二进制字符串，对待匹配的卫星视频图像Ia、Ib中包含特征点对应的二进制字符串两两计算汉明距离，即
Figure FDA0003378314880000071
其中，s表示特征向量的第s个值，disth表示汉明距离，dists按如下公式计算：
Figure FDA0003378314880000072
其中，as和bs分别为Ia和Ib中特征点的特征向量对应位置的取值。
当汉明距离disth大于向量长度的0.8倍时，认为待匹配的卫星视频图像Ia、Ib中的这组特征点匹配；否则，不匹配。
CN202111423785.XA 2021-11-26 2021-11-26 一种卫星视频图像的特征提取与匹配的方法及装置 Pending CN114255398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111423785.XA CN114255398A (zh) 2021-11-26 2021-11-26 一种卫星视频图像的特征提取与匹配的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111423785.XA CN114255398A (zh) 2021-11-26 2021-11-26 一种卫星视频图像的特征提取与匹配的方法及装置

Publications (1)

Publication Number Publication Date
CN114255398A true CN114255398A (zh) 2022-03-29

Family

ID=80793417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111423785.XA Pending CN114255398A (zh) 2021-11-26 2021-11-26 一种卫星视频图像的特征提取与匹配的方法及装置

Country Status (1)

Country Link
CN (1) CN114255398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861134A (zh) * 2023-02-24 2023-03-28 长春理工大学 一种天基背景下星图处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861134A (zh) * 2023-02-24 2023-03-28 长春理工大学 一种天基背景下星图处理方法
CN115861134B (zh) * 2023-02-24 2023-06-02 长春理工大学 一种天基背景下星图处理方法

Similar Documents

Publication Publication Date Title
EP2534612B1 (en) Efficient scale-space extraction and description of interest points
Rodehorst et al. Comparison and evaluation of feature point detectors
WO2019042232A1 (zh) 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN112085772B (zh) 一种遥感图像配准方法及装置
CN107240130B (zh) 遥感影像配准方法、装置及系统
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
Divya et al. Structure tensor-based SIFT algorithm for SAR image registration.
CN114359591A (zh) 一种融合边缘特征的自适应图像匹配算法
Karpushin et al. Keypoint detection in rgbd images based on an anisotropic scale space
Li et al. Adaptive regional multiple features for large-scale high-resolution remote sensing image registration
CN114255398A (zh) 一种卫星视频图像的特征提取与匹配的方法及装置
CN116206139A (zh) 一种基于局部自卷积的无人机图像升尺度匹配方法
Kang et al. A robust image matching method based on optimized BaySAC
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
Ren et al. SAR image matching method based on improved SIFT for navigation system
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN114937211A (zh) 基于不变对象的遥感影像变化检测方法
Sun et al. Performance analysis of SIFT feature extraction algorithm in application to registration of SAR image
Rahma et al. Gaussian Pyramid Decomposition in Copy-Move Image Forgery Detection with SIFT and Zernike Moment Algorithms
Cai et al. A stereo matching algorithm based on color segments
Wang et al. An Adaptive SAR and Optical Images Registration Approach Based on SOI-SIFT
Lu et al. A Sar Image registration method based on SIFT Algorithm
CN113658235B (zh) 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法
Karim et al. Improvement of Harris Algorithm Based on Gaussian Scale Space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination