CN114863145A - 一种夜光影像稀疏灯光连接点匹配方法 - Google Patents

Abstract

本发明提供一种夜光影像稀疏灯光连接点匹配方法。此发明首先对夜光影像进行阈值分割构建连通域，通过圆率检测和质心法，提取出稀疏分布的灯点信息。然后采用几何正反算剔除不在影像范围内的点。采用孤立点原则和随机抽样一致性算法等策略，实现夜光影像的初步匹配。最后，通过仿射模型增加更多的连接点，以实现人类活动匮乏地区相邻夜光影像连接点的获取。

Description

一种夜光影像稀疏灯光连接点匹配方法

技术领域

本发明属于航天摄影测量光学遥感影像几何处理领域，涉及一种夜光影像稀疏灯光连接点的匹配方法。

背景技术

夜光遥感影像为人类活动、城市变化、社会经济甚至战争影响等方面的评价提供了重要的线索。通常，研究人员会选择一个区域或者国家范围的夜光影像，来评价某个指标在时间尺度上的变化。随着珞珈一号的发射，夜光影像分辨率得到了较大的提升，可以实现更多精细化的指标评价。然而，分辨率的提升带来了影像幅宽的减小，一个区域或者国家的评价需要多张夜光影像的拼接来实现。对于人类活动匮乏地区，由于缺少大片建筑灯光和道路灯光等组成的结构信息，传统的匹配方法难以实现相邻影像的匹配，从而无法获取相邻帧夜光影像的连接点。

目前常用的匹配算法包括基于灰度的匹配和基于特征的匹配。基于灰度的匹配也可以称为模板匹配，该方法主要是比较两景图像灰度的相似性，对灰度信息的依赖程度较高。由于夜光影像噪声和不同期影像灯光亮度的变化，基于灰度的匹配通常会失效。基于特征的匹配，即在仿射不变区域提取特征点，计算其特征向量和向量之间的欧氏距离，来判断两个特征点是否为同名点。实际匹配中，对于城市等具有较多纹理地区的夜光影像，基于特征的匹配可以获得较多的连接点。但是对于中国西部等仅有少量人口聚集的稀疏灯光地区，由于这些地区在图像中表现为仅占据少数几个像素的亮点，在特征点的提取阶段，很难作为特征子被提取出来。因此基于特征的连接点匹配无法适用于夜光遥感影像的所有地区。

总的来说，现有夜光影像连接点匹配方法存在以下不足：

仅能在城市等道路密集或者建筑密集区域获取连接点，而对于人口稀少等稀疏灯点区域，则难以通过传统方法获得连接点；

现有夜光影像分辨率不一，且差异较大，难以形成基准底图作为匹配参考。

发明内容

本发明针对上述夜光影像稀疏灯点地区连接点难以匹配的问题，提供了一种夜光影像稀疏灯光连接点的匹配方法，其过程包括以下步骤：

步骤1，稀疏灯光连接点坐标提取策略；

步骤2，几何定位模型正反算连接点筛选；

步骤3，稀疏灯光连接点匹配算法策略。

在以上技术方案的基础上，优选的步骤1的实现方式为：

步骤1.1，针对夜光影像设置合理的背景分割阈值，二值化夜光影像以将影像中人类活动的区域与黑色背景分割出来，具有相同像素值的相邻像素组成一组连通域，并赋予其唯一的标识；

步骤1.2，筛选特定形状的稀疏灯光连接点，计算每一个连通域的圆率，计算公式如下所示：

其中，P表示圆率，S表示连通域面积，L表示连通域周长；

分别提取左右相邻影像上圆度小于一定圆率阈值e的灯点；

根据提取的灯点数量判断，如果影像处于稀疏灯光地区，则自动提取的灯点数量较少，可适当降低圆率阈值e，增加提取的灯点数量；

如果影像处于城市地区，适当增加圆率阈值e，以减少提取的灯点数量；

通过上述方法初步获取了影像中的稀疏灯点。

步骤1.3，通过灰度平方加权质心法获取稀疏灯光连接点的亚像素坐标。

在以上技术方案的基础上，优选的步骤2为利用夜光影像的几何定位模型的正反算，消除相邻待匹配影像之间的平移、比例和旋转等误差，具体包括以下步骤：

步骤2.1，结合全球DEM数据，利用几何定位坐标正算模型，计算左影像所有提取出的灯点经纬度；

步骤2.2，利用右影像几何定位坐标反算模型，计算步骤2.1得到的灯点经纬度在右影像的位置；

删除超出右影像一定阈值范围的灯点，得到满足要求的右影像灯点；

对上述右影像的灯点按照步骤2.1和2.2的几何定位正反算模型进行计算和删除操作，筛选出满足同时在左右影像一定阈值范围内的灯点；

在以上技术方案的基础上，优选的步骤3具体包括以下步骤：

步骤3.1，经过步骤2几何定位模型正反算模型筛点，如果最终左右影像中剩余的灯点数量为0，则匹配失败。若灯点数量少于3个，则直接通过几何定位模型和定位误差阈值来寻找对应的连接点对，并且利用孤立点对原则，来确定两点是否唯一配对。

所述孤立点原则为：假设左影像上的任意一点，通过几何定位正反算计算到右影像后，在一定距离阈值内仅能找到一个点。并且再对这个点进行几何定位正反算到左影像，如果在一定距离阈值内仅能找到一个点，则称这对点为孤立点对。

步骤3.2，若剩余在左右影像中的灯点数量大于3个，则采用随机一致性抽样检测算法和平移模型，通过投票来实现匹配。

步骤3.3，在判断完所有灯点后，建立匹配点对的仿射变换模型，通过模型预测每个点的位置并与实际位置作差，获取每个点的残差，从残差最大者开始，逐个删除误差较大的点并重新计算仿射模型变换参数，直到所有点的残差满足一定阈值，此时初步获得了大部分相邻影像之间的连接点对；

步骤3.4，孤立点原则将不可避免地导致某些灯点被遗漏。基于已匹配点对，再次建立仿射模型，通过仿射模型计算左影像未匹配灯点在右影像中的坐标位置，如其坐标位置和根据步骤1提取的某一稀疏灯点坐标差值小于一个较小阈值，则在相邻影像所获取的连接点对中扩充一个连接点对；

步骤3.5，判断匹配出的同名点数量，大于1时表示两景影像连接点匹配成功。

在以上技术方案的基础上，步骤1优势为：对于夜光影像，由于具有孤立性质的稀疏灯光连接点所占的像素面积通常较小，并且本发明在稀疏灯点选取时，会通过圆率阈值选择偏圆一些的灯光，因此利用质心法提取出的两景影像的中心位置，在实际配准关系中也是误差较小的同名点。

在以上技术方案的基础上，步骤2优势为：由于夜光影像分辨率较低，相邻景的几何定位精度相差在几个到几十个像素以内，通过几何定位模型，可用初步消除两景影像之间的旋转、平移和比例误差。通过正反算筛选出左右影像中均存在的连接点，可以有效的减少后续算法的工作量。

在以上技术方案的基础上，步骤3优势为：稀疏灯光提取出的连接点通常是孤立的灯光信息，因此它具有唯一性。假设人口稀少、灯光稀疏的地区，两景夜光影像重叠部分分别有两个灯光点，且两个灯点距离较远，则这两个灯点具有明显的可区分性，利用本发明的方法，这两个点的对应关系很容易找到。

从上述技术方案可以看出，较传统姿态低频误差修正方法，本发明拥有两点显著优势。

第一，对于灯光稀少的区域，通常只有小面积稀疏分布的村庄灯光信息。此时本发明的方法会优先选择这些灯点信息，利用整体的几何约束，实现连接点关系的匹配，有效的补充了传统算法对灯光稀少地区难以获取连接点的不足。

第二，对于灯光密集的区域，通常具有明显的道路或者建筑纹理信息。此时本发明的算法极少会在这个范围内提取连接点，而是会获取这些区域周边面积较小和圆率较高的稀疏灯光。而利用本发明的方法，对这些稀疏灯光进行匹配，可以得到比传统方法更多的连接点。

附图说明

图1：夜光影像稀疏灯光连接点匹配流程图。

图2：稀疏灯光圆率计算示意图。

图3：几何定位模型正反算示意图。

图4：孤立灯光点对选择示意图。

图5：夜光影像稀疏灯光连接点匹配对比图；

a,b:常规SIFT算法匹配获取的连接点；c,d:a,b红框放大图。e,f:本发明匹配获取的连接点；g,h:e,f红框放大图。

具体实施方式

如图1所示为夜光影像稀疏灯光连接点的匹配流程图，本发明主要包括三个步骤，分别为：步骤1，夜光影像稀疏灯光连接点的提取策略：主要包含阈值分割连通域标记，稀疏灯光圆率选择和左右影像稀疏灯光质心提取。步骤2，几何定位模型正反算连接点筛选。步骤3，夜光影像稀疏灯光连接点的匹配策略。

下面将结合附图对本发明具体实施方式进行介绍。

步骤1.1，针对夜光影像设置合理的背景分割阈值，二值化夜光影像，将影像中人类活动的区域与黑色背景分割出来，将具有相同像素值的相邻像素组成一组连通域，并赋予其唯一的标识。设包含灯点的影像灰度值表示为g(x，y)，t为背景阈值，则图像二值化为：

将f(x，y)中值为1的部分采用连通域算法进行标记，获得k组连通域Ω_i，i＝{1，2，...k}，每组连通域都是由不同数量且相邻的像素构成的集合，并且：

步骤1.2，筛选特定形状的稀疏灯光连接点，计算每一个连通域的圆率。计算公式如下所示：

其中，P表示圆率，S表示连通域面积，L表示连通域周长。由圆形面积和周长的关系可知，P越接近1则表示灯点越圆。如图2所示，灰色区域为连通域，其周长为边缘像素的边长之和，左边连通域的周长L＝16，其面积S＝12，圆率P＝0.59，左边连通域的周长L＝16，其面积S＝8，圆率p＝0.39，显然图2左边的连通域更圆。

分别提取左右相邻影像上圆度小于一定圆率阈值e的灯点。根据提取的点数判断，如果影像处于稀疏灯光地区，则适当降低阈值e。如果影像处于城市地区，则适当提升圆率阈值e。同时考虑到稀疏灯光连通域面积较小，选择20像素×20像素作为灯点的最大面积，且应该忽略夜光影像中1个像素的噪点，则筛选后的灯点有：

Ω＝Ω_i if(1＜S(Ω_i)＜400and P(Ω_i)＞e) (4)

步骤1.3，计算稀疏灯光连接点的质心，通过灰度平方加权质心法，获取连接点的亚像素坐标

其计算公式为：

在以上技术方案的基础上，优选的步骤2为，利用夜光影像的几何定位模型的正反算，消除相邻待匹配影像之间的平移、比例和旋转等误差。具体包括以下步骤：

步骤2.1，几何定位模型正算，根据像点坐标和给定高程面获取物点坐标的过程。如图3所示，根据卫星成像参数，光学遥感卫星经典的严密几何模型可以构建如下：

其中

以上公式中，[X Y Z]^T表示地面点在WGS84坐标系下的坐标，[X_s Y_s Z_s]^T表示卫星在WGS84坐标系下轨道位置，m表示比例因子，R表示从卫星本体坐标系相对于WGS84坐标系的姿态，其中R又可以表示为卫星俯仰角

滚动角ω、偏航角κ的组合。(x，y)表示对应像点在图像坐标系下的坐标，(x₀，y₀)表示相机主点坐标，f表示相机焦距。几何正算过程中，根据轨道和姿态内插模型，可以得到成像时刻的轨道、姿态参数。结合已知的相机主点、主距参数，以及地球椭球参数和全球DEM参数，则可以根据以下椭球公式，计算像方上任意一点对应的物方坐标：

其中，a和b分别为WGS84坐标系下地球椭球体长半轴和短半轴参数，h表示物方点的高程。

步骤2.2，对于几何定位模型反算过程，可以将上式表示为：

即根据夜光面阵影像物方坐标，成像时刻轨道参数，姿态参数，以及相机内方位元素，即可以得到对应的像方点坐标。

根据以上公式，步骤2的整体计算方式为：利用左影像定位模型进行坐标正算，结合全球DEM，计算左影像所有灯点经纬度，利用右影像定位模型进行坐标反算，计算这些灯点在右影像的位置。设定一定阈值，删除超出右影像范围的灯点。同样，对右影像的灯点进行正反算和删除操作；

在以上技术方案的基础上，优选的步骤3具体包括以下步骤：

步骤3.1，经过步骤2几何定位模型正反算筛点，若最终左右影像中剩余的灯点数量为0，则匹配失败。若灯点数量少于3个，则可以直接通过几何定位模型和定位误差阈值来寻找对应的连接点对，并且利用孤立点对原则，来确定两点是否唯一配对。

孤立点原则即：假设左影像上的任意一点，通过几何定位正反算计算到右影像后，在一定距离阈值内仅能找到一个点。并且再对这个点进行几何定位正反算到左影像，如果在一定距离阈值内仅能找到一个点，则称这对点为孤立点对。

如图4所示，为两景夜光影像孤立灯光点对选择示意图。左边编号为1的点和右边编号为1的点满足孤立点原则，而左边编号514和75的两个点与右边编号47的点不符合孤立点原则，因此在这一步，左边1号点和右边1号点可以初步认为是同名连接点。

步骤3.2，若剩余在左右影像中的灯点数量大于3个，则采用随机一致性抽样检测算法(RANSAC)和平移模型，通过投票来实现匹配。进一步包括：

步骤3.2.1，将左影像上所有的点通过几何模型正反算投到右影像上，计算任意左影像点到任意右影像点的距离，对所有距离进行投票，那么出现次数最多的距离就是右影像相对左影像的平移模型；

步骤3.2.2，如果平移值唯一，利用平移模型将左影像投到右影像上的灯点进行平移，在较大阈值范围内寻找右影像灯点，如满足孤立点原则，则该对像点为同名像点；由于灯点的稀疏分布，通常左右影像具有一定数量灯点时，该值是唯一且最多的；

步骤3.2.3，如果平移值不唯一，则转而对这些点采用步骤3.1的方法；

步骤3.3，在判断完所有点后，建立匹配点对的仿射变换模型，通过模型预测每个点的位置并与实际位置作差，获取每个点的残差，从残差最大者开始，逐个删除误差较大的点并重新计算仿射模型变换参数，直到所有点的残差满足一定阈值；

步骤3.4，孤立点原则将不可避免地导致某些灯点被遗漏。基于已匹配点对，再次建立仿射模型，计算左影像未匹配灯点在右影像中位置，如小于一定阈值，则可以扩充该连接点，如图4中左边编号514的点和右边编号47的点在这一步可以被扩充为新的连接点；

步骤3.5，判断匹配出的同名点数量，大于1时表示两景影像连接点匹配成功。

从上述技术方案可以看出，较传统姿态低频误差修正方法，本发明拥有两点显著优势。

第一，对于灯光稀少的区域，通常只有小面积稀疏分布的村庄灯光信息。此时本发明的方法会优先选择这些灯点信息，利用整体的几何约束，实现连接点关系的匹配，有效的补充了传统算法对灯光稀少地区难以获取连接点的不足。

第二，对于灯光密集的区域，通常具有明显的道路或者建筑纹理信息。此时本发明的算法极少会在这个范围内提取连接点，而是会获取这些区域周边面积较小和圆率较高的稀疏灯光。而利用本发明的方法，对这些稀疏灯光进行匹配，可以得到比传统方法更多的连接点。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种夜光影像稀疏灯光连接点的匹配方法，其特征在于，包括以下步骤：

步骤1，稀疏灯光连接点坐标提取策略；

步骤2，几何定位模型正反算连接点筛选；

步骤3，稀疏灯光连接点匹配算法策略；

在以上技术方案的基础上，优选的步骤1的实现方式为：

步骤1.1，针对夜光影像设置合理的背景分割阈值，二值化夜光影像以将影像中人类活动的区域与黑色背景分割出来，具有相同像素值的相邻像素组成一组连通域，并赋予其唯一的标识；

步骤1.2，筛选特定形状的稀疏灯光连接点，计算每一个连通域的圆率，计算公式如下所示：

其中，P表示圆率，S表示连通域面积，L表示连通域周长；

分别提取左右相邻影像上圆度小于一定圆率阈值e的灯点；

根据提取的灯点数量判断，如果影像处于稀疏灯光地区，则自动提取的灯点数量较少，可适当降低圆率阈值e，增加提取的灯点数量；

如果影像处于城市地区，适当增加圆率阈值e，以减少提取的灯点数量；

通过上述方法初步获取了影像中的稀疏灯点；

步骤1.3，通过灰度平方加权质心法获取稀疏灯光连接点的亚像素坐标；

在以上技术方案的基础上，优选的步骤2为利用夜光影像的几何定位模型的正反算，消除相邻待匹配影像之间的平移、比例和旋转等误差，具体包括以下步骤：

步骤2.1，结合全球DEM数据，利用几何定位坐标正算模型，计算左影像所有提取出的灯点经纬度；

步骤2.2，利用右影像几何定位坐标反算模型，计算步骤2.1得到的灯点经纬度在右影像的位置；

删除超出右影像一定阈值范围的灯点，得到满足要求的右影像灯点；

对上述右影像的灯点按照步骤2.1和2.2的几何定位正反算模型进行计算和删除操作，筛选出满足同时在左右影像一定阈值范围内的灯点；

在以上技术方案的基础上，优选的步骤3具体包括以下步骤：

步骤3.1，经过步骤2几何定位模型正反算模型筛点，如果最终左右影像中剩余的灯点数量为0，则匹配失败；若灯点数量少于3个，则直接通过几何定位模型和定位误差阈值来寻找对应的连接点对，并且利用孤立点对原则，来确定两点是否唯一配对；

所述孤立点原则为：假设左影像上的任意一点，通过几何定位正反算计算到右影像后，在一定距离阈值内仅能找到一个点；并且再对这个点进行几何定位正反算到左影像，如果在一定距离阈值内仅能找到一个点，则称这对点为孤立点对；

步骤3.2，若剩余在左右影像中的灯点数量大于3个，则采用随机一致性抽样检测算法和平移模型，通过投票来实现匹配；

步骤3.3，在判断完所有灯点后，建立匹配点对的仿射变换模型，通过模型预测每个点的位置并与实际位置作差，获取每个点的残差，从残差最大者开始，逐个删除误差较大的点并重新计算仿射模型变换参数，直到所有点的残差满足一定阈值，此时初步获得了大部分相邻影像之间的连接点对；

步骤3.4，孤立点原则将不可避免地导致某些灯点被遗漏；基于已匹配点对，再次建立仿射模型，通过仿射模型计算左影像未匹配灯点在右影像中的坐标位置，如其坐标位置和根据步骤1提取的某一稀疏灯点坐标差值小于一个较小阈值，则在相邻影像所获取的连接点对中扩充一个连接点对；

步骤3.5，判断匹配出的同名点数量，大于1时表示两景影像连接点匹配成功。

Images