CN111275616B - 低空航拍图像拼接方法和装置 - Google Patents
低空航拍图像拼接方法和装置 Download PDFInfo
- Publication number
- CN111275616B CN111275616B CN202010018820.9A CN202010018820A CN111275616B CN 111275616 B CN111275616 B CN 111275616B CN 202010018820 A CN202010018820 A CN 202010018820A CN 111275616 B CN111275616 B CN 111275616B
- Authority
- CN
- China
- Prior art keywords
- grid
- low
- target
- image
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012216 screening Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 230000004927 fusion Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了低空航拍图像拼接方法和装置,涉及图像处理技术领域,该低空航拍图像拼接方法包括:获取包括有至少两张低空航拍图像的图像序列;根据图像序列中相邻低空航拍图像上特征点的匹配结果,分别确定每一张低空航拍图像中的大视差区域;针对每一张包括大视差区域的低空航拍图像,将该低空航拍图像中的位于大视差区域内的大视差图像删除,获得低地物图像;从包括有同一地面对象的至少两张大视差图像中选择正射性最好的目标大视差图像;对低地物图像进行拼接获得低地物区域拼接图像;分别将每一张目标大视差图像拼接到低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像。本方案能够获得较为准确的低空航拍拼接图像。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及低空航拍图像拼接方法和装置。
背景技术
利用无人机可以在低空拍摄地面图像,由于所获得低空航拍图像具有较高的对地观测分辨率,低空航拍图像细节丰富且地貌清晰,可用作城市规划、交通监测、行程估计和突发事件反馈等场景。在利用无人机低空航拍获得低空航拍图像时,由于地面上较高建筑物与无人机上拍摄镜头之间的距离相对较小,较高建筑物对其周围对象遮挡严重,导致所获得低空航拍图像存在多视点透视导致的视差问题,即相同的对象在不同低空航拍图像中呈现不同的形态,进而在对低空航拍图像进行拼接时会出现鬼影和错切。
目前在对低空航拍图像进行拼接时,通常采用图像融合算法来消除或减小图像拼接过程中出现的鬼影和错切,比如采用加权平均算法、多分辨率融合算法、泊松融合算法等图像融合算法来消除或减小鬼影和错切。
针对目前对低空航拍图像进行拼接的方法,图像融合算法仅可针对视差较小的低空航拍图像来消除或减小图像拼接过程中出现的鬼影和错切,对于视差较大的低空航拍图像几乎无法减小图像拼接过程中出现的鬼影和错切,但实际低空航拍图像中均存在较大的视差,因此无法获得准确的低空航拍拼接图像。
发明内容
本发明实施例提供了低空航拍图像拼接方法和装置,能够获得较为准确的低空航拍拼接图像。
第一方面,本发明实施例提供了一种低空航拍图像拼接方法,包括:
获取包括有至少两张低空航拍图像的图像序列,其中,所述图像序列中相邻两张所述低空航拍图像中包括相同地面对象的图像;
根据所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,其中,所述大视差区域为两张相邻所述低空航拍图像中存在较大视差的区域;
针对每一张包括所述大视差区域的所述低空航拍图像,将该低空航拍图像中的位于所述大视差区域内的大视差图像删除,获得低地物图像;
针对包括有同一所述地面对象的至少两张所述大视差图像,从该至少两张所述大视差图像中选择正射性最好的目标大视差图像;
对不包括所述大视差区域的所述低空航拍图像和所述低地物图像进行拼接,获得低地物区域拼接图像;
分别将每一张所述目标大视差图像拼接到所述低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像。
在第一种可能的实现方式中,结合上述第一方面,所述根据所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,包括:
针对每一张所述低空航拍图像,均执行:
获取该低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张所述低空航拍图像中不存在与所述无匹配特征点相匹配的所述特征点;
根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,所述a为大于2的整数,所述b为大于2的整数;
从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,其中,所述目标网格包括的所述特征点的数量大于第一数量阈值,且所述目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张所述低空航拍图像中存在与所述匹配特征点相匹配的所述特征点;
从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合;
将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格;
根据各个所述网格的灰度值,以所述起点网格为起点进行区域生长,获得呈矩形的所述大视差区域。
在第二种可能的实现方式中,结合上述第一种可能的实现方式,所述从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,包括:
根据各个所述网格中所述特征点的数量平均值,确定所述第一数量阈值;
从各个所述网格中确定第一网格,其中,所述第一网格包括的所述特征点的数量大于所述第一数量阈值;
从各个所述第一网格中确定包括所述匹配特征点的数量最少的两个第二网格,将两个所述第二网格中所述匹配特征点的数量均确定为所述第二数量阈值;
针对每一个所述第一网格,如果该第一网格中所述特征点的数量等于所述第二数量阈值,则将该第一网格确定为所述目标网格;
将各个所述目标网格的集合确定为所述第一网格集合。
在第三种可能的实现方式中,结合上述第一种可能的实现方式,所述从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合,包括:
S1:针对每一个所述目标网格,通过如下公式计算该目标网格中各所述特征点之间的平均欧氏距离;
其中,所述D表征一个所述目标网格中各个所述特征点之间的平均欧氏距离,所述m表征该目标网格中所述特征点的数量,所述i,j表征该目标网格中任意两个所述特征点,所述n表征用于描述所述特征点的特征点描述符所包括向量的维数,所述k表征所述特征点描述符n维向量的第k个维度,所述xik表征第i个所述特征点在第个维度下的坐标值,所述xjk表征第j个所述特征点在第个维度下的坐标值;
S2:针对每一个所述目标网格,如果该目标网格中各个所述特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,所述距离阈值等于该目标网格中的最小值的整数倍;
S3:从所述第一网格集合中删除各个所述第三网格,获得第三网格集合;
S4:针对所述第三网格集合中的每一个所述目标网格,如果与该目标网格相邻的各个所述网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,所述第三数量阈值等于各所述网格中特征点数量平均值的6倍;
S5:从所述第三网格集合中删除各所述第四网格,获得所述第二网格集合。
在第四种可能的实现方式中,结合上述第一种可能的实现方式、第二种可能的实现方式和第三种可能的实现方式中的任意一个,所述将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格,包括:
针对所述第二网格集合中的每一个所述目标网格,确定该目标网格的四邻域内位于所述第二网格集合中的网格数量;
将四邻域内位于所述第二网格集合中的网格数量最大的所述目标网格确定为第五网格;
判断所述第五网格是否唯一;
如果所述第五网格唯一,则将所述第五网格确定为所述起点网格;
如果所述第五网格不唯一,则分别确定每一个所述第五网格的八邻域内位于所述第二网格集合中的网格数量,并将八邻域内位于所述第二网格集合中的网格数量最大的一个所述第五网格确定为所述起点网格。
第二方面,本发明实施例还提供了一种低空航拍图像拼接装置,包括:
一个图像获取模块,用于获取包括有至少两张低空航拍图像的图像序列,其中,所述图像序列中相邻两张所述低空航拍图像中包括相同地面对象的图像;
一个区域识别模块,用于根据所述图像获取模块获取到的所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,其中,所述大视差区域为两张相邻所述低空航拍图像中存在较大视差的区域;
一个图像拆分模块,用于针对每一张包括所述区域识别模块所确定出的所述大视差区域的所述低空航拍图像,将该低空航拍图像中的位于所述大视差区域内的大视差图像删除,获得低地物图像;
一个图像筛选模块,用于针对所述区域识别模块确定出的包括有同一所述地面对象的至少两张大视差图像,从该至少两张所述大视差图像中选择正射性最好的目标大视差图像;
一个第一图像拼接模块,用于对不包括所述大视差区域的所述低空航拍图像和所述图像拆分模块获取到的所述低地物图像进行拼接,获得低地物区域拼接图像;
一个第二图像拼接模块,用于分别将所述图像筛选模块确定出的每一张所述目标大视差图像拼接到所述第一图像拼接模块获得的所述低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像。
在第一种可能的实现方式中,结合上述第二方面,所述区域识别模块用于针对每一张所述低空航拍图像执行:
获取该低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张所述低空航拍图像中不存在与所述无匹配特征点相匹配的所述特征点;
根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,所述a为大于2的整数,所述b为大于2的整数;
从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,其中,所述目标网格包括的所述特征点的数量大于第一数量阈值,且所述目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张所述低空航拍图像中存在与所述匹配特征点相匹配的所述特征点;
从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合;
将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格;
根据各个所述网格的灰度值,以所述起点网格为起点进行区域生长,获得呈矩形的所述大视差区域。
在第二种可能的实现方式中,结合上述第一种可能的实现方式,所述区域识别模块在执行所述从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合时,用于执行:
根据各个所述网格中所述特征点的数量平均值,确定所述第一数量阈值;
从各个所述网格中确定第一网格,其中,所述第一网格包括的所述特征点的数量大于所述第一数量阈值;
从各个所述第一网格中确定包括所述匹配特征点的数量最少的两个第二网格,将两个所述第二网格中所述匹配特征点的数量均确定为所述第二数量阈值;
针对每一个所述第一网格,如果该第一网格中所述特征点的数量等于所述第二数量阈值,则将该第一网格确定为所述目标网格;
将各个所述目标网格的集合确定为所述第一网格集合。
在第三种可能的实现方式中,结合上述第一种可能的实现方式,所述区域识别模块在执行所述从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合时,用于执行:
S1:针对每一个所述目标网格,通过如下公式计算该目标网格中各所述特征点之间的平均欧氏距离;
其中,所述D表征一个所述目标网格中各个所述特征点之间的平均欧氏距离,所述m表征该目标网格中所述特征点的数量,所述i,j表征该目标网格中任意两个所述特征点,所述n表征用于描述所述特征点的特征点描述符所包括向量的维数,所述k表征所述特征点描述符n维向量的第k个维度,所述xik表征第i个所述特征点在第个维度下的坐标值,所述xjk表征第j个所述特征点在第个维度下的坐标值;
S2:针对每一个所述目标网格,如果该目标网格中各个所述特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,所述距离阈值等于该目标网格中的最小值的整数倍;
S3:从所述第一网格集合中删除各个所述第三网格,获得第三网格集合;
S4:针对所述第三网格集合中的每一个所述目标网格,如果与该目标网格相邻的各个所述网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,所述第三数量阈值等于各所述网格中特征点数量平均值的6倍;
S5:从所述第三网格集合中删除各所述第四网格,获得所述第二网格集合。
在第四种可能的实现方式中,结合上述第一种可能的实现方式、第二种可能的实现方式和第三种可能的实现方式中的任意一个,所述区域识别模块在执行所述将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格时,用于执行:
针对所述第二网格集合中的每一个所述目标网格,确定该目标网格的四邻域内位于所述第二网格集合中的网格数量;
将四邻域内位于所述第二网格集合中的网格数量最大的所述目标网格确定为第五网格;
判断所述第五网格是否唯一;
如果所述第五网格唯一,则将所述第五网格确定为所述起点网格;
如果所述第五网格不唯一,则分别确定每一个所述第五网格的八邻域内位于所述第二网格集合中的网格数量,并将八邻域内位于所述第二网格集合中的网格数量最大的一个所述第五网格确定为所述起点网格。
由上述技术方案可知,当获取到包括有多张低空航拍图像的图像序列之后,首先根据图像序列中相邻低空航拍图像上特征点的匹配结果,分别确定出每一张低空航拍图像中的大视差区域,之后分别将每一张低空航拍图像中位于大视差区域内的大视差图像删除而获得低地物图像,并从包括有同一地面对象的多张大视差图像中选择正射性最好的大视差图像作为目标大视差图像,之后对不包括大视差区域的低空航拍图像和低地物图像进行拼接而获得低地物区域拼接图像,之后将每一张目标大视差图像拼接到低地物区域拼接图像中相应的空缺区域而获得低空航拍拼接图像。由此可见,从低空航拍图像中识别出大视差区域,进而对大视差图像和低地物图像进行分别处理,减小大视差图像对低地物图像拼接的影响,最后将大视差图像作为补丁修补到低地物区域拼接图像上而获得完整的低空航拍拼接图像,有效减小了拼接图像中出现的鬼影和错切,从而能够获得更加准确的低空航拍拼接图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种低空航拍图像拼接方法的流程图;
图2是本发明一个实施例提供的一种大视差区域确定方法的流程图;
图3是本发明一个实施例提供的一种第一网格集合获取方法的流程图;
图4是本发明一个实施例提供的一种第二网格集合获取方法的流程图;
图5是本发明一个实施例提供的一种目标网格相对位置的示意图;
图6是本发明一个实施例提供的一种起点网格确定方法的流程图;
图7是本发明一个实施例提供的一种低空航拍图像拼接装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种低空航拍图像拼接方法,该方法可以包括以下步骤:
步骤101:获取包括有至少两张低空航拍图像的图像序列,其中,图像序列中相邻两张低空航拍图像中包括相同地面对象的图像;
步骤102:根据图像序列中相邻低空航拍图像上特征点的匹配结果,分别确定每一张低空航拍图像中的大视差区域,其中,大视差区域为两张相邻低空航拍图像中存在较大视差的区域;
步骤103:针对每一张包括大视差区域的低空航拍图像,将该低空航拍图像中的位于大视差区域内的大视差图像删除,获得低地物图像;
步骤104:针对包括有同一地面对象的至少两张大视差图像,从该至少两张大视差图像中选择正射性最好的目标大视差图像;
步骤105:对不包括大视差区域的低空航拍图像和低地物图像进行拼接,获得低地物区域拼接图像;
步骤106:分别将每一张目标大视差图像拼接到低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像。
在本发明实施例中,当获取到包括有多张低空航拍图像的图像序列之后,首先根据图像序列中相邻低空航拍图像上特征点的匹配结果,分别确定出每一张低空航拍图像中的大视差区域,之后分别将每一张低空航拍图像中位于大视差区域内的大视差图像删除而获得低地物图像,并从包括有同一地面对象的多张大视差图像中选择正射性最好的大视差图像作为目标大视差图像,之后对不包括大视差区域的低空航拍图像和低地物图像进行拼接而获得低地物区域拼接图像,之后将每一张目标大视差图像拼接到低地物区域拼接图像中相应的空缺区域而获得低空航拍拼接图像。由此可见,从低空航拍图像中识别出大视差区域,进而对大视差图像和低地物图像进行分别处理,减小大视差图像对低地物图像拼接的影响,最后将大视差图像作为补丁修补到低地物区域拼接图像上而获得完整的低空航拍拼接图像,有效减小了拼接图像中出现的鬼影和错切,从而能够获得更加准确的低空航拍拼接图像。
在本发明实施例中,低空航拍图像通常由无人机在低空拍摄,如有由无人机在距离地面300米的高度进行拍摄。无人机在拍摄低空航拍图像时,通常按照预先确定的行列进行连续顺序拍摄,获得在行方向和列方向均包括多张低空航拍图像的图像序列,而且图像序列中行相邻低空航拍图像和列相邻低空航拍图像均具有设定的重叠率,比如相邻低空航拍图像具有70%的重叠率。
可选地,在图1所示低空航拍图像拼接方法的基础上,在确定低空航拍图像中的大视差区域时,由于大视差区域内包括有大量特征点,但能够匹配的特征点较少,进而可以在获取到各低空航拍图像的特征点之后,通过设定相应的约束条件来确定位于大视差区域内的特征点,进而确定大视差区域。如图2所示,针对每一张低空航拍图像,具体可以通过如下方式来确定该低空航拍图像上的大视差区域:
步骤201:获取低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张低空航拍图像中不存在与无匹配特征点相匹配的特征点;
步骤202:根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,a为大于2的整数,b为大于2的整数;
步骤203:从所划分出的各个网格中确定至少一个目标网格,获得包括有至少一个目标网格的第一网格集合,其中,目标网格包括的特征点的数量大于第一数量阈值,且目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张低空航拍图像中存在与匹配特征点相匹配的特征点;
步骤204:从第一网格集合中删除由低矮的地面对象和可动的地面对象所导致的目标网格,获得第二网格集合;
步骤205:将第二网格集合中具有最多相邻目标网格数量的一个目标网格确定为起点网格;
步骤206:根据各个网格的灰度值,以起点网格为起点进行区域生长,获得呈矩形的大视差区域。
在本发明实施例中,在确定一张低空航拍图像上的大视差区域时,首先获取该低空航拍图像所包括的无匹配特征点,之后将该低空航拍图像划分为多行多列的网格,之后将所包括特征点数量大于第一数量阈值且所包括匹配特征点数量等于第二数量阈值的网格确定为目标网格,将各个目标网格的集合作为第一网格集合,之后将由低矮的底面对象和可动的底面对象所导致的目标网格从第一网格集合中删除而获得第二网格集合,之后将第二网格集合中具有最多相邻目标网格数量的一个目标网格确定为起点网格,进而根据各个网格的灰度值以起点网格为起点进行区域生长,获得呈矩形的大视差区域。
在本发明实施例中,通过三个约束条件来确定大视差区域,首先找出无匹配特征点的集合,之后排出低地物区域的干扰,最后排除近地面目标物消失的干扰,通过上述三个约束条件筛选后得到无匹配特征点集所在区域即为大视差区域。基于三个约束条件根据特征点的分布和匹配性来确定大视差区域,保证能够准确地从低空航拍图像中识别出由于高建筑物图像所在的大视差区域,进而在图像拼接过程中可以对大视差区域和低地物区域进行分别处理,保证图像拼接的准确性。
在本发明实施例中,无匹配特征点是不存在相匹配的特征点的特征点,即一张低空航拍图像上的一个无匹配特征点,在与该低空航拍图像相邻的其他低空航拍图像上不存在与该无匹配特征点相匹配的特征点。匹配特征点是存在相匹配的特征点的特征点,即一张低空航拍图像上的一个匹配特征点,在与该低空航拍图像相邻的其他低空航拍图像中存在与该匹配特征点相匹配的特征点。
在本发明实施例中,低空航拍图像上的特征点可以根据相邻区域的灰度值变化来确定,比如将建筑物的拐点确定为特征点。特征点确定可以通过现有方式实现,再此不再赘述。
在本发明实施例中,可以基于向量场一致性(VFC)方法来获取无匹配特征点的集合,VFC算法利用向量场的光滑先验,从带有外点的样本中寻找向量场的鲁棒估计,学习得到与正确匹配相符的向量场函数概率分布,将特征点匹配问题转化为鲁棒的向量场插值问题,从而将正确匹配特征点与错误匹配特征点区分开来,对于误匹配率较高的图像,可以准确地剔除误匹配。
VFC算法的基本假设:
1)输入的特征点中存在离群点(即外点),要建立一个向量场f,使其拟合输入集合中的内点(即正确匹配点),进而区分内点和外点(无匹配特征点)。内点的匹配是由“光滑”的向量场产生的,内点噪声服从高斯分布,外点服从均匀分布。
2)对于每一个特征点,都关联一个隐变量,作为该点是否属于内点的标志,隐变量zn∈{0,1},zn=1代表该特征点为内点,zn=0代表该特征点为外点。
设X为样本图像点坐标集,则Y为待匹配图像点坐标集,N表示匹配个数。向量场f表示X、Y中正确匹配点之间的映射关系,f∈H,H是一个再生核Hilbert空间。
由假设可知,内点服从均值为0、标准差为σ的高斯噪声,而外点满足概率密度为1/a的均匀分布,其中a为表示区域面积大小。令γ为内点占所有特征点的比值。θ为内点集由X到Y匹配过程的中间参数:
θ={f,σ2,γ} (1)
通过求解似然函数L(X,Y|θ),可估计出参数θ,即得到向量场f。由似然函数定义,L(X,Y|θ)=p(θ|X,Y)。
向量场f的先验概率可表示为:
其中,λ>0为正则化参数;概率p(θ|X,Y)通过贝叶斯公式求解:
p(θ|X,Y)∝p(Y|X,θ)p(f) (3)
隐变量zn=1为正确匹配的高斯分布,zn=0为错误匹配的均匀分布。由正确、错误匹配分布组成的混合似然概率p(Y|X,θ)表示为:
其中D为H的维度。再求θ的最大似然估计
对p(θ|X,Y)两边取自然对数,得能量函数E(θ):
E(θ)=[lnp(Y|X,θ)p(f)]-1=-lnp(f)-lnp(Y|X,θ) (6)
将式(4)和(6)结合,能量函数为:
用EM算法求得式(7)能量函数的最小值,即为最大似然函数估计量
zn=1时内点高斯分布的后验概率为pn=p(zn=1|xn,yn,θ),由贝叶斯分布得:
通过比较后验概率pn是否超过正确点预设阈值,最后得到匹配特征点的集合。
得到匹配特征点的集合之后,在输入的全部特征集上取反,就可以得到无匹配特征点的集合。
在本发明实施例中,为了方便确定大视差区域,可以将低空航拍图像网格化,网格数量可以根据低空航拍图像的内容确定。对于某个城区的平扫航拍图,高建筑物在每张低空航拍图像中所占大小比例基本保持一致,因此可以随机挑选一张低空航拍图像来确定网格数量,一般使高建筑物区域占9-16个网格即可,比如可以将低空航拍图像划分为20×20个网格,图像分辨率为5472×3648。
可选地,在图2所示大视差区域确定方法的基础上,在确定出低空航拍图像所包括的无匹配特征点并将低空航拍图像划分为多个网格后,可以从各个网格中筛选出包括特征点数量较多且包括无匹配特征点数量较多的网格作为目标网格,进而将目标网格的集合确定为第一网格集合。如图3所示,第一网格集合的确定方法可以包括如下步骤:
步骤301:根据各个网格中特征点的数量平均值,确定第一数量阈值;
步骤302:从各个网格中确定第一网格,其中,第一网格包括的特征点的数量大于第一数量阈值;
步骤303:从各个第一网格中确定包括匹配特征点的数量最少的两个第二网格,将两个第二网格中匹配特征点的数量均确定为第二数量阈值;
步骤304:针对每一个第一网格,如果该第一网格中特征点的数量等于第二数量阈值,则将该第一网格确定为目标网格;
步骤305:将各个目标网格的集合确定为第一网格集合。
在本发明实施例中,在确定出低空航拍图像上的特征点并将低空航拍图像网格化后,可以确定各个网格内的平均特征点数量,进而可以根据各网格内特征点的平均数量确定第一数量阈值,之后便可以将所包括特征点的数量大于第一数量阈值的网格确定为第一网格,从而筛选出包括特征点数量较多的网格。
在本发明实施例中,第一数量阈值可以等于个网格中特征点数量平均值的3倍,相应筛选包括特征点数量较多的第一网格可以通过如下方式进行:
根据式(9)将特征点数大于阈值Ф的网格划分到集合T中,其余的放入集合F中
其中ri表示第i个网格,Si表示第i个网格内特征点的数量,Ф=σ×n,设定σ=3,n是每个网格内特征点数量的平均值。T集合内的网格即为特征点数较多网格。
在本发明实施例中,在获得第一网格之后,可以从各个第一网格中筛选包括无匹配特征点数量较多的第一网格作为目标网格,将而将目标网格的集合确定为第一网格集合。在从第一网格张工筛选目标网格时,首先需要确定第二数量阈值,可以从各个第一网格中确定包括匹配特征点数量最少的两个第二网格,进而将两个第二网格所包括匹配特征点的数量均确定为第二数量阈值,如果一个第一网格中特征点的数量等于任意一个第二网格所包括匹配特征点的个数,说明该第一网格中无匹配特征点较多,进而将该第一网格确定为目标网格。
在本发明实施例中,由于特征点包括匹配特征点和无匹配特征点,如果一个网格中匹配特征点数量较多,则该网格张工无匹配特征点的数量较少,从各个第一网格中筛选包括匹配特征点数量最少的两个第二网格,进而将所包括特征点数量等于任意一个第二网格所包括匹配特征点数量的第一网格确定为目标网格,从而筛选出包括特征点数量较多且包括无匹配特征点数量较多的目标网格,继而可以基于目标网格准确确定出大视差区域。
接续上述实例,可以对T内网格进一步约束,结果放于集合Q中,
ri∈Q,ifN um(ri)=min(all(Num(rj)));rj∈T,j=1,2,...,400(10)
式中,rj表示T中的任意一个网格。Num(rj)表示rj网格中的匹配点数量,all(Num(rj))表示T内每个网格的匹配特征点的数量所组成的集合,min1,2(A)表示取集合A中的最小以及次小元素,集合Q内网格即为包括特征点数量较多且包括匹配特征点数量较少的目标网格。
可选地,在图2所示大视差区域确定方法的基础上,第一网格集合中第一网格为包括特征点数量较多且包括无匹配特征点数量也较多的网格,大多数第一网格均位于大视差的高建筑区域内,但仍有少数情况下个别第一网格位于视差较小的低地物区域,此类第一网格内的纹理相似重复且排列整齐,比如树木、草地等,因此需要将这类干扰的第一网格剔除。除此之外,由于近地面目标物消失也会造成干扰网格,此类网格内特征点数量较多,但因为在下一张低空航拍图像张工目标物消失,所以找不到匹配特征点,使其内部出现大量无匹配特征点,这类干扰的网格也需要剔除。
如图4所示,从第一网格集合中剔除干扰网格而获得第二网格集合的方法可以包括如下步骤:
步骤401:针对每一个目标网格,通过如下公式计算该目标网格中各特征点之间的平均欧氏距离;
其中,D表征一个目标网格中各个特征点之间的平均欧氏距离,m表征该目标网格中特征点的数量,i,j表征该目标网格中任意两个特征点,n表征用于描述特征点的特征点描述符所包括向量的维数,k表征特征点描述符n维向量的第k个维度,xik表征第i个特征点在第个维度下的坐标值,xjk表征第j个特征点在第个维度下的坐标值;
步骤402:针对每一个目标网格,如果该目标网格中各个特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,距离阈值等于该目标网格中的最小值的整数倍;
步骤403:从第一网格集合中删除各个第三网格,获得第三网格集合;
步骤404:针对第三网格集合中的每一个目标网格,如果与该目标网格相邻的各个网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,第三数量阈值等于各网格中特征点数量平均值的6倍;
步骤405:从第三网格集合中删除各第四网格,获得第二网格集合。
在本发明实施例中,针对第一网格集合中的每一个目标网格,可以计算该目标网格中任意两个特征点之间的欧氏距离,所计算出的欧氏距离表征相应两个特征点之间特征描述符的相似性,进而可以获得该目标网格中各个特征点之间的平均欧氏距离,平均欧式距离可以表征该目标网格中特征点之间的相似性。如果一个目标网格中各个特征点之间的平均欧氏距离小于相应的距离阈值,则可以确定该网格内具有相似重复的纹理,从而可以将该目标网格确定为第三网格,在将各个第三网格从第一网格集合中删除后,可以获得第三网格集合。
通过计算每一个目标网格中各个特征点之间的平均欧氏距离,根据所计算出的平衡欧式距离可以判断相应目标网格内是否就具有相似重复的纹理,进而可以将树木、草地等干扰网格剔除,保证最终所确定出大视差区域的准确性。
下面结合具体实例对获得第三网格集合的过程进行说明:
对于待拼接的低空航拍图像A和低空航拍图像B,对于低空航拍图像A中的某一特征点p,在低空航拍图像B中与p点特征描述符距离最近的特征点为q,次近的特征点s,dist(p,q)表示p与q特征描述符的距离,dist(p,s)表示p与s特征描述符的距离,则
E=|dist(p,q)-dist(p,s)| (11)
只有当E大于一定的阈值,特征点p和q才会被当作精匹配点对,否则就会被当作误匹配点剔除。干扰网格中的无匹配特征点常常是因为不满足公式11所计算的E的条件而被剔除。主要因为网格内极其相似重复的纹理,求得的特征点描述符很相近。由此通过求网格内特征点的相似性来排除此类干扰网格。
其中i,j表示一个网格中的任意两个特征点,k表示特征点描述符n维向量的第k个维度,di,j则为两个特征点的欧氏距离(即特征描述符相似性)。
式中m表示集合Q内某个网格的特征点数,为网格内不重复特征点的对数(即不同的i,j对数),D为该网格内各特征点之间的平均欧氏距离,用D来度量一个网格内特征点的相似程度。当D小于既定阈值时,确定这个网格属于低地物区干扰网格,将其从集合Q中剔除。阈值取该网格内最小di,j的整数倍较为恰当,一般取值为3-5倍。
在本发明实施例中,在获得第三网格集合后,针对第三网格集合中的每一个目标网格,如果与该目标网格相邻的各个网格中匹配特征点的数量大于预先设定的第三数量阈值,则将该目标网格确定为第四网格,之后将确定出的各个第四网格从第三网格集合中删除,获得第二网格集合,这么做是为了排除近地面目标物消失所造成的干扰网格,进而可以进一步保证最终所确定出大视差区域的准确性。
对于高建筑物所在的目标网格,由于该目标网格周围大视差的缘故,该目标网格周围网格中匹配特征点数量较少;而对于近地面目标消失所造就的目标网格,该目标网格内特征点数量较多,但因为在下一张低空航拍图像中目标物消失,所以找不到匹配特征点,使其包括较多的无匹配特征点,但该目标网格周围网格中存在较多的匹配特征点。根据上述对比可知,可以根据与目标网格相邻的网格中匹配特征点的数量来判断该目标网格是否为干扰网格,进而剔除近地面目标物消失的干扰。
下面结合具体实例对从第三网格集合中删除第四网格而获得第二网格集合的过程进行说明:
对于目标消失类干扰网格,可以计算其八邻域网格内的匹配特征点的数量Ci,当匹配特征点的数量超过阈值δ,即判定为干扰网格。
ri∈R,if Ci>δ;其中ri∈Q(14)
式中δ=6×n;n为该低空航拍图像中每个网格中平均特征点数量,集合R即为最后去除干扰区域的高建筑物所在大视差区域网格。如图5所示,图中的九宫格代表大视差高建筑区域,阴影网格代表集合Q中的网格。图5a中,阴影网格的八邻域内没有大视差区域,有较多的正确匹配点,将其归为干扰网格;图5b、5c中阴影网格均位于大视差区域的边缘,其八邻域范围内分别有3个、5个网格在大视差区域,导致其八邻域网格内正确匹配点数小于阈值,故被归为大视差区域网格。
可选地,在图2所示大视差区域确定方法的基础上,在获得第二网格集合后,可以从第二网格集合中具有最多相邻目标网格的一个目标网格确定为起点网格,以保证所确定出的起点网格为高建筑物的中心。如图6所示,确定起点网格的方法可以包括如下步骤:
步骤601:针对第二网格集合中的每一个目标网格,确定该目标网格的四邻域内位于第二网格集合中的网格数量;
步骤602:将四邻域内位于第二网格集合中的网格数量最大的目标网格确定为第五网格;
步骤603:判断第五网格是否唯一,如果是,执行步骤604,否则执行步骤605;
步骤604:将第五网格确定为起点网格,并结束当前流程;
步骤605:分别确定每一个第五网格的八邻域内位于第二网格集合中的网格数量,并将八邻域内位于第二网格集合中的网格数量最大的一个第五网格确定为起点网格。
在本发明实施例中,搜索第二网格集合中每个目标网格的四邻域,计算每一个目标网格四邻域内属于第二网格集合中的网格数据,选出具有最高数量的目标网格作为第五网格,如果选出的第五网格唯一,则将该第五网格确定为起点网格,如果选出的第五网格不唯一,则将四邻域区域扩展为八邻域,分别计算每一个第五网格八邻域内属于第二网格集合中的网格数量,将具有最高数量的一个第五网格确定为起点网格。
在本发明实施例中,一个网格的四邻域是指位于该网格上、下、左、右四个方向的相邻网格范围,一个网格的八邻域是指位于该网格上、左上、左、左下、下、右下、右、右上八个方向的相邻网格范围。
在本发明实施例中,在确定出第二网格集合后,根据周围网格属于第二网格集合的数量,将第二网格集合中的一个目标网格确定为起点网格,使得所确定出的起点网格位于高建筑物图像的中心,进而可以将起点网格作为生成起点进行区域生长以获得大视差区域,保证所确定出大视差区域的准确性。
可选地,在图2所示大视差区域确定方法的基础上,在确定出起点网格后,可以将起点网格作为生成起点进行区域生长,生长条件为所生长区域内各个网格的平均灰度值与起点网格的灰度值之差的绝对值小于预设的灰度阈值,灰度阈值可以在20-30范围内任一取值,比如可以为灰度阈值取值25。
在完成区域生长之后,取区域生长结果的最小外接矩形,并将最小外接矩形所圈出的整个区域补全成矩形,然后在将该矩形区域的四周外延一个网格的宽度,进行网格外延之后的整个区域即为大视差区域,位于大视差区域内的图像即为大视差图像,位于大视差区域之外的图像即为低地物图像。
通过确定起点网格进行区域生长并外延网格的方式获得大视差区域,不仅可以得到更加完整的高建筑区域,而且可以保证将高建筑区域拼补到低地物区时有足够的重叠区域来配准图像。
可选地,在上述各个实施例所提供的低空航拍图像拼接方法的基础上,在对低地物图像进行拼接时,可以基于特征匹配的传统方法拼接低地物图像,利用提取的特征点进行图像配准,然后用多频段融合技术得到最后低地物区域拼接图像。
可选地,在上述各个实施例所提供的低空航拍图像拼接方法的基础上,针对所确定出的大视差图像,不采用拼接的方法,而是依据正射程度筛选的方式获取大视差对象所在平面的最佳视觉效果。从分离出的高建筑图像(大视差图像)中选择正射效果最好的一张,具体可以通过如下方式选择正射效果最好的大视差图像:
根据图像中心正射效果较好而图像边缘正射效果较差的理论,求出第i张低空航拍图像的中心点坐标(Oix,Oiy)与从第i张低空航拍图像分离出的大视差图像的中心点坐标(xi,yi)的欧氏距离disti:
disti最小时,所对应的大视差图像的正射效果最好,即获得正射程度最佳的目标大视差图像。为了与低地物区域拼接图像进行拼接,需要确定目标大视差图像与低地物区域拼接图像的重叠区域,因此可以将目标大视差图像进行边界扩展,获得与低地物区域拼接图像具有一定比例重叠度的目标大视差图像。
可选地,在上述各个实施例所提供的低空航拍图像拼接方法的基础上,在将目标视差图像修补到低地物区域拼接图像中,得到最终的低空航拍拼接图像时,为了实现修补,需要先进行图像配准,在进行图像融合。分别提取目标大视差图像与低地物区域拼接图像的特征,进行图像配准并求得变换矩阵,将大视差图像变换到低地物区域拼接图像的坐标系,然后利用加权平均法进行融合,得到最后完成的全景图(低空航拍拼接图像)。
对于同一低空航拍图像中存在多个大视差高建筑区的情况,可以借助3.1中低地物拼接的结果,分别将各个大视差高建筑区对应在每张低空航拍图像中的序列找到,根据中心正射效果较好的理论,分别找出各个高建筑区正射效果最好、视觉效果最佳的一个,变换到低地物区域拼接图像的坐标下,融合生成最终全景图。
如图7所示,本发明实施例提供了一种低空航拍图像拼接装置,包括:
一个图像获取模块701,用于获取包括有至少两张低空航拍图像的图像序列,其中,图像序列中相邻两张低空航拍图像中包括相同地面对象的图像;
一个区域识别模块702,用于根据图像获取模块701获取到的图像序列中相邻低空航拍图像上特征点的匹配结果,分别确定每一张低空航拍图像中的大视差区域,其中,大视差区域为两张相邻低空航拍图像中存在较大视差的区域;
一个图像拆分模块703,用于针对每一张包括区域识别模块702所确定出的大视差区域的低空航拍图像,将该低空航拍图像中的位于大视差区域内的大视差图像删除,获得低地物图像;
一个图像筛选模块704,用于针对区域识别模块702确定出的包括有同一地面对象的至少两张大视差图像,从该至少两张大视差图像中选择正射性最好的目标大视差图像;
一个第一图像拼接模块705,用于对不包括大视差区域的低空航拍图像和图像拆分模块703获取到的低地物图像进行拼接,获得低地物区域拼接图像;
一个第二图像拼接模块706,用于分别将图像筛选模块704确定出的每一张目标大视差图像拼接到第一图像拼接模块705获得的低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像。
可选地,在图7所示低空航拍图像拼接装置的基础上,区域识别模块702用于针对每一张低空航拍图像,执行:
获取该低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张低空航拍图像中不存在与无匹配特征点相匹配的特征点;
根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,a为大于2的整数,b为大于2的整数;
从所划分出的各个网格中确定至少一个目标网格,获得包括有至少一个目标网格的第一网格集合,其中,目标网格包括的特征点的数量大于第一数量阈值,且目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张低空航拍图像中存在与匹配特征点相匹配的特征点;
从第一网格集合中删除由低矮的地面对象和可动的地面对象所导致的目标网格,获得第二网格集合;
将第二网格集合中具有最多相邻目标网格数量的一个目标网格确定为起点网格;
根据各个网格的灰度值,以起点网格为起点进行区域生长,获得呈矩形的大视差区域。
可选地,在图7所示低空航拍图像拼接装置的基础上,区域识别模块702在执行从所划分出的各个网格中确定至少一个目标网格,获得包括有至少一个目标网格的第一网格集合时,用于执行:
根据各个网格中特征点的数量平均值,确定第一数量阈值;
从各个网格中确定第一网格,其中,第一网格包括的特征点的数量大于第一数量阈值;
从各个第一网格中确定包括匹配特征点的数量最少的两个第二网格,将两个第二网格中匹配特征点的数量均确定为第二数量阈值;
针对每一个第一网格,如果该第一网格中特征点的数量等于第二数量阈值,则将该第一网格确定为目标网格;
将各个目标网格的集合确定为第一网格集合。
可选地,在图7所示低空航拍图像拼接装置的基础上,区域识别模块702在执行从第一网格集合中删除由低矮的地面对象和可动的地面对象所导致的目标网格,获得第二网格集合时,用于执行:
S1:针对每一个目标网格,通过如下公式计算该目标网格中各特征点之间的平均欧氏距离;
其中,D表征一个目标网格中各个特征点之间的平均欧氏距离,m表征该目标网格中特征点的数量,i,j表征该目标网格中任意两个特征点,n表征用于描述特征点的特征点描述符所包括向量的维数,k表征特征点描述符n维向量的第k个维度,xik表征第i个特征点在第个维度下的坐标值,xjk表征第j个特征点在第个维度下的坐标值;
S2:针对每一个目标网格,如果该目标网格中各个特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,距离阈值等于该目标网格中的最小值的整数倍;
S3:从第一网格集合中删除各个第三网格,获得第三网格集合;
S4:针对第三网格集合中的每一个目标网格,如果与该目标网格相邻的各个网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,第三数量阈值等于各网格中特征点数量平均值的6倍;
S5:从第三网格集合中删除各第四网格,获得第二网格集合。
可选地,在图7所示低空航拍图像拼接装置的基础上,区域识别模块702在执行将第二网格集合中具有最多相邻目标网格数量的一个目标网格确定为起点网格时,用于执行:
针对第二网格集合中的每一个目标网格,确定该目标网格的四邻域内位于第二网格集合中的网格数量;
将四邻域内位于第二网格集合中的网格数量最大的目标网格确定为第五网格;
判断第五网格是否唯一;
如果第五网格唯一,则将第五网格确定为起点网格;
如果第五网格不唯一,则分别确定每一个第五网格的八邻域内位于第二网格集合中的网格数量,并将八邻域内位于第二网格集合中的网格数量最大的一个第五网格确定为起点网格。
需要说明的是,上述装置内的各模块之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明实施例还提供了一种可读介质,包括执行指令,当存储控制器的处理器执行所述执行指令时,所述存储控制器执行上述各个实施例所提供的低空航拍图像拼接方法。
本发明实施例还提供了一种存储控制器,包括:处理器、存储器和总线;
所述存储器用于存储执行指令,所述处理器与所述存储器通过所述总线连接,当所述存储控制器运行时,所述处理器执行所述存储器存储的所述执行指令,以使所述存储控制器执行上述各个实施例所提供的低空航拍图像拼接方法。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (8)
1.低空航拍图像拼接方法,其特征在于,包括:
获取包括有至少两张低空航拍图像的图像序列,其中,所述图像序列中相邻两张所述低空航拍图像中包括相同地面对象的图像;
根据所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,其中,所述大视差区域为两张相邻所述低空航拍图像中存在较大视差的区域;
针对每一张包括所述大视差区域的所述低空航拍图像,将该低空航拍图像中的位于所述大视差区域内的大视差图像删除,获得低地物图像;
针对包括有同一所述地面对象的至少两张所述大视差图像,从该至少两张所述大视差图像中选择正射性最好的目标大视差图像;
对不包括所述大视差区域的所述低空航拍图像和所述低地物图像进行拼接,获得低地物区域拼接图像;
分别将每一张所述目标大视差图像拼接到所述低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像;
所述根据所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,包括:
针对每一张所述低空航拍图像,均执行:
获取该低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张所述低空航拍图像中不存在与所述无匹配特征点相匹配的所述特征点;
根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,所述a为大于2的整数,所述b为大于2的整数;
从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,其中,所述目标网格包括的所述特征点的数量大于第一数量阈值,且所述目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张所述低空航拍图像中存在与所述匹配特征点相匹配的所述特征点;
从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合;
将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格;
根据各个所述网格的灰度值,以所述起点网格为起点进行区域生长,获得呈矩形的所述大视差区域。
2.根据权利要求1所述的方法,其特征在于,所述从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,包括:
根据各个所述网格中所述特征点的数量平均值,确定所述第一数量阈值;
从各个所述网格中确定第一网格,其中,所述第一网格包括的所述特征点的数量大于所述第一数量阈值;
从各个所述第一网格中确定包括所述匹配特征点的数量最少的两个第二网格,将两个所述第二网格中所述匹配特征点的数量均确定为所述第二数量阈值;
针对每一个所述第一网格,如果该第一网格中所述特征点的数量等于所述第二数量阈值,则将该第一网格确定为所述目标网格;
将各个所述目标网格的集合确定为所述第一网格集合。
3.根据权利要求1所述的方法,其特征在于,所述从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合,包括:
S1:针对每一个所述目标网格,通过如下公式计算该目标网格中各所述特征点之间的平均欧氏距离;
其中,所述D表征一个所述目标网格中各个所述特征点之间的平均欧氏距离,所述m表征该目标网格中所述特征点的数量,所述i,j表征该目标网格中任意两个所述特征点,所述n表征用于描述所述特征点的特征点描述符所包括向量的维数,所述k表征所述特征点描述符n维向量的第k个维度,所述xik表征第i个所述特征点在第k个维度下的坐标值,所述xjk表征第j个所述特征点在第k个维度下的坐标值;
S2:针对每一个所述目标网格,如果该目标网格中各个所述特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,所述距离阈值等于该目标网格中的最小值的整数倍;
S3:从所述第一网格集合中删除各个所述第三网格,将第一网格集合中删除了第三网格后剩下的部分作为第三网格集合;
S4:针对所述第三网格集合中的每一个所述目标网格,如果与该目标网格相邻的各个所述网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,所述第三数量阈值等于各所述网格中特征点数量平均值的6倍;
S5:从所述第三网格集合中删除各所述第四网格,获得所述第二网格集合。
4.根据权利要求1至3中任一所述的方法,其特征在于,所述将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格,包括:
针对所述第二网格集合中的每一个所述目标网格,确定该目标网格的四邻域内位于所述第二网格集合中的网格数量;
将四邻域内位于所述第二网格集合中的网格数量最大的所述目标网格确定为第五网格;
判断所述第五网格是否唯一;
如果所述第五网格唯一,则将所述第五网格确定为所述起点网格;
如果所述第五网格不唯一,则分别确定每一个所述第五网格的八邻域内位于所述第二网格集合中的网格数量,并将八邻域内位于所述第二网格集合中的网格数量最大的一个所述第五网格确定为所述起点网格。
5.低空航拍图像拼接装置,其特征在于,包括:
一个图像获取模块,用于获取包括有至少两张低空航拍图像的图像序列,其中,所述图像序列中相邻两张所述低空航拍图像中包括相同地面对象的图像;
一个区域识别模块,用于根据所述图像获取模块获取到的所述图像序列中相邻所述低空航拍图像上特征点的匹配结果,分别确定每一张所述低空航拍图像中的大视差区域,其中,所述大视差区域为两张相邻所述低空航拍图像中存在较大视差的区域;
一个图像拆分模块,用于针对每一张包括所述区域识别模块所确定出的所述大视差区域的所述低空航拍图像,将该低空航拍图像中的位于所述大视差区域内的大视差图像删除,获得低地物图像;
一个图像筛选模块,用于针对所述区域识别模块确定出的包括有同一所述地面对象的至少两张大视差图像,从该至少两张所述大视差图像中选择正射性最好的目标大视差图像;
一个第一图像拼接模块,用于对不包括所述大视差区域的所述低空航拍图像和所述图像拆分模块获取到的所述低地物图像进行拼接,获得低地物区域拼接图像;
一个第二图像拼接模块,用于分别将所述图像筛选模块确定出的每一张所述目标大视差图像拼接到所述第一图像拼接模块获得的所述低地物区域拼接图像中相应的空缺区域,获得低空航拍拼接图像;
所述区域识别模块用于针对每一张所述低空航拍图像执行:
获取该低空航拍图像所包括的无匹配特征点,其中,在与该低空航拍图像相邻的另一张所述低空航拍图像中不存在与所述无匹配特征点相匹配的所述特征点;
根据预先设定的网格划分规则,将该低空航拍图像均匀划分为a行×b列个网格,其中,所述a为大于2的整数,所述b为大于2的整数;
从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合,其中,所述目标网格包括的所述特征点的数量大于第一数量阈值,且所述目标网格包括的匹配特征点的数量等于第二数量阈值,在与该低空航拍图像相邻的另一张所述低空航拍图像中存在与所述匹配特征点相匹配的所述特征点;
从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合;
将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格;
根据各个所述网格的灰度值,以所述起点网格为起点进行区域生长,获得呈矩形的所述大视差区域。
6.根据权利要求5所述的装置,其特征在于,所述区域识别模块在执行所述从所划分出的各个所述网格中确定至少一个目标网格,获得包括有所述至少一个目标网格的第一网格集合时,用于执行:
根据各个所述网格中所述特征点的数量平均值,确定所述第一数量阈值;
从各个所述网格中确定第一网格,其中,所述第一网格包括的所述特征点的数量大于所述第一数量阈值;
从各个所述第一网格中确定包括所述匹配特征点的数量最少的两个第二网格,将两个所述第二网格中所述匹配特征点的数量均确定为所述第二数量阈值;
针对每一个所述第一网格,如果该第一网格中所述特征点的数量等于所述第二数量阈值,则将该第一网格确定为所述目标网格;
将各个所述目标网格的集合确定为所述第一网格集合。
7.根据权利要求5所述的装置,其特征在于,所述区域识别模块在执行所述从所述第一网格集合中删除由低矮的所述地面对象和可动的所述地面对象所导致的所述目标网格,获得第二网格集合时,用于执行:
S1:针对每一个所述目标网格,通过如下公式计算该目标网格中各所述特征点之间的平均欧氏距离;
其中,所述D表征一个所述目标网格中各个所述特征点之间的平均欧氏距离,所述m表征该目标网格中所述特征点的数量,所述i,j表征该目标网格中任意两个所述特征点,所述n表征用于描述所述特征点的特征点描述符所包括向量的维数,所述k表征所述特征点描述符n维向量的第k个维度,所述xik表征第i个所述特征点在第k个维度下的坐标值,所述xjk表征第j个所述特征点在第k个维度下的坐标值;
S2:针对每一个所述目标网格,如果该目标网格中各个所述特征点之间的平均欧式距离小于距离阈值,则将该目标网格确定为第三网格,其中,所述距离阈值等于该目标网格中的最小值的整数倍;
S3:从所述第一网格集合中删除各个所述第三网格,将第一网格集合中删除了第三网格后剩下的部分作为第三网格集合;
S4:针对所述第三网格集合中的每一个所述目标网格,如果与该目标网格相邻的各个所述网格中匹配特征点的总数量大于第三数量阈值,则将该目标网格确定为第四网格,其中,所述第三数量阈值等于各所述网格中特征点数量平均值的6倍;
S5:从所述第三网格集合中删除各所述第四网格,获得所述第二网格集合。
8.根据权利要求5至7中任一所述的装置,其特征在于,所述区域识别模块在执行所述将所述第二网格集合中具有最多相邻所述目标网格数量的一个所述目标网格确定为起点网格时,用于执行:
针对所述第二网格集合中的每一个所述目标网格,确定该目标网格的四邻域内位于所述第二网格集合中的网格数量;
将四邻域内位于所述第二网格集合中的网格数量最大的所述目标网格确定为第五网格;
判断所述第五网格是否唯一;
如果所述第五网格唯一,则将所述第五网格确定为所述起点网格;
如果所述第五网格不唯一,则分别确定每一个所述第五网格的八邻域内位于所述第二网格集合中的网格数量,并将八邻域内位于所述第二网格集合中的网格数量最大的一个所述第五网格确定为所述起点网格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018820.9A CN111275616B (zh) | 2020-01-08 | 2020-01-08 | 低空航拍图像拼接方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018820.9A CN111275616B (zh) | 2020-01-08 | 2020-01-08 | 低空航拍图像拼接方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275616A CN111275616A (zh) | 2020-06-12 |
CN111275616B true CN111275616B (zh) | 2023-11-03 |
Family
ID=70998846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010018820.9A Active CN111275616B (zh) | 2020-01-08 | 2020-01-08 | 低空航拍图像拼接方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275616B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508781B (zh) * | 2020-08-10 | 2023-06-09 | 成都西图科技有限公司 | 一种大视差岩心图像拼接方法 |
CN113096016A (zh) * | 2021-04-12 | 2021-07-09 | 广东省智能机器人研究院 | 一种低空航拍图像拼接方法和系统 |
CN118015501B (zh) * | 2024-04-08 | 2024-06-11 | 中国人民解放军陆军步兵学院 | 一种基于计算机视觉的中低空低速目标识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226057A (zh) * | 2008-02-01 | 2008-07-23 | 武汉朗视软件有限公司 | 一种数字近景摄影测量方法 |
CN101646022A (zh) * | 2009-09-04 | 2010-02-10 | 深圳华为通信技术有限公司 | 一种图像拼接的方法、系统 |
WO2015042772A1 (zh) * | 2013-09-24 | 2015-04-02 | 中国科学院自动化研究所 | 一种遥感图像显著目标变化检测方法 |
CN104616320A (zh) * | 2015-02-03 | 2015-05-13 | 中国人民解放军国防科学技术大学 | 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法 |
CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
CN107798694A (zh) * | 2017-11-23 | 2018-03-13 | 海信集团有限公司 | 一种像素点视差值计算方法、装置及终端 |
CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
-
2020
- 2020-01-08 CN CN202010018820.9A patent/CN111275616B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226057A (zh) * | 2008-02-01 | 2008-07-23 | 武汉朗视软件有限公司 | 一种数字近景摄影测量方法 |
CN101646022A (zh) * | 2009-09-04 | 2010-02-10 | 深圳华为通信技术有限公司 | 一种图像拼接的方法、系统 |
WO2015042772A1 (zh) * | 2013-09-24 | 2015-04-02 | 中国科学院自动化研究所 | 一种遥感图像显著目标变化检测方法 |
CN104616320A (zh) * | 2015-02-03 | 2015-05-13 | 中国人民解放军国防科学技术大学 | 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法 |
CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
CN107798694A (zh) * | 2017-11-23 | 2018-03-13 | 海信集团有限公司 | 一种像素点视差值计算方法、装置及终端 |
CN110349086A (zh) * | 2019-07-03 | 2019-10-18 | 重庆邮电大学 | 一种非同心成像条件的图像拼接方法 |
Non-Patent Citations (1)
Title |
---|
王晓鹏 等.地理与地理信息科学.2020,第36卷(第3期),摘要,1-3节. * |
Also Published As
Publication number | Publication date |
---|---|
CN111275616A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275616B (zh) | 低空航拍图像拼接方法和装置 | |
CN104915949B (zh) | 一种结合点特征和线特征的图像匹配方法 | |
CN110246092B (zh) | 一种顾及邻域点均值距离和斜率的三维激光点云去噪方法 | |
CN103218787B (zh) | 多源异构遥感影像控制点自动采集方法 | |
US20110158535A1 (en) | Image processing apparatus and image processing method | |
CN111860695A (zh) | 一种数据融合、目标检测方法、装置及设备 | |
CN111369605B (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
Moriondo et al. | Use of digital images to disclose canopy architecture in olive tree | |
JP6426441B2 (ja) | 密度計測装置、密度計測方法、およびプログラム | |
CN109685806B (zh) | 图像显著性检测方法及装置 | |
CN111291768A (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
KR101507732B1 (ko) | 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체 | |
CN109300115B (zh) | 一种面向对象的多光谱高分辨率遥感影像变化检测方法 | |
CN116758223A (zh) | 基于双角度多光谱图像的三维多光谱点云重建方法、系统及设备 | |
CN111833362A (zh) | 基于超像素和区域生长的非结构化道路分割方法及系统 | |
CN114332134A (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
CN113838069A (zh) | 基于平面度约束的点云分割方法和系统 | |
CN112884884A (zh) | 一种候选区域生成方法及系统 | |
CN113111741A (zh) | 一种基于三维特征点的装配状态识别方法 | |
CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
CN116486312A (zh) | 一种视频图像的处理方法、装置、电子设备和存储介质 | |
CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
CN112991186B (zh) | 一种无人机大视场高光谱图像生成方法及系统 | |
CN114140581A (zh) | 一种自动建模方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |