CN114926753A - 一种海量图像条件下的快速目标场景信息提取方法 - Google Patents

一种海量图像条件下的快速目标场景信息提取方法 Download PDF

Info

Publication number
CN114926753A
CN114926753A CN202210681916.2A CN202210681916A CN114926753A CN 114926753 A CN114926753 A CN 114926753A CN 202210681916 A CN202210681916 A CN 202210681916A CN 114926753 A CN114926753 A CN 114926753A
Authority
CN
China
Prior art keywords
image
aerial
feature
images
aerial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210681916.2A
Other languages
English (en)
Other versions
CN114926753B (zh
Inventor
吕楠
张丽秋
王立亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Huiyan Artificial Intelligence Technology Co ltd
Original Assignee
Wuxi Huiyan Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Huiyan Artificial Intelligence Technology Co ltd filed Critical Wuxi Huiyan Artificial Intelligence Technology Co ltd
Priority to CN202210681916.2A priority Critical patent/CN114926753B/zh
Publication of CN114926753A publication Critical patent/CN114926753A/zh
Application granted granted Critical
Publication of CN114926753B publication Critical patent/CN114926753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及目标场景提取的技术领域，揭露了一种海量图像条件下的快速目标场景信息提取方法，包括：对航拍图像序列中的每张航拍图像进行特征提取，并对所提取特征进行降维处理；对航拍图像序列中相邻航拍图像进行图像相似度计算，对不存在相似图像的航拍图像以及相似图像中信息最丰富的图像进行特征提取，获取航拍图像的线性结构特征和非线性结构特征；基于每张航拍图像的线性结构以及非线性结构对航拍区域进行敏感区域识别，得到航拍区域地形信息。本发明所述方法基于降维后的图像特征实现重复图像的快速剔除，对航拍图像实现多尺度特征的表示，基于迁移学习快速训练得到可用的敏感区域识别模型，实现航拍区域的地形信息提取。

Description

一种海量图像条件下的快速目标场景信息提取方法
技术领域
本发明涉及目标场景信息提取的技术领域，尤其涉及一种海量图像条件下的快速目标场景信息提取方法。
背景技术
无人机在进行地理测绘过程中会采用连续拍摄的方式获取指定区域航拍图像，后续由人工对航拍图像进行处理和地形地貌识别，该过程需要消耗领域人员大量时间和精力识别核心地形，同时工作人员面临的另一个问题就是无人机连续航拍产生的大量相似重复图像，严重增加工作人员的工作时间，浪费工作人员的工作精力，针对该问题，本专利提出一种海量图像条件下的快速目标场景信息提取方法，用于从大量相似图像序列中提取关键地形地貌信息。
发明内容
有鉴于此，本发明提供一种海量图像条件下的快速目标场景信息提取方法，目的在于(1)基于差分空间实现无人机航拍图像的特征提取，并利用流形学习对所提取特征进行降维处理，从而快速实现相邻航拍图像的相似度计算，根据相似度计算结果仅保留不存在相似图像的航拍图像以及相似图像中信息最丰富的图像，删除重复图像，简化后续航拍区域地形识别的复杂性，能够快速提取有用的航拍区域地形信息；(2)提取无人机航拍图像的线性结构特征以及非线性结构特征，从线性层面以及非线性层面对航拍图像进行多尺度表征，并基于迁移学习快速构建训练得到可用的敏感区域识别模型，根据敏感区域的识别结果，将无人机航拍图像序列与航拍区域的真实坐标进行对应，得到不同航拍区域的地形标注，实现航拍区域的地形信息提取。
实现上述目的，本发明提供的一种海量图像条件下的快速目标场景信息提取方法，包括以下步骤：
S1：获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，其中所述特征降维方法为航拍图像子图流形学习；
S2：构建航拍图像序列A中每幅航拍图像的特征图谱，基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
S3：对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，其中所述特征提取方法为多尺度融合方法；
S4：基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，基于迁移学习的卷积网络模型为进行敏感区域识别的手段。
作为本发明的进一步改进方法：
可选地，所述S1步骤中对航拍图像序列A中的每张航拍图像进行特征提取，包括：
获取无人机的航拍图像序列A，其中航拍图像序列A中的航拍图像集合为：
{I1，I2，...，Ii，...，In}
其中：
Ii为航拍图像序列A中的第i张图像，n表示航拍图像序列A中图像的总数；
对航拍图像序列A中的任意一张航拍图像Ii，利用特征提取方法提取Ii的特征fi，所述特征提取方法流程为：
1)设置固定大小的图像块，将航拍图像均匀划分为若干同等大小的图像块；
2)构建每个图像块中像素的尺度空间：
Figure RE-GDA0003749508850000021
Figure RE-GDA0003749508850000022
其中：
Ii，k(p，q)为航拍图像Ii的第k个图像块的第p行第q列像素的灰度值；
*为卷积计算；
σ1，σ2为尺度因子，将σ1设置为1，将σ2设置为2，L(Ii，k(p，q)，σ1)为航拍图像Ii的第k个图像块中第p行第q列像素的σ1尺度空间，L(Ii，k(p，q)，σ2)为航拍图像Ii的第k个图像块中第p行第q列像素的σ2尺度空间；
3)基于尺度空间构建高斯差分空间：
G(Ii，k(p，q))＝L(Ii，k(p，q)，σ2)-L(Ii，k(p，q)，σ1)
其中：
G(Ii，k(p，q))为航拍图像Ii的第k个图像块中第p行第q列像素的高斯尺度空间；
对高斯差分空间中每个像素进行检测，若该像素为邻近8个像素的极大值或极小值，则将该像素标记为该图像块内的特征点fi，k(p′，q′)；
计算该特征点所对应像素点Ii，k(p′，q′)的梯度方向θ(p′，q′)：
Figure RE-GDA0003749508850000023
将图像块内所有特征点的梯度方向构成梯度直方图，其中梯度直方图的横轴表示梯度方向值，纵轴表示该梯度方向下特征点的数量；
对不同梯度方向的特征点数量进行编码，将梯度直方图转换为特征向量，则航拍图像Ii中第k个图像块的特征向量为fi，k；
在本发明实施例中，特征向量中的数值位置表示梯度方向，数值大小表示该梯度方向的特征点数量；
4)重复上述步骤2)-3)，得到航拍图像Ii中所有图像块的特征向量，并构成航拍图像Ii的特征fi：
fi＝[fi，1，fi，2，...，fi，m]
其中：
m表示航拍图像中图像块的数目；
5)重复上述步骤1)-4)，得到航拍图像序列A中所有航拍图像的特征。
可选地，所述S1步骤中对所提取特征进行降维处理，形成航拍图像序列特征集合，包括：
将航拍图像序列A中n张航拍图像的特征构成特征集合：
{f1，f2，...，fi，...，fn}
利用欧式距离法确定距离任意特征fi最近的k′个特征，构成fi的邻域特征集Ω(i)：
Ω(i)＝{fi1，fi2，...，fik′}
其中：
fik′为特征集合{f1，f2，...，fn}中距离fi第k′近的特征；
计算邻域特征集Ω(i)的权重向量wi：
Figure RE-GDA0003749508850000024
其中：
Ci＝(fi-fij)(fi-fij)T，j∈[1，k′]，Ci -1表示矩阵Ci的逆矩阵；
Dk′表示k′维全为1的向量；
T表示矩阵的转置；
将所有特征的权重向量构成权重矩阵W，并设置矩阵E＝(U-W)(U-W)T，其中U为单位矩阵，计算E的前n+1个大的特征值所对应的特征向量{d2，d3，...，di+1，...，dn+1}，将di+1作为特征fi的降维后特征，构成航拍图像序列特征集合{d2，d3，...，di+1，...，dn+1}。
可选地，所述S2步骤中基于特征图谱对航拍图像序列中相邻航拍图像进行图像相似度计算，包括：
对于航拍图像序列A中的任意一张航拍图像Ii，将di+1作为航拍图像Ii的特征图谱Fi，计算任意航拍图像Ii的特征图谱Fi，与相邻航拍图像特征图谱Fi+1，Fi-1的图像相似度，其中所述图像相似度计算公式为：
Sim(Fi，Fi+1)＝||Fi-Fi+1||1
其中：
Sim(Fi，Fi+1)为特征图谱Fi与特征图谱Fi+1的图像相似度；
||·||1为1-范数。
可选地，所述S2步骤根据相似度计算结果构建航拍图像序列B，包括：
若计算结果小于指定阈值ξ则所计算的两张相邻航拍图像为相似图像，否则所计算的两张相邻航拍图像不为相似图像，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B，其中所述图像的像素灰度值标准差越大则图像信息越丰富。
可选地，所述S3步骤中对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，包括：
所述航拍图像序列B中的航拍图像集合为：
{I′1，I′2，...，I′j，...，I′n′}
其中：
I′j为航拍图像序列B中的第j张图像；
n′为航拍图像序列B中的图像总数，n′≤n；
分别提取航拍图像序列B中线性结构特征以及非线性结构特征，对于航拍图像I′j，其线性结构特征的提取流程为：
1)对航拍图像I′j所有图像块的特征向量的进行中心化处理，即：
Figure RE-GDA0003749508850000031
其中：
fj′k为航拍图像I′j的第k个图像块的特征向量fj′k，m为航拍图像的图像块总数；
fj′k′为航拍图像I′j的第k个图像块的中心化处理后的特征向量；
2)将航拍图像I′j中所有中心化处理后的特征向量构成特征矩阵M′j：
Figure RE-GDA0003749508850000032
3)设定线性结构特征的特征维数为m′；
4)计算矩阵M′j的协方差矩阵Cj：
Figure RE-GDA0003749508850000033
其中：
T表示矩阵的转置；
4)计算协方差矩阵Cj的特征值λ：
|Cj-λU|＝0
其中：
U表示单位矩阵；
选取特征值最大的m′个特征值，分别计算协方差矩阵Cj的特征向量ρ：
ρ＝Cj-λ′U
λ′为特征值最大的m′个特征值的集合，将前m′大的特征值所对应的特征向量构成向量矩阵，则航拍图像I′j的线性结构特征Linj即为矩阵M′j与向量矩阵的乘积；
航拍图像序列B中的线性结构特征集合为：
{Lin1，Lin2，...，Linj，...，Linn′}
所述航拍图像I′j的非线性结构特征提取流程为：
1)将航拍图像I′j分解为高斯金字塔，其中高斯金子塔的底层为原始高分辨率的航拍图像I′j，高斯金字塔的顶层为最低分辨率下的航拍图像I′j；
2)以高斯金字塔的顶层图像作为拉普拉斯金子塔的底层图像，其中底层图像为拉普拉斯金字塔的第一层图像，基于底层图像进行图像上采样，形成拉普拉斯金字塔，所述图像上采样的流程为：
Lapa+1＝UP(Lapa)*Gauss5×5
其中：
Gauss5×5为5×5像素大小的高斯内核；
Lapa为拉普拉斯金字塔中第a层图像，UP(Lapa)表示对图像Lapa进行上采样处理，即将图像Lapa中坐标(x′，y′)的像素映射到Lapa+1中的坐标位置(2x′+1，2y′+1)；
3)对上采样处理后图像的缺失像素进行插值填充处理，对于偶数行，偶数列的缺失像素，对以该缺失像素为中点的正负45°直线上的四个顶角像素的值取平均值，将平均值作为该像素点的灰度值；对于偶数行，奇数列的缺失像素，取该缺失像素上下两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；对于奇数行，偶数列的缺失像素，取该缺失像素左右两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；
4)将拉普拉斯金字塔中奇数层图像进行卷积处理，将卷积结果作为航拍图像I′j的多尺度融合的非线性结构特征NLinj；
航拍图像序列B中的非线性结构特征集合为：
{NLin1，NLin2，...，NLinj，...，NLinn′}
则对于航拍图像序列B中的任意航拍图像I′j，其特征向量为[Linj，NLinj]。
可选地，所述S4步骤中基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，包括：
构建基于迁移学习的卷积网络模型，其中所述卷积网络模型包括输入层、敏感区域识别层以及输出层，输入层的输入为航拍图像序列B中每张图像的线性结构特征以及非线性结构特征，输入层用于对输入特征进行特征提取，利用预训练模型对输入层进行训练，将训练得到的参数直接作为卷积网络模型中输入层的参数，提高后续模型训练的效率，加快敏感区域识别的速度，实现基于迁移学习的模型训练过程，所述输入层的公式为：
fin＝Conv(Lin，NLin)
其中：
Lin，NLin分别为输入模型的线性结构特征以及非线性结构特征；
Conv(·)为将输入结果进行卷积处理，将卷积处理的结果作为输入层输出的提取特征 fin；
敏感区域识别层用于将提取特征与得分图进行比较，所述得分图的形式为{form，feature，score}，其中form表示地形，feature表示地形的特征，score表示地形的敏感度得分，地形越复杂则敏感度得分越高；所述敏感区域识别层通过计算特征fin与得分图中任意特征feature的相似度Sim(fin，feature)，选取相似度最高的feature所对应的form以及score作为图像的地形以及敏感度得分，将图像的地形以及敏感度得分作为输出层的输出值，并标记该图像的地形以及敏感度得分，设置敏感度得分阈值，若该图像的敏感度得分大于敏感度得分阈值，则提示工作人员该图像所对应的航拍区域地形复杂；将该图像映射到无人机的航拍区域，将图像的地形在航拍区域进行标记，得到航拍区域的地形信息。
在本发明实施例中，通过采集不同地形form的图像，分别提取地形图像的线性结构特征以及非线性结构特征，将两者进行卷积得到地形的feature，并人工标注敏感度得分，从而构成得分图。
为了解决上述问题，本发明还提供一种海量图像条件下的快速目标场景信息提取装置，其特征在于，所述装置包括：
特征提取模块，用于获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，构建航拍图像序列A中每幅航拍图像的特征图谱，对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构；
相似度计算模块，用于基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
地形提取装置，用于基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的海量图像条件下的快速目标场景信息提取方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的海量图像条件下的快速目标场景信息提取方法。
相对于现有技术，本发明提出一种海量图像条件下的快速目标场景信息提取方法，该技术具有以下优势：
首先，本方案提出一种图像特征提取以及降维的方法，对于航拍图像序列A中的任意一张航拍图像Ii，利用特征提取方法提取Ii的特征fi，所述特征提取方法流程为：1)设置固定大小的图像块，将航拍图像均匀划分为若干同等大小的图像块；2)构建每个图像块中像素的尺度空间：
Figure RE-GDA0003749508850000051
Figure RE-GDA0003749508850000052
其中：Ii，k(p，q)为航拍图像Ii的第k个图像块的第p行第q列像素的灰度值；*为卷积计算；σ1，σ2为尺度因子，将σ1设置为1，将σ2设置为2，L(Ii，k(p，q)，σ1)为航拍图像Ii的第k个图像块中第p行第q列像素的σ1尺度空间，L(Ii，k(p，q)，σ2)为航拍图像Ii的第k个图像块中第 p行第q列像素的σ2尺度空间；3)基于尺度空间构建高斯差分空间：
G(Ii，k(p，q))＝L(Ii，k(p，q)，σ2)-L(Ii，k(p，q)，σ1)
其中：G(Ii，k(p，q))为航拍图像Ii的第k个图像块中第p行第q列像素的高斯尺度空间；对高斯差分空间中每个像素进行检测，若该像素为邻近8个像素的极大值或极小值，则将该像素标记为该图像块内的特征点fi，k(p′，q′)；计算该特征点所对应像素点Ii，k(p′，q′)的梯度方向θ(p′，q′)：
Figure RE-GDA0003749508850000061
将图像块内所有特征点的梯度方向构成梯度直方图，其中梯度直方图的横轴表示梯度方向值，纵轴表示该梯度方向下特征点的数量；对不同梯度方向的特征点数量进行编码，将梯度直方图转换为特征向量，则航拍图像Ii中第k个图像块的特征向量为fi，k；4)重复上述步骤2)-3)，得到航拍图像Ii中所有图像块的特征向量，并构成航拍图像Ii的特征fi：
fi＝[fi，1，fi，2，...，fi，m]
其中：m表示航拍图像中图像块的数目；5)重复上述步骤1)-4)，得到航拍图像序列A 中所有航拍图像的特征。将航拍图像序列A中n张航拍图像的特征构成特征集合：
{f1，f2，...，fi，...，fn}
利用欧式距离法确定距离任意特征fi最近的k′个特征，构成fi的邻域特征集Ω(i)：
Ω(i)＝{fi1，fi2，...，fik′}
其中：fik′为特征集合{f1，f2，...，fn}中距离fi第k′近的特征；计算邻域特征集Ω(i)的权重向量wi：
Figure RE-GDA0003749508850000062
其中：Ci＝(fi-fij)(fi-fij)T，j∈[1，k′]，Ci -1表示矩阵Ci的逆矩阵；Dk′表示k′维全为1 的向量；T表示矩阵的转置；将所有特征的权重向量构成权重矩阵W，并设置矩阵 E＝(U-W)(U-W)T，其中U为单位矩阵，计算E的前n+1个大的特征值所对应的特征向量{d2，d3，...，di+1，...，dn+1}，将di+1作为特征fi的降维后特征，构成航拍图像序列特征集合{d2，d3，...，di+1，...，dn+1}。相较于传统方案，本方案基于差分空间实现无人机航拍图像的特征提取，并利用流形学习对所提取特征进行降维处理，特征降维的计算复杂度较小，从而快速实现相邻航拍图像的相似度计算，根据相似度计算结果仅保留不存在相似图像的航拍图像以及相似图像中信息最丰富的图像，删除重复图像，简化后续航拍区域地形识别的复杂性，能够快速提取有用的航拍区域地形信息。
同时，本方案提出一种航拍区域地形信息提取方法，通过构建基于迁移学习的卷积网络模型，其中所述卷积网络模型包括输入层、敏感区域识别层以及输出层，输入层的输入为航拍图像序列B中每张图像的线性结构特征以及非线性结构特征，输入层用于对输入特征进行特征提取，利用预训练模型对输入层进行训练，将训练得到的参数直接作为卷积网络模型中输入层的参数，提高后续模型训练的效率，加快敏感区域识别的速度，实现基于迁移学习的模型训练过程，所述输入层的公式为：
fin＝Conv(Lin，NLin)
其中：Lin，NLin分别为输入模型的线性结构特征以及非线性结构特征；Conv(·)为将输入结果进行卷积处理，将卷积处理的结果作为输入层输出的提取特征fin；敏感区域识别层用于将提取特征与得分图进行比较，所述得分图的形式为{form，feature，score}，其中 form表示地形，feature表示地形的特征，score表示地形的敏感度得分，地形越复杂则敏感度得分越高；所述敏感区域识别层通过计算特征fin与得分图中任意特征feature的相似度Sim(fin，feature)，选取相似度最高的feature所对应的form以及score作为图像的地形以及敏感度得分，将图像的地形以及敏感度得分作为输出层的输出值，并标记该图像的地形以及敏感度得分，设置敏感度得分阈值，若该图像的敏感度得分大于敏感度得分阈值，则提示工作人员该图像所对应的航拍区域地形复杂；将该图像映射到无人机的航拍区域，将图像的地形在航拍区域进行标记，得到航拍区域的地形信息。相较于传统方案，本方案通过提取无人机航拍图像的线性结构特征以及非线性结构特征，从线性层面以及非线性层面对航拍图像进行多尺度表征，并基于迁移学习快速构建训练得到可用的敏感区域识别模型，根据敏感区域的识别结果，将无人机航拍图像序列与航拍区域的真实坐标进行对应，得到不同航拍区域的地形标注，实现航拍区域的地形信息提取。
附图说明
图1为本发明一实施例提供的一种海量图像条件下的快速目标场景信息提取方法的流程示意图；
图2为本发明一实施例提供的海量图像条件下的快速目标场景信息提取装置的功能模块图；
图3为本发明一实施例提供的实现海量图像条件下的快速目标场景信息提取方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种海量图像条件下的快速目标场景信息提取方法。所述海量图像条件下的快速目标场景信息提取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述海量图像条件下的快速目标场景信息提取方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
S1：获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，其中所述特征降维方法为航拍图像子图流形学习。
所述S1步骤中对航拍图像序列A中的每张航拍图像进行特征提取，包括：
需要解释的是，通过在无人机下方安装摄像头，将无人机部署在航拍区域上空上空，并设置无人机的航行路径为从南到北，从东到西，摄像头的拍摄间隔为2秒，得到有序的航拍图像序列，且每张航拍图像的大小相同，设置航拍区域的南北宽度为M，东西长度为N，将无人机的初始未知布置在航拍区域的最南方以及最东方的坐标点，将该坐标点作为坐标轴原点，南北方向为X轴，东西方向为Y轴，则航拍图像序列中第
Figure RE-GDA0003749508850000071
张图像
Figure RE-GDA0003749508850000072
所对应的航拍区域坐标为
Figure RE-GDA0003749508850000073
其中：
Figure RE-GDA0003749508850000074
Figure RE-GDA0003749508850000075
其中：
v为无人机每秒的航行距离；
odd为奇数，even为偶数，mod为取模运算符；
获取无人机的航拍图像序列A，其中航拍图像序列A中的航拍图像集合为：
{I1，I2，...，Ii，...，In}
其中：
Ii为航拍图像序列A中的第i张图像，n表示航拍图像序列A中图像的总数；
对航拍图像序列A中的任意一张航拍图像Ii，利用特征提取方法提取Ii的特征fi，所述特征提取方法流程为：
1)设置固定大小的图像块，将航拍图像均匀划分为若干同等大小的图像块；
2)构建每个图像块中像素的尺度空间：
Figure RE-GDA0003749508850000081
Figure RE-GDA0003749508850000082
其中：
Ii，k(p，q)为航拍图像Ii的第k个图像块的第p行第q列像素的灰度值；
*为卷积计算；
σ1，σ2为尺度因子，将σ1设置为1，将σ2设置为2，L(Ii，k(p，q)，σ1)为航拍图像Ii的第k个图像块中第p行第q列像素的σ1尺度空间，L(Ii，k(p，q)，σ2)为航拍图像Ii的第k个图像块中第p行第q列像素的σ2尺度空间；
3)基于尺度空间构建高斯差分空间：
G(Ii，k(p，q))＝L(Ii，k(p，q)，σ2)-L(Ii，k(p，q)，σ1)
其中：
G(Ii，k(p，q))为航拍图像Ii的第k个图像块中第p行第q列像素的高斯尺度空间；
对高斯差分空间中每个像素进行检测，若该像素为邻近8个像素的极大值或极小值，则将该像素标记为该图像块内的特征点fi，k(p′，q′)；
计算该特征点所对应像素点Ii，k(p′，q′)的梯度方向θ(p′，q′)：
Figure RE-GDA0003749508850000083
将图像块内所有特征点的梯度方向构成梯度直方图，其中梯度直方图的横轴表示梯度方向值，纵轴表示该梯度方向下特征点的数量；
对不同梯度方向的特征点数量进行编码，将梯度直方图转换为特征向量，则航拍图像Ii中第k个图像块的特征向量为fi，k；
在本发明实施例中，特征向量中的数值位置表示梯度方向，数值大小表示该梯度方向的特征点数量；
4)重复上述步骤2)-3)，得到航拍图像Ii中所有图像块的特征向量，并构成航拍图像Ii的特征fi：
fi＝[fi，1，fi，2，...，fi，m]
其中：
m表示航拍图像中图像块的数目；
5)重复上述步骤1)-4)，得到航拍图像序列A中所有航拍图像的特征。
所述S1步骤中对所提取特征进行降维处理，形成航拍图像序列特征集合，包括：
将航拍图像序列A中n张航拍图像的特征构成特征集合：
{f1，f2，...，fi，...，fn}
利用欧式距离法确定距离任意特征fi最近的k′个特征，构成fi的邻域特征集Ω(i)：
Ω(i)＝{fi1，fi2，...，fik′)
其中：
fik′为特征集合{f1，f2，...，fn}中距离fi第k′近的特征；
计算邻域特征集Ω(i)的权重向量wi：
Figure RE-GDA0003749508850000084
其中：
Ci＝(fi-fij)(fi-fij)T，j∈[1，k′]，Ci -1表示矩阵Ci的逆矩阵；
Dk′表示k′维全为1的向量；
T表示矩阵的转置；
将所有特征的权重向量构成权重矩阵W，并设置矩阵E＝(U-W)(U-W)T，其中 U为单位矩阵，计算E的前n+1个大的特征值所对应的特征向量{d2，d3，...，di+1，...，dn+1}，将di+1作为特征fi的降维后特征，构成航拍图像序列特征集合{d2，d3，...，di+1，...，dn+1}。
S2：构建航拍图像序列A中每幅航拍图像的特征图谱，基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B。
所述S2步骤中基于特征图谱对航拍图像序列中相邻航拍图像进行图像相似度计算，包括：
对于航拍图像序列A中的任意一张航拍图像Ii，将di+1作为航拍图像Ii的特征图谱Fi，计算任意航拍图像Ii的特征图谱Fi，与相邻航拍图像特征图谱Fi+1，Fi-1的图像相似度，其中所述图像相似度计算公式为：
Sim(Fi，Fi+1)＝||Fi-Fi+1||1
其中：
Sim(Fi，Fi+1)为特征图谱Fi与特征图谱Fi+1的图像相似度；
||·||1为1-范数。
所述S2步骤根据相似度计算结果构建航拍图像序列B，包括：
若计算结果小于指定阈值ξ则所计算的两张相邻航拍图像为相似图像，否则所计算的两张相邻航拍图像不为相似图像，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B，其中所述图像的像素灰度值标准差越大则图像信息越丰富。
S3：对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，其中所述特征提取方法为多尺度融合方法。
所述S3步骤中对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，包括：
所述航拍图像序列B中的航拍图像集合为：
{I′1，I′2，...，I′j，...，I′n′}
其中：
I′j为航拍图像序列B中的第j张图像；
n′为航拍图像序列B中的图像总数，n′≤n；
分别提取航拍图像序列B中线性结构特征以及非线性结构特征，对于航拍图像I′j，其线性结构特征的提取流程为：
1)对航拍图像I′j所有图像块的特征向量的进行中心化处理，即：
Figure RE-GDA0003749508850000091
其中：
fj′k为航拍图像I′j的第k个图像块的特征向量fj′k，m为航拍图像的图像块总数；
fj′k′为航拍图像I′j的第k个图像块的中心化处理后的特征向量；
2)将航拍图像I′j中所有中心化处理后的特征向量构成特征矩阵M′j：
Figure RE-GDA0003749508850000092
3)设定线性结构特征的特征维数为m′；
4)计算矩阵M′j的协方差矩阵Cj：
Figure RE-GDA0003749508850000101
其中：
T表示矩阵的转置；
4)计算协方差矩阵Cj的特征值λ：
|Cj-λU|＝0
其中：
U表示单位矩阵；
选取特征值最大的m′个特征值，分别计算协方差矩阵Cj的特征向量ρ：
ρ＝Cj-λ′U
λ′为特征值最大的m′个特征值的集合，将前m′大的特征值所对应的特征向量构成向量矩阵，则航拍图像I′j的线性结构特征Linj即为矩阵M′j与向量矩阵的乘积；
航拍图像序列B中的线性结构特征集合为：
{Lin1，Lin2，...，Linj，...，Linn′}
所述航拍图像I′j的非线性结构特征提取流程为：
1)将航拍图像I′j分解为高斯金字塔，其中高斯金子塔的底层为原始高分辨率的航拍图像I′j，高斯金字塔的顶层为最低分辨率下的航拍图像I′j；
2)以高斯金字塔的顶层图像作为拉普拉斯金子塔的底层图像，其中底层图像为拉普拉斯金字塔的第一层图像，基于底层图像进行图像上采样，形成拉普拉斯金字塔，所述图像上采样的流程为：
Lapa+1＝UP(Lapa)*Gauss5×5
其中：
Gauss5×5为5×5像素大小的高斯内核；
Lapa为拉普拉斯金字塔中第a层图像，UP(Lapa)表示对图像Lapa进行上采样处理，即将图像Lapa中坐标(x′，y′)的像素映射到Lapa+1中的坐标位置(2x′+1，2y′+1)；
3)对上采样处理后图像的缺失像素进行插值填充处理，对于偶数行，偶数列的缺失像素，对以该缺失像素为中点的正负45°直线上的四个顶角像素的值取平均值，将平均值作为该像素点的灰度值；对于偶数行，奇数列的缺失像素，取该缺失像素上下两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；对于奇数行，偶数列的缺失像素，取该缺失像素左右两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；
4)将拉普拉斯金字塔中奇数层图像进行卷积处理，将卷积结果作为航拍图像I′j的多尺度融合的非线性结构特征NLinj；
航拍图像序列B中的非线性结构特征集合为：
{NLin1，NLin2，...，NLinj，...，NLinn′}
则对于航拍图像序列B中的任意航拍图像I′j，其特征向量为[Linj，NLinj]。
S4：基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，基于迁移学习的卷积网络模型为进行敏感区域识别的手段。
所述S4步骤中基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，包括：
构建基于迁移学习的卷积网络模型，其中所述卷积网络模型包括输入层、敏感区域识别层以及输出层，输入层的输入为航拍图像序列B中每张图像的线性结构特征以及非线性结构特征，输入层用于对输入特征进行特征提取，利用预训练模型对输入层进行训练，将训练得到的参数直接作为卷积网络模型中输入层的参数，提高后续模型训练的效率，加快敏感区域识别的速度，实现基于迁移学习的模型训练过程，所述输入层的公式为：
fin＝Conv(Lin，NLin)
其中：
Lin，NLin分别为输入模型的线性结构特征以及非线性结构特征；
Conv(·)为将输入结果进行卷积处理，将卷积处理的结果作为输入层输出的提取特征 fin；
敏感区域识别层用于将提取特征与得分图进行比较，所述得分图的形式为{form，feature，score}，其中form表示地形，feature表示地形的特征，score表示地形的敏感度得分，地形越复杂则敏感度得分越高；所述敏感区域识别层通过计算特征fin与得分图中任意特征feature的相似度Sim(fin，feature)，选取相似度最高的feature所对应的form以及score作为图像的地形以及敏感度得分，将图像的地形以及敏感度得分作为输出层的输出值，并标记该图像的地形以及敏感度得分，设置敏感度得分阈值，若该图像的敏感度得分大于敏感度得分阈值，则提示工作人员该图像所对应的航拍区域地形复杂；将该图像映射到无人机的航拍区域，将图像的地形在航拍区域进行标记，得到航拍区域的地形信息。
在本发明实施例中，通过采集不同地形form的图像，分别提取地形图像的线性结构特征以及非线性结构特征，将两者进行卷积得到地形的feature，并人工标注敏感度得分，从而构成得分图。
实施例2：
如图2所示，是本发明一实施例提供的海量图像条件下的快速目标场景信息提取装置的功能模块图，其可以实现实施例1中的快速目标场景信息提取方法。
本发明所述海量图像条件下的快速目标场景信息提取装置100可以安装于电子设备中。根据实现的功能，所述海量图像条件下的快速目标场景信息提取装置可以包括特征提取模块101、相似度计算模块102及地形提取装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
特征提取模块101，用于获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，构建航拍图像序列A中每幅航拍图像的特征图谱，对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构；
相似度计算模块102，用于基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
地形提取装置103，用于基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息。
详细地，本发明实施例中所述海量图像条件下的快速目标场景信息提取装置100中的所述各模块在使用时采用与上述的图1中所述的海量图像条件下的快速目标场景信息提取方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3：
如图3所示，是本发明一实施例提供的实现海量图像条件下的快速目标场景信息提取方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如快速目标场景信息提取程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11 还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如快速目标场景信息提取程序12 的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器 11内的程序或者模块(快速目标场景信息提取程序等)，以及调用存储在所述存储器11 内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11 以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的快速目标场景信息提取程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，其中所述特征降维方法为航拍图像子图流形学习；
构建航拍图像序列A中每幅航拍图像的特征图谱，基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，其中所述特征提取方法为多尺度融合方法；
基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，基于迁移学习的卷积网络模型为进行敏感区域识别的手段。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述方法包括：
S1：获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，其中对航拍图像序列A中的每张航拍图像进行特征提取，包括：
获取无人机的航拍图像序列A，其中航拍图像序列A中的航拍图像集合为：
{I1,I2,…,Ii,…,In}
其中：
Ii为航拍图像序列A中的第i张图像，n表示航拍图像序列A中图像的总数；
对航拍图像序列A中的任意一张航拍图像Ii，利用特征提取方法提取Ii的特征fi，所述特征提取方法流程为：
1)设置固定大小的图像块，将航拍图像均匀划分为若干同等大小的图像块；
2)构建每个图像块中像素的尺度空间：
Figure RE-FDA0003749508840000011
Figure RE-FDA0003749508840000012
其中：
Ii,k(p,q)为航拍图像Ii的第k个图像块的第p行第q列像素的灰度值；
*为卷积计算；
σ1,σ2为尺度因子，将σ1设置为1，将σ2设置为2，L(Ii,k(p,q),σ1)为航拍图像Ii的第k个图像块中第p行第q列像素的σ1尺度空间，L(Ii,k(p,q),σ2)为航拍图像Ii的第k个图像块中第p行第q列像素的σ2尺度空间；
3)基于尺度空间构建高斯差分空间：
G(Ii,k(p,q))＝L(Ii,k(p,q),σ2)-L(Ii,k(p,q),σ1)
其中：
G(Ii,k(p,q))为航拍图像Ii的第k个图像块中第p行第q列像素的高斯尺度空间；
对高斯差分空间中每个像素进行检测，若该像素为邻近8个像素的极大值或极小值，则将该像素标记为该图像块内的特征点fi,k(p′,q′)；
计算该特征点所对应像素点Ii,k(p′,q′)的梯度方向θ(p′,q′)：
Figure RE-FDA0003749508840000013
将图像块内所有特征点的梯度方向构成梯度直方图，其中梯度直方图的横轴表示梯度方向值，纵轴表示该梯度方向下特征点的数量；
对不同梯度方向的特征点数量进行编码，将梯度直方图转换为特征向量，则航拍图像Ii中第k个图像块的特征向量为fi,k；
4)重复上述步骤2)-3)，得到航拍图像Ii中所有图像块的特征向量，并构成航拍图像Ii的特征fi：
fi＝[fi,1,fi,2,…,fi,m]
其中：
m表示航拍图像中图像块的数目；
5)重复上述步骤1)-4)，得到航拍图像序列A中所有航拍图像的特征；
S2：构建航拍图像序列A中每幅航拍图像的特征图谱，基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
S3：对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，其中所述特征提取方法为多尺度融合方法；
S4：基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，基于迁移学习的卷积网络模型为进行敏感区域识别的手段。
2.如权利要求1所述的一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述特征降维方法为航拍图像子图流形学习，包括：
将航拍图像序列A中n张航拍图像的特征构成特征集合：
{f1,f2,…,fi,…,fn}
利用欧式距离法确定距离任意特征fi最近的k′个特征，构成fi的邻域特征集Ω(i)：
Ω(i)＝{fi1,fi2,…,fik′}
其中：
fik′为特征集合{f1,f2,…,fn}中距离fi第k′近的特征；
计算邻域特征集Ω(i)的权重向量wi：
Figure RE-FDA0003749508840000021
其中：
Ci＝(fi-fij)(fi-fij)T,j∈[1,k′]，Ci -1表示矩阵Ci的逆矩阵；
Dk′表示k′维全为1的向量；
T表示矩阵的转置；
将所有特征的权重向量构成权重矩阵W，并设置矩阵E＝(U-W)(U-W)T，其中U为单位矩阵，计算矩阵E的前n+1个大的特征值所对应的特征向量{d2,d3,…,di+1,…,dn+1}，将di+1作为特征fi的降维后特征，构成航拍图像序列特征集合{d2,d3,…,di+1,…,dn+1}。
3.如权利要求1所述的一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述S2步骤中基于特征图谱对航拍图像序列中相邻航拍图像进行图像相似度计算，包括：
对于航拍图像序列A中的任意一张航拍图像Ii，将降维处理后的di+1作为航拍图像Ii的特征图谱Fi，计算任意航拍图像Ii的特征图谱Fi，与相邻航拍图像特征图谱Fi+1,Fi-1的图像相似度，其中所述图像相似度计算公式为：
Sim(Fi,Fi+1)＝||Fi-Fi+1||1
其中：
Sim(Fi,Fi+1)为特征图谱Fi与特征图谱Fi+1的图像相似度；
||·||1为1-范数。
4.如权利要求3所述的一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述S2步骤根据相似度计算结果构建航拍图像序列B，包括：
若计算结果小于指定阈值ξ则所计算的两张相邻航拍图像为相似图像，否则所计算的两张相邻航拍图像不为相似图像，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B，其中所述图像的像素灰度值标准差越大则图像信息越丰富。
5.如权利要求4所述的一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述S3步骤中对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构，包括：
所述航拍图像序列B中的航拍图像集合为：
{I′1,I′2,…,I′j,…,I′n′}
其中：
I′j为航拍图像序列B中的第j张图像；
n′为航拍图像序列B中的图像总数，n′≤n；
分别提取航拍图像序列B中线性结构特征以及非线性结构特征，对于航拍图像I′j，其线性结构特征的提取流程为：
1)对航拍图像I′j所有图像块的特征向量的进行中心化处理，即：
Figure RE-FDA0003749508840000031
其中：
fj′k为航拍图像I′j的第k个图像块的特征向量fj′k，m为航拍图像的图像块总数；
fj′k′为航拍图像I′j的第k个图像块的中心化处理后的特征向量；
2)将航拍图像I′j中所有中心化处理后的特征向量构成特征矩阵M′j：
Figure RE-FDA0003749508840000032
3)设定线性结构特征的特征维数为m′；
4)计算矩阵M′j的协方差矩阵Cj：
Figure RE-FDA0003749508840000033
其中：
T表示矩阵的转置；
4)计算协方差矩阵Cj的特征值λ：
|Cj-λU|＝0
其中：
U表示单位矩阵；
选取特征值最大的m′个特征值，分别计算协方差矩阵Cj的特征向量ρ：
ρ＝Cj-λ′U
λ′为特征值最大的m′个特征值的集合，将前m′大的特征值所对应的特征向量构成向量矩阵，则航拍图像I′j的线性结构特征Linj即为矩阵M′j与向量矩阵的乘积；
航拍图像序列B中的线性结构特征集合为：
{Lin1,Lin2,…,Linj,…,Linn′}
所述航拍图像I′j的非线性结构特征提取流程为：
1)将航拍图像I′j分解为高斯金字塔，其中高斯金子塔的底层为原始高分辨率的航拍图像I′j，高斯金字塔的顶层为最低分辨率下的航拍图像I′j；
2)以高斯金字塔的顶层图像作为拉普拉斯金子塔的底层图像，其中底层图像为拉普拉斯金字塔的第一层图像，基于底层图像进行图像上采样，形成拉普拉斯金字塔，所述图像上采样的流程为：
Lapa+1＝UP(Lapa)*Gauss5×5
其中：
Gauss5×5为5×5像素大小的高斯内核；
Lapa为拉普拉斯金字塔中第a层图像，UP(Lapa)表示对图像Lapa进行上采样处理，即将图像Lapa中坐标(x′,y′)的像素映射到Lapa+1中的坐标位置(2x′+1,2y′+1)；
3)对上采样处理后图像的缺失像素进行插值填充处理，对于偶数行，偶数列的缺失像素，对以该缺失像素为中点的正负45°直线上的四个顶角像素的值取平均值，将平均值作为该像素点的灰度值；对于偶数行，奇数列的缺失像素，取该缺失像素上下两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；对于奇数行，偶数列的缺失像素，取该缺失像素左右两个像素的平均灰度值，将平均灰度值作为该像素点的灰度值；
4)将拉普拉斯金字塔中奇数层图像进行卷积处理，将卷积结果作为航拍图像I′j的多尺度融合的非线性结构特征NLinj；
航拍图像序列B中的非线性结构特征集合为：
{NLin1,NLin2,…,NLinj,…,NLinn′}
则对于航拍图像序列B中的任意航拍图像I′j，其特征向量为[Linj,NLinj]。
6.如权利要求1所述的一种海量图像条件下的快速目标场景信息提取方法，其特征在于，所述S4步骤中基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，包括：
构建基于迁移学习的卷积网络模型，其中所述卷积网络模型包括输入层、敏感区域识别层以及输出层，输入层的输入为航拍图像序列B中每张图像的线性结构特征以及非线性结构特征，输入层用于对输入特征进行特征提取，利用预训练模型对输入层进行训练，将训练得到的参数直接作为卷积网络模型中输入层的参数，所述输入层的公式为：
fin＝Conv(Lin,NLin)
其中：
Lin,NLin分别为输入模型的线性结构特征以及非线性结构特征；
Conv(·)为将输入结果进行卷积处理，将卷积处理的结果作为输入层输出的提取特征fin；
敏感区域识别层用于将提取特征与得分图进行比较，所述得分图的形式为{form,feature,score}，其中form表示地形，feature表示地形的特征，score表示地形的敏感度得分；所述敏感区域识别层通过计算特征fin与得分图中任意特征feature的相似度Sim(fin,feature)，选取相似度最高的feature所对应的form以及score作为图像的地形以及敏感度得分，将图像的地形以及敏感度得分作为输出层的输出值，并标记该图像的地形以及敏感度得分，设置敏感度得分阈值，若该图像的敏感度得分大于敏感度得分阈值，则提示工作人员该图像所对应的航拍区域地形复杂；将该图像映射到无人机的航拍区域，将图像的地形在航拍区域进行标记，得到航拍区域的地形信息。
7.一种海量图像条件下的快速目标场景信息提取装置，其特征在于，所述装置包括：
特征提取模块，用于获取无人机的航拍图像序列A，对航拍图像序列A中的每张航拍图像进行特征提取，并对所提取特征进行降维处理，形成航拍图像序列特征集合，构建航拍图像序列A中每幅航拍图像的特征图谱，对航拍图像序列B中的每一张图像进行特征提取，获取每张航拍图像的线性结构和非线性结构；
相似度计算模块，用于基于特征图谱对航拍图像序列A中相邻航拍图像进行图像相似度计算，若计算结果小于指定阈值则所计算的两张相邻航拍图像为相似图像，否则不是，将不存在相似图像的航拍图像以及相似图像中信息最丰富的图像构成航拍图像序列B；
地形提取装置，用于基于航拍图像序列B中每张图像的线性结构特征以及非线性结构特征对航拍区域进行敏感区域识别，得到航拍区域地形信息，以实现如权利要求1-6任一所述的一种海量图像条件下的快速目标场景信息提取方法。
CN202210681916.2A 2022-06-16 2022-06-16 一种海量图像条件下的快速目标场景信息提取方法 Active CN114926753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210681916.2A CN114926753B (zh) 2022-06-16 2022-06-16 一种海量图像条件下的快速目标场景信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210681916.2A CN114926753B (zh) 2022-06-16 2022-06-16 一种海量图像条件下的快速目标场景信息提取方法

Publications (2)

Publication Number Publication Date
CN114926753A true CN114926753A (zh) 2022-08-19
CN114926753B CN114926753B (zh) 2023-10-13

Family

ID=82814473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210681916.2A Active CN114926753B (zh) 2022-06-16 2022-06-16 一种海量图像条件下的快速目标场景信息提取方法

Country Status (1)

Country Link
CN (1) CN114926753B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096658A (zh) * 2016-06-16 2016-11-09 华北理工大学 基于无监督深度空间特征编码的航拍图像分类方法
CN106886785A (zh) * 2017-02-20 2017-06-23 南京信息工程大学 一种基于多特征哈希学习的航拍图像快速匹配算法
CN107067411A (zh) * 2017-01-03 2017-08-18 江苏慧眼数据科技股份有限公司 一种结合密集特征的Mean‑shift跟踪方法
US20170356976A1 (en) * 2016-06-10 2017-12-14 Board Of Trustees Of Michigan State University System and method for quantifying cell numbers in magnetic resonance imaging (mri)
CN108154082A (zh) * 2016-12-02 2018-06-12 经纬航太科技股份有限公司 航拍影像自动物体侦测的方法及系统
CN108681696A (zh) * 2018-04-28 2018-10-19 河海大学 融合多特征降维和迁移学习的红外目标稳健性识别方法
CN109241817A (zh) * 2018-07-02 2019-01-18 广东工业大学 一种无人机拍摄的农作物图像识别方法
CN110008978A (zh) * 2017-12-07 2019-07-12 亿目朗欧洲股份有限公司 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
US20190279402A1 (en) * 2016-09-07 2019-09-12 Trustees Of Tufts College Methods and Systems for Human Imperceptible Computerized Color Transfer
US20190303686A1 (en) * 2018-03-29 2019-10-03 Toyota Jidosha Kabushiki Kaisha Real-Time Detection of Traffic Situation
US20190311203A1 (en) * 2018-04-09 2019-10-10 Accenture Global Solutions Limited Aerial monitoring system and method for identifying and locating object features
CN111274964A (zh) * 2020-01-20 2020-06-12 中国地质大学（武汉） 一种基于无人机视觉显著性分析水面污染物的检测方法
US20200387704A1 (en) * 2019-06-07 2020-12-10 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
KR102210404B1 (ko) * 2019-10-14 2021-02-02 국방과학연구소 위치 정보 추출 장치 및 방법
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
US20210142107A1 (en) * 2019-11-11 2021-05-13 Five AI Limited Image processing
US20210192175A1 (en) * 2019-12-20 2021-06-24 Volant Aerial, Inc. System and method for the early visual detection of forest fires using a deep convolutional neural network
CN113255694A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 训练图像特征提取模型和提取图像特征的方法、装置
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法
US20220004797A1 (en) * 2019-03-29 2022-01-06 Fujifilm Corporation Linear structure extraction device, method, program, and learned model
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170356976A1 (en) * 2016-06-10 2017-12-14 Board Of Trustees Of Michigan State University System and method for quantifying cell numbers in magnetic resonance imaging (mri)
CN106096658A (zh) * 2016-06-16 2016-11-09 华北理工大学 基于无监督深度空间特征编码的航拍图像分类方法
US20190279402A1 (en) * 2016-09-07 2019-09-12 Trustees Of Tufts College Methods and Systems for Human Imperceptible Computerized Color Transfer
CN108154082A (zh) * 2016-12-02 2018-06-12 经纬航太科技股份有限公司 航拍影像自动物体侦测的方法及系统
CN107067411A (zh) * 2017-01-03 2017-08-18 江苏慧眼数据科技股份有限公司 一种结合密集特征的Mean‑shift跟踪方法
CN106886785A (zh) * 2017-02-20 2017-06-23 南京信息工程大学 一种基于多特征哈希学习的航拍图像快速匹配算法
CN110008978A (zh) * 2017-12-07 2019-07-12 亿目朗欧洲股份有限公司 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统
US20190303686A1 (en) * 2018-03-29 2019-10-03 Toyota Jidosha Kabushiki Kaisha Real-Time Detection of Traffic Situation
US20190311203A1 (en) * 2018-04-09 2019-10-10 Accenture Global Solutions Limited Aerial monitoring system and method for identifying and locating object features
CN108681696A (zh) * 2018-04-28 2018-10-19 河海大学 融合多特征降维和迁移学习的红外目标稳健性识别方法
CN109241817A (zh) * 2018-07-02 2019-01-18 广东工业大学 一种无人机拍摄的农作物图像识别方法
US20220004797A1 (en) * 2019-03-29 2022-01-06 Fujifilm Corporation Linear structure extraction device, method, program, and learned model
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
US20200387704A1 (en) * 2019-06-07 2020-12-10 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
KR102210404B1 (ko) * 2019-10-14 2021-02-02 국방과학연구소 위치 정보 추출 장치 및 방법
US20210142107A1 (en) * 2019-11-11 2021-05-13 Five AI Limited Image processing
US20210192175A1 (en) * 2019-12-20 2021-06-24 Volant Aerial, Inc. System and method for the early visual detection of forest fires using a deep convolutional neural network
CN111274964A (zh) * 2020-01-20 2020-06-12 中国地质大学（武汉） 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113255694A (zh) * 2021-05-21 2021-08-13 北京百度网讯科技有限公司 训练图像特征提取模型和提取图像特征的方法、装置
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法

Also Published As

Publication number Publication date
CN114926753B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN110020651B (zh) 基于深度学习网络的车牌检测定位方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN107944450B (zh) 一种车牌识别方法及装置
CN110163193B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
Liu et al. Fg-net: A fast and accurate framework for large-scale lidar point cloud understanding
CN106504233A (zh) 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
WO2023082784A1 (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN110781350A (zh) 一种面向全画面监控场景的行人检索方法及系统
CN111310746B (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN111612024B (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
Suhr et al. End-to-end trainable one-stage parking slot detection integrating global and local information
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
Petrovai et al. Multi-task network for panoptic segmentation in automated driving
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
Xia et al. Mixed spatial pyramid pooling for semantic segmentation
CN111626241A (zh) 一种人脸检测方法及装置
CN112084988B (zh) 车道线实例聚类方法、装置、电子设备和存储介质
CN115358497B (zh) 基于gis技术的智慧全景巡河方法及系统
CN111898589A (zh) 一种基于gpu+特征识别的无人机影像快速配准方法
CN116580326A (zh) 一种航空环境安全风险防控检测及预警系统
CN116912574A (zh) 一种基于孪生网络的多尺度目标感知分类方法及系统
CN114926753A (zh) 一种海量图像条件下的快速目标场景信息提取方法
CN115972198A (zh) 一种非完全信息条件下的机械臂视觉抓取方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant