CN115248876A - 基于内容理解的遥感影像统筹推荐方法 - Google Patents

基于内容理解的遥感影像统筹推荐方法 Download PDF

Info

Publication number
CN115248876A
CN115248876A CN202210992027.8A CN202210992027A CN115248876A CN 115248876 A CN115248876 A CN 115248876A CN 202210992027 A CN202210992027 A CN 202210992027A CN 115248876 A CN115248876 A CN 115248876A
Authority
CN
China
Prior art keywords
image
node
feature
image set
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210992027.8A
Other languages
English (en)
Other versions
CN115248876B (zh
Inventor
陈宇
彭哲
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202210992027.8A priority Critical patent/CN115248876B/zh
Publication of CN115248876A publication Critical patent/CN115248876A/zh
Priority to PCT/CN2023/113515 priority patent/WO2024037585A1/zh
Application granted granted Critical
Publication of CN115248876B publication Critical patent/CN115248876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于内容理解的遥感影像统筹推荐方法，该方法包括以下步骤：S1.获取查询条件和第一影像集；S2.获取第一影像集的深度特征；S3.获取第一影像集的局部特征；S4.获取第一影像集的融合特征；S5.获取第一影像集中每张影像间的融合特征相似度；S6.从第一影像集中选取初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率；S7.将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集；S8.对用户推荐第二影像集。该方法通过将影像集的融合特征相似度和影像的有效覆盖率作为优选指标，进行分裂树搜索，能够快速获取推荐影像集。

Description

基于内容理解的遥感影像统筹推荐方法
技术领域
本发明涉及遥感影像处理领域，具体涉及一种基于内容理解的遥感影像统筹推荐方法。
背景技术
随着航空航天技术、传感器技术、网络技术、数据库技术的飞速发展，可获取的遥感影像数据正在以惊人的速度（指数级）急剧增长，例如，陆地遥感（LANDSAT）两星期内就可以将全球拍摄一遍；美国宇航局（NASA）实施的地球行星项目每天可以产生1000GB的数据。遥感影像数据的迅速增长为其在环境监测、灾害管理、森林预警、农情监测、城市规划等众多领域日益广泛的应用创造了非常有利的前提条件。然而，如何从众多的大型遥感影像数据库中，快速和高效推荐感兴趣的目标仍然是一件繁琐、艰难的工作，己经成为遥感影像信息提取和共享的瓶颈难题。
基于内容的图像推荐技术正是在这种背景下，成为近年来国内外图像数据库技术研究中的一个新的热点，它克服了传统的基于文本的图像推荐中人工标注效率低、主观性强等缺点，有着广泛的应用前景。基于内容的图像推荐在20世纪90年代初被提出，该方法是对图像按从高到低的层次进行分析和理解的角度来获取图像的各类视觉特征(如颜色、纹理、形状等)，然后再根据这些图像的内容特征来进行图像的推荐。这种推荐模式是对基于“关键字找图”的一大突破，它不需要或者涉及少量的人为干预，用户可以通过提交样例图像或者草图的方式进行图像匹配，系统通过提取样例图像和草图的特征后，与数据库中的图像特征进行相似性匹配，得到的图像再通过用户提供的反馈信息再进行推荐，经过多次反馈后，最终将得到的图像集推荐给用户。这种方式就可以很好地避免了因人工图像标注导致的“答非所问”的问题，已经成为国际视觉信息领域中的研究热点，在医学图像、电子图书馆、专利商标检索、建筑设计等领域有着广泛的应用。
遥感影像统筹推荐，通常是结合时间、地域等查询条件进行一组影像的精准推荐。在现有的遥感影像统筹推荐方法中缺少对影像内容的理解，导致影像推荐策略不够合理，推荐结果不够全面。另一方面，现有的基于影像特征搜索相似影像的影像推荐方法又无法同时满足结合时间、地域等条件的一组影像推荐需求，无法服务于该应用场景，因而也无法直接实现遥感影像统筹推荐的目的。
发明内容
本发明提出一种基于内容理解的遥感影像统筹推荐方法，该方法通过结合遥感影像统筹推荐和基于影像特征搜索的影像推荐方法，实现了兼顾内容理解和时间、地域应用场景的遥感影像统筹推荐方法，通过融合特征的相似度和有效覆盖率作为树搜索的优选指标进行影像搜索，能够实现基于内容理解的影像推荐，同时通过分裂扩展方式能够实现快速的树搜索，进而实现影像集的快速推荐。
为实现上述技术目的，本发明的技术方案如下：
一种基于内容理解的遥感影像统筹推荐方法，该方法包括以下步骤：
S1 获取查询条件，基于查询条件从影像库中获取第一影像集，查询条件包括目标区域；
S2 使用预训练的自编码器的编码器部分对第一影像集中的每张影像进行特征提取，得到第一影像集的深度特征；
S3 使用局部特征提取方法对第一影像集中的每张影像进行特征提取，得到第一影像集的局部特征；
S4 对第一影像集中每张影像的深度特征和局部特征一一进行特征融合，得到第一影像集的融合特征；
S5 对第一影像集的融合特征两两进行相似度计算，得到第一影像集的特征相似度；
S6 从第一影像集中选取质量最高的影像，得到初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率，所述有效覆盖率基于目标区域获得；
S7 将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集，其中，每次分裂扩展得到当前节点的两个子节点，所述分裂搜索树的每个节点均从第一影像集中获得；
S8 对用户推荐第二影像集。
可选地，步骤S7，包括：
S71 将初始影像设置为分裂搜索树的根节点，将根节点设置为当前节点；
S72 从当前节点出发，判断当前节点是否被扩展过，若是，则执行步骤S73，若否，则执行步骤S74；
S73 从根节点开始，根据优选指标赋予其子节点权值，以其子节点的权值生成概率，根据概率随机选择子节点，直到未扩展过的子节点，将该子节点设置为当前节点；
S74 对当前节点进行分裂扩展，得到当前节点的第一子节点和第二子节点，其中，第一子节点为优选指标最优的影像，第二子节点为与当前路径的特征相似度最低的影像；
S75 根据优选指标将权值赋予第一子节点和第二子节点；
S76 分别判断第一子节点从属路径上的影像组和第二子节点从属路径上的影像组是否完全覆盖目标区域，若是，则认为该路径到达终点，停止该路径的搜索并执行步骤S77，若否，则执行步骤S72；
S77 判断到达终点的路径的数量是否达到预设阈值，若是，则执行步骤S78，若否，则执行步骤S73；
S78 从到达终点的路径中选取具有最大权值和的路径，选取该路径上的影像组，得到第二影像集。
可选地，根据优选指标赋予节点权值的方法为：
Figure 650097DEST_PATH_IMAGE001
其中，w为节点权值，S为子节点与当前路径的特征相似度，C为子节点的有效覆盖率，
Figure 567237DEST_PATH_IMAGE002
和
Figure 206029DEST_PATH_IMAGE003
为预设参数，所述有效覆盖率为该子节点影像对目标区域的覆盖区域中除去其与当前路径影像对目标区域的覆盖区域的交集区域的区域占该子节点影像的面积的比例。
可选地，当当前路径包括多个节点时，赋予当前路径中每个节点基于与子节点的距离生成的权重，基于子节点与当前路径中每个节点的特征相似度的加权和得到子节点与当前路径的特征相似度：
Figure 601238DEST_PATH_IMAGE004
其中，
Figure 415611DEST_PATH_IMAGE005
为衰减项，当前路径中每个节点均为子节点的父节点，d为子节点与其父节点间的距离，d=0时表示该父节点为子节点的直接父节点，与子节点直接相连，
Figure 300390DEST_PATH_IMAGE006
为权重，sd为子节点影像与其距离d的父节点的特征相似度，N为子节点的深度。
可选地，步骤S4，包括：
对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，得到每张影像的独立深度特征、独立局部特征和相关特征；
对每张影像的独立深度特征、独立局部特征和相关特征进行特征融合，得到第一影像集的融合特征。
可选地，所述对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，包括：
由第一影像集中每张影像的深度特征和局部特征的特征向量组成每张影像的第一特征矩阵和第二特征矩阵；
分别对第一特征矩阵和第二特征矩阵进行方差计算，得到第一方差矩阵和第二方差矩阵；
对第一特征矩阵和第二特征矩阵进行协方差计算，得到协方差矩阵；
由第一方差矩阵和协方差矩阵构成第一基，由第二方差矩阵和协方差矩阵构成第二基；
根据第一基得到每张影像的独立深度特征和每张影像的相关特征，根据第二基得到每张影像的独立局部特征。
可选地，步骤S3中，所述局部特征提取方法为主成分分析特征提取、灰度共生矩阵特征提取、laws纹理能量特征提取、小波特征提取、SURF特征提取、LBP特征提取、SIFT特征提取中的至少一种。
可选地，步骤S2中，所述自编码器为卷积自编码器，其编码器部分为三层卷积神经网络结构，第一层卷积核数目为16，卷积核大小为3×3，步长为1；第二层卷积核数目为8，卷积核大小为3×3，步长为1；第三层卷积核数目为8，卷积核大小为3×3，步长为1；每层卷积层后连接一个2×2的最大池化层。
本发明提出了一种基于内容理解的遥感影像统筹推荐方法。该方法获取查询条件，基于查询条件获取第一影像集，使用自编码器的编码器部分提取第一影像集的深度特征，并提取第一影像集的局部特征，对深度特征和局部特征进行特征融合，得到第一影像集的融合特征，对融合特征两两进行相似度计算，得到第一影像集的特征相似度，从第一影像集中选取质量最高的影像，得到初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率，所述有效覆盖率基于目标区域获得，将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集，其中，每次分裂扩展得到当前节点的两个子节点，所述分裂搜索树的每个节点均从第一影像集中获得，对用户推荐第二影像集。本发明的有益效果为：
（1）通过结合遥感影像统筹推荐和基于影像特征搜索的影像推荐方法，实现了兼顾内容理解和时间、地域应用场景的遥感影像统筹推荐方法；
（2）通过提取影像集的深度特征和局部特征，并对其进行特征融合，能够获得克服高层特征与低层特征语义鸿沟的影像融合特征，融合特征能够体现影像内容，进而实现基于内容理解的影像推荐；
（3）通过将影像间融合特征的相似度和影像的有效覆盖率作为优选指标，进行树搜索，能够快速获取满足不同内容需求且完整覆盖目标区域的影像集；
（4）通过分裂搜索树的分裂扩展方式，能够以指数增长的速率增加搜索树的路径，从而实现快速获取多组影像组，完成影像推荐；
（5）通过自编码器的编码器部分进行影像的深度特征提取，能够不借助监督数据获得影像较好的深度特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于内容理解的遥感影像统筹推荐方法的流程示意图；
图2为本发明一实施例中对分裂搜索树进行分裂扩展的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
请参照图1，图1是本发明所述的一种基于内容理解的遥感影像统筹推荐方法流程示意图，该方法包括以下步骤：
S1 获取查询条件，基于查询条件从影像库中获取第一影像集，查询条件包括目标区域。
于本发明一具体实施例中，查询条件包括影像分辨率、星源、传感器类型、目标区域、影像采集时间范围。
在另一具体实施例中，查询条件通过输入关键词的方式获得，系统对关键词进行语义识别后匹配得到相应的查询项。
S2 使用预训练的自编码器的编码器部分对第一影像集中的每张影像进行特征提取，得到第一影像集的深度特征。
在一具体实施例中，自编码器采用卷积自编码器，其编码器部分为三层卷积神经网络结构，第一层卷积核数目为16，卷积核大小为3×3，步长为1；第二层卷积核数目为8，卷积核大小为3×3，步长为1；第三层卷积核数目为8，卷积核大小为3×3，步长为1。每层卷积层后连接一个2×2的最大池化层。
预训练时使用包括第一影像集的影像库影像。由于自编码器通过自监督实现训练，相比使用通常的深度神经网络进行深度特征提取，不需要影像的标签信息作为监督，能够节省大量的人力标注成本。
需要说明的是，自编码器通过编码器和解码器共同完成了输入数据的编码和解码过程，通过编码器将输入变换到隐藏向量再通过解码器重建输入，解码器的输出能够完美地或者近似恢复出原来的输入，通过输入和重建的输入构建的重建误差函数实现该过程。
S3 使用局部特征提取方法对第一影像集中的每张影像进行特征提取，得到第一影像集的局部特征。
局部特征提取方法为下述方法中的一种：
主成分分析特征提取，提取影像的属性剖面特征
Figure 567423DEST_PATH_IMAGE007
的前n个主成分分量，对提取的主成分分量进行叠加，构成主成分特征：
Figure 31903DEST_PATH_IMAGE008
其中，
Figure 700782DEST_PATH_IMAGE009
为对
Figure 694145DEST_PATH_IMAGE010
提取的第n个主成分分量，
Figure 307529DEST_PATH_IMAGE011
为提取的第n个主成分，n为主成分的总个数。
灰度共生矩阵特征提取，对影像进行灰度共生矩阵计算，得到能量、对比度、自相关性、一致性、逆差距、反差的平均值和方差组成的6维灰度特征矢量，其中反差的计算方法为：
Figure 44541DEST_PATH_IMAGE012
其中，N为灰度级，i和j为图像空间中相隔固定距离的两像素的灰度值，
Figure 567926DEST_PATH_IMAGE013
为每种
Figure 60088DEST_PATH_IMAGE014
值出现的概率。其中能量的计算方法为：
Figure 301713DEST_PATH_IMAGE015
其中逆差距的计算方法为：
Figure 576837DEST_PATH_IMAGE016
其中，k为常数，
Figure 485887DEST_PATH_IMAGE017
，其中一致性的计算方法为：
Figure 821053DEST_PATH_IMAGE018
。
laws纹理能量特征提取，通过估计影像纹理中的L3平均向量、E3微分向量、S3斑点向量，并将这些向量与他们自身以及相互卷积之后，产生5个向量，再将这些向量进行相互乘积，把第一项作为列向量，第二行作为行向量，产生5
Figure 549975DEST_PATH_IMAGE019
5的Laws掩膜，将掩膜与图像卷积计算出用于描述纹理的特征量。
小波特征提取，将影像进行小波分解：
Figure 490773DEST_PATH_IMAGE020
其中，n和m分别为行下标和列下标；
Figure 988751DEST_PATH_IMAGE021
满足小波尺度公式，
Figure 760398DEST_PATH_IMAGE022
，h和g是标准滤波器，
Figure 976615DEST_PATH_IMAGE023
是h的共轭，c是低频系数，k是小波分解尺度。小波系数处理如下：
Figure 859121DEST_PATH_IMAGE025
序列
Figure 70659DEST_PATH_IMAGE026
为
Figure 13208DEST_PATH_IMAGE027
的一级二维小波变换，将小波变换的高频部分作为影像特征的提取结果，将小波分解后的子图的均值和方差构成特征矢量。
SURF特征提取，构建Hessian矩阵，检测出所有的关键点，定义尺度空间和主方向，生成关键点的描述子。
LBP特征提取，设定局部窗口，比较窗口区域内中心的像素与周围像素，当周围像素值大于或等于中心像素值时，中心像素赋值为1，否则为0，通过权值模板与窗口区域进行乘和运算，得到中心值。
SIFT特征提取，构建尺度空间，获取尺度空间中的极值点，得到特征点，计算特征点方向，生成特征点描述算子。
于本发明一具体实施例中，将SIFT特征作为局部特征，由于SIFT特征通过特征点获得，当计算两幅影像的SIFT特征的差异时，相差越小表示影像间的重合度越小，相差越大表示影像间的重合度越大，通过该特性可以在影像组搜索中控制获取重合度低的影像，从而实现通过较少的影像实现完整覆盖目标区域。
S4 对第一影像集中每张影像的深度特征和局部特征一一进行特征融合，得到第一影像集的融合特征。
于本发明一具体实施例中，步骤S4包括：
对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，得到每张影像的独立深度特征、独立局部特征和相关特征；
对每张影像的独立深度特征、独立局部特征和相关特征进行特征融合，得到第一影像集的融合特征。
于本发明一具体实施例中，所述对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，包括：
由第一影像集中每张影像的深度特征和局部特征的特征向量组成每张影像的第一特征矩阵和第二特征矩阵；
分别对第一特征矩阵和第二特征矩阵进行方差计算，得到第一方差矩阵和第二方差矩阵；
对第一特征矩阵和第二特征矩阵进行协方差计算，得到协方差矩阵；
由第一方差矩阵和协方差矩阵构成第一基，由第二方差矩阵和协方差矩阵构成第二基；
根据第一基得到每张影像的独立深度特征和每张影像的相关特征，根据第二基得到每张影像的独立局部特征。
需要说明的是，在不同模态的特征中，通常包含部分相关的信息以及部分相互独立的信息。常见的特征融合方法仅保留两种特征中的相关信息，忽略了独立性信息，同时保留两者中的相关信息还会引起冗余。本发明使用改进的特征融合方法，能够消除由于相关性导致的冗余。使用的目标函数为：
Figure 451142DEST_PATH_IMAGE028
本实施例中，X和Y分别为第一影像集中影像的深度特征矩阵和局部特征矩阵。其中，
Figure 934076DEST_PATH_IMAGE029
和
Figure 406646DEST_PATH_IMAGE030
为特征矩阵X和Y的变换基，
Figure 520095DEST_PATH_IMAGE031
和
Figure 710905DEST_PATH_IMAGE032
为X和Y经过投影变换的特征矩阵
Figure 935213DEST_PATH_IMAGE033
，
Figure 996710DEST_PATH_IMAGE034
，
Figure 140115DEST_PATH_IMAGE035
表示
Figure 552642DEST_PATH_IMAGE031
和
Figure 580641DEST_PATH_IMAGE036
的协方差矩阵，
Figure 824541DEST_PATH_IMAGE037
和
Figure 14213DEST_PATH_IMAGE038
分别表示
Figure 179616DEST_PATH_IMAGE031
和
Figure 745726DEST_PATH_IMAGE039
的方差。
用
Figure 47394DEST_PATH_IMAGE040
和
Figure 269953DEST_PATH_IMAGE041
分别表示X和Y的方差矩阵，
Figure 657072DEST_PATH_IMAGE042
表示X和Y的协方差矩阵，根据协方差矩阵所具有的性质，可以得到：
Figure 26873DEST_PATH_IMAGE043
Figure 183048DEST_PATH_IMAGE044
Figure 980103DEST_PATH_IMAGE045
目标函数可以转化为
Figure 588939DEST_PATH_IMAGE046
在目标函数中引入拉格朗日乘子
Figure 621486DEST_PATH_IMAGE047
，得到：
Figure 632167DEST_PATH_IMAGE048
分别对
Figure 600123DEST_PATH_IMAGE029
和
Figure 758572DEST_PATH_IMAGE049
求偏导，可以得到：
Figure 470176DEST_PATH_IMAGE050
由方程组可得：
Figure 335364DEST_PATH_IMAGE051
同时有：
Figure 739800DEST_PATH_IMAGE052
Figure 323228DEST_PATH_IMAGE053
和
Figure 431999DEST_PATH_IMAGE049
分别为
Figure 417272DEST_PATH_IMAGE054
和
Figure 727031DEST_PATH_IMAGE055
的特征向量。
Figure 860072DEST_PATH_IMAGE056
。特征值
Figure 913479DEST_PATH_IMAGE057
最小时，相关性最小，特征值最大时，相关性最大。因此，对
Figure 753259DEST_PATH_IMAGE054
和
Figure 499498DEST_PATH_IMAGE055
进行特征分解，求最小特征值所对应的特征向量，即得到变换基
Figure 791939DEST_PATH_IMAGE053
和
Figure 649036DEST_PATH_IMAGE049
。此时，根据
Figure 205307DEST_PATH_IMAGE053
和
Figure 856868DEST_PATH_IMAGE049
得到的融合特征包含X和Y中相互独立的信息，但忽略了相关性信息。为了提高表征能力，在融合特征中进一步增加X所包含的相关信息，求
Figure 902185DEST_PATH_IMAGE058
的最大特征值所对应的特征向量并表示为
Figure 562973DEST_PATH_IMAGE059
，最终，得到维度为3的融合特征：
Figure 111766DEST_PATH_IMAGE060
其中，
Figure 199808DEST_PATH_IMAGE061
为X中的独立信息，对应影像的独立深度特征，
Figure 325896DEST_PATH_IMAGE062
为Y中的独立信息，对应影像的独立局部特征，
Figure 524796DEST_PATH_IMAGE063
为X中的相关性信息，对应影像的相关特征。
S5对第一影像集的融合特征两两进行相似度计算，得到第一影像集的特征相似度。
本实施例中通过局部敏感哈希(Locality-Sensitive Hashing, LSH)方法计算得到第一影像集中每两张影像间的特征相似度。局部敏感哈希函数
Figure 990412DEST_PATH_IMAGE064
满足以下条件：
Figure 249355DEST_PATH_IMAGE065
其中，
Figure 3685DEST_PATH_IMAGE066
为参与特征相似度计算的第一张影像的特征，
Figure 6276DEST_PATH_IMAGE067
为参与特征相似度计算的第二张影像的特征，
Figure 529661DEST_PATH_IMAGE068
表示
Figure 959505DEST_PATH_IMAGE066
与
Figure 325765DEST_PATH_IMAGE067
的相似度，
Figure 397626DEST_PATH_IMAGE069
表示
Figure 41097DEST_PATH_IMAGE070
的哈希函数，
Figure 376263DEST_PATH_IMAGE071
表示
Figure 158713DEST_PATH_IMAGE067
的哈希函数。相似性度量与距离函数
Figure 237527DEST_PATH_IMAGE072
关联：
Figure 735505DEST_PATH_IMAGE073
局部敏感哈希函数的典型分类由随机投影和阈值给出：
Figure 303889DEST_PATH_IMAGE074
其中，W为随机超平面向量，b为随机截距。
S6 从第一影像集中选取质量最高的影像，得到初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率，所述有效覆盖率基于目标区域获得。
S7 将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集，其中，每次分裂扩展得到当前节点的两个子节点，所述分裂搜索树的每个节点均从第一影像集中获得。
于本发明一具体实施例中，步骤S7，包括：
S71 将初始影像设置为分裂搜索树的根节点，将根节点设置为当前节点；
S72 从当前节点出发，判断当前节点是否被扩展过，若是，则执行步骤S73，若否，则执行步骤S74；
S73 从根节点开始，根据优选指标赋予其子节点权值，以其子节点的权值生成概率，根据概率随机选择子节点，直到未扩展过的子节点，将该子节点设置为当前节点；
S74 对当前节点进行分裂扩展，得到当前节点的第一子节点和第二子节点，其中，第一子节点为优选指标最优的影像，第二子节点为与当前路径的特征相似度最低的影像；
S75 根据优选指标将权值赋予第一子节点和第二子节点；
S76 分别判断第一子节点从属路径上的影像组和第二子节点从属路径上的影像组是否完全覆盖目标区域，若是，则认为该路径到达终点，停止该路径的搜索并执行步骤S77，若否，则执行步骤S72；
S77 判断到达终点的路径的数量是否达到预设阈值，若是，则执行步骤S78，若否，则执行步骤S73；
S78 从到达终点的路径中选取具有最大权值和的路径，选取该路径上的影像组，得到第二影像集。
本实施例中分裂搜索树进行分裂扩展的过程如图2所示，图2中的a所示的是以P1为待扩展节点开始进行的第一次分裂扩展，得到P1的两个子节点P21和P22，图2中的b所示的是继a之后进行第二次分裂扩展的过程示意，以P21为待扩展节点进行分裂扩展，得到P21的两个子节点P31和P32。通过所述分裂搜索树能够快速获取多组完整覆盖目标区域的影像集，并通过优选指标构建的权值进一步提高影像搜索的效率，并且能够获取满足内容需求的影像集。
于本发明一具体实施例中，根据优选指标赋予节点权值的方法为：
Figure 520107DEST_PATH_IMAGE075
其中，w为节点权值，S为子节点与当前路径的特征相似度，C为子节点的有效覆盖率，
Figure 402612DEST_PATH_IMAGE002
和
Figure 817413DEST_PATH_IMAGE003
为预设参数，所述有效覆盖率为该子节点影像对目标区域的覆盖区域中除去其与当前路径影像对目标区域的覆盖区域的交集区域的区域占该子节点影像的面积的比例。本实施例中选取
Figure 759961DEST_PATH_IMAGE076
，
Figure 260213DEST_PATH_IMAGE077
。
于本发明一具体实施例中，当当前路径包括多个节点时，赋予当前路径中每个节点基于与子节点的距离生成的权重，基于子节点与当前路径中每个节点的特征相似度的加权和得到子节点与当前路径的特征相似度：
Figure 680830DEST_PATH_IMAGE078
其中，
Figure 153399DEST_PATH_IMAGE079
为衰减项，当前路径中每个节点均为子节点的父节点，d为子节点与其父节点间的距离，d=0时表示该父节点为子节点的直接父节点，与子节点直接相连，
Figure 63587DEST_PATH_IMAGE080
为权重，sd为子节点影像与其距离d的父节点的特征相似度，N为子节点的深度。
S8 对用户推荐第二影像集。
本发明提出了一种基于内容理解的遥感影像统筹推荐方法。该方法获取查询条件，基于查询条件获取第一影像集，使用自编码器的编码器部分提取第一影像集的深度特征，并提取第一影像集的局部特征，对深度特征和局部特征进行特征融合，得到第一影像集的融合特征，对融合特征两两进行相似度计算，得到第一影像集的特征相似度，从第一影像集中选取质量最高的影像，得到初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率，所述有效覆盖率基于目标区域获得，将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集，其中，每次分裂扩展得到当前节点的两个子节点，所述分裂搜索树的每个节点均从第一影像集中获得，对用户推荐第二影像集。本发明的有益效果为：
（1）通过结合遥感影像统筹推荐和基于影像特征搜索的影像推荐方法，实现了兼顾内容理解和时间、地域应用场景的遥感影像统筹推荐方法；
（2）通过提取影像集的深度特征和局部特征，并对其进行特征融合，能够获得克服高层特征与底层特征语义鸿沟的影像融合特征，融合特征能够体现影像内容，进而实现基于内容理解的影像推荐；
（3）通过将影像间融合特征的相似度和影像的有效覆盖率作为优选指标，进行树搜索，能够快速获取内容相似度高且完整覆盖目标区域的影像集；
（4）通过分裂搜索树的分裂扩展方式，能够以指数增长的速率增加搜索树的路径，从而实现快速获取多组影像组，完成影像推荐；
（5）通过自编码器的编码器部分进行影像的深度特征提取，能够不借助监督数据获得影像较好的深度特征。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.基于内容理解的遥感影像统筹推荐方法，其特征在于，包括如下步骤：
S1 获取查询条件，基于查询条件从影像库中获取第一影像集，查询条件包括目标区域；
S2 使用预训练的自编码器的编码器部分对第一影像集中的每张影像进行特征提取，得到第一影像集的深度特征；
S3 使用局部特征提取方法对第一影像集中的每张影像进行特征提取，得到第一影像集的局部特征；
S4 对第一影像集中每张影像的深度特征和局部特征一一进行特征融合，得到第一影像集的融合特征；
S5 对第一影像集的融合特征两两进行相似度计算，得到第一影像集的特征相似度；
S6 从第一影像集中选取质量最高的影像，得到初始影像，并确定优选指标，优选指标包括特征相似度和有效覆盖率，所述有效覆盖率基于目标区域获得；
S7 将初始影像作为根节点，根据优选指标从根节点出发进行多次分裂扩展，得到完整的分裂搜索树，基于分裂搜索树得到第二影像集，其中，每次分裂扩展得到当前节点的两个子节点，所述分裂搜索树的每个节点均从第一影像集中获得；
S8 对用户推荐第二影像集。
2.根据权利要求1所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，步骤S7，包括：
S71 将初始影像设置为分裂搜索树的根节点，将根节点设置为当前节点；
S72 从当前节点出发，判断当前节点是否被扩展过，若是，则执行步骤S73，若否，则执行步骤S74；
S73 从根节点开始，根据优选指标赋予其子节点权值，以其子节点的权值生成概率，根据概率随机选择子节点，直到未扩展过的子节点，将该子节点设置为当前节点；
S74 对当前节点进行分裂扩展，得到当前节点的第一子节点和第二子节点，其中，第一子节点为优选指标最优的影像，第二子节点为与当前路径的特征相似度最低的影像；
S75 根据优选指标将权值赋予第一子节点和第二子节点；
S76 分别判断第一子节点从属路径上的影像组和第二子节点从属路径上的影像组是否完全覆盖目标区域，若是，则认为该路径到达终点，停止该路径的搜索并执行步骤S77，若否，则执行步骤S72；
S77 判断到达终点的路径的数量是否达到预设阈值，若是，则执行步骤S78，若否，则执行步骤S73；
S78 从到达终点的路径中选取具有最大权值和的路径，选取该路径上的影像组，得到第二影像集。
3.根据权利要求2所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，根据优选指标赋予子节点权值的方法为：
Figure 645260DEST_PATH_IMAGE002
其中，w为子节点权值，S为子节点与当前路径的特征相似度，C为子节点的有效覆盖率，
Figure 868431DEST_PATH_IMAGE004
和
Figure 339864DEST_PATH_IMAGE006
为预设参数，所述有效覆盖率为该子节点影像对目标区域的覆盖区域中除去其与当前路径影像对目标区域的覆盖区域的交集区域的区域占该子节点影像的面积的比例。
4.根据权利要求3所述的基于内容理解的遥感影像统筹推荐方法，其特征在于：当当前路径包括多个节点时，赋予当前路径中每个节点基于与子节点的距离生成的权重，基于子节点与当前路径中每个节点的特征相似度的加权和得到子节点与当前路径的特征相似度：
Figure 846937DEST_PATH_IMAGE008
其中，
Figure 745623DEST_PATH_IMAGE010
为衰减项，d为子节点与其父节点间的距离，当前路径中每个节点均为子节点的父节点，d=0时表示该父节点为子节点的直接父节点，与子节点直接相连，
Figure 456090DEST_PATH_IMAGE012
为权重，sd为子节点影像与其距离d的父节点影像的特征相似度，N为子节点的深度。
5.根据权利要求1所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，步骤S4，包括：
对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，得到每张影像的独立深度特征、独立局部特征和相关特征；
对每张影像的独立深度特征、独立局部特征和相关特征进行特征融合，得到第一影像集的融合特征。
6.根据权利要求5所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，所述对第一影像集中每张影像的深度特征和局部特征一一进行相关性分析，包括：
由第一影像集中每张影像的深度特征和局部特征的特征向量组成每张影像的第一特征矩阵和第二特征矩阵；
分别对第一特征矩阵和第二特征矩阵进行方差计算，得到第一方差矩阵和第二方差矩阵；
对第一特征矩阵和第二特征矩阵进行协方差计算，得到协方差矩阵；
由第一方差矩阵和协方差矩阵构成第一基，由第二方差矩阵和协方差矩阵构成第二基；
根据第一基得到每张影像的独立深度特征和每张影像的相关特征，根据第二基得到每张影像的独立局部特征。
7.根据权利要求1所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，步骤S3中，所述局部特征提取方法为主成分分析特征提取、灰度共生矩阵特征提取、laws纹理能量特征提取、小波特征提取、SURF特征提取、LBP特征提取、SIFT特征提取中的至少一种。
8.根据权利要求1所述的基于内容理解的遥感影像统筹推荐方法，其特征在于，步骤S2中，所述自编码器为卷积自编码器，其编码器部分为三层卷积神经网络结构，第一层卷积核数目为16，卷积核大小为3×3，步长为1；第二层卷积核数目为8，卷积核大小为3×3，步长为1；第三层卷积核数目为8，卷积核大小为3×3，步长为1；每层卷积层后连接一个2×2的最大池化层。
CN202210992027.8A 2022-08-18 2022-08-18 基于内容理解的遥感影像统筹推荐方法 Active CN115248876B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210992027.8A CN115248876B (zh) 2022-08-18 2022-08-18 基于内容理解的遥感影像统筹推荐方法
PCT/CN2023/113515 WO2024037585A1 (zh) 2022-08-18 2023-08-17 基于内容理解的遥感影像统筹推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210992027.8A CN115248876B (zh) 2022-08-18 2022-08-18 基于内容理解的遥感影像统筹推荐方法

Publications (2)

Publication Number Publication Date
CN115248876A true CN115248876A (zh) 2022-10-28
CN115248876B CN115248876B (zh) 2024-05-10

Family

ID=83700098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210992027.8A Active CN115248876B (zh) 2022-08-18 2022-08-18 基于内容理解的遥感影像统筹推荐方法

Country Status (2)

Country Link
CN (1) CN115248876B (zh)
WO (1) WO2024037585A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049482A (zh) * 2023-03-31 2023-05-02 北京数慧时空信息技术有限公司 基于时空域的遥感影像统筹方法
CN116740578A (zh) * 2023-08-14 2023-09-12 北京数慧时空信息技术有限公司 基于用户选择的遥感影像推荐方法
WO2024037585A1 (zh) * 2022-08-18 2024-02-22 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000014123A (ko) * 1998-08-17 2000-03-06 이계철 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법
CN102831440A (zh) * 2012-08-20 2012-12-19 中国测绘科学研究院 一种广域遥感影像决策树分类方法及装置
CN113723281A (zh) * 2021-08-30 2021-11-30 重庆市地理信息和遥感应用中心 基于局部自适应尺度集成学习的高分辨率影像分类方法
CN114896437A (zh) * 2022-07-14 2022-08-12 北京数慧时空信息技术有限公司 基于可用域的遥感影像推荐方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326288B (zh) * 2015-06-30 2019-12-03 阿里巴巴集团控股有限公司 图像搜索方法及装置
US10275820B2 (en) * 2017-01-31 2019-04-30 Walmart Apollo, Llc Systems and methods for utilizing a convolutional neural network architecture for visual product recommendations
CN110717058B (zh) * 2019-09-23 2023-06-09 Oppo广东移动通信有限公司 信息推荐方法及装置、存储介质
CN113378842A (zh) * 2021-05-18 2021-09-10 浙江大学 基于分割图像特征提取的推荐方法
CN114078137A (zh) * 2021-11-23 2022-02-22 北京智源人工智能研究院 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
CN115248876B (zh) * 2022-08-18 2024-05-10 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000014123A (ko) * 1998-08-17 2000-03-06 이계철 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법
CN102831440A (zh) * 2012-08-20 2012-12-19 中国测绘科学研究院 一种广域遥感影像决策树分类方法及装置
CN113723281A (zh) * 2021-08-30 2021-11-30 重庆市地理信息和遥感应用中心 基于局部自适应尺度集成学习的高分辨率影像分类方法
CN114896437A (zh) * 2022-07-14 2022-08-12 北京数慧时空信息技术有限公司 基于可用域的遥感影像推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈慧中;陈永光;景宁;陈荦;: "遥感影像检索中高维特征的快速匹配", 电子与信息学报, no. 09, 15 September 2011 (2011-09-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037585A1 (zh) * 2022-08-18 2024-02-22 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法
CN116049482A (zh) * 2023-03-31 2023-05-02 北京数慧时空信息技术有限公司 基于时空域的遥感影像统筹方法
CN116049482B (zh) * 2023-03-31 2023-10-20 北京数慧时空信息技术有限公司 基于时空域的遥感影像统筹方法
CN116740578A (zh) * 2023-08-14 2023-09-12 北京数慧时空信息技术有限公司 基于用户选择的遥感影像推荐方法
CN116740578B (zh) * 2023-08-14 2023-10-27 北京数慧时空信息技术有限公司 基于用户选择的遥感影像推荐方法

Also Published As

Publication number Publication date
CN115248876B (zh) 2024-05-10
WO2024037585A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN115248876B (zh) 基于内容理解的遥感影像统筹推荐方法
CN109359564B (zh) 一种图像场景图生成方法及装置
CN107506793B (zh) 基于弱标注图像的服装识别方法及系统
CN111737535B (zh) 一种基于元结构和图神经网络的网络表征学习方法
CN111858954A (zh) 面向任务的文本生成图像网络模型
CN107766933A (zh) 一种解释卷积神经网络的可视化方法
CN115934990B (zh) 基于内容理解的遥感影像推荐方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
Xue et al. Training convolutional neural networks and compressed sensing end-to-end for microscopy cell detection
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Syam et al. An effective similarity measure via genetic algorithm for content based image retrieval with extensive features.
CN109472282B (zh) 一种基于极少训练样本的深度图像哈希方法
CN112487200A (zh) 一种改进的包含多重边信息与多任务学习的深度推荐方法
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN112364747A (zh) 一种有限样本下的目标检测方法
Sjahputera et al. Clustering of detected changes in high-resolution satellite imagery using a stabilized competitive agglomeration algorithm
CN108805280B (zh) 一种图像检索的方法和装置
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN107622071B (zh) 通过间接相关反馈在无查源下的衣服图像检索系统及方法
CN110569761A (zh) 一种基于对抗学习的手绘草图检索遥感图像的方法
CN113553975A (zh) 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质
Alsultani et al. The use of spatial relationships and object identification in image understanding
CN111506832A (zh) 一种基于块矩阵补全的异构对象补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant