CN114896437B - 基于可用域的遥感影像推荐方法 - Google Patents
基于可用域的遥感影像推荐方法 Download PDFInfo
- Publication number
- CN114896437B CN114896437B CN202210823622.9A CN202210823622A CN114896437B CN 114896437 B CN114896437 B CN 114896437B CN 202210823622 A CN202210823622 A CN 202210823622A CN 114896437 B CN114896437 B CN 114896437B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- image set
- images
- available domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007689 inspection Methods 0.000 claims abstract description 65
- 238000005457 optimization Methods 0.000 claims abstract description 38
- 238000013441 quality evaluation Methods 0.000 claims abstract description 28
- 230000007547 defect Effects 0.000 claims description 53
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明公开了一种基于可用域的遥感影像推荐方法，该方法包括以下步骤：S1获取第一影像集，对所述第一影像集中的影像进行可用性质量检查，得到所述第一影像集的可用域和质量评价分数；S2获取查询条件，所述查询条件包括目标区域和时间范围；S3基于所述查询条件对所述第一影像集进行检索，得到第二影像集；S4根据优化策略对所述第二影像集基于可用域推荐算法进行影像选取，得到第三影像集；S5使用所述第三影像集对用户进行推荐。该方法与传统的以景为基本单位的遥感影像推荐方法不同，采用的是以可用域为基本影像单元，直接消除了影像质检不合格内容对影像推荐的负面影响，并且最大化利用了现有的遥感影像资源，避免了大量的资源浪费。
Description
技术领域
本发明涉及遥感影像处理领域，具体涉及一种基于可用域的遥感影像推荐方法。
背景技术
随着互联网的快速发展，数据也迎来了爆发式的增长，无论是用户数据，商品数据还是网站数量等等都呈现出指数型的增长趋势，迎面而来的主要有两个问题，一个是海量的数据如何存储，目前比较通用的技术方案是基于Hadoop集群来对海量数据做分布式的存储，通过动态扩展集群数量来提高整体的存储容量，并且分布式存储通过特有的备份机制保障了数据存放的安全性。第二个问题是，海量的数据如何高效的检索，由于数量大大增长，产生的速度已经远远超过了用户可以获取的速度，用户在面对海量数据集时将无所适从。如今比较常见的方案是加入个性化排序，使得用户可以更容易获得目标数据信息，如搜索引擎在搜索结果中加入个性化排序，在内容分发上加入个性化推荐分发等。
在遥感数据领域，遥感数据与一般的商品性质不同，主要有以下几点：1. 遥感数据一般都较大，原始数据一般在1Gb左右，若数据量上升，单机存储基本无法满足要求。2.遥感数据涉及到空间属性，每份数据都对应着实际的一片区域，一般的商品不具备该特性。3. 遥感数据涉及到时间属性，同一片区域一般会有多份不同时间维度的数据。4. 遥感数据交易量有限，并且时间跨度可能较大，需要解决数据量不足的问题。同时因为各方面的原因，遥感影像不可避免的有着大量的不可用区域，如厚云、条带异常等质量检测缺陷发生的区域，影像拍摄中引入噪声和失真的区域。传统的以景为单位的影像推荐方法在遇到较大比例的不可用区域时会将整景影像视为不可用，因而会造成对整景影像中其余大幅可用影像的浪费。然而，单纯从云量或者其他的缺陷参数不一定能表现整张影像在目标应用场景下的好坏。尤其是当影像缺陷的区域较集中时，容易出现影像与目标区域的重叠区域均在影像的非缺陷区域的情况，在这种应用场景下即使该景影像的质量评价较差，影像实际是完全可用的。
发明内容
本发明提出一种基于可用域的遥感影像推荐方法。该方法以可用域为影像的基本单位，解决了基于景的传统影像推荐中会遇到的问题，如由于部分区域的影像缺陷导致的大幅影像的浪费，并通过可用域推荐算法实现了相邻可用域差异最小化的推荐，推荐结果能够直接服务于影像镶嵌，获得较好的镶嵌效果。
为实现上述技术目的，本发明的技术方案如下：
一种基于可用域的遥感影像推荐方法，该方法包括以下步骤：
S1 获取第一影像集，对所述第一影像集中的影像进行可用性质量检查，得到所述第一影像集的可用域和质量评价分数；
S2 获取查询条件，所述查询条件包括目标区域和时间范围；
S3 基于所述查询条件对所述第一影像集进行检索，得到第二影像集；
S4 根据优化策略对所述第二影像集基于可用域推荐算法进行影像选取，得到第三影像集；
S5 使用所述第三影像集对用户进行推荐。
进一步地，所述优化策略包括第一优化策略和第二优化策略，步骤S4包括：
S41根据所述第一优化策略对所述第二影像集基于所述可用域推荐算法进行第一次影像选取，选取得到的影像为第一优化影像集；
S42当所述第一优化影像集的可用域的并集对所述目标区域的覆盖率达到第一预设阈值时，执行步骤S43；
S43 将所述第二影像集中去除所述第一优化影像集后的影像集作为剩余影像集，根据第二优化策略对剩余影像集基于所述可用域推荐算法进行第二次影像选取，选取得到的影像为第二优化影像集；
S44当所述第一优化影像集和所述第二优化影像集的可用域的并集对所述目标区域的覆盖率达到第二预设阈值时，停止执行步骤S43，将选取得到的所述第一优化影像集和所述第二优化影像集组成所述第三影像集。
进一步地，步骤S41中，所述第一优化策略为：
设定第一影像指标，所述第一影像指标为所述第二影像集中影像的质量评价分数和影像的可用域对所述目标区域的覆盖率。
进一步地，步骤S43中，所述第二优化策略为：
设定第二影像指标，所述第二影像指标为所述剩余影像集中的剩余影像的质量评价分数、所述剩余影像的可用域对所述目标区域的覆盖率和所述剩余影像的相似性分数；
其中，所述剩余影像的相似性分数由所述剩余影像与其相邻影像的色差和所述剩余影像与其相邻影像的信息差异进行计算得到；
所述相邻影像为其可用域与所述剩余影像的可用域相交的影像，所述相邻影像归属于所述第二影像集。
可选地，所述可用域推荐算法包括：
第一步、将第二影像集设置为可用域推荐算法的影像节点，并放入开启列表中，根据影像指标对所述影像节点进行价值评估，得到评估结果，其中，影像指标为第一影像指标或第二影像指标；
第二步、将评估结果按从大到小进行排序，将第一个评估结果对应的影像节点作为可用域推荐算法的起点，将该起点放入关闭列表中；
第三步、根据估价函数对关闭列表中的影像节点的评估结果与开启列表中的影像节点的评估结果进行计算，得到综合价值；
第四步、将综合价值按从大到小排序，选取第一个综合价值对应的开启列表中的影像节点，并将其放入关闭列表中，更新开启列表影像节点的价值，
第五步、重复执行第三步和第四步，直至达到停止条件。
可选地，步骤S41中，所述根据影像指标对所述影像节点进行价值评估，包括：
对第二影像集中的影像的质量评价分数进行标准化处理，得到影像第一价值；
根据第二影像集中的影像的可用域对所述目标区域的覆盖率对影像节点进行价值评估，得到影像第二价值；
根据第二影像集中的影像的相邻影像的相似性分数对影像节点进行价值评估，得到影像第三价值；
根据影像第一价值、影像第二价值和影像第三价值得到影像价值。
可选地，所述更新开启列表影像节点的价值，包括：
提取关闭列表中的影像的可用域与目标区域的重叠区域，从目标区域中去除重叠区域；
更新开启列表影像节点的可用域覆盖率，并基于更新后的可用域覆盖率更新影像第二价值和影像价值。
可选地，所述估价函数为：
其中V1j为关闭列表所有影像节点与开启列表中第j个影像节点的综合影像第一价值，V2j为开启列表第j个影像节点的影像第二价值，V3j为开启列表第j个影像节点的影像第三价值，Rj为关闭列表所有影像节点与开启列表第j个影像节点的综合价值，n为关闭列表中节点的数量，
为关闭列表中第i个节点的影像第一价值，
为开启列表第j个影像节点的影像第一价值，
和
为权重。
可选地，所述可用性质量检查，包括：
对影像进行第一质量检查，得到整景影像的质量评价分数；
对影像进行第二质量检查，得到质检缺陷区域，对相邻的质检缺陷区域进行合并；
去除影像的质检缺陷区域，得到影像的可用域。
可选地，所述对影像进行第二质量检查，得到质检缺陷区域，包括：
对影像进行裁切，得到多幅裁切后的影像；
对裁切后的影像进行厚云检测，对厚云区域赋予云掩膜和厚云标签并将厚云区域设为质检缺陷区域；
对裁切后的影像进行条带异常检测，统计扫描带中有噪声的行数，对行数大于预设阈值的扫描带赋予掩膜和条带异常标签并将其设为质检缺陷区域；
基于强化学习方法对裁切后的影像进行综合质量评价，对综合质量评价结果低于预设质量阈值的区域赋予掩膜和低质量标签并将其设为质检缺陷区域。
本发明提出了一种基于可用域的遥感影像推荐方法。通过对第一影像集进行可用性质量检查，得到第一影像集影像的可用域和质量评价分数，基于可用域对第一影像集进行初步检索，得到满足目标区域和时间范围的第二影像集。基于第一优化策略和第二优化策略，使用可用域推荐算法对第二影像集进行选取，得到第三影像集，使用第三影像集对用户进行推荐。本发明的有益效果为：
（1）本发明使用影像的可用域进行推荐，能够最大限度保留原始可用影像的同时满足用户对影像的需求，避免了局部影像质量问题导致的整景影像的浪费；
（2）本发明先通过优化影像质量和覆盖率的第一优化策略进行影像推荐，影像可用域达到一定覆盖率后，切换为优化相邻影像相似性的第二优化策略完成影像推荐，避免了直接使用第二优化策略可能导致的推荐影像分布不均匀的问题；
（3）本发明的推荐结果中相邻影像可用域间的差异低，可以直接服务于镶嵌业务，能够达到较好的影像镶嵌效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于可用域的遥感影像推荐方法的流程示意图；
图2为本发明实施例中使用的云检测深度学习网络模型结构图；
图3为本发明实施例中使用可用域推荐算法进行影像推荐的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
请参照图1，图1是本发明所述的一种基于可用域的遥感影像推荐方法流程示意图，该方法相对于传统的以景为影像单位的推荐方法，提供了一种基于可用域的遥感影像推荐方法，能够最大限度保留原始可用影像的同时满足镶嵌场景对影像的需求，该方法包括以下步骤：
S1 获取第一影像集，对所述第一影像集中的影像进行可用性质量检查，得到所述第一影像集的可用域和质量评价分数。
所述可用性质量检查，包括：对遥感影像进行第一质量检查，得到整景影像的质量评价分数；对遥感影像进行第二质量检查，得到质检缺陷区域，对相邻的质检缺陷区域进行合并。去除遥感影像的质检缺陷区域，得到遥感影像的可用域。
本实施例中，将遥感影像裁切为256*256的尺寸后分幅进行第二质量检查，具体的质量检查步骤如下：
对裁切后的遥感影像进行厚云检测，对厚云区域赋予云掩膜和厚云标签并将厚云区域设为质检缺陷区域。
对裁切后的遥感影像进行条带异常检测，统计扫描带中有噪声的行数，对行数大于预设阈值的扫描带赋予掩膜和条带异常标签并将其设为质检缺陷区域。
基于强化学习方法对裁切后的遥感影像进行综合质量评价，对综合质量评价结果低于预设质量阈值的区域赋予掩膜和低质量标签并将其设为质检缺陷区域。
本实施例中厚云检测的方式为：构建云检测深度学习网络模型并进行训练，将影像输入训练好的云检测深度学习网络模型得到检测结果。
本实施例中采用DeepLab V3+来构建云检测深度学习网络模型如图2所示。使用DeepLab V3作为编码器。以交叉熵损失作为损失函数，拟合语义分类得分图与真实的标签，并以随机梯度下降法作为优化方法，反向传播整个语义分割网络。深度学习网络模型结构由编码器和解码器两大部分组成，数据首先进入编码即特征提取阶段，使用DeepLab V3作为编码器，依次由Atrous Conv、1*1 Conv连接构成，其中Conv表示卷积层，Atrous Conv为膨胀卷积层，膨胀卷积层中依次由1*1 Conv、3*3 Conv、3*3 Conv、3*3 Conv、ImagePooling连接构成，膨胀卷积层中三个3*3的膨胀卷积的膨胀因子分别为6，12，18。ImagePooling为图像池化层。每个编码器部分的输出作为底层特征保留，输出的底层特征降采样2倍。解码器由1*1 Conv、Upsample、Concat、3*3 Conv、Upsample连接构成，其中Upsample为上采样层，上采样倍率为4倍，Concat为级联层。在融合低层次信息前，先进行1*1的卷积。
本实施例中用于综合质量评价的强化学习方法为：将裁切后的遥感影像特征向量输入训练好的强化学习决策框架。强化学习决策框架包括一个价值评估模型。本实施例中使用一个多层感知机MLP构建价值评估模型。MLP包含两个隐层，使用sigmoid函数作为激活函数。MLP输出每个输入样本对应的估值，估值范围为0~1。将估值低于0.4的裁切后的遥感影像设为质检缺陷区域。该综合质量评价用于对遥感影像进行定量评价。
可以理解的是，上述得到的质检缺陷区域为离散的区域，对于质检缺陷集中的区域范围，整个区域在实际应用中均为不可用，因而需要将这些区域的质检缺陷进行合并，将整个大区域设为不可用域。合并的过程为：
根据空间位置对质检缺陷区域进行DBSCAN聚类处理，得到多个质检缺陷区域的聚类簇，相比于传统的K-Means聚类算法，DBSCAN最大的不同就是不需要输入类别数k，并且可以发现任意形状的聚类簇，而不是像K-Means，一般仅仅使用于凸的样本集聚类。DBSCAN算法基于一个事实：一个聚类可以由其中的任何核心对象唯一确定。等价可以表述为：任一满足核心对象条件的数据对象p，数据库D中所有从p密度可达的数据对象o所组成的集合构成了一个完整的聚类C，且p属于C。算法的具体聚类过程如下：扫描整幅影像，找到任意一个质检缺陷区域，对该区域进行扩充。扩充的方法是寻找从该区域边界出发的所有密度相连的质检缺陷区域。遍历该区域的
邻域内的所有质检缺陷区域，寻找与这些区域密度相连的质检缺陷区域，直到没有可以扩充的数据为止。之后重新扫描影像，排除之前寻找到的簇中的任何数据，寻找没有被聚类的质检缺陷区域，再重复上面的步骤，对该质检缺陷区域进行扩充直到数据集中没有新的质检缺陷区域为止。对于离散的质检缺陷区域不做处理。
分别计算每个聚类簇中质检缺陷区域的数量和质检缺陷区域的总面积，得到质检缺陷聚类参数。对质检缺陷聚类参数大于预设阈值的聚类簇内的质检缺陷区域进行合并。
其中，质检缺陷聚类参数的计算内容包括：
对质检缺陷聚类区域进行二值化处理，质检缺陷区域像素设为前景像素，像素值为1，其余像素设为背景像素，像素值为0；扫描同一聚类簇中质检缺陷区域的像素，直到扫描到的像素值为1，将该像素作为种子，赋予一个新的标签，将该种子相邻的所有前景像素都压入堆栈中；弹出堆栈栈顶像素，赋予堆栈内像素相同的标签，将与新的堆栈栈顶像素相邻的所有前景像素都压入堆栈中，重复该步骤，直到堆栈为空；重复前述两步骤，直到扫描结束，得到所有质检缺陷区域的连通域，根据连通域不同标签的数量得到质检缺陷区域的数量，根据连通域像素总量得到质检缺陷区域的总面积。
接着从原始影像上取质检缺陷区域的补集，得到遥感影像的可用域数据。对可用域数据赋予掩膜和标签并进行存储。
其中可用域的标签直接服务于影像推荐和统筹，通过对标签的检索和匹配实现满足应用场景需求的影像推荐。可用域的标签包括原始影像的所有固有标签如：影像分辨率、影像星源、传感器、影像采集时间等，原始影像上的质检缺陷的类型和对应的面积占比。将可用域数据影像和对应的标签进行关联式存储。
本实施例中，第一质量检查得到的整景影像的质量评价分数由多种影像质量指标综合评价获得，用于指导搜索算法优先选取高质量影像。影像质量指标包括云量指标、阴影指标、多光谱与全色一致性指标、条带检测指标、波段检测指标、空值检测指标、影像清晰度指标。
本实施例中影像清晰度指标包括：
提取影像各个像素点的灰度，计算影像中所有相邻两个像素灰度差的平方，累加并经归一化后得到影像清晰度1。
采用Sobel算子分别提取影像水平和垂直方向的梯度值，并进行累加和归一化后得到影像清晰度2。
采用Laplacian算子分别提取影像各个像素点的卷积值，进行求和并归一化后作为影像清晰度3。
提取影像各个像素点的灰度，计算影像中所有像素点相对于两个相邻点的灰度变化值之和，累加和归一化后作为影像清晰度4。
提取影像各个像素点的灰度，计算影像中每个像素点和两个领域的灰度差相乘后，累加和归一化后作为影像清晰度5。
提取影像各个像素点的灰度，计算影像的平均灰度值，计算各个像素点的灰度均方差，累加和归一化后作为影像清晰度6。
提取影像各个像素点的灰度，计算各个像素点相对于两个相邻点的能量梯度变化之和，累加和归一化后作为影像清晰度7。
提取影像各个像素点的灰度，计算影像清晰度8：
其中
为当前点
的灰度，
为影像的平均灰度值，M和N分别为影像宽和高，
为归一化后的影像清晰度8。
提取影像各个像素点的灰度，计算影像的信息熵，归一化后作为影像清晰度9。
提取影像各个像素点的灰度，计算每个像素点8邻域的灰度变化进行加权平均，水平和垂直方向的权重为1，8邻域的四个角的权重为
，并累加后再按照所述影像的大小进行规格化处理，归一化后作为影像清晰度10。
上述影像清晰度的归一化均为将清晰度数值转化到0-100的分数范围内，最终得到影像清晰度指标Q1。
本实施例中云量指标为：
其中，
为识别为云的图斑的所占像素个数，
为遥感影像中总像素个数。
本实施例中阴影指标为将阴影图斑总面积除以整幅遥感总面积：
其中，
为阴影图斑总面积，P为遥感影像总面积。
本实施例中多光谱与全色一致性指标为：
其中，
为全色影像面积和多光谱影像面积的交集，
为全色影像面积和多光谱影像面积的并集。
本实施例中条带检测指标为：
其中，
是行均值梯度最大值，
是行均值梯度。
本实施例中波段检测指标为：
其中，n1为遥感影像的全色光谱波段个数，n2为多光谱波段个数。
本实施例中空值检测指标为：
其中
为空值像素总面积，P为遥感影像总面积。
本实施例中每种影像质量指标均采用0-100分制并经过评级，评价标准如表1所示：
表1 影像质量指标评价表
最终得到的质量评价分数为
其中，
为第j个影像质量指标的得分，
为第j个影像质量指标的权重，
为第j个影像的第i个指标值的权重，
为第j个影像的第i个指标的评价分数。
本发明使用影像的可用域进行推荐，能够最大限度保留原始可用影像的同时满足用户对影像的需求，避免了局部影像质量问题导致的整景影像的浪费。
S2 获取查询条件，所述查询条件包括目标区域和时间范围。
获取影像的可用域数据后，能够基于获取的目标区域和时间范围在第一影像中进行影像检索。
其中，通过输入行政区划或手动勾选多边形框的方式获得影像推荐的目标区域。通过文本输入或选取的方式获得影像推荐的时间范围。
S3 基于所述查询条件对所述第一影像集进行检索，得到第二影像集。
本实施例中，通过目标区域与第一影像的可用域的空间关系进行匹配，要求重叠率大于4%，通过时间范围与第一影像的标签项进行匹配，要求采集时间标签在时间范围内，得到检索结果的第二影像集。第二影像集为满足检索条件的所有影像，后续推荐工作基于第二影像集进行。
S4 根据优化策略对所述第二影像集基于可用域推荐算法进行影像选取，得到第三影像集。
所述优化策略包括第一优化策略和第二优化策略。
S41根据所述第一优化策略对所述第二影像集基于所述可用域推荐算法进行第一次影像选取，选取得到的影像为第一优化影像集；
S42当所述第一优化影像集的可用域的并集对所述目标区域的覆盖率达到第一预设阈值时，执行步骤S43；
S43 将所述第二影像集中去除所述第一优化影像集后的影像集作为剩余影像集，根据第二优化策略对剩余影像集基于所述可用域推荐算法进行第二次影像选取，选取得到的影像为第二优化影像集；
S44当所述第一优化影像集和所述第二优化影像集的可用域的并集对所述目标区域的覆盖率达到第二预设阈值时，停止执行步骤S43，将选取得到的所述第一优化影像集和所述第二优化影像集组成所述第三影像集。
本实施例中，所述第一优化策略为：设定第一影像指标，所述第一影像指标为所述第二影像集中影像的质量评价分数和影像的可用域对所述目标区域的覆盖率。
已选取的影像的可用域对所述目标区域的总覆盖率大于30%时切换为第二优化策略。不直接使用第二优化策略是为了避免初始推荐的多幅影像出现于特征统计分布中的长尾部分，第二优化策略会导致后续推荐影像的偏移，例如当第二影像中大部分影像为高分1卫星和高分6卫星拍摄的影像，直接使用第二优化策略选取了高分7卫星拍摄的影像，后续推荐也会优先选取高分7影像，导致出现影像分布不均衡的问题。
所述第二优化策略为：设定第二影像指标，所述第二影像指标为所述剩余影像集中的剩余影像的质量评价分数、所述剩余影像的可用域对所述目标区域的覆盖率和所述剩余影像的相似性分数。
其中，所述剩余影像的相似性分数由所述剩余影像与其相邻影像的色差和所述剩余影像与其相邻影像的信息差异进行计算得到。
所述相邻影像为其可用域与所述剩余影像的可用域相交的影像，所述相邻影像归属于所述第二影像集。
需要解释的是，所述剩余影像与其相邻影像的信息差异为影像的固有信息差异，包括影像的时相差异、影像的分辨率差异、影像的传感器差异、影像的星源差异。相邻影像不限于剩余影像，也包括第二影像集中的影像。通过综合计算相邻影像的色差和信息差异，并最小化该差异值能够获得相邻影像差异低的推荐结果，该推荐结果可以直接服务于镶嵌业务，能够达到较好的影像镶嵌效果。
本实施例中，相似性分数的计算为：
其中，
是重叠区域的总色差，
为信息差异值。
本实施例中，相邻可用域的影像的色差通过下式计算得到：
其中
是重叠区域的总色差，
是重叠区域的明度差值，
是重叠区域的标准红绿差值，
是重叠区域的标准黄蓝差值。
其中，上式计算得到的重叠区域色差只涉及两个影像的可用域重叠，当涉及三个及以上影像可用域重叠的时候，三张影像可用域为A、B、C，其中影像可用域A与影像可用域B之间的色差为
，重叠区域面积为
；影像可用域B与影像可用域C之间的色差为
，重叠区域面积为
；影像可用域A与影像可用域C之间的色差为
，重叠区域面积为
。每张影像可用域的平均色差通过下式得到：
影像可用域A的平均色差为：
影像可用域B的平均色差为：
影像可用域C的平均色差为：
所述相邻可用域影像为可用域相交且影像的可用域间的重叠率大于预设阈值的影像。本实施例中影像的可用域间的重叠率要求大于20%。重叠率可以为重叠区域面积占相邻可用域中任意一个可用域面积的比例。可用域的重叠率用于确保相邻影像的配准和镶嵌能够顺利进行。在另一个实施例中，通过影像的可用域间的重叠区域的控制点数量来判断影像的可用域是否可用。
本发明先通过优化影像质量和覆盖率的第一优化策略进行影像推荐，影像可用域达到一定覆盖率后，切换为优化相邻影像相似性的第二优化策略完成影像推荐，避免了直接使用第二优化策略可能导致的推荐影像分布不均匀的问题。
所述可用域推荐算法包括：
第一步、将第二影像集设置为可用域推荐算法的影像节点，并放入开启列表中，根据影像指标对所述影像节点进行价值评估，得到评估结果，其中，影像指标为第一影像指标或第二影像指标。
第二步、将评估结果按从大到小进行排序，将第一个评估结果对应的影像节点作为可用域推荐算法的起点，将该起点放入关闭列表中。
第三步、根据估价函数对关闭列表中的影像节点的评估结果与开启列表中的影像节点的评估结果进行计算，得到综合价值。
第四步、将综合价值按从大到小排序，选取第一个综合价值对应的开启列表中的影像节点，并将其放入关闭列表中，更新开启列表影像节点的价值。
第五步、重复执行第三步和第四步，直至达到停止条件。
所述根据影像指标对所述影像节点进行价值评估，包括：
对第二影像集中的影像的质量评价分数进行标准化处理，得到影像第一价值。
根据第二影像集中的影像的可用域对所述目标区域的覆盖率对影像节点进行价值评估，得到影像第二价值。
本实施例中影像第二价值为根据影像可用域对目标区域的覆盖率评价获得，作为推荐算法的启发项，用于指导推荐算法的方向性，能够用尽量少的影像数量完整覆盖目标区域。影像第二价值为：
其中，S为目标区域的面积，Sc为影像与目标区域的重叠区域面积。
根据第二影像集中的影像的相邻影像的相似性分数对影像节点进行价值评估，得到影像第三价值。
根据影像第一价值、影像第二价值和影像第三价值得到影像价值。
所述更新开启列表影像节点的价值，包括：
提取关闭列表中的影像的可用域与目标区域的重叠区域，从目标区域中去除重叠区域。
更新开启列表影像节点的可用域覆盖率，并基于更新后的可用域覆盖率更新影像第二价值和影像价值。
所述估价函数为：
其中V1j为关闭列表所有影像节点与开启列表中第j个影像节点的综合影像第一价值，V2j为开启列表第j个影像节点的影像第二价值，V3j为开启列表第j个影像节点的影像第三价值，Rj为关闭列表所有影像节点与开启列表第j个影像节点的综合价值，n为关闭列表中节点的数量，
为关闭列表中第i个节点的影像第一价值，
为开启列表第j个影像节点的影像第一价值，
和
为权重。
本实施例中使用可用域推荐算法进行影像组推荐的具体步骤如图3所示。
S5 使用所述第三影像集对用户进行推荐。
第三影像为可用域拼接后能完整覆盖目标区域的影像，由于可用域为完全可用，推荐得到的目标区域影像也为完全可用，后续不需要考虑质量问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.基于可用域的遥感影像推荐方法，其特征在于，包括如下步骤：
S1 获取第一影像集，对所述第一影像集中的影像进行可用性质量检查，得到所述第一影像集的可用域和质量评价分数；
S2 获取查询条件，所述查询条件包括目标区域和时间范围；
S3 基于所述查询条件对所述第一影像集进行检索，得到第二影像集；
S4 根据优化策略对所述第二影像集基于可用域推荐算法进行影像选取，得到第三影像集，所述优化策略包括第一优化策略和第二优化策略；
S41根据所述第一优化策略对所述第二影像集基于所述可用域推荐算法进行第一次影像选取，选取得到的影像为第一优化影像集，所述第一优化策略为：设定第一影像指标，所述第一影像指标为所述第二影像集中影像的质量评价分数和影像的可用域对所述目标区域的覆盖率；
S42当所述第一优化影像集的可用域的并集对所述目标区域的覆盖率达到第一预设阈值时，执行步骤S43；
S43 将所述第二影像集中去除所述第一优化影像集后的影像集作为剩余影像集，根据第二优化策略对剩余影像集基于所述可用域推荐算法进行第二次影像选取，选取得到的影像为第二优化影像集，所述第二优化策略为：设定第二影像指标，所述第二影像指标为所述剩余影像集中的剩余影像的质量评价分数、所述剩余影像的可用域对所述目标区域的覆盖率和所述剩余影像的相似性分数；
其中，所述剩余影像的相似性分数由所述剩余影像与其相邻影像的色差和所述剩余影像与其相邻影像的信息差异进行计算得到；
所述相邻影像为其可用域与所述剩余影像的可用域相交的影像，所述相邻影像归属于所述第二影像集；
S44当所述第一优化影像集和所述第二优化影像集的可用域的并集对所述目标区域的覆盖率达到第二预设阈值时，停止执行步骤S43，将选取得到的所述第一优化影像集和所述第二优化影像集组成所述第三影像集；
所述可用域推荐算法包括：
第一步、将第二影像集设置为可用域推荐算法的影像节点，并放入开启列表中，根据影像指标对所述影像节点进行价值评估，得到评估结果，其中，影像指标为第一影像指标或第二影像指标；
第二步、将评估结果按从大到小进行排序，将第一个评估结果对应的影像节点作为可用域推荐算法的起点，将该起点放入关闭列表中；
第三步、根据估价函数对关闭列表中的影像节点的评估结果与开启列表中的影像节点的评估结果进行计算，得到综合价值；
第四步、将综合价值按从大到小排序，选取第一个综合价值对应的开启列表中的影像节点，并将其放入关闭列表中，更新开启列表影像节点的价值，
第五步、重复执行第三步和第四步，直至达到停止条件；
S5 使用所述第三影像集对用户进行推荐。
2.根据权利要求1所述的基于可用域的遥感影像推荐方法，其特征在于，所述根据影像指标对所述影像节点进行价值评估，包括：
对第二影像集中的影像的质量评价分数进行标准化处理，得到影像第一价值；
根据第二影像集中的影像的可用域对所述目标区域的覆盖率对影像节点进行价值评估，得到影像第二价值；
根据第二影像集中的影像的相邻影像的相似性分数对影像节点进行价值评估，得到影像第三价值；
根据影像第一价值、影像第二价值和影像第三价值得到影像价值。
3.根据权利要求1所述的基于可用域的遥感影像推荐方法，其特征在于，所述更新开启列表影像节点的价值，包括：
提取关闭列表中的影像的可用域与目标区域的重叠区域，从目标区域中去除重叠区域；
更新开启列表影像节点的可用域覆盖率，并基于更新后的可用域覆盖率更新影像第二价值和影像价值。
4.根据权利要求1所述的基于可用域的遥感影像推荐方法，其特征在于，所述估价函数为：
其中V1j为关闭列表所有影像节点与开启列表中第j个影像节点的综合影像第一价值，V2j为开启列表第j个影像节点的影像第二价值，V3j为开启列表第j个影像节点的影像第三价值，Rj为关闭列表所有影像节点与开启列表第j个影像节点的综合价值，n为关闭列表中节点的数量，
为关闭列表中第i个节点的影像第一价值，
为开启列表第j个影像节点的影像第一价值，
和
为权重。
5.根据权利要求1所述的基于可用域的遥感影像推荐方法，其特征在于，所述可用性质量检查，包括：
对影像进行第一质量检查，得到整景影像的质量评价分数；
对影像进行第二质量检查，得到质检缺陷区域，对相邻的质检缺陷区域进行合并；
去除影像的质检缺陷区域，得到影像的可用域。
6.根据权利要求5所述的基于可用域的遥感影像推荐方法，其特征在于，所述对影像进行第二质量检查，得到质检缺陷区域，包括：
对影像进行裁切，得到多幅裁切后的影像；
对裁切后的影像进行厚云检测，对厚云区域赋予云掩膜和厚云标签并将厚云区域设为质检缺陷区域；
对裁切后的影像进行条带异常检测，统计扫描带中有噪声的行数，对行数大于预设阈值的扫描带赋予掩膜和条带异常标签并将其设为质检缺陷区域；
基于强化学习方法对裁切后的影像进行综合质量评价，对综合质量评价结果低于预设质量阈值的区域赋予掩膜和低质量标签并将其设为质检缺陷区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823622.9A CN114896437B (zh) | 2022-07-14 | 2022-07-14 | 基于可用域的遥感影像推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823622.9A CN114896437B (zh) | 2022-07-14 | 2022-07-14 | 基于可用域的遥感影像推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114896437A CN114896437A (zh) | 2022-08-12 |
| CN114896437B true CN114896437B (zh) | 2022-09-13 |
Family
ID=82729764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210823622.9A Active CN114896437B (zh) | 2022-07-14 | 2022-07-14 | 基于可用域的遥感影像推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114896437B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115934990B (zh) * | 2022-10-24 | 2023-05-12 | 北京数慧时空信息技术有限公司 | 基于内容理解的遥感影像推荐方法 |
| CN116049482B (zh) * | 2023-03-31 | 2023-10-20 | 北京数慧时空信息技术有限公司 | 基于时空域的遥感影像统筹方法 |
| CN116628247B (zh) * | 2023-07-24 | 2023-10-20 | 北京数慧时空信息技术有限公司 | 基于强化学习和知识图谱的影像推荐方法 |
| CN116740578B (zh) * | 2023-08-14 | 2023-10-27 | 北京数慧时空信息技术有限公司 | 基于用户选择的遥感影像推荐方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614507A (zh) * | 2018-11-22 | 2019-04-12 | 浙江大学 | 一种基于频繁项挖掘的遥感图像推荐装置 |
| CN112182131A (zh) * | 2020-09-28 | 2021-01-05 | 中国电子科技集团公司第五十四研究所 | 一种基于多属性融合的遥感影像推荐方法 |
| CN114494830A (zh) * | 2022-01-20 | 2022-05-13 | 山东浪潮科学研究院有限公司 | 一种多源信息光伏地图生成方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR102014023780B1 (pt) * | 2014-09-25 | 2023-04-18 | Universidade Estadual De Campinas - Unicamp (Br/Sp) | Método para classificação multiclasse em cenários abertos e usos do mesmo |
-
2022
- 2022-07-14 CN CN202210823622.9A patent/CN114896437B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614507A (zh) * | 2018-11-22 | 2019-04-12 | 浙江大学 | 一种基于频繁项挖掘的遥感图像推荐装置 |
| CN112182131A (zh) * | 2020-09-28 | 2021-01-05 | 中国电子科技集团公司第五十四研究所 | 一种基于多属性融合的遥感影像推荐方法 |
| CN114494830A (zh) * | 2022-01-20 | 2022-05-13 | 山东浪潮科学研究院有限公司 | 一种多源信息光伏地图生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 遥感影像多分类器集成的关键技术与系统实现;夏俊士;《科技导报》;20111115;第22-26页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114896437A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114896437B (zh) | 基于可用域的遥感影像推荐方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN107679250A (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
| CN115017418B (zh) | 基于强化学习的遥感影像推荐系统及方法 | |
| US20090060340A1 (en) | Method And Apparatus For Automatic Image Categorization Using Image Texture | |
| CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN111709816A (zh) | 基于图像识别的服务推荐方法、装置、设备及存储介质 | |
| CN114969405A (zh) | 一种跨模态图文互检方法 | |
| CN113112519B (zh) | 基于感兴趣目标分布的关键帧筛选方法 | |
| JP2020085546A (ja) | 構造物の点検・補修支援システム | |
| US20240112273A1 (en) | System and method for property condition analysis | |
| CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
| CN111639230B (zh) | 一种相似视频的筛选方法、装置、设备和存储介质 | |
| US11532036B2 (en) | Digital image ordering using object position and aesthetics | |
| CN113313149B (zh) | 一种基于注意力机制和度量学习的菜品识别方法 | |
| CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN116245855B (zh) | 作物品种鉴定方法、装置、设备及存储介质 | |
| CN109299304B (zh) | 目标图像检索方法及系统 | |
| CN115565042A (zh) | 商品图像特征表示方法及其装置、设备、介质、产品 | |
| CN110580299A (zh) | 生成对象的推荐语的配图的方法、系统、设备及存储介质 | |
| CN113486955A (zh) | 一种基于深度学习的茶叶信息分类方法和系统 | |
| CN113269052A (zh) | 价签识别方法、终端、存储装置 | |
| CN112884866A (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 | |
| Bozyiğit et al. | A deep learning-based hotel image classifier for online travel agencies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |