CN113590894A - 一种动态高效的遥感影像元数据入库检索方法 - Google Patents

Abstract

本发明公开了一种动态高效的遥感影像元数据入库检索方法。其步骤如下：1)解析遥感影像元数据XML文件，获取XML树节点信息，实现元数据表字段批量命名；2)基于元数据表和持久层对象的一一对应关系，定义作为解析结果的持久层对象；3)编写配置文件，基于配置文件中预定义的规则，解析提取遥感影像XML文件，并将结果以对象形式组织起来；4)基于通用搜索树构建时空混合索引。本方法实现了遥感影像元数据表字段批量命名，且采用配置文件定义解析规则，可以在不修改入库程序的情况下，动态支持新类型的遥感影像元数据，构建的时空混合索引能够提高元数据的检索效率。本发明对于遥感影像元数据的入库检索具有十分重要的实际应用价值。

Description

一种动态高效的遥感影像元数据入库检索方法

技术领域

本发明属于遥感数据管理领域，具体涉及一种动态高效的遥感影像元数据入库检索方法。

背景技术

遥感影像元数据包含了遥感影像的卫星、传感器、云量、成像时间、地理范围等信息。

在遥感影像元数据存储入库方面，首先需要建立元数据表，然后入库程序对元数据XML文件进行解析，提取元数据信息并封装成对象，最后将持久层对象写入到数据库中。元数据表字段的名称来源于元数据XML文件，采用手工命名的方式比较费时费力。不同的元数据文件存在结构异构和语义异构的特点，为了支持新类型的遥感影像元数据，如果采用修改入库程序的方式，会有大量的重复劳动，且代码不够优雅简洁。

数据库索引是用于加速数据检索效率的一种数据结构，常见的数据库索引有针对可比较类型(数值型、字符串类型、时间类型等)的字段的B树索引和针对空间字段的空间索引。

发明内容

本发明的目的是克服现有的不足，提供一种高效的遥感影像元数据入库检索方法。

为实现本发明目的，提供的技术方案如下：

一种高效的遥感影像元数据入库检索方法，它的步骤如下：

S1：解析遥感影像元数据XML文件，获取XML树节点信息，实现元数据表字段批量命名；

S2：基于元数据表和持久层对象的一一对应关系，定义作为解析结果的持久层对象；

S3：编写配置文件，基于配置文件中预定义的规则，解析提取遥感影像XML文件，并将结果以对象形式组织起来，完成遥感影像元数据入库；

S4：基于通用搜索树，对入库后的元数据表构建时空混合索引，用于进行遥感影像元数据检索。

作为优选，所述步骤S1的具体方法如下：

S11：递归地提取元数据文件对应的XML树中所有叶子结点的XPath，递归过程中若当前节点是叶子节点，则将XPath加入到结果列表中，否则递归访问当前节点的每一个孩子节点，直至所有叶子节点的XPath均被加入结果列表；

S12：遍历结果列表中的所有XPath查找是否存在重复名称的XPath，若存在则在结果列表中XPath总数和顺序保持不变的前提下对名称重复的XPath进行重命名，重命名方式为：对于每一个重复名称对应的所有XPath，通过在XPath末尾追加下划线和从0开始递增的编号进行重命名；

S13：在结果列表中XPath总数和顺序保持不变的前提下，对每个XPath进行截短操作，且保证截短后的字符串不与其他字符串发生名称冲突；所述截短操作方法为：以当前XPath中位于末尾的叶子结点标签名作为截短后的名称进行保留，若该保留名称与其他XPath的保留名称不冲突，则将该保留名称作为当前XPath截短后的保留名称，只要存在冲突，则在当前保留名称前面补充当前XPath中上一个层级的标签名作为前缀内容；

S14：对所有XPath截短后的名称，去除开头的正斜杠，并将内部的正斜杠转换为下划线，将所有字母一律转换为小写，最终得到满足下划线命名法的数据库字段名称。

作为优选，所述步骤S2的具体方法如下：

S21：对每一张元数据表使用MyBatis-Plus代码生成器，通过预设的全局配置、数据源配置、包配置和策略配置，自动生成对应的持久层对象作为解析结果。

作为优选，所述步骤S3的具体方法如下：

S31：为每一类遥感影像元数据文件编写配置文件，以键值对的形式组织配置信息，键为持久层对象的属性名称，值为对应元数据信息在XML文档树中经S1处理后得到的XPath；

S32：基于Class信息，使用反射技术，构造出一个持久层对象；

S33：遍历配置文件的每一个条目，获取键值对信息，依据XPath定位元数据XML文件中的元数据内容信息，根据对象属性名称在持久层对象中定位到对应字段，然后获取字段类型并对元数据内容信息进行类型转换，使用反射技术对持久层对象的属性进行赋值，完成遥感影像元数据入库。

作为优选，所述步骤S4的具体方法如下：

S41：根据检索需求，确定入库后的元数据表中需要构建索引的时间字段和空间字段；

S42：基于通用搜索树GiST，构建时空混合索引，其中S41中确定的空间字段作为复合索引的首个字段，遥感影像元数据时间字段作为复合索引的第二个字段。

本发明与现有技术相比具有的有益效果：

本发明提出了字段批量命名算法，能够从遥感影像XML文件中提取出节点信息，并经过一系列转换，得到具有不重复、语义清晰、简短、下划线命名特点的表字段名称。本发明使用配置文件指导元数据解析过程，实现了在不修改入库程序的前提下，动态支持新类型的遥感影像元数据。本发明提出了基于通用搜索树的时空混合索引，相比于简单的空间索引，检索效率提高了4倍。本发明为遥感影像元数据入库检索提供了示范和借鉴。

附图说明

图1为一种动态高效的遥感影像元数据入库方法流程图；

图2为适用于GF1遥感影像元数据的配置文件编写示例；

图3为不同索引组合下的元数据综合检索时间对比(图中横坐标为对数刻度)。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

如图1所示，为本发明的一个较佳实施例中提供的一种高效的遥感影像元数据入库检索方法流程图，其主要步骤包括4步，分别为S1～S4：

S1：解析遥感影像元数据XML文件，获取XML树节点信息，实现元数据表字段批量命名；

S2：基于元数据表和持久层对象的一一对应关系，定义作为解析结果的持久层对象；

S3：编写配置文件，基于配置文件中预定义的规则，解析提取遥感影像XML文件，并将结果以对象形式组织起来，完成遥感影像元数据入库；

S4：基于通用搜索树，对入库后的元数据表构建时空混合索引，用于进行遥感影像元数据检索。

下面对本实施例中S1～S4的具体实现方式以及其效果进行详细描述。

首先，遥感影像文件以压缩包的形式组织，其中包含了一个XML格式的遥感影像元数据文件。元数据信息存储在XML文档树的叶子节点上。

在本实施例的步骤S1中，针对元数据XML文件，按照S11～S14进行字段信息提取：

S11：递归地提取元数据文件对应的XML树中所有叶子结点的XPath，具体而言，递归过程中，若当前节点是叶子节点，则将XPath加入到结果列表中，否则递归访问当前节点的每一个孩子节点，直至所有叶子节点的XPath均被加入结果列表；

S12：遍历结果列表中的所有XPath查找是否存在重复名称的XPath，若存在则在结果列表中XPath总数和顺序保持不变的前提下对名称重复的XPath进行重命名，重命名方式为：对于每一个重复名称对应的所有XPath，通过在XPath末尾追加下划线和从0开始递增的编号进行重命名。举例来说，如果路径名称提取得到的结果列表中有三个重复的字段名称“field”，那么依次将其命名为“field_0”，“field_1”，“field_2”。

在S12具体实现过程中，可通过LinkedHashSet(下简称Set)和HashMap(下简称Map)来实现该重命名过程：

LinkedHashSet实现了集合接口，底层数据结构是哈希表和双向链表，其中双向链表保存了元素插入集合的顺序，因此可使用LinkedHashSet来保存计算结果。另外，可使用HashMap保存冲突信息，其中键为字符串类型记录冲突字段名称，值为整数类型，激励冲突次数。具体重命名过程如下：

1)首先对输入的字段名称列表进行一轮遍历，对于每一个字段名称，如果该名称已经在Set中，说明发生了名称冲突，从Map中获取已经发生的冲突次数，基于冲突次数进行重命名操作，并将改名后的字段名称加入到Set中，冲突次数加一后将信息记录到Map中；如果名称不在Set中，直接将字段名称加入Set即可。此轮遍历结束后，Map的键中记录了所有发生冲突的字段名称，Set中的字段名称已实现去重。

2)再创建一个动态列表存储输出结果，并对Set进行一轮遍历。对于Set中的每一个字段名称，如果Map中的键包含该名称，说明该字段名称是重复字段名称中的首个，对其进行重命名(末尾添加_0)后，添加到结果列表；否则，直接将字段名称添加到结果列表即可。假设有三个重复的字段名称“field”，如果没有最后这一步骤(指末尾添加_0的步骤)，输出结果是“field”，“field_1”，“field_2”，补上这一步骤之后，输出结果就是期望的“field_0”，“field_1”，“field_2”。

S13：在结果列表中XPath总数和顺序保持不变的前提下，对每个XPath进行截短操作，且保证截短后的字符串不与其他字符串发生名称冲突；所述截短操作方法为：以当前XPath中位于末尾的叶子结点标签名作为截短后的名称进行保留，若该保留名称与其他XPath的保留名称不冲突，则将该保留名称作为当前XPath截短后的保留名称，只要存在冲突，则在当前保留名称前面补充当前XPath中上一个层级的标签名作为前缀内容。需注意的是，上述存在冲突时增加的前缀内容是逐步进行的，判断存在冲突则加一个前缀内容，不断递进直至不存在冲突位置，每一步增加的前缀内容粒度是XPath中由相邻两个正斜杠分隔的一个词语，对应XML文档中的一个层级。

同样的，上述S13的具体实现过程中，可通过LinkedHashMap和HashMap来实现该截短过程：

LinkedHashMap实现了映射接口，底层数据结构是哈希表和双向链表，其中双向链表保存了元素插入集合的顺序，因此可使用LinkedHashMap来保存计算结果，键为截短之前的字符串，值为截短之后的字符串。另外，可使用一个HashMap保存字符串分组信息，键为分组标准的字符串后缀表示，值为当前分组下的输入字符串组成的列表。具体截短过程如下：

如果当前分组的字符串列表大小为1，意味着当前分组标准满足了名称不冲突的要求，将列表中的唯一一个字符串作为键，将分组标准字符串作为值，更新LinkedHashMap。如果当前分组的字符串列表大小大于1，向左延长分组标准字符串，计算当前分组标准下的字符串列表。重复以上逻辑，直至完成所有字符串的截短。

S14：对所有XPath截短后的名称，去除开头的正斜杠，并将内部的正斜杠转换为下划线，将所有字母一律转换为小写，最终得到满足下划线命名法的数据库字段名称。

上述S14的具体实现可借助StringBuilder来保存计算结果，具体做法为：

遍历名称字符串中的每一个字符，忽略前导正斜杠，如果字符是小写字母或数字或下划线，直接追加到StringBuilder；如果字符是大写字母，转换为小写字母，追加到StringBuilder，特别的，如果前一个字符是小写字母，再追加当前小写字符前先追加一个下划线；如果当前字符是正斜杠，追加一个下划线到StringBuilder。

本实施例中，步骤S2中定义持久层对象的具体方法如下：

S21：对每一张元数据表使用MyBatis-Plus代码生成器，通过预设的全局配置、数据源配置、包配置和策略配置，自动生成对应的持久层对象作为解析结果。

MyBatis是一款主流持久层框架，MyBatis-Plus在MyBatis的基础上只做增强不做改变。本发明使用了MyBatis-Plus的代码生成器功能，其中代码生成器具体的使用方法如下：

S211：构造代码生成器对象。

S212：设置全局配置，包括生成文件的输出目录、是否覆盖已有文件、是否打开输出目录、是否在xml中添加二级缓存配置、作者信息、是否开启Kotlin模式、是否开启swagger2模式、是否开启ActiveRecord模式、是否开启BaseResultMap、时间类型对应策略、开启baseColumnList、各层文件名称方式、指定生成的主键的ID类型。

S213：数据源配置，包括驱动名称、驱动连接的URL、数据库连接用户名、数据库连接密码、模式名称等。

S214：包配置，包括父包名称、模块名称、Entity包名、Service包名、Service Impl包名、Mapper包名、Mapper XML包名、Controller包名等。

S215：策略配置，包括是否大写命名、是否跳过视图、是否为链式模型、数据库表映射到实体的命名策略、数据库表字段映射到实体的命名策略、是否为lombok模型、是否生成Rest风格的控制器、需要包含的表名、表前缀、乐观锁属性名称、自定义继承的Entity类全称、自定义继承的Controller类全称等。

S216：执行代码生成器。

本实施例中，步骤S3的具体方法如下：

S31：为每一类遥感影像元数据文件编写配置文件，以键值对的形式组织配置信息，键为持久层对象的属性名称，值为对应元数据信息在XML文档树中经S1处理(即重命名和截短等操作)后得到的XPath。如图2所示，为针对高分数据GF1核心检索对象编写的配置文件示例。

反射(reflection)为程序在运行期间提供了访问、检测及修改自身行为状态的一种能力。java.lang.reflect类包组织了反射相关的接口和类。本发明后续使用反射技术实现程序运行时动态创建对象，以及对象属性的动态赋值，涉及的类有Class类和Field类。

S32：基于Class信息，使用反射技术，使用newInstance方法构造出一个持久层对象；

S33：遍历配置文件的每一个条目，获取键值对信息，依据XPath定位元数据XML文件中的元数据内容信息，根据对象属性名称在持久层对象中定位到对应字段，然后获取字段类型并对元数据内容信息进行类型转换，使用反射技术对持久层对象的属性进行赋值，完成遥感影像元数据入库。

本实施例中，步骤S4的具体方法如下：

S41：根据检索需求，确定入库后的元数据表中需要构建索引的时间字段和空间字段。

S42：基于通用搜索树GiST，构建时空混合索引，其中S41中确定的空间字段作为复合索引的首个字段，遥感影像元数据时间字段作为复合索引的第二个字段。

建立复合索引时，为了保证索引的高效，需要将高区分度的字段作为首个索引字段。从左到右来看，索引字段的区分度逐渐降低。时空混合索引同时包含了时间字段和空间字段，是一个复合索引。本发明中经过优选，确定了复合索引中以空间字段作为首个字段，而时间字段作为第二个字段，其能达到最高的检索效率。

该时空混合索引方式下，其SQL检索语句示例如下：CREATE INDEX index_name ONtable_name USING GIST(column1,column2)，其中索引名为index_name，表名为table_name，空间字段为column1，时间字段为column2。

下面基于上述实施例方法，将其应用至具体的实例中对其效果进行展示。

实验数据来源于高分遥感影像数据中的prod_gf1表，该表包含了GF1、GF2、GF4三类卫星的遥感影像元数据。综合检索实验旨在为元数据综合查询构建合适的索引。综合查询同时包含非空间条件和空间条件，查询语句参考架构实验中GF1元数据的检索，修改相应表名即可。实验在prod_gf1_core表上开展。综合检索实验对比分析以下四类索引构建方案：1.仅构建一个属性索引；2.仅构建一个空间索引；3.单独构建属性索引和空间索引，在检索时基于位图结合两个索引；4.构建时空混合索引。

本实施例中，针对165万条GF1遥感影像元数据，检索条件包含卫星、传感器、云量、时间、目标区域，各种索引情形下的检索用时。其中receivetime是时间字段，geom是空间字段，GiST是通用搜索树，SP-GiST是空间划分的通用搜索树，B-tree是经典的B树索引，“+”表示由数据库索引引擎使用位图来结合两个独立的索引。GiST(geom,reveivetime)为本发明提出的时空混合索引，即复合索引中空间字段在前，时间字段在后。GiST(geom,reveivetime)也为另一种时空混合索引，即复合索引中时间字段在前，空间字段在后。检索的SQL语句如下：

SELECT name,satelliteid,sensorid,cloudpercent,receivetime

FROM prod_gf124_undivided--此处修改表名

WHERE satelliteid＝'GF1'

AND sensorid＝'WFV1'

AND(cloudpercent BETWEEN 0AND 20)

AND(receivetime BETWEEN'2013-01-01'AND'2013-12-31')

AND ST_INTERSECTS(geom,

'SRID＝4326；POLYGON((119.92924907554418 30.38541942714027,

120.3645823274973 30.38541942714027,

120.3645823274973 30.128010821917673,

119.92924907554418 30.128010821917673,

119.92924907554418 30.38541942714027))')

图3展示了上述各种索引组合情况下的元数据综合检索时间。对比观察图中数据，可以得出：在检索效率上，本发明构建时空混合索引(空间字段作为首个索引字段)这一方案最优，其次是仅构建一个空间索引(GiST或SP-GiST均可)，再者是结合B树索引和空间索引，仅构建B树索引的性能较差，没有索引是最糟糕的选择。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种动态高效的遥感影像元数据入库检索方法，其特征在于它的步骤如下：

S1：解析遥感影像元数据XML文件，获取XML树节点信息，实现元数据表字段批量命名；

S2：基于元数据表和持久层对象的一一对应关系，定义作为解析结果的持久层对象；

S3：编写配置文件，基于配置文件中预定义的规则，解析提取遥感影像XML文件，并将结果以对象形式组织起来，完成遥感影像元数据入库；

S4：基于通用搜索树，对入库后的元数据表构建时空混合索引，用于进行遥感影像元数据检索。

2.根据权利要求1所述的遥感影像元数据入库检索方法，其特征在于：所述步骤S1的具体方法如下：

S11：递归地提取元数据文件对应的XML树中所有叶子结点的XPath，递归过程中若当前节点是叶子节点，则将XPath加入到结果列表中，否则递归访问当前节点的每一个孩子节点，直至所有叶子节点的XPath均被加入结果列表；

S12：遍历结果列表中的所有XPath查找是否存在重复名称的XPath，若存在则在结果列表中XPath总数和顺序保持不变的前提下对名称重复的XPath进行重命名，重命名方式为：对于每一个重复名称对应的所有XPath，通过在XPath末尾追加下划线和从0开始递增的编号进行重命名；

S13：在结果列表中XPath总数和顺序保持不变的前提下，对每个XPath进行截短操作，且保证截短后的字符串不与其他字符串发生名称冲突；所述截短操作方法为：以当前XPath中位于末尾的叶子结点标签名作为截短后的名称进行保留，若该保留名称与其他XPath的保留名称不冲突，则将该保留名称作为当前XPath截短后的保留名称，只要存在冲突，则在当前保留名称前面补充当前XPath中上一个层级的标签名作为前缀内容；

S14：对所有XPath截短后的名称，去除开头的正斜杠，并将内部的正斜杠转换为下划线，将所有字母一律转换为小写，最终得到满足下划线命名法的数据库字段名称。

3.根据权利要求1所述的遥感影像元数据入库检索方法，其特征在于：所述步骤S2的具体方法如下：

S21：对每一张元数据表使用MyBatis-Plus代码生成器，通过预设的全局配置、数据源配置、包配置和策略配置，自动生成对应的持久层对象作为解析结果。

4.根据权利要求1所述的遥感影像元数据入库检索方法，其特征在于：所述步骤S3的具体方法如下：

S31：为每一类遥感影像元数据文件编写配置文件，以键值对的形式组织配置信息，键为持久层对象的属性名称，值为对应元数据信息在XML文档树中经S1处理后得到的XPath；

S32：基于Class信息，使用反射技术，构造出一个持久层对象；

S33：遍历配置文件的每一个条目，获取键值对信息，依据XPath定位元数据XML文件中的元数据内容信息，根据对象属性名称在持久层对象中定位到对应字段，然后获取字段类型并对元数据内容信息进行类型转换，使用反射技术对持久层对象的属性进行赋值，完成遥感影像元数据入库。

5.根据权利要求1所述的遥感影像元数据入库检索方法，其特征在于：所述步骤S4的具体方法如下：

S41：根据检索需求，确定入库后的元数据表中需要构建索引的时间字段和空间字段；

S42：基于通用搜索树GiST，构建时空混合索引，其中S41中确定的空间字段作为复合索引的首个字段，遥感影像元数据时间字段作为复合索引的第二个字段。

Images