CN115033569A - 一种自定义遥感影像元数据入库方法 - Google Patents

一种自定义遥感影像元数据入库方法 Download PDF

Info

Publication number
CN115033569A
CN115033569A CN202210622792.0A CN202210622792A CN115033569A CN 115033569 A CN115033569 A CN 115033569A CN 202210622792 A CN202210622792 A CN 202210622792A CN 115033569 A CN115033569 A CN 115033569A
Authority
CN
China
Prior art keywords
metadata
remote sensing
sensing data
warehousing
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210622792.0A
Other languages
English (en)
Inventor
汪愿愿
张蕴灵
熊丹
严益明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
China Highway Engineering Consultants Corp
Original Assignee
Zhejiang University ZJU
China Highway Engineering Consultants Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, China Highway Engineering Consultants Corp filed Critical Zhejiang University ZJU
Priority to CN202210622792.0A priority Critical patent/CN115033569A/zh
Publication of CN115033569A publication Critical patent/CN115033569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自定义遥感影像元数据入库方法。其步骤如下：1)基于遥感影像元数据和入库需求，自定义入库规范，实现元数据表字段批量命名和元数据信息表添加；2)创建工作空间，对原始数据进行预处理，错误数据进行标识；3)基于入库规范，对解压后的数据进行质量检查，缺失数据进行标识；4)解析遥感影像元数据信息，实例化对应的遥感数据元数据信息操作类，将元数据信息导入到数据库表；5)与FTP指定服务器建立连接，打开传输通道，将遥感数据上传到FTP服务器的指定位置。本发明对于遥感影像元数据的入库具有十分重要的实际应用价值。

Description

一种自定义遥感影像元数据入库方法
技术领域
本发明属于遥感数据管理领域，具体涉及自定义遥感影像元数据入库方法。
背景技术
遥感影像数据入库就是将处理过的遥感数据和相关元数据导入到数据库相对应位置。遥感影像元数据是对遥感数据特征的概括和抽取，在遥感数据共享和应用中发挥着重要作用，利用元数据用户可以迅速有效地了解、定位、评价地理数据。根据遥感数据应用的实际需求，遥感元数据包含了遥感影像的卫星、传感器、云量、成像时间、地理范围等信息。
传统的遥感影像元数据存储入库，首先需要对元数据文件进行解析，制定入库程序，提取元数据信息并封装成对象，最后将持久层对象写入到数据库中。不同的元数据文件存在结构异构和语义异构的特点，所以对于传统入库来说，每增加一类新遥感数据时，都需要不断修改入库程序，增加代码，导致代码冗余，且入库效率低下。
发明内容
本发明的目的是克服现有的不足，提供一种自定义遥感影像元数据入库方法，使用户在数据库中自定义规范，完成数据入库。
为实现本发明目的，提供的技术方案如下：
一种自定义遥感影像元数据入库方法，它的步骤如下：
S1：针对待入库遥感数据中的每一种遥感数据类型，基于遥感影像元数据和入库需求在数据库中构建对应的元数据表并对元数据表中字段进行批量命名，同时构建元数据信息表来存储每张元数据表的入库规范；
S2：创建工作空间，并将待入库的原始遥感数据包复制到工作空间中，对原始遥感数据包进行解压处理得到解压后的遥感数据文件，解压出错的错误数据包则进行标识并停止入库；
S3：基于所述元数据信息表中存储的入库规范，对解压后的遥感数据文件进行质量检查，若质量检查不通过则进行标识并停止入库；
S4：通过质量检查后，解压后的遥感数据文件中找到元数据文件，解析其中的遥感影像元数据信息，通过实例化对应的遥感数据元数据信息操作类，将其中的元数据信息导入到数据库内对应的元数据表中；
S5：完成元数据信息导入后，与FTP指定服务器建立连接，打开传输通道，将遥感数据文件上传到FTP服务器的指定位置。
作为优选，所述步骤S1的具体方法如下：
S11：针对待入库遥感数据中的每一种遥感数据类型，在数据库中新建对应的元数据表，其中元数据表中包含基础信息字段和元数据节点字段，所述基础信息字段用于存储入库的遥感数据的概况信息，所述元数据节点字段用于存储需要提取并入库的所有元数据节点信息，且元数据表中的元数据节点字段名需要与该遥感数据类型对应的元数据文件里面的节点名称一致；
S12：每新建一个元数据表后，需要向元数据信息表中添加一行记录，通过该行记录记载遥感数据类型名称、所对应的元数据表名称、所对应的入库规范，仅有符合入库规范的原始遥感数据才能够入库；其中所述入库规范中至少包含用正则表达式表示的原始数据命名规范以及元数据命名规范；
作为优选，所述步骤S2的具体方法如下：
S21：创建用于进行遥感数据处理的工作空间，并在工作空间建立后将待入库的原始遥感数据包复制到工作空间内；
S22：在工作空间内调用解压进程对原始遥感数据包进行压缩包解压，以形成一系列遥感数据文件，同时记录进程返回值，若出现解压错误则对解压错误的压缩包进行标识并停止入库。
作为优选，所述解压进程为7za.exe。
作为优选，所述步骤S3的具体方法如下：
S31：先对遥感原始数据包进行文件格式判断，判断方式为：将遥感原始数据包的名称与元数据信息表中各记录行内原始数据命名规范字段的正则表达式进行匹配，若匹配成功，则基于匹配记录行中的遥感数据类型名称来标识当前的遥感数据类型，并允许进行后续数据入库；
S32：再对解压后的遥感数据文件进行元数据完整性检测，检测方式为：利用匹配记录行中的元数据命名规范字段的正则表达式，从所有遥感数据文件中筛选出符合入库格式的元数据文件，然后解析出该元数据文件中的所有元数据节点名称集合，根据匹配记录行中的元数据表名称从数据库中确定对应的元数据表，以确定的元数据表为基准，判断解析得到的所有元数据节点名称集合中是否包含元数据表中所需的所有元数据节点字段，若是，则通过元数据完整性检测，若否，则表示元数据文件缺少必要的元数据节点信息，元数据完整性检测不通过，对缺少的元数据节点字段进行标识并停止入库。
作为优选，解析元数据文件中的所有元数据节点名称集合时，需根据元数据文件的后缀名判断文件类型，进而选择对应的解析方式进行分类解析。
作为优选，所述步骤S4的具体方法如下：
S41：当解压后的遥感数据文件通过质量检查后，根据对应的元数据表中的元数据节点字段需求，解析元数据文件，得到所有的元数据节点信息；
S42：实例化对应的遥感数据元数据信息操作类，将元数据信息导入到元数据表。
作为优选，所述S42中，基于解析的元数据信息，构造出元数据操作对象，将Dictionary的键值对信息转换为类的属性值，利用SQL插入语句，将元数据信息入库到元数据表。
作为优选，所述步骤S5中，遥感数据文件的存储位置是根据原始数据命名规范确定的，而文件传输基于文件传输协议(FTP)完成。
作为优选，所述步骤S5中，在向FTP服务器上传遥感数据文件时，需上传工作空间目录下的原始遥感数据包以及对应的元数据文件和缩略图。
本发明与现有技术相比具有的有益效果：
本发明使用元数据信息表和元数据表，自定义了入库规范，实现了在不修改入库程序的前提下，动态支持新类型的遥感影像元数据入库。本发明在入库之前先验证获取的遥感数据的格式及对应元数据的完整性，确定获取的数据满足要求后再进行上传，避免因获取过程中数据受损导致的数据误差，保障数据精确性。本发明提出了解析元数据的新方法，以元数据表为标准，分类解析多类元数据，为数据入库提供新思路。本发明的导入功能将所有数据进行自动存储，在快速实现数据自动入库的基础上，同时提升了数据库中存储空间的合理利用率。本发明为自定义遥感影像元数据入库提供了示范混合借鉴。
附图说明
图1为自定义遥感影像元数据入库方法流程图；
图2为GF6遥感影像元数据表示例；
图3为GF6遥感影像数据入库要求。
图4为GF6遥感影像数据解压后文件。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，为本发明提供的自定义遥感影像元数据入库方法流程图，其主要步骤包括5步，分别为S1～S5：
S1：针对待入库遥感数据中的每一种遥感数据类型，基于遥感影像元数据和入库需求在数据库中构建对应的元数据表并对元数据表中字段进行批量命名，同时构建元数据信息表来存储每张元数据表的自定义入库规范。
S2：创建工作空间，并将待入库的原始遥感数据包复制到工作空间中，对原始遥感数据包进行解压处理得到解压后的遥感数据文件，解压出错的错误数据包则进行标识并停止入库。
S3：基于所述元数据信息表中存储的入库规范，对解压后的遥感数据文件进行质量检查，若质量检查不通过则进行标识并停止入库。
S4：通过质量检查后，解压后的遥感数据文件中找到元数据文件，解析其中的遥感影像元数据信息，通过实例化对应的遥感数据元数据信息操作类，将其中的元数据信息导入到数据库内对应的元数据表中。
S5：完成元数据信息导入后，与FTP指定服务器建立连接，打开传输通道，将遥感数据文件上传到FTP服务器的指定位置。
下面对本实施例中S1～S5的具体实现方式以及其效果进行详细描述。
首先，遥感影像文件以压缩包的形式组织，其中包含了XML格式、文本格式的遥感影像元数据文件。元数据信息存储在XML文档树的叶子节点上和文本文件中。自定义规范借助正则表达式实现。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
在本实施例的步骤S1中，根据元数据文件和入库要求，按照S11～S12建立元数据表和入库规范：
S11：针对待入库遥感数据中的每一种遥感数据类型，在数据库中新建对应的元数据表，其中元数据表中包含基础信息字段和元数据节点字段，基础信息字段用于存储入库的遥感数据的概况信息，所述元数据节点字段用于存储需要提取并入库的所有元数据节点信息，且元数据表中的元数据节点字段名需要与该遥感数据类型对应的元数据文件里面的节点名称一致。
作为本实施例中的一种具体实现形式，在数据库中新建元数据表时，表中存储用户需要提取的元数据节点信息。其中每个数据表必须包括以下5个基础信息字段，具体如下所示：
字段名：ID；类型：int；不允许为空，主键；用途：记录原始压缩包名称；
字段名：Name；类型：text；用途：记录原始遥感数据压缩包名称；
字段名：QRST_CODE；类型：text；用途：记录入库记录的唯一标识；
字段名：ImportTime；类型：timestamp；用途：记录入库时间；
字段名：Size；类型：float；用途：记录原始遥感数据压缩包的文件大小；
除了以上5个基础信息字段，数据表中的其它字段名需要跟读取的元数据文件里面的节点名称一致。若一种数据类型，有多种不同传感器，各传感器对应的元数据节点名称无法统一，可以建多个数据表。以GF6数据为例，元数据表如图2所示。
S12：每新建一个元数据表后，需要向元数据信息表中添加一行记录，通过该行记录记载遥感数据类型名称、所对应的元数据表名称、所对应的入库规范，仅有符合入库规范的原始遥感数据才能够入库；其中所述入库规范中至少包含用正则表达式表示的原始数据命名规范以及元数据命名规范。
作为本实施例中的一种具体实现形式，元数据信息表的字段如下所示。
字段id：数字递增；
字段dataname：遥感数据类型名称；
字段tablename：遥感数据的元数据表名称；
字段nameexpression：原始数据命名规范，通常用正则表达式表示，唯一标识原始数据；
字段xmlname：元数据命名规范，用正则表达式表示；
字段thumbnailname：缩略图命名规范，用正则表达式表示，如果没有缩略图，此字段可不填；
字段viewname：数据表对应的视图；
字段xmlcount：表示一行记录对应的元数据文件的数量。若一个压缩包对应两条记录，但是一条记录只对应一个元数据文件的，字段xmlcount的值应该填为1。
本实施例中，步骤S2分为创建工作空间和预处理两个步骤，具体方法如下：
S21：遥感数据存放在分布式结构的虚拟空间中，由卫星数据中心直接推送，为了保障原始数据的完整和数据推送的正常进行，解析遥感数据的过程需要单独建立空间进行。工作空间由数据入库系统按统一规范进行创建，主要实现了遥感数据的预处理、数据质量检查等过程。工作空间作为一个中间文件出现，在入库结束后将被程序删除。工作空间建立后，将待入库的原始遥感数据包复制到工作空间内，继续预处理过程。
S22：预处理主要是指原始数据解压过程，原始遥感数据以压缩包的形式进行存储，为了解析遥感元数据信息，必须将其进行解压分析。因此，可在工作空间内调用解压进程对原始遥感数据包进行压缩包解压，以形成一系列遥感数据文件，同时记录进程返回值，若出现解压错误则对解压错误的压缩包进行标识并停止入库。
作为本实施例中的一种具体实现形式，元可根据原始遥感数据类型，将遥感数据解压分为单次解压和两次解压，原始数据压缩包以.tar.gz结尾的文件为二次解压，以.tar\.zip\.gz等结尾的为单次解压，当然具体的解压次数需要根据压缩包的具体情况进行选择。解压可利用Process组件StartInfo属性指定的进程资源，启用7za.exe文件实现，同时记录进程返回值，对解压错误的压缩包进行标识，解压出错则停止入库。
本实施例中，步骤S3主要是判断获取的遥感数据格式是否正确，并计算确定所述遥感数据对应元数据的完整性，当遥感数据的格式正确且其对应的元数据完整时，确定该遥感数据和对应的元数据满足要求。具体方法如下：
S31：根据遥感数据应用的实际需要和数据库设计的要求，判断遥感数据的格式是否正确。在一个实施例中，判断遥感数据是否为遥感数据格式，通常判断其是否为有效的遥感影像文件格式。文件格式判断是将遥感原始数据包的名称与元数据信息表中各记录行内原始数据命名规范字段(即元数据信息表的自定义入库规范中的nameexpression字段)的正则表达式进行匹配，若匹配成功，则基于匹配记录行中的遥感数据类型名称来标识当前的遥感数据类型，并允许进行后续数据入库。
S32：再对解压后的遥感数据文件进行元数据完整性检测，检测方式为：利用匹配记录行中的元数据命名规范字段(即元数据信息表的自定义入库规范中的xmlname字段)的正则表达式，从所有遥感数据文件中筛选出符合入库格式的元数据文件，然后解析出该元数据文件中的所有元数据节点名称集合，根据匹配记录行中的元数据表名称从数据库中确定对应的元数据表，以确定的元数据表为基准，判断解析得到的所有元数据节点名称集合中是否包含元数据表中所需的所有元数据节点字段，若是，则通过元数据完整性检测，若否，则表示元数据文件缺少必要的元数据节点信息，元数据完整性检测不通过，对缺少的元数据节点字段进行标识并停止入库。
需要注意的是，在解析元数据文件中的所有元数据节点名称集合时，需根据元数据文件的后缀名判断文件类型，进而选择对应的解析方式进行分类解析。作为本实施例中的一种具体实现形式，上述S32的具体做法如下：
S321：分类解析遥感影像元数据文件，获取元数据节点信息。
元数据后缀名为“.xml”、“.kml”、“.safe”等符合XML格式的元数据，递归地提取元数据文件对应的XML树中所有叶子结点的XPath。具体来说，首先将含有XML文档的文件的URL加载XmlDocument类的实例中，获取所有节点的子节点。然后将子节点作为参数，传入递归方法中，若当前节点是叶子节点且非注释节点，则将节点名称加入到结果集合中，否则递归访问当前节点的每一个子节点，直至所有叶子节点的名称均被加入结果列表。
后缀名为“.txt”、“.workreport”等结构的文本文件，利用StreamReader类进行解析，可以进行以字符为单位的数据读写操作。每次从当前流中读取一行字符，然后根据“＝”符号将读取到的字符串进行分割，符号左边为节点名称，右边为节点值，将节点名称放入到集合中。
S322：解析元数据表中的信息。元数据表中的字段是根据对应遥感数据的实际工况需求确定的，是完整性检测的依据。基于元数据信息表中数据对应的tablename字段的值，确定元数据表。利用SQL语句查询元数据信息。
S323：以数据库元数据表信息为标准，判定元数据节点信息是否完整。若不完整，则表示元数据缺少必备的节点信息，元数据完整性检测不通过，记录缺少字段。若满足要求，则元数据信息完整，继续入库。
本实施例中，步骤S4的具体方法如下：
S41：当解压后的遥感数据文件通过质量检查后，根据对应的元数据表中的元数据节点字段需求，解析元数据文件，得到所有的元数据节点信息。需注意的是，遥感数据文件对应的元数据表以及其中待解析的元数据文件已经在S3步骤中确定了。
上述元数据文件的解析方式也需要根据其文件类型进行选择，具体而言：若是符合XML格式的元数据则借助XmlDocument类进行解析，XmlDocument将XML视为树状结构，并在内存中构建该文档的树状结构。具体来说，是XmlDocument的实例加载了XML文件的URL，以元数据表中键为标准，使用root.GetElementsByTagName方法，匹配的所有子代元素的列表，获取节点及其所有子节点的串连值，根据元数据表字段类型，将指定字符串表示形式转换为等效的类型，将指定的节点名和节点串连值添加到字典中，其中键表示节点名，值表示节点串连值。
若是符合文本格式的元数据，则借助StreamReader类进行解析，它是以一种特定的编码从字节流中读取字符。每次读取前需要判断当前的流位置是否在流结尾，如果到达了输入流的末尾，则读取值为null，如果不是流结尾，将从当前流中读取一行字符并将数据作为字符串返回。返回的字符串按“＝”符号进行分割，分部存储，同时节点值进行等效转换，添加到字典中，其中键表示节点名，值表示节点值。
S42：实例化对应的遥感数据元数据信息操作类，将元数据信息导入到元数据表。具体来说，基于解析的元数据信息，构造出元数据操作对象，将Dictionary的键值对信息转换为类的属性值，利用SQL插入语句，将元数据信息入库到元数据表。作为本实施例中的一种具体实现形式，可利用“insert into元数据表名节点名称value节点值”语句，将元数据信息入库到元数据表中。
本实施例中，步骤S5的具体方法如下：
遥感数据文件的存储位置是根据原始数据命名规范确定的，而文件传输主要是基于文件传输协议(FTP)完成。遥感位置一般以“主机IP\数据类型\传感器\年\月\日”等形式进行存储。文件传输使用FTP协议，保证了海量遥感数据的可靠和高效传输，通过用户名和口令连接FTP服务器，实现用户的认证，同时使用FTP传输加密加强了遥感数据传输的安全性。FTP允许用户以文件操作的方式与另一主机相互通信。它在两台通信的主机之间使用了两条TCP连接，一个虚拟连接用于控制信息，另一个的TCP连接用于数据传输。文件传输协议是TCP/IP网络上两台计算机传送文件的协议，FTP是在TCP/IP网络和INTERNET上最早使用的协议之一，它属于网络协议组的应用层。FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。
在向FTP服务器上传遥感数据文件时，需至少运用FTP上传工作空间目录下的原始遥感数据包，使其移入到综合数据库。同时，亦可根据实际的业务场景需要，将原始遥感数据包对应的元数据文件和缩略图上传至FTP服务器上的综合数据库。具体而言，在解压目录下，将通过质量检查的元数据文件移入到综合数据库，完成元数据文件入库。在解压目录下，若通过质检的缩略图的数量为一张，表示用于检索的图片和原图为同一张，将原图拷贝到综合数据库，将重命名后的图片放入检索所在位置，命名根据数据的QRST_CODE值确定。若通过质检的缩略图的数量大于一张，表示该数据提供了原图和用于检索的图片，检索图片一般是带有“thumb”后缀的缩略图，将其重命名后拷贝检索图片位置，其它的缩略图拷贝到综合数据库，完成缩略图入库。
下面基于上述S1～S5所描述的自定义遥感影像元数据入库方法应用至一个具体实例中，以展示其具体实现方式。
实施例
下面以新增加的高分6号数据为例，对本发明进行具体描述，其具体步骤如下：
1)按照前述步骤S1，根据遥感影像元数据文件，新建元数据表prod_gf6，结果如图2所示。指定的元数据文件和缩略图如图3所示，根据入库需求，填写元数据信息表。元数据信息表内容如表1所示。
2)按照前述步骤S2，创建工作空间，将原始数据拷贝到工作空间。入库程序开启进程，调用7za.exe解压小工具，对高分6号的压缩包，进行二次解压，记录解压返回值。解压后的文件如图4所示。
3)根据前述步骤S3，对高分6号解压后的文件进行质量检查，检查解压后文件夹是否存在，遥感影像的压缩包是否匹配nameexpression字段的正则表达式，XML文件的节点名称是否完整，两个缩略图是否均存在。
4)根据前述步骤S4，对“GF6_PMS_E34.7_N32.1_20190222_L1A1119850156.xml”文件进行解析，实例化元数据信息操作类MetaDataAll，将元数据信息入库到数据库中。
5)根据前述步骤S5，将原始压缩包、缩略图和XML文件放入到综合数据库中指定位置，完成遥感数据入库。
表1元数据信息表
Figure BDA0003675241620000111
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种自定义遥感影像元数据入库方法，其特征在于它的步骤如下：
S1：针对待入库遥感数据中的每一种遥感数据类型，基于遥感影像元数据和入库需求在数据库中构建对应的元数据表并对元数据表中字段进行批量命名，同时构建元数据信息表来存储每张元数据表的入库规范；
S2：创建工作空间，并将待入库的原始遥感数据包复制到工作空间中，对原始遥感数据包进行解压处理得到解压后的遥感数据文件，解压出错的错误数据包则进行标识并停止入库；
S3：基于所述元数据信息表中存储的入库规范，对解压后的遥感数据文件进行质量检查，若质量检查不通过则进行标识并停止入库；
S4：通过质量检查后，解压后的遥感数据文件中找到元数据文件，解析其中的遥感影像元数据信息，通过实例化对应的遥感数据元数据信息操作类，将其中的元数据信息导入到数据库内对应的元数据表中；
S5：完成元数据信息导入后，与FTP指定服务器建立连接，打开传输通道，将遥感数据文件上传到FTP服务器的指定位置。
2.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S1的具体方法如下：
S11：针对待入库遥感数据中的每一种遥感数据类型，在数据库中新建对应的元数据表，其中元数据表中包含基础信息字段和元数据节点字段，所述基础信息字段用于存储入库的遥感数据的概况信息，所述元数据节点字段用于存储需要提取并入库的所有元数据节点信息，且元数据表中的元数据节点字段名需要与该遥感数据类型对应的元数据文件里面的节点名称一致；
S12：每新建一个元数据表后，需要向元数据信息表中添加一行记录，通过该行记录记载遥感数据类型名称、所对应的元数据表名称、所对应的入库规范，仅有符合入库规范的原始遥感数据才能够入库；其中所述入库规范中至少包含用正则表达式表示的原始数据命名规范以及元数据命名规范；
3.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S2的具体方法如下：
S21：创建用于进行遥感数据处理的工作空间，并在工作空间建立后将待入库的原始遥感数据包复制到工作空间内；
S22：在工作空间内调用解压进程对原始遥感数据包进行压缩包解压，以形成一系列遥感数据文件，同时记录进程返回值，若出现解压错误则对解压错误的压缩包进行标识并停止入库。
4.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述解压进程为7za.exe。
5.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S3的具体方法如下：
S31：先对遥感原始数据包进行文件格式判断，判断方式为：将遥感原始数据包的名称与元数据信息表中各记录行内原始数据命名规范字段的正则表达式进行匹配，若匹配成功，则基于匹配记录行中的遥感数据类型名称来标识当前的遥感数据类型，并允许进行后续数据入库；
S32：再对解压后的遥感数据文件进行元数据完整性检测，检测方式为：利用匹配记录行中的元数据命名规范字段的正则表达式，从所有遥感数据文件中筛选出符合入库格式的元数据文件，然后解析出该元数据文件中的所有元数据节点名称集合，根据匹配记录行中的元数据表名称从数据库中确定对应的元数据表，以确定的元数据表为基准，判断解析得到的所有元数据节点名称集合中是否包含元数据表中所需的所有元数据节点字段，若是，则通过元数据完整性检测，若否，则表示元数据文件缺少必要的元数据节点信息，元数据完整性检测不通过，对缺少的元数据节点字段进行标识并停止入库。
6.根据权利要求5所述的自定义遥感影像元数据入库方法，其特征在于：解析元数据文件中的所有元数据节点名称集合时，需根据元数据文件的后缀名判断文件类型，进而选择对应的解析方式进行分类解析。
7.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S4的具体方法如下：
S41：当解压后的遥感数据文件通过质量检查后，根据对应的元数据表中的元数据节点字段需求，解析元数据文件，得到所有的元数据节点信息；
S42：实例化对应的遥感数据元数据信息操作类，将元数据信息导入到元数据表。
8.根据权利要求7所述的自定义遥感影像元数据入库方法，其特征在于：所述S42中，基于解析的元数据信息，构造出元数据操作对象，将Dictionary的键值对信息转换为类的属性值，利用SQL插入语句，将元数据信息入库到元数据表。
9.根据权利要求1所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S5中，遥感数据文件的存储位置是根据原始数据命名规范确定的，而文件传输基于文件传输协议(FTP)完成。
10.如权利要求9所述的自定义遥感影像元数据入库方法，其特征在于：所述步骤S5中，在向FTP服务器上传遥感数据文件时，需上传工作空间目录下的原始遥感数据包以及对应的元数据文件和缩略图。
CN202210622792.0A 2022-06-02 2022-06-02 一种自定义遥感影像元数据入库方法 Pending CN115033569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210622792.0A CN115033569A (zh) 2022-06-02 2022-06-02 一种自定义遥感影像元数据入库方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210622792.0A CN115033569A (zh) 2022-06-02 2022-06-02 一种自定义遥感影像元数据入库方法

Publications (1)

Publication Number Publication Date
CN115033569A true CN115033569A (zh) 2022-09-09

Family

ID=83122503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210622792.0A Pending CN115033569A (zh) 2022-06-02 2022-06-02 一种自定义遥感影像元数据入库方法

Country Status (1)

Country Link
CN (1) CN115033569A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292529A (zh) * 2022-09-20 2022-11-04 中咨数据有限公司 影像自动处理及成果自动入库方法、系统、设备及介质
CN116188997A (zh) * 2023-04-24 2023-05-30 中铁城际规划建设有限公司 一种遥感影像元数据处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292529A (zh) * 2022-09-20 2022-11-04 中咨数据有限公司 影像自动处理及成果自动入库方法、系统、设备及介质
CN116188997A (zh) * 2023-04-24 2023-05-30 中铁城际规划建设有限公司 一种遥感影像元数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN111259006B (zh) 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统
Jeon et al. A recovery method of deleted record for SQLite database
CN115033569A (zh) 一种自定义遥感影像元数据入库方法
US7487168B2 (en) System and method for loading hierarchical data into relational database systems
CA2610002C (en) Device specific content indexing for optimized device operation
CN109964216A (zh) 识别未知数据对象
JPH0981445A (ja) 情報管理装置
CN104035993B (zh) 电子书的存储检索方法、电子书管理系统、阅读系统
CN101727502A (zh) 一种数据查询方法及装置、系统
CN110245037B (zh) 一种基于日志的Hive用户操作行为还原方法
CN113986873A (zh) 一种海量物联网数据模型化的处理、存储与共享方法
CN113010476B (zh) 元数据查找方法、装置、设备及计算机可读存储介质
CN104572978A (zh) 基于日志的电力调度自动化系统用户行为统计方法
US9870422B2 (en) Natural language search
CN113901131A (zh) 基于索引的链上数据查询方法及装置
US20060184554A1 (en) System and method for extensible metadata architecture for digital images using in-place editing
WO2006088496A2 (en) System and method for extensible metadata architecture for digital images
CN110413711A (zh) 一种差异数据获取方法及其存储介质
US7523392B2 (en) Method and system for mapping between components of a packaging model and features of a physical representation of a package
JP4422742B2 (ja) 全文検索システム
US7548927B2 (en) Abstracted metadata policy component and related architecture
CN117171108B (zh) 一种虚拟模型映射方法和系统
CN112131239B (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN111427845B (zh) 一种交互式建模分析算子数据交换方法
US8706714B2 (en) File aggregation method and information processing system using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination