CN103428202A - 基于ftp和xml的遥感数据产品自动监控入库方法 - Google Patents

基于ftp和xml的遥感数据产品自动监控入库方法 Download PDF

Info

Publication number
CN103428202A
CN103428202A CN2013103134516A CN201310313451A CN103428202A CN 103428202 A CN103428202 A CN 103428202A CN 2013103134516 A CN2013103134516 A CN 2013103134516A CN 201310313451 A CN201310313451 A CN 201310313451A CN 103428202 A CN103428202 A CN 103428202A
Authority
CN
China
Prior art keywords
data
remotely
ftp
file
xml
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103134516A
Other languages
English (en)
Other versions
CN103428202B (zh
Inventor
张丰
杜震洪
刘仁义
方旋
杨家芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201310313451.6A priority Critical patent/CN103428202B/zh
Publication of CN103428202A publication Critical patent/CN103428202A/zh
Application granted granted Critical
Publication of CN103428202B publication Critical patent/CN103428202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FTP和XML的遥感数据产品自动监控入库方法。用于取代普遍采用的遥感数据产品手动入库方式，能够实现遥感数据产品的远程自动监控发现、数据内容解析及将数据存入数据库，相比手动入库方式减少了需要人工处理的步骤及耗时。利用.NET、FTP、XML等技术作为实现数据自动监控和入库方法的基础，包括数据监控模块、数据内容解析模块、FTP传输模块、数据信息入库模块、日志记录模块，五大功能模块协同作用实现遥感数据的自动监控和入库。本发明技术实现方法简单，对遥感数据产品入库进行了有效地管理，主要过程计算机自动处理，人机交互少，提高了工作效率，在遥感数据产品入库管理领域中应用前景非常广泛。

Description

基于FTP和XML的遥感数据产品自动监控入库方法
技术领域
本发明属于遥感数据管理技术领域。尤其涉及一种基于FTP和XML的遥感数据产品自动监控入库方法。
背景技术
文件传输协议（File Transfer Protocol, FTP）使得主机间可以共享文件。FTP使用TCP生成一个虚拟连接用于控制信息，然后再生成一个单独的TCP连接用于数据传输。控制连接使用类似TELNET协议在主机间交换命令和消息。文件传输协议是TCP/IP网络上两台计算机传送文件的协议，FTP是在TCP/IP网络和INTERNET上最早使用的协议之一，它属于网络协议组的应用层。FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。
可扩展标记语言（Extensible Markup Language, XML），用于标记电子文件 使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许 用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言（SGML）的子集，非常适合Web传输。XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。
目前对遥感数据的管理方法有很多，而其中一种是采用文件+元数据库的方 式，即把遥感数据文件存放于文件目录中，而把遥感数据的信息以元数据的形 式存在数据库表中。当需要对遥感数据进行读取时，先从元数据库获得遥感数 据的基本信息，获得遥感数据的文件名、文件大小和文件存放位置，便可以在文件系统中快速找到需要的遥感数据。但这种方法在遥感数据入库时却显得比较繁琐，上传文件与录入数据信息都需要较多的人工参与，即耗费时间又容易出错。而本发明减少了数据入库过程中需要人工判断和操作的部分，让计算机自动监控需要入库的文件，解析XML格式的遥感数据元数据信息，并以FTP的方式将数据上传至服务器，最后将数据信息写入元数据库，整个过程自动完成，需要人工参与的只是把需要入库的数据放入监控文件夹即可，并且具有日志记录功能，一旦发生无法成功入库的情况，工作人员也可以从日志中分析原因并排除故障。
发明内容
本发明的目的是克服现有技术的不足，提出一种基于FTP和XML的遥感数据产品自动监控入库方法。
基于FTP和XML的遥感数据产品自动监控入库方法的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件 记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称。数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
本发明与现有技术相比具有的有益效果：
1）实现了遥感数据的自动入库，该方法具有数据自动监控发现、数据自动上传、数据信息自动入库的特点，是一个透明的、可扩展的、可控制的、细粒度的数据入库管理技术。
2）相比手动入库方式减少了需要人工处理的步骤及耗时，主要过程计算机自动处理，人机交互少，节约了时间，提高了工作效率。
3）本发明技术实现方法简单，数据实时同步更新，执行速度快。
附图说明
图1 是本发明中数据监控入库的流程示意图。
具体实施方式
基于FTP和XML的遥感数据产品自动监控入库方法的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件 记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称。数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
实施例
第一步，选择一份遥感数据（包括遥感数据、元数据XML、缩略图等）作为测试数据，将数据放入监控文件夹，数据监控模块立即检测到这份新放入监控文件夹的数据；
第二步，数据内容解析模块对测试数据中的元数据XML文件进行解析和读取，元数据XML文件内容及说明如下：
<?xml version="1.0" encoding="gb2312" standalone="yes"?>
<METADATA>
       <BASEINFO>       --基本信息，节点按顺序对应T_METADATA表中的所有字段
              <NAME>05AUG27023226-M2AS_R03C3-005609151010_01_P001.GIF</NAME>              --文件名
              <THEME>LANDSAT ETM slc-off 修复影像</THEME>                      --主题
              <DATATYPE>Multi</DATATYPE>                        --数据类型
              <DATAFORMAT>GeoTIFF</DATAFORMAT>               --数据格式
              <PRODUCTTYPE>9</PRODUCTTYPE>                        --产品类别
              <DATAQUALITY>1</DATAQUALITY>                        --数据质量
              <SCALEDENO>1000000</SCALEDENO>                            --比例尺分母
              <RESOLUTION>2.4</RESOLUTION>                           --分辨率
              <DEVORG>XXX</DEVORG>                                --开发单位
              <ACQDATE>2005-08-27</ACQDATE>                          --采集日期
              <FILENUM>4</FILENUM>                                   --文件个数
              <FILEIDS>1023</FILEIDS>                                   --文件id
              <REMARK></REMARK>                                --备注
              <ADMINDIVCODE></ADMINDIVCODE>                           --行政区划代码
              <AVCLD>1.1</AVCLD>                                 --平均云量
              <BANDNUM>3</BANDNUM>                               --波段数
              <GNAME></GNAME>                             --地理坐标系名称
              <GXMAX>121.94</GXMAX>                                --地理坐标X轴最大值
              <GXMIN>121.90</GXMIN>                                   --地理坐标X轴最小值
              <GYMAX>25.07</GYMAX>                                  --地理坐标Y轴最大值
              <GYMIN>25.03</GYMIN>                              --地理坐标Y轴最小值
              <REF>F:\RS_IMAGE\QB02</REF>                                      --文件位置
              <FILESIZE>385.4MB</FILESIZE>                                --文件大小
              <SENSOR>FullSwath</SENSOR>                           --传感器
              <SATELLITE>QB02</SATELLITE>                       --卫星
       </BASEINFO>
</METADATA>
第三步，根据设定的FTP服务器连接参数，FTP传输模块建立与FTP服务器的连接，然后打开文件传输通道，开始向指定的FTP目录传输数据；
第四步，数据成功上传后，根据设定的元数据库服务器连接参数，数据信息入库模块将测试数据的元数据信息添加到元数据库的元数据信息表。
第五步，日志记录模块记录本次操作信息。

Claims (3)

1.一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于它的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件 记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
2.根据权利要求所述的一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称，数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
3.根据权利要求所述的一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
CN201310313451.6A 2013-07-24 2013-07-24 基于ftp和xml的遥感数据产品自动监控入库方法 Active CN103428202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310313451.6A CN103428202B (zh) 2013-07-24 2013-07-24 基于ftp和xml的遥感数据产品自动监控入库方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310313451.6A CN103428202B (zh) 2013-07-24 2013-07-24 基于ftp和xml的遥感数据产品自动监控入库方法

Publications (2)

Publication Number Publication Date
CN103428202A true CN103428202A (zh) 2013-12-04
CN103428202B CN103428202B (zh) 2016-06-01

Family

ID=49652379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310313451.6A Active CN103428202B (zh) 2013-07-24 2013-07-24 基于ftp和xml的遥感数据产品自动监控入库方法

Country Status (1)

Country Link
CN (1) CN103428202B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557585A (zh) * 2016-11-29 2017-04-05 盐城工学院 一种信息自动入库方法及装置
CN110263017A (zh) * 2018-06-15 2019-09-20 清华大学 一种基于球面网格遥感数据文件集的键值存储方法及装置
CN110737636A (zh) * 2019-09-24 2020-01-31 厦门信息集团大数据运营有限公司 一种数据导入方法和装置以及设备
CN111831856A (zh) * 2020-06-17 2020-10-27 江苏方天电力技术有限公司 一种基于元数据的全息数字电网数据自动入库系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014154A (zh) * 2010-11-05 2011-04-13 山东科技大学 基于网格服务的遥感图像提取与共享系统及提取与共享方法
US20110295575A1 (en) * 2010-05-28 2011-12-01 Levine David A System and method for geomatic modeling of a diverse resource base across broad landscapes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295575A1 (en) * 2010-05-28 2011-12-01 Levine David A System and method for geomatic modeling of a diverse resource base across broad landscapes
CN102014154A (zh) * 2010-11-05 2011-04-13 山东科技大学 基于网格服务的遥感图像提取与共享系统及提取与共享方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557585A (zh) * 2016-11-29 2017-04-05 盐城工学院 一种信息自动入库方法及装置
CN110263017A (zh) * 2018-06-15 2019-09-20 清华大学 一种基于球面网格遥感数据文件集的键值存储方法及装置
CN110263017B (zh) * 2018-06-15 2021-09-14 清华大学 一种基于球面网格遥感数据文件集的键值存储方法及装置
CN110737636A (zh) * 2019-09-24 2020-01-31 厦门信息集团大数据运营有限公司 一种数据导入方法和装置以及设备
CN111831856A (zh) * 2020-06-17 2020-10-27 江苏方天电力技术有限公司 一种基于元数据的全息数字电网数据自动入库系统及方法
CN111831856B (zh) * 2020-06-17 2022-07-01 江苏方天电力技术有限公司 一种基于元数据的全息数字电网数据自动入库系统及方法

Also Published As

Publication number Publication date
CN103428202B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN101715004B (zh) 面向网络视频的分布式采集方法和系统
CN107895009A (zh) 一种基于分布式的互联网数据采集方法及系统
CN103647686B (zh) 一种数据监控管理系统及方法
CN104778225B (zh) 一种非结构化数据多存储系统中同步数据的方法
CN201726424U (zh) 分布式存储系统
CN108881477B (zh) 一种基于分布式的文件采集监控的方法
CN102508886B (zh) 一种基于xml的空间数据增量同步更新方法
CN103428202A (zh) 基于ftp和xml的遥感数据产品自动监控入库方法
CN103942063A (zh) 一种针对Java Web应用的集中配置和远程部署方法
CN105512201A (zh) 数据收集和加工方法及装置
CN104657497A (zh) 一种基于分布式计算的海量用电信息并行计算系统及方法
CN103200199A (zh) 一种带外数据采集系统
TW201351264A (zh) 分散式文檔儲存系統及方法
CN105577411A (zh) 基于服务起源的云服务监控方法和装置
Hongqian et al. Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms
Qiao et al. Gobblin: Unifying data ingestion for Hadoop
CN104281980A (zh) 基于分布式计算的火力发电机组远程诊断方法及系统
US8918765B2 (en) Auto-documenting based on real-time analysis of code execution
CN115048452A (zh) 一种基于区块链的大数据治理系统
CN103139281A (zh) 个性化印刷系统及其控制方法
CN110795480B (zh) 交通运营数据的处理方法及装置
CN116028192A (zh) 一种多源异构数据采集方法、装置和存储介质
CN113973121B (zh) 物联网数据处理方法、装置、电子设备及存储介质
CN108363607A (zh) 一种云平台虚拟机的虚拟链路断电恢复方法
CN105657048A (zh) 对信息系统服务器的监控方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant