CN103428202B - 基于ftp和xml的遥感数据产品自动监控入库方法 - Google Patents
基于ftp和xml的遥感数据产品自动监控入库方法 Download PDFInfo
- Publication number
- CN103428202B CN103428202B CN201310313451.6A CN201310313451A CN103428202B CN 103428202 B CN103428202 B CN 103428202B CN 201310313451 A CN201310313451 A CN 201310313451A CN 103428202 B CN103428202 B CN 103428202B
- Authority
- CN
- China
- Prior art keywords
- data
- remotely
- sensed data
- ftp
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 230000005284 excitation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000004304 visual acuity Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000002079 cooperative effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于FTP和XML的遥感数据产品自动监控入库方法。用于取代普遍采用的遥感数据产品手动入库方式，能够实现遥感数据产品的远程自动监控发现、数据内容解析及将数据存入数据库，相比手动入库方式减少了需要人工处理的步骤及耗时。利用.NET、FTP、XML等技术作为实现数据自动监控和入库方法的基础，包括数据监控模块、数据内容解析模块、FTP传输模块、数据信息入库模块、日志记录模块，五大功能模块协同作用实现遥感数据的自动监控和入库。本发明技术实现方法简单，对遥感数据产品入库进行了有效地管理，主要过程计算机自动处理，人机交互少，提高了工作效率，在遥感数据产品入库管理领域中应用前景非常广泛。
Description
技术领域
本发明属于遥感数据管理技术领域。尤其涉及一种基于FTP和XML的遥感数据产品自动监控入库方法。
背景技术
文件传输协议（FileTransferProtocol,FTP）使得主机间可以共享文件。FTP使用TCP生成一个虚拟连接用于控制信息，然后再生成一个单独的TCP连接用于数据传输。控制连接使用类似TELNET协议在主机间交换命令和消息。文件传输协议是TCP/IP网络上两台计算机传送文件的协议，FTP是在TCP/IP网络和INTERNET上最早使用的协议之一，它属于网络协议组的应用层。FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。
可扩展标记语言（ExtensibleMarkupLanguage,XML），用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言（SGML）的子集，非常适合Web传输。XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。
目前对遥感数据的管理方法有很多，而其中一种是采用文件+元数据库的方式，即把遥感数据文件存放于文件目录中，而把遥感数据的信息以元数据的形式存在数据库表中。当需要对遥感数据进行读取时，先从元数据库获得遥感数据的基本信息，获得遥感数据的文件名、文件大小和文件存放位置，便可以在文件系统中快速找到需要的遥感数据。但这种方法在遥感数据入库时却显得比较繁琐，上传文件与录入数据信息都需要较多的人工参与，即耗费时间又容易出错。而本发明减少了数据入库过程中需要人工判断和操作的部分，让计算机自动监控需要入库的文件，解析XML格式的遥感数据元数据信息，并以FTP的方式将数据上传至服务器，最后将数据信息写入元数据库，整个过程自动完成，需要人工参与的只是把需要入库的数据放入监控文件夹即可，并且具有日志记录功能，一旦发生无法成功入库的情况，工作人员也可以从日志中分析原因并排除故障。
发明内容
本发明的目的是克服现有技术的不足，提出一种基于FTP和XML的遥感数据产品自动监控入库方法。
基于FTP和XML的遥感数据产品自动监控入库方法的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称。数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
本发明与现有技术相比具有的有益效果：
1）实现了遥感数据的自动入库，该方法具有数据自动监控发现、数据自动上传、数据信息自动入库的特点，是一个透明的、可扩展的、可控制的、细粒度的数据入库管理技术。
2）相比手动入库方式减少了需要人工处理的步骤及耗时，主要过程计算机自动处理，人机交互少，节约了时间，提高了工作效率。
3）本发明技术实现方法简单，数据实时同步更新，执行速度快。
附图说明
图1是本发明中数据监控入库的流程示意图。
具体实施方式
基于FTP和XML的遥感数据产品自动监控入库方法的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称。数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
实施例
第一步，选择一份遥感数据（包括遥感数据、元数据XML、缩略图等）作为测试数据，将数据放入监控文件夹，数据监控模块立即检测到这份新放入监控文件夹的数据；
第二步，数据内容解析模块对测试数据中的元数据XML文件进行解析和读取，元数据XML文件内容及说明如下：
<?xmlversion="1.0"encoding="gb2312"standalone="yes"?>
<METADATA>
<BASEINFO>--基本信息，节点按顺序对应T_METADATA表中的所有字段
<NAME>05AUG27023226-M2AS_R03C3-005609151010_01_P001.GIF</NAME>--文件名
<THEME>LANDSATETMslc-off修复影像</THEME>--主题
<DATATYPE>Multi</DATATYPE>--数据类型
<DATAFORMAT>GeoTIFF</DATAFORMAT>--数据格式
<PRODUCTTYPE>9</PRODUCTTYPE>--产品类别
<DATAQUALITY>1</DATAQUALITY>--数据质量
<SCALEDENO>1000000</SCALEDENO>--比例尺分母
<RESOLUTION>2.4</RESOLUTION>--分辨率
<DEVORG>XXX</DEVORG>--开发单位
<ACQDATE>2005-08-27</ACQDATE>--采集日期
<FILENUM>4</FILENUM>--文件个数
<FILEIDS>1023</FILEIDS>--文件id
<REMARK></REMARK>--备注
<ADMINDIVCODE></ADMINDIVCODE>--行政区划代码
<AVCLD>1.1</AVCLD>--平均云量
<BANDNUM>3</BANDNUM>--波段数
<GNAME></GNAME>--地理坐标系名称
<GXMAX>121.94</GXMAX>--地理坐标X轴最大值
<GXMIN>121.90</GXMIN>--地理坐标X轴最小值
<GYMAX>25.07</GYMAX>--地理坐标Y轴最大值
<GYMIN>25.03</GYMIN>--地理坐标Y轴最小值
<REF>F:\RS_IMAGE\QB02</REF>--文件位置
<FILESIZE>385.4MB</FILESIZE>--文件大小
<SENSOR>FullSwath</SENSOR>--传感器
<SATELLITE>QB02</SATELLITE>--卫星
</BASEINFO>
</METADATA>
第三步，根据设定的FTP服务器连接参数，FTP传输模块建立与FTP服务器的连接，然后打开文件传输通道，开始向指定的FTP目录传输数据；
第四步，数据成功上传后，根据设定的元数据库服务器连接参数，数据信息入库模块将测试数据的元数据信息添加到元数据库的元数据信息表。
第五步，日志记录模块记录本次操作信息。
Claims (3)
1.一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于它的步骤如下：
1）数据监控功能模块负责监控数据文件夹中的遥感数据文件，将数据文件记录到数据记录表中，一旦发现有新数据进入监控文件夹，即视为需要入库的遥感数据，立即激发数据自动入库机制，进入下一步；
2）数据内容解析功能模块负责读取并解析数据中存储元数据信息的XML文件内容，并交给数据信息入库模块；
3）FTP传输功能模块负责与设定的FTP服务器建立连接并打开传输通道，将新增的遥感数据上传至FTP服务器上的指定目录；
4）数据信息入库功能模块负责根据遥感数据的元数据信息，分别实例化对应的遥感数据元数据信息操作模型类，将已经传输到FTP服务器的遥感数据信息录入到元数据库中；
5）日志记录功能模块负责记录数据监控和入库操作历史，内容包括：数据入库时间、数据名称、数据类型、服务器连接状态、入库处理结果，以供用户浏览和查找数据入库记录，若出现数据入库失败的情况，用户也可以根据日志记录获得失败的数据信息，方便故障检查、数据恢复和重新入库。
2.根据权利要求1所述的一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于所述的步骤2）为：需要入库的遥感数据里包含一个描述遥感数据基本内容的元数据信息，元数据信息存储在XML格式的文件中，具体内容包括：文件名、主题、数据类型、数据格式、产品类别、数据质量、比例尺分母、分辨率、开发单位、采集日期、文件个数、文件ID、元数据、备注、平均云量、波段数、地理坐标系名称、投影坐标系名称、地理坐标范围、投影坐标范围、文件存放位置、文件大小、传感器名称、卫星名称，数据内容解析模块负责读取并解析这一XML文件，获得这些信息并交给后面的功能模块。
3.根据权利要求1所述的一种基于FTP和XML的遥感数据产品自动监控入库方法，其特征在于所述的步骤3）为：在获得新增遥感数据元数据信息之后，根据预先设定的FTP服务器连接参数，与FTP服务器建立连接并发送上传请求，上传请求中包含了步骤2）中获得的文件名、文件大小、文件类型信息，FTP服务器响应这个请求后，便可在本机与FTP服务器之间建立传输通道，然后由本模块将需要入库的遥感数据上传到FTP服务器的指定目录中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310313451.6A CN103428202B (zh) | 2013-07-24 | 2013-07-24 | 基于ftp和xml的遥感数据产品自动监控入库方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310313451.6A CN103428202B (zh) | 2013-07-24 | 2013-07-24 | 基于ftp和xml的遥感数据产品自动监控入库方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103428202A CN103428202A (zh) | 2013-12-04 |
| CN103428202B true CN103428202B (zh) | 2016-06-01 |
Family
ID=49652379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310313451.6A Active CN103428202B (zh) | 2013-07-24 | 2013-07-24 | 基于ftp和xml的遥感数据产品自动监控入库方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103428202B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557585A (zh) * | 2016-11-29 | 2017-04-05 | 盐城工学院 | 一种信息自动入库方法及装置 |
| CN110263017B (zh) * | 2018-06-15 | 2021-09-14 | 清华大学 | 一种基于球面网格遥感数据文件集的键值存储方法及装置 |
| CN110737636B (zh) * | 2019-09-24 | 2022-07-22 | 厦门信息集团大数据运营有限公司 | 一种数据导入方法和装置以及设备 |
| CN111831856B (zh) * | 2020-06-17 | 2022-07-01 | 江苏方天电力技术有限公司 | 一种基于元数据的全息数字电网数据自动入库系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014154A (zh) * | 2010-11-05 | 2011-04-13 | 山东科技大学 | 基于网格服务的遥感图像提取与共享系统及提取与共享方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779804A (zh) * | 2010-05-28 | 2017-05-31 | 吉奥斯特拉股份有限公司 | 用于广阔地域上的多样化资源基础的测绘建模的系统和方法 |
-
2013
- 2013-07-24 CN CN201310313451.6A patent/CN103428202B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014154A (zh) * | 2010-11-05 | 2011-04-13 | 山东科技大学 | 基于网格服务的遥感图像提取与共享系统及提取与共享方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103428202A (zh) | 2013-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103428202B (zh) | 基于ftp和xml的遥感数据产品自动监控入库方法 | |
| CN102508908B (zh) | 一种下级财政业务数据的采集方法和系统 | |
| US11269947B2 (en) | Method and system for providing a federated wide area motion imagery collection service | |
| US20100269164A1 (en) | Online service data management | |
| CN103942063A (zh) | 一种针对Java Web应用的集中配置和远程部署方法 | |
| US8146100B2 (en) | System and method for event-based information flow in software development processes | |
| US9274783B2 (en) | Dynamic delivery and integration of static content into cloud | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN103152423A (zh) | 一种云存储系统及其数据存取方法 | |
| CN102508886B (zh) | 一种基于xml的空间数据增量同步更新方法 | |
| CN101441629A (zh) | 一种非结构化网页信息的自动采集方法 | |
| CN105227379A (zh) | 一种针对java web 应用的集中监控和预警方法 | |
| CN102281312B (zh) | 一种数据加载方法、系统和数据处理方法、系统 | |
| CN103595707A (zh) | 一种基于svn的文件自动网络同步方法 | |
| CN102799555B (zh) | 电力信息系统中可配置数据交互工具的设计方法及其系统 | |
| Zhang et al. | Research on the overall architecture of Internet of Things middleware for intelligent industrial parks | |
| CN106534272A (zh) | 一种燃煤机组参数处理系统及方法 | |
| CN106210918B (zh) | 一种用户界面的更新方法及系统 | |
| CN103139281A (zh) | 个性化印刷系统及其控制方法 | |
| CN103440302B (zh) | 实时数据交换的方法和系统 | |
| CN103853612A (zh) | 一种基于分布式存储下的数字家庭内容读数据的方法 | |
| US20130191420A1 (en) | Autonomic generation of document structure in a content management system | |
| CN103888739B (zh) | 安防设备的地理位置信息配置方法和系统 | |
| CN106060100A (zh) | 一种分布式云存储服务器 | |
| KR20140139776A (ko) | Tiering 기반의 가상화 네트워크 스토리지와 클라우드 기반 문서 배포 시스템의 자동 연동 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |