CN1959717B - 订单驱动的海量遥感数据集群化预处理系统及其方法 - Google Patents
订单驱动的海量遥感数据集群化预处理系统及其方法 Download PDFInfo
- Publication number
- CN1959717B CN1959717B CN2006101404559A CN200610140455A CN1959717B CN 1959717 B CN1959717 B CN 1959717B CN 2006101404559 A CN2006101404559 A CN 2006101404559A CN 200610140455 A CN200610140455 A CN 200610140455A CN 1959717 B CN1959717 B CN 1959717B
- Authority
- CN
- China
- Prior art keywords
- data
- tape
- subsystem
- information
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000007781 pre-processing Methods 0.000 title claims description 35
- 238000013480 data collection Methods 0.000 title 1
- 238000003860 storage Methods 0.000 claims abstract description 77
- 238000004519 manufacturing process Methods 0.000 claims abstract description 53
- 238000012544 monitoring process Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 43
- 238000007726 management method Methods 0.000 claims description 60
- 238000013508 migration Methods 0.000 claims description 29
- 230000005012 migration Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 23
- 238000005192 partition Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 6
- 210000003813 thumb Anatomy 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013468 resource allocation Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000000047 product Substances 0.000 claims 12
- 239000006227 byproduct Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 230000008520 organization Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及遥感航空、航天影像数据下传及预处理领域，特别的是指一种订单驱动的海量遥感数据集群化预处理系统及其方法。本发明订单驱动的海量遥感数据集群化预处理系统，它包括：用户通过服务器、控制网络、存储网络、磁盘阵列、磁带库、PC机以及订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的订单驱动的海量遥感数据集群化预处理系统，它包括：订单驱动的工作流引擎子系统、集群化并行编目和生产子系统、多级存储归档子系统、带库管理子系统、自动化监控子系统和可插拔算法服务器。本发明能够高效率的解决订单驱动的海量遥感数据集群化预处理系统中的数据保存、迁移和使用问题，在实现系统功能的同时降低系统的建设成本。
Description
技术领域
本发明涉及遥感航空、航天影像数据下传及预处理领域，特别的是指一种订单驱动的海量遥感数据集群化预处理系统及其方法。
背景技术
目前，遥感航空、航天技术发展迅猛，各种航空、航天器上搭载的传感器都能拍摄大量的遥感影像图片，这些图片可以广泛应用于城市规划、地图制作、地形测量和国防建设等很多领域。遥感数据的来源主要包括卫星和飞机，而数据的处理则在地面。通过数传通路每天将这些图片传送到地面系统，一个传感器每天可以下传多达几百GB甚至上TB的数据。地面系统的任务是接收这些数据并对这些数据进行处理，其中预处理是一个重要的环节。订单驱动的海量遥感数据集群化预处理系统的工作是进行数据归档、归档数据的编目和产品生产。
遥感数据预处理的方法主要采用两类方式：一种是利用工作站上的影像处理软件，由操作员手工对数据进行生产，生产后进行归档；另一种采用高性能的小型机服务器，在服务器上进行自动化的批量数据处理。利用工作站上进行手工生产的缺陷是系统与操作员的交互非常频繁，处理效率比较低，无法进行大数据量的处理；而利用小型机进行生产虽然处理能力较强，但是软硬件采购以及系统维护的费用非常昂贵。
此外，遥感数据预处理还存在着如何解决大量数据存档问题。如果全部采用磁盘存储，由于数据量巨大，而且数据每天都在增长，实施起来成本太高。用磁带保存数据可以降低成本，但是磁带的访问速度比磁盘要慢很多，因而需要同时采用磁盘和磁带来保存数据。
目前，市面上有很多商用的数据备份软件可以管理数据将数据保存到磁盘阵列和磁带库中，数据的迁移可以自动管理，用户只需要少量的开发就可以对数据进行归档和提取。但是这种方式只能对整个数据进行保存和提取，无法从磁带中提取一个数据的某个部分，而这恰恰是遥感图像产品生产时所发生的绝大部分情形，因此商用软件在遥感数据预处理领域的效率不高。另外，目前的商用归档迁移软件只是考虑了数据的归档，没有考虑数据价值的问题，而遥感数据包含了地域信息，不同的地域其价值也不一样，高价值的数据会被经常访问，这样数据回迁和使用上就有很多局限。
发明内容
本发明的目的在于克服现有技术不足而提供一个支持海量遥感数据归档、编目和影像产品生产的订单驱动的集群化预处理系统。
本发明的另一目的在于提供一种支持海量遥感数据归档、编目和影像产品生产的订单驱动的集群化预处理系统的方法，它能够高效率的解决订单驱动的海量遥感数据集群化预处理系统中的数据保存、迁移和使用问题，在实现系统功能的同时降低系统的建设成本。
本发明的技术方案是：
一种订单驱动的海量遥感数据集群化预处理系统，它包括订单驱动的工作流引擎子系统、集群化并行编目和生产子系统、多级存储归档子系统、带库管理子系统、自动化监控子系统和可插拔算法服务器，其特征在于：
所述的订单驱动的工作流引擎子系统，它负责根据预定义的工作流程，驱动各子系统完成生产任务。在工作流引擎的控制支持下，整个预处理系统如自动机一样运转，高效地完成图像处理任务。它包括：针对遥感预处理业务的工作流技术，根据任务优先级的调度，高度持久对象缓存和对并发流程的支持。其中
A)针对遥感预处理业务的工作流技术：
1)通过计算机技术的支持去定义、执行和管理一个系统的各种工作流程，协调工作流执行过程中工作之间以及群体成员之间的信息交互。
2)工作流管理系统将业务流程中工作如何组织协调在一起的规则抽象出来，生成工作流程的定义文件。
3)工作流程的定义采用XML文件的形式，每个工作流程对应一个XML文件。管理员根据预定的工作流程，编写成XML文件，提交给系统处理，相应的工作流程就可以开始工作。如果要修改某一个工作流程，则由管理员编辑相应的XML文件，提交之后，对相应工作流程的修改就可以生效。
4)工作流程的定义可以由用户按需配置、修改，保障本系统在自动运转的前提下，具有最大的灵活性和适应性。
B)根据任务优先级调度：工作流中的每一个任务都对应成一个订单，订单分配一个优先级，由于系统的资源有效，当很多订单需要运行时，优先级高的订单会比优先级低的订单更快地调度执行。
C)高速持久对象缓存：
1)订单信息的持久化保存。每个工作流中的所有订单一经创建，系统就将订单信息保存到数据库中。这样做便于统计系统的工作情况和订单的执行情况。
2)订单信息的装载。对于未执行完毕的订单，系统在重新启动的时候可以从数据库中读取出来，根据优先级继续调度执行，保证任务的完整性。
3)订单信息的更新。每个订单在执行的时候状态会发生变化，这些变化将被实时地记录到数据库中。
D)对并发流程的控制：日常情况下，同一时间内会有多个工作流需要同时执行，每个工作流又拆分出多个订单。由于受到服务器资源的限制，为了提高效率，这些订单不能全部同时运行，所有的订单都需要先排队，等到系统有足够资源的时候才会被执行。可以并发执行的订单的数量可以由操作员通过配置文件来设定。
所述的集群化并行编目和生产子系统，是指利用集群化并行技术对航空、航天飞行器拍摄的长条带影像进行编目，生成降分辨率的浏览图、拇指图和编目元数据信息，根据订单要求生产不同级别的影像产品。它包括集群并行编目，数据搜索定位和集群生产。其中：
A)集群并行编目：
1)由于一次拍摄形成的遥感数据文件非常大，可达十几个GB甚至几十个GB的数据量，而且影像是一个纵向的很长的条带状，一般的计算机屏幕无法浏览整个的图像，对这些影像进行查询检索就非常不方便。因此需要对遥感数据文件(FRED格式)进行编目，将长条带图像分解成接近正方形的小图像(称为景)，按一定比例采样形成浏览图，并提取每个景的编目元数据信息。浏览图还是很大，因此在这个图像的基础上再生成更小比例的拇指图以便于WEB方式的批量浏览。
2)编目的时候JAVA程序通过RMI远程调用JNI，JNI再调用底层的C++组件实现对数据的编目运算，并将生成的元数据保存到XML或者SELF文件中，浏览图与拇指图文件存放在指定的文件目录下。
3)系统在编目的时候多个集群计算节点可以同时处理该任务，每个计算节点又使用多个线程来进行并发编目，确保一个条带可以以最快的速度编目完毕。
B)数据搜索定位：
1)在集群化并行编目的情况下，多台机器同时访问同一个遥感数据文件，但是每个并行节点访问的数据位置不同，所需的数据片断通过一种数据时间与文件中数据偏移量的换算，每个集群节点可以精确地找到所需的数据。
2)每个计算节点中的编目线程根据自己负责的景的序号(path/row)在影像条带中搜索定位，找到相应的起始位置然后读取该景的数据。线程之间互不干扰，完全独立。
C)集群生产：
1)采用多个集群计算节点进行产品生产，每个节点又有多个工作线程。
2)生产过程是将原始的FRED格式的景转变成通用格式的图像文件的过程，包括辐射校正和几何校正。生产的同时还对图像产品进行编目，提取出产品的元数据。
3)生产订单的控制采用JAVA程序控制，生产的算法则用C++来实现，JAVA通过JNI的方式调用C++的程序，二者共同完成产品的生产。
4)系统可以通过配置增减产品生产集群服务器的数量，以适应业务的需要。
所述的多级存储归档子系统，是指在不同的共享存储架构的基础上，根据数据的价值和使用要求在磁盘阵列和磁带库之间进行数据的归档和迁移。它包括基于价值评估的迁移，数据归档管理，存储设备管理。其中：
A)基于价值评估的迁移：
1)指根据数据的类型与属性(大小、重要度、访问频度等)、存储设备的属性(访问速度、容量等)，将相应的数据保存在最合适的存储设备上。
2)文件数据的重要度根据操作员设定的规则(如地域规则，产品级别等)系统自动计算；访问频度则根据系统对该数据的访问情况自动记录到数据库中；设备的访问速度和容量则由操作员配置指定。
3)数据的大小、重要度、访问频度等都对应价值计算的权重，操作员可以通过配置文件设定权重。系统则根据配置文件自动计算每个数据当前的价值。在操作员没有设定的情况下，系统自动给出一个缺省的权重。
4)操作员可以通过配置文件定义不同价值数据的迁移规则，规定何时迁移，迁移到哪个存储设备。
B)数据归档管理：
1)对系统内所有需要保存的数据进行归档，根据需要进行备份，并提供归档数据的查询功能。
2)数据归档分为多个级别，比如在线、近线和离线。操作员可以通过配置文件设定任意多个归档级别以适应不同的需要。
3)存储系统支持SAN、NAS和NFS等多种共享存储架构。对于SAN架构，每台数据访问的服务器都需要安装存储共享软件。
C)存储设备管理：
1)存储设备包括磁盘阵列和磁带库。
2)操作员可以增加和减少可用的磁盘阵列分区以及可用的磁带库和磁带机，便于系统的存储容量扩展以及不停机进行存储设备维护。
3)系统提供方便的监控界面，使操作员能对存储设备的工作状态一目了然。
所述的带库管理子系统，是一种支持多磁带库、多磁带机、多介质类型和多记录格式的软件。该子系统是专门针对磁带库数据存储的管理平台，为用户提供独立于业务的磁带库存储服务。磁带库可以被看作一个容量巨大的存储池，随时可以向池中保存数据，当需要的时候再从池中把数据提取出来。带库管理子系统将记录所有保存在磁带中的数据信息，不管磁带在自动磁带库中还是在离线带架上。带库管理子系统包括逻辑分区技术、优化调度技术、分布式迁移器架构、扩展数据格式插件、基于元数据自动磁带检查、自动带机维护、多种标准访问接口。其中：
A)逻辑分区技术：
1)系统将各磁带库各类型的近线和离线磁带的存储空间视为一个完整的、容量近乎无限的磁带库存储空间。按介质类型、读写格式等综合因素，将存储空间划分为若干个逻辑分区。一个逻辑分区限定了它所允许使用的若干带库、若干介质类型(比如LT02、DLT等)，限定了它必须使用的数据类型(比如FRED、tar等)，以及限定它所允许的最大并发读写数量等。
2)每一盘新磁带被使用前需要注册，将其纳入整个存储空间。注册磁带时无需指定其所属分区，当一盘空白磁带被某个分区使用后，该磁带即被划分到该分区中，此后就不能再被其它分区识别和使用了。
3)分区属于系统内部概念，对外界是透明的。当归档数据时，系统按照用户提供的数据类型、业务类型及是否已软件压缩等信息，从预先配置好的业务映射表中查询出应该使用的内部分区，于是此次归档的数据将会被写入属于该分区的磁带中。
B)优化调度技术，用于订单管理、任务调度、资源调配、线程管理、迁移器管理等核心工作，通过内置的优化方案，提高任务调度的效率：
1)订单被分为磁带数据读写订单和磁带迁移订单两大类。
2)任何一个订单在某一时刻都处于某个状态，在该状态下可以进行某些操作。
3)所有的订单在执行之前都需要排队，驱动器调度线程会彼此同步地从读写订单排队队列中取订单来执行。
4)每个磁带库实体内都存在一个IO槽扫描线程，完成磁带自动迁入和迁出工作。
C)分布式迁移器架构。数据迁移器专门负责磁带读写操作。磁带库内的每个驱动器设备将对应若干个数据迁移器，这些数据迁移器都以独立的进程分别运行在不同的Linux主机上，并通过RMI远程接口绑定到磁带库存储系统的调度内核上。在调度内核中每个驱动器都对应一个调度线程，该线程通过调度策略获取订单，然后将具体的磁带读写操作交给一个最合适的数据迁移器来完成，原则上是找一个运行在系统负载最小的Linux主机上的数据迁移器。
D)扩展数据格式插件：
1)数据迁移器在进行磁带读写时，是按照一定的数据格式来进行的。具体采用哪种数据格式完全由用户业务来决定，系统并未限定哪种数据格式，而是通过一个可配置的框架，由用户将针对自己的数据格式的读写方式嵌入到系统中。
2)每种具体的数据格式都对应一个数据类型驱动器(DataTypeDriver)，该驱动器实现了一个写磁带接口和一个读磁带接口，具体的实现方式由数据格式而定。比如tar格式，可以采用直接调用系统tar命令的实现方式；而FRED格式则可以通过jni调用c程序的方式，直接用二进制流进行读写。
E)基于元数据自动磁带检查：
1)磁带数据检测工具负责对已有磁带中所归档的数据进行验证，检查这些数据在磁带中的存储结构是否与在数据库中存储的元数据保持一致，以判断数据是否损坏。
2)磁带数据检测工具独立于带库系统之外单独运行，支持同时挂接多个不同类型的外置带机(包括LT02、DLT等)，同时检测多盘磁带。整个检测进度可被监控，也可被终止。
3)在每个带机上的检测工作都由一个独立进程来完成，而检测工具的主进程则负责监控这些工作进程，这样当某个检测过程出现异常时，不会对其它检测过程造成影响。
F)自动带机维护：
1)自动带机清洗：磁带机的清洗由系统自动完成，各种介质类型的清洗带被注册到系统后，由带库管理系统统一管理。当系统判断某个带机需要清洗时，将自动加载合适的清洗带进行清洗，完成后，自动把清洗带从带机中取出。操作员可以配置带机需要清洗的条件，设置清洗工作的最佳执行时间，以保证不影响正常业务运作。
2)自动状态监控：系统实时记录每个带机当前的状态，比如是否空闲、正在读数据、正在装载或卸载磁带，磁带机当前是否可用等。这些状态信息通过界面展示给操作员，操作员可以据此判断系统是否工作正常。
3)自动错误报警：磁带保存一段时间之后，上面的数据就可能读不出来，磁带机就会发生读错误。在这种情况下，系统能够通过界面向操作员报警，提示某个磁带机在读取某一盘磁带时发生错误，由操作员决定是重试还是失败。
G)多种标准访问接口：服务的对外发布采用多种通讯方式，比如WebService、RMI、JMS等，以适应各种用户业务和管理需求。
所述的自动化监控子系统，是指基于SNMP协议，对待监控设备或者系统的MIB(管理信息库)文件进行解析，自动生成相应的Java源文件，这些文件经过编译后可以集成到系统中，对设备的工作状态进行实时监控。另外还监控其他几个子系统服务器端的运行情况。当设备或子系统发生故障的时候以多种方式通知系统管理员。该子系统包括客户端配置模块、服务端客户端接口模块、服务端配置模块、子系统监听模块、数据访问模块、任务调度模块、SNMP通信模块、服务端管理模块。其中：
A)客户端配置模块，负责读取客户端的配置文件，将其转化为Java内部可以识别的、类型安全的类的实例，同时还需要验证客户端配置文件的有效性。
B)服务端客户端接口模块，定义了监控子系统客户端与服务器端的通信接口。具体的接口形式为Java RMI。
C)服务端配置模块，负责对服务器端的配置文件进行读取，将其转化为Java内部可以识别的、带有类型信息的类的实例，并对配置信息进行验证。
D)子系统监听模块，负责从各个子系统接收远程调用。监控子系统使用JavaRMI作为被监控子系统与监控子系统之间的通讯方式。被监控子系统向监控子系统发送心跳信号、子系统退出信号与子系统出现故障的信号，由监控子系统再通知系统操作员进行处理。
E)数据访问模块，负责服务器端对Oracle关系型数据库的访问。
F)任务调度模块，负责调度所有的SNMP轮询任务。在配置文件更新的时候所有的后台线程都会被取消掉，然后再重新启动。平时则按照对应被监控设备或者系统指定的延时定时启动SNMP轮询任务。
G)SNMP通信模块，负责根据每个设备或者系统的SNMP监控配置信息对其进行SNMP连接、通讯与查询：
1)它需要的配置信息包括待监控的设备或者系统的地址、端口号、底层传输协议、SNMP版本、认证信息、轮询延时与设备类型以及待监控的设备或者系统的待监控MIB。
2)它在运行时根据配置信息动态载入相应的MIB解析类，并创建实例，调用其方法进行MIB信息的解析直到其需要的所有的MIB信息都已获得，然后再将这些信息通过数据库访问模块保存在数据库中。
H)服务端管理模块是整个监控子系统服务器端的核心模块：
1)它负责启动与关闭整个子系统。
2)通过服务端配置模块读取配置信息并分配到各个模块。
3)对比MIB信息的差异。
4)检查MIB信息的具体项值是否超过了配置文件中设置的阈值，并在发生这些情况的时候通知客户端。
所述的可插拔算法服务器，是指一种图像处理算法与调用软件之间的架构。图像校正算法多种多样，不同的研制单位有各自的特长，其校正算法各有优缺点。为了最大程度上利用各研制单位的优势，降低用户风险，采用可插拔算法服务器架构，明确定义业务流程管理模块与算法服务模块的接口，使得多家软件开发商可以遵照接口定义开发出不同的算法，然后根据不同算法在效率、精度、易用性等方面的比较，选择其中之一嵌入图像处理体系架构之中。包括业务流程管理模块、算法服务模块以及它们之间的接口。其中：
A)业务流程管理模块，负责处理业务逻辑，调用算法服务模块中的算法完成产品生产任务。
B)算法服务模块，负责实现辐射校正和几何校正的功能：
1)它是一个动态链接库，其输入的参数包括产品生产所需要的众多参数，输出的参数为订单执行结果，包括成功/失败标识，以及可能出现的错误原因。
2)动态链接库必须提供自描述功能，即提供标准的函数，列举其支持的各类算法。例如，一个函数列举其支持的所有地球模型；另一个函数列举其支持的各类辐射校正算法等。
3)动态链接库的作者应保证算法的效率、精度、正确性、以及对系统资源的合理利用。
C)业务流程管理模块与算法服务模块的接口，是一种模块间的调用约定，包括服务的名称、参数和返回的结果等。
一种订单驱动的海量遥感数据集群化预处理系统方法，它包括：
A)登录系统：输入操作员的帐号和密码，进入主界面。
B)打开各子系统主窗口：点击主界面上的导航按钮，系统会打开子系统的主窗口，同时连接后台服务程序。
C)进入用户管理子系统：
1)创建用户：在用户信息对话框中填入用户名称、密码、真实姓名、单位、邮箱等信息，提交后保存到数据库中。
2)查询用户信息：从用户列表中选择需要查看的用户，系统弹出对话框显示该用户的注册信息。另外可以查询该用户当前是否在线。
3)修改用户信息：从用户列表中选择需要查看的用户，点击″修改″按钮，系统弹出对话框显示该用户的注册信息。修改后点击″确定″按钮，新的用户信息就被保存到数据库中。
4)删除用户：操作员可以从用户列表中选择用户进行删除。
D)进入工作流引擎子系统：
1)查看系统当前的工作流和订单：用户可以设置过滤条件，使窗口只显示符合条件的工作流和订单。
2)新建请求：用户可以从系统的菜单中创建各种请求，包括数据归档请求、数据编目请求、数据提取请求和产品生产请求。
3)查看工作流和订单信息：通过右键点击某个工作流或订单，操作员可以看到它的各个参数和当前的运行状态。
4)删除工作流：操作员可以删除已经完成或失败的工作流。
E)进入产品生产子系统：
1)查看订单列表：所有的产品生产订单分成排队订单、活动订单、非活动订单和结束订单这几类。
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息。
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作。
4)：创建生产订单：从菜单中打开产品生产订单的对话框，输入所需参数，然后提交给系统执行。
F)进入编目子系统：
1)查看订单列表：所有的数据编目订单分成排队订单、活动订单、非活动订单和结束订单这几类。
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息。
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作。
4)：创建数据编目订单：从菜单中打开数据编目订单的对话框，输入所需参数，然后提交给系统执行。
G)进入归档子系统：
1)查看订单列表：所有的数据归档和提取订单分成排队订单、活动订单、非活动订单和结束订单这几类。
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息。
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作。
4)创建数据归档或提取订单：从菜单中打开数据编目订单的对话框，输入所需参数，然后提交给系统执行。
5)查询归档数据：输入查询条件，系统查询数据库，将结果以列表方式显示给用户。
6)查看存储空间信息：系统通过一个对话框显示每一类数据所占用的存储空间的大小以及总容量，并用不同的颜色显示当前空间占用的百分比，如果超过某个阈值，显示红色报警。
H)进入带库管理子系统：
1)查看订单列表和操作队列：所有的数据归档和提取订单都进行排队，经过优化组合形成操作队列。
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息。当操作员将磁带迁入或迁出带库之后，需要在系统消息中进行确认。另外在发生磁带读写故障时也需要操作员对消息进行响应，通过右键菜单决定是重试还是忽略或者标记为坏带。
3)查看机械手的状态：显示磁带库的机械手当前是正在迁移磁带、扫描带库、扫描I/O槽还是空闲。如果是迁移磁带，系统给出磁带源槽位和目标槽位的槽位号。
4)查看磁带机的状态：系统在列表中显示带库中的每个带机当前的状态，包括正在装载、正在读数据、正在卸载和空闲，另外还列出了每个带机当前所装载的磁带的条码。
5)查看磁带库的信息：系统以对话框显示所管理的磁带库中所有槽位中的磁带条码以及空闲槽位的数量。
6)查询磁带数据信息：输入磁带的条码号，系统查询数据库，将查询结果显示给用户。查询结果包括磁带的容量、剩余容量、保存的数据类型、归档级别、首次和末次使用时间以及保存的数据列表。
7)迁移磁带：用户可以通过系统菜单下达磁带迁移订单，将磁带从磁带库迁移到离线或从离线迁移到带库。一次可以对多盘磁带进行迁移。
I)进入监控子系统：
1)查看各子系统的运行状况：系统通过类表方式显示各子系统的启动时间、启动用户帐号、服务器IP地址和当前的状态(运行中、已关闭)。
2)查看设备的状态：操作员可以浏览被管理设备和系统的MIB信息。
3)添加监控设备：操作员可以指定想要监控的设备，输入其IP地址即可。
4)关闭子系统：用户可以选择一个子系统，点击″关闭子系统″按钮向该子系统发送一个关闭命令。
本发明的优点在于：
1、订单驱动的自动化处理流程。系统将一个大的流程拆分成多个订单，提交给相应的子系统去执行，由一个子系统来协调这些订单的处理结果和任务分派，当所有的订单都处理完毕后，该子系统再向用户或外部接口系统返回整个流程的处理结果。在数据处理过程中，所有的步骤都是自动进行，基本不须人工干预(包括对某些异常情况的自动处理)，因此能极大提高整个系统的工作效率。
2、集群化的并行生产方式。数据的归档、编目、生产和提取都可以通过多台服务器进行，服务器节点的数量可以根据业务需要进行扩展和收缩，扩展性非常好。由于某种类型的任务可以在多台机器上运行，当某台服务器失效时，整个系统还能保持这项功能，只是性能下降而已，整个集群的机构可靠性非常高。多台服务器可以同时处理多个任务，整体性能得以提高。集群化可以使用户采用性价比更高的PC服务器来构建系统，而不需要投入巨资购买小型机这样的设备来达到相同的性能。
3、可插拔的算法服务器。遥感数据处理的步骤主要包括辐射校正和几何校正。即对原始数据应用图像处理算法，在其他辅助数据的参与下，最后生产出某种格式的图像(比如GEOTIFF格式)。算法的种类很多，国内外也有多个公司实现了某些算法，另外传感器类型多样，为了支持多传感器和多个厂家的多种算法，本系统提供了一种可插拔的算法服务器架构。系统定义了一个标准的接口，任何符合该接口的算法都可以被该系统所使用。这种巧妙结合即方便了用户采购最好的算法，又解决了算法的改进优化问题，而且当新的传感器数据需要处理时，用户可以用最小的代价来实现。
4、海量数据的高效管理。传感器遥感数据的数据量非常巨大，每天可以达到几百GB甚至更多。本系统能够多如此海量的数据进行高效的管理。常用的数据放在磁盘阵列上，不常用的数据放在磁带库中，基本不用的数据就保存在磁带架上。系统可以根据需要设置多个存储级别，按数据的类型或用途分区存放，可以配置设定每个类型的数据在各个存储分区和存储级别上的迁移规则，对数据进行整个生命周期的管理。
5、智能化的带库管理。在一个大型的订单驱动的海量遥感数据集群化预处理系统中，由于数据量巨大或者由于历史原因最后导致数据保存的不同类型的磁带中。要读写这些磁带可能需要采用不同的磁带机和磁带库。本系统成功地实现了异种带库的控制，能够通过SCSI命令调度机械手抓取磁带，对带机进行自动清洗。另外，本系统的带库管理子系统实施一种高效策略，周期性地扫描磁带库的I/O槽，自动实施磁带的迁入和迁出。系统能够自动识别带库中最旧的磁带，在系统空闲的时候自动进行倒带操作，提高了磁带的使用寿命。
6、磁带数据的高效访问。本系统能够在不同类型的磁带机上读写不同的磁带数据，解决了历史遗留数据磁带和新数据磁带的访问问题。本系统根据遥感数据的特点和遥感产品生产的特点，实现了从磁带中直接提取某个条带数据中的部分数据的功能，解决了商用存储软件由于以文件为单位管理数据而带来的性能低下的问题，此软件在国内遥感数据预处理领域处于技术领先的地位。另外本系统支持多种磁带数据格式，包括FRED格式和TAR格式等。
7、可配置的工作流程。运行过程中，会面临种种复杂的情况，许多情况是在研发状况下所不能预测的。本系统具有自调节功能，能够在运程过程中根据具体情况，调整处理流程。
附图说明
图1是本发明的系统方框图。
图2是本发明的系统处理流程图。
图3是本发明的工作流引擎架构图。
图4是本发明的并行编目原理图。
图5是本发明的多级存储系统迁移流程图。
图6是带库管理的原理图。
图7是自动化的监控系统原理图。
图8是可插拔算法服务器的原理图。
具体实施方式
下面将结合附图及实施例对本发明做进一步说明。
本发明系统组成方框图，如图1所示：一种订单驱动的海量遥感数据集群化预处理系统1，它包括外部系统9通过交换机10与订单驱动的海量遥感数据集群化预处理系统相连接，其特征在于：所述的订单驱动的海量遥感数据集群化预处理系统，它包括：订单驱动的工作流引擎子系统2、集群化并行编目和生产子系统3、多级存储归档子系统4、带库管理子系统5、自动化监控子系统6和可插拔算法服务器7。
本发明的系统处理流程图，如图2所示：外部系统9向预处理系统1发送一个空间保留请求11，表示有新的遥感数据需要进入到预处理系统1中；工作流引擎子系统2收到该请求11后转发给多级存储归档子系统4，后者准备数据归档空间12；空间准备完毕后，外部系统9通过FTP方式将遥感数据上传13到存储空间；多级存储归档子系统4对这些数据进行归档14，将数据保存在正式的归档目录下，然后再复制数据到磁带中；数据归档完毕后，集群化并行编目和生产子系统3开始对其进行编目15，产生浏览图和编目元数据，并将编目结果发送给编目浏览子系统；操作员通过百年马浏览子系统浏览编目结果16，根据需要下达产品生产订单；集群化并行编目和生产子系统3收到产品生产订单后按要求生产出图像产品17；生产出来的图像产品最后通过多级存储归档子系统4进行归档18。
本发明的工作流引擎架构图，如图3所示：外部系统9向预处理系统提交生产任务，放到任务队列19中；格式转换器20根据工作流引擎21的要求将任务转换成所需格式，并提交给工作流引擎21；工作流引擎21读取工作流定义文件22，找到该任务所匹配的工作流配置；工作流引擎21根据配置产生驱动其他子系统的订单消息，发送到集群化并行编目和生产子系统的消息队列23和多级存储归档子系统的消息队列24；集群化并行编目和生产子系统3和多级存储归档子系统4收到消息之后转化成订单进行处理，并将处理结果返回给工作流引擎21，并由后者控制下一步的流程。
本发明的并行编目原理图，如图4所示：一个遥感数据28包括多个景27；两台编目服务器25分别启动了三个和四个编目线程26；每个线程分别处理一个景，这些线程同时工作。编目服务器25和编目线程26的数量可以根据配置文件和服务器的性能情况灵活配置，这样每个遥感数据28可以在最短的时间内编目完毕。
本发明的多级存储系统迁移流程方框图，如图5所示：原始遥感数据从数据源30(如地面站等)传输到预处理系统的数据接收站点，保存到在线存储35中的FC盘阵32中；等待一段设定的时间之后数据被复制到近线存储38中的带库36；原始遥感数据以整条带的形式存在。原始遥感数据在线保存一定时间以后，外部应用系统31将部分高价值的数据以FRED单景的方式从整条带中切割出来保存到SATA盘阵33上；产品数据生产出来之后保存在在线存储35的SATA盘阵33上，之后立即复制一份保存在近线存储38的带库36中；其中的3～4级产品被复制到在线存储35的NAS盘阵34；在线保存一定时间之后，低价值的产品则被删除。数据从SATA盘阵33迁出的时候，其中的高价值数据都会进行异地备份，先传输到异地的盘阵37上，再由异地备份系统拷贝到带库40。前面提到的数据的保存时间可配置。
本发明的带库管理的原理图，如图6所示：整个带库管理系统分为四大部分：系统调度55、数据迁移56、系统工具57以及系统监控54。
所述的系统调度部分55是整个磁带库存储系统的核心，它包括：启动模块41是服务端程序的入口；服务模块43创建对外服务实例，并将服务实例以所配置的通讯方式发布出去，供管理员42和用户44访问；安全模块45用来验证用户身份，管理用户权限；分区模块46负责存储空间的逻辑分区和管理，维护存储元数据；调度模块47负责订单管理、任务调度、资源调配、线程管理、迁移器管理等核心工作，通过内置的优化方案，提高了任务调度的效率；状态信息模块48负责搜集带库中需要监控的信息，并主动调用监控端远程接口来更新监控界面；数据库模块49负责访问数据库；磁带库模块50负责磁带库设备的管理和维护，包括磁带迁移、磁带装载和卸载等机械手的具体操作；磁带机的在线、离线操作；磁带机的自动清洗等。
所述的数据迁移部分56完成磁带机设备访问，它包括：数据迁移器模块51专门负责磁带读写操作；数据类型驱动器模块52用来管理不同的磁带数据记录格式。
所述的系统工具部分57提供一些外部独立的工具，它包括：工具模块53提供空白磁带检测工具和磁带数据检测工具。
系统监控部分54提供客户端界面42，用于实时监控系统调度。
本发明的自动化的监控系统原理图，如图7所示：包括监控子系统客户端60和监控子系统服务器端61。监控子系统服务器端61采用主动监控的轮询方式，使用SNMP的GET/GETNEXT/GETBULK方式查询设备信息62；获得设备相应的MIB信息之后与上一次查询结果进行比较63，看看是否有变化；如果监控信息没有变化则不作处理，如果发现有变化，就立即发送通知给监控子系统客户端60；监控子系统客户端60得到信息变化通知64之后在界面上显示通知内容65。
本发明的可插拔算法服务器的原理图，如图8所示：系统中共有5个算法，包括：算法A72，算法B73，算法C74，算法D75和算法E76；业务流程管理模块70正在调用算法C74；业务流程管理模块70和所有的算法都遵循调用接口71。
Claims (8)
1.一种订单驱动的海量遥感数据集群化预处理系统，它包括：用户通过服务器、控制网络、存储网络、磁盘阵列、磁带库、PC机，其特征在于：该系统包括：订单驱动的工作流引擎子系统、集群化并行编目和生产子系统、多级存储归档子系统、带库管理子系统、自动化监控子系统和可插拔算法服务器：其中，
所述的工作流引擎子系统，它根据预定义的工作流程，驱动各子系统完成生产任务；在工作流引擎的控制支持下完成图像处理任务；
所述的集群化并行编目和生产子系统，是指利用集群化并行技术对航空、航天飞行器拍摄的长条带影像进行编目，生成降分辨率的浏览图、拇指图和编目元数据信息，根据订单要求生产不同级别的影像产品；
所述的多级存储归档子系统，是指在不同的共享存储架构的基础上，根据数据的价值和使用要求在磁盘阵列和磁带库之间进行数据的归档和迁移；
所述的带库管理子系统，是一种支持多磁带库、多磁带机、多介质类型和多记录格式的软件；该子系统是专门针对磁带库数据存储的管理平台，为用户提供独立于业务的磁带库存储服务；磁带库可以被看作一个容量巨大的存储池，随时可以向池中保存数据，当需要的时候再从池中把数据提取出来；带库管理子系统将记录所有保存在磁带中的数据信息，不管磁带在自动磁带库中还是在离线带架上；
所述的自动化监控子系统，是基于SNMP协议，对待监控设备或者系统的MIB管理信息库文件进行解析，自动生成相应的Java源文件，这些文件经过编译后可以集成到系统中，对设备的工作状态进行实时监控；监控其它几个子系统服务器端的运行情况；当设备或子系统发生故障的时候以多种方式通知系统管理员；
所述的可插拔算法服务器，是指一种图像处理算法与调用软件之间的架构；明确定义业务流程管理模块与算法服务模块的接口，以遵照接口定义开发出不同的算法，然后根据不同算法在效率、精度、易用性方面的比较，选择其中之一嵌入图像处理体系架构之中。
2.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的工作流引擎子系统，它包括：
A)遥感预处理工作流管理系统：
1)通过计算机定义、执行和管理一个系统工作流程，协调工作流执行过程中工作之间以及群体成员之间的信息交互；
2)将流程中涉及组织协调的规则抽象出来，生成工作流程的定义文件；
3)工作流程的定义采用XML文件的形式，每个工作流程对应一个XML文件 ;管理员根据预定的工作流程，编写成XML文件，提交给系统处理，相应的工作流程就可以开始工作 ;如果要修改某一个工作流程，则由管理员编辑相应的XML文件，提交之后，对相应工作流程的修改就可以生效；
4)工作流程的定义可以由用户按需配置、修改，以保障本系统在自动运转的前提下，具有最大的灵活性和适应性 ;
B)根据任务优先级调度：工作流中的每一个任务都对应成一个订单，订单分配一个优先级，由于系统的资源有效，当很多订单需要运行时，优先级高的订单会比优先级低的订单更快地调度执行；
C)高速持久对象缓存：
1)订单信息的持久化保存：每个工作流中的所有订单一经创建，系统就将订单信息保存到数据库中，以便于统计系统的工作情况和订单的执行情况；
2)订单信息的装载：对于未执行完毕的订单，系统在重新启动的时候可以从数据库中读取出来，根据优先级继续调度执行，保证任务的完整性；
3)订单信息的更新：每个订单在执行的时候状态会发生变化，这些变化将被实时地记录到数据库中；
D)对并发流程的控制：日常情况下，同一时间内会有多个工作流需要同时执行，每个工作流又拆分出多个订单；由于受到服务器资源的限制，为了提高效率，这些订单不能全部同时运行，所有的订单都需要先排队，等到系统有足够资源的时候才会被执行；可以并发执行的订单的数量可以由操作员通过配置文件来设定。
3.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的集群化并行编目和生产子系统，它包括：
A)集群并行编目：
1)遥感数据文件FRED格式进行编目，将长条带图像分解成接近正方形的小图像或称为景，按一定比例采样形成浏览图，并提取每个景的编目元数据信息；
2)如果浏览图很大，可在原图像的基础上再生成更小比例的拇指图，以便于WEB方式的批量浏览；
3)在编目时，JAVA程序通过RMI远程调用JNI；JNI再调用底层的C++组件实现对数据的编目运算，并将生成的元数据保存到XML或者SELF文件中；浏览图与拇指图文件存放在指定的文件目录下；
4)系统在编目时，多个集群计算节点可以同时处理该任务，每个计算节点又使用多个线程来进行并发编目，确保一个条带可以以最快的速度编目完毕；
B)数据搜索定位：
1)在集群化并行编目的情况下，多台机器同时访问同一个遥感数据文件，但是每个并行节点访问的数据位置不同，所需的数据片断通过一种数据时间与文件中数据偏移量的换算，每个集群节点可以精确地找到所需的数据；
2)每个计算节点中的编目线程根据其负责的景的序号在影像条带中搜索定位，找到相应的起始位置然后读取该景的数据；线程之间互不干扰，完全独立；
C)集群生产：
1)采用多个集群计算节点进行产品生产，每个节点又有多个工作线程；
2)生产过程是将原始的FRED格式的景转变成通用格式的图像文件的过程，包括辐射校正和几何校正；生产的同时还对图像产品进行编目，提取出产品的元数据；
3)生产订单的控制采用JAVA程序控制，生产的算法则用C++来实现；JAVA通过JNI的方式调用C++的程序，二者共同完成产品的生产；
4)系统可以通过配置增减产品生产集群服务器的数量，以满足需求数量。
4.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的多级存储归档子系统，它包括：
A)基于价值评估的迁移：
1)指根据数据的类型与属性，它包括大小、重要度、访问频度；存储设备的属性，它包括访问速度、容量，将相应的数据保存在最合适的存储设备上；
2)文件数据的重要度根据操作员设定的规则，它包括地域规则、产品级别，系统自动计算；访问频度则根据系统对该数据的访问情况自动记录到数据库中；设备的访问速度和容量则由操作员配置指定；
3)数据的大小、重要度、访问频度等都对应价值计算的权重，操作员可以通过配置文件设定权重；系统则根据配置文件自动计算每个数据当前的价值；在操作员没有设定的情况下，系统自动给出一个缺省的权重；
4)操作员可以通过配置文件定义不同价值数据的迁移规则，规定何时迁移，迁移到那个存储设备；
B)数据归档管理：
1)对系统内所有需要保存的数据进行归档，根据需要进行备份，并提供归档数据的查询功能；
2)数据归档分为多个级别，比如在线、近线和离线。操作员可以通过配置文件设定任意多个归档级别以适应不同的需要；
3)存储系统支持SAN、NAS和NFS等多种共享存储架构；对于SAN架构，每台数据访问的服务器都需要安装存储共享软件；
C)存储设备管理：
1)存储设备包括磁盘阵列和磁带库；
2)操作员可以增加和减少可用的磁盘阵列分区以及可用的磁带库和磁带机，便于系统的存储容量扩展以及不停机进行存储设备维护；
3)系统提供监控界面，以方便操作员对存储设备的工作状态一目了然。
5.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的带库管理子系统，它包括：
A)逻辑分区：
1)系统将各磁带库各类型的近线和离线磁带的存储空间视为一个完整的、容量近乎无限的磁带库存储空间；按介质类型、读写格式等综合因素，将存储空间划分为若干个逻辑分区；一个逻辑分区限定了它所允许使用的若干带库、若干介质类型，它包括：LTO2、DLT；，限定了它必须使用的数据类型，它包括：FRED、tar，以及限定它所允许的最大并发读写数量；
2)每一盘新磁带被使用前需要注册，将其纳入整个存储空间；注册磁带时无 需指定其所属分区，当一盘空白磁带被某个分区使用后，该磁带即被划分到该分区中，此后就不能再被其它分区识别和使用了；
3)分区属于系统内部概念，对外界是透明的；当归档数据时，系统按照用户提供的数据类型、业务类型及是否已软件压缩等信息，从预先配置好的业务映射表中查询出应该使用的内部分区，于是此次归档的数据将会被写入属于该分区的磁带中；
B)优化调度技术，用于订单管理、任务调度、资源调配、线程管理、迁移器管理等核心工作，通过内置的优化方案，提高任务调度的效率；
1)订单包括磁带数据读写订单和磁带迁移订单；
2)任何一个订单在某一时刻都处于某个状态，在该状态下可以进行某些操作；
3)所有的订单在执行之前都需要排队，驱动器调度线程会彼此同步地从读写订单排队队列中取订单来执行；
4)每个磁带库实体内都存在一个IO槽扫描线程，完成磁带自动迁入和迁出工作；
C)分布式迁移器架构：数据迁移器专门负责磁带读写操作；磁带库内的每个驱动器设备将对应若干个数据迁移器，这些数据迁移器都以独立的进程分别运行在不同的Linux主机上，并通过RMI远程接口绑定到磁带库存储系统的调度内核上。在调度内核中每个驱动器都对应一个调度线程，该线程通过调度策略获取订单，然后将具体的磁带读写操作交给一个最合适的数据迁移器来完成，原则上是找一个运行在系统负载最小的Linux主机上的数据迁移器；
D)扩展数据格式插件：
1)数据迁移器在进行磁带读写时，是按照一定的数据格式来进行的；通过一个可配置的框架，由用户将其需要的数据格式的读写方式嵌入到系统中；
2)每种具体的数据格式都对应一个数据类型驱动器，该驱动器实现了一个写磁带接口和一个读磁带接口，具体的实现方式由数据格式而定；它包括tar格式，可以采用直接调用系统tar命令的实现方式；FRED格式，可以通过jni调用c程序的方式，直接用二进制流进行读写；
E)基于元数据自动磁带检查：
1)磁带数据检测工具负责对已有磁带中所归档的数据进行验证，检查这些数据在磁带中的存储结构是否与在数据库中存储的元数据保持一致，以判断数据是 否损坏；
2)磁带数据检测工具独立于带库系统之外单独运行，支持同时挂接多个不同类型的外置带机，它包括LTO2、DLT；同时检测多盘磁带；整个检测进度可被监控，也可被终止；
3)在每个带机上的检测工作都由一个独立进程来完成，而检测工具的主进程则负责监控这些工作进程，这样当某个检测过程出现异常时，不会对其它检测过程造成影响；
F)自动带机维护：
1)自动带机清洗：磁带机的清洗由系统自动完成，各种介质类型的清洗带被注册到系统后，由带库管理系统统一管理；当系统判断某个带机需要清洗时，将自动加载合适的清洗带进行清洗，完成后，自动把清洗带从带机中取出；操作员可以配置带机需要清洗的条件，设置清洗工作的最佳执行时间，以保证不影响正常业务运作；
2)自动状态监控：系统实时记录每个带机当前的状态，它包括：是否空闲、正在读数据、正在装载或卸载磁带，磁带机当前是否可用；这些状态信息通过界面展示给操作员，操作员可以据此判断系统是否工作正常；
3)自动错误报警：磁带保存一段时间之后，上面的数据就可能读不出来，磁带机就会发生读错误；在这种情况下，系统能够通过界面向操作员报警，提示某个磁带机在读取某一盘磁带时发生错误，由操作员决定是重试还是失败；
G)多种标准访问接口：服务的对外发布采用多种通讯方式，它包括：WebService、RMI、JMS，以适应各种用户业务和管理需求。
6.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的自动化监控子系统，它包括：
A)客户端配置模块，负责读取客户端的配置文件，将其转化为Java内部可以识别的、类型安全的类的实例，同时还需要验证客户端配置文件的有效性；
B)服务端客户端接口模块，定义了监控子系统客户端与服务器端的通信接口；具体的接口形式为Java RMI；
C)服务端配置模块，负责对服务器端的配置文件进行读取，将其转化为Java内部可以识别的、带有类型信息的类的实例，并对配置信息进行验证；
D)子系统监听模块，负责从各个子系统接收远程调用；监控子系统使用JavaRMI作为被监控子系统与监控子系统之间的通讯方式；被监控子系统向监控子系统发送心跳信号、子系统退出信号与子系统出现故障的信号，由监控子系统再通知系统操作员进行处理；
E)数据访问模块，负责服务器端对Oracle关系型数据库的访问；
F)任务调度模块，负责调度所有的SNMP轮询任务；在配置文件更新的时候所有的后台线程都会被取消掉，然后再重新启动；平时则按照对应被监控设备或者系统指定的延时定时启动SNMP轮询任务；
G)SNMP通信模块，负责根据每个设备或者系统的SNMP监控配置信息对其进行SNMP连接、通讯与查询：
1)它需要的配置信息包括待监控的设备或者系统的地址、端口号、底层传输协议、SNMP版本、认证信息、轮询延时与设备类型以及待监控的设备或者系统的待监控MIB；
2)它在运行时根据配置信息动态载入相应的MIB解析类，并创建实例，调用其方法进行MIB信息的解析直到其需要的所有的MIB信息都已获得，然后再将这些信息通过数据库访问模块保存在数据库中；
H)服务端管理模块是整个监控子系统服务器端的核心模块：
1)它负责启动与关闭整个子系统；
2)通过服务端配置模块读取配置信息并分配到各个模块；
3)对比MIB信息的差异；
4)检查MIB信息的具体项值是否超过了配置文件中设置的阈值，并在发生这些情况的时候通知客户端。
7.根据权利要求1所述的订单驱动的海量遥感数据集群化预处理系统，其特征在于：所述的可插拔算法服务器，它包括：
A)业务流程管理模块，负责处理业务逻辑，调用算法服务模块中的算法完成产品生产任务；
B)算法服务模块，负责实现辐射校正和几何校正的功能：
1)它是一个动态链接库，其输入的参数包括产品生产所需要的众多参数，输出的参数为订单执行结果，包括成功/失败标识，以及可能出现的错误原因；
2)动态链接库必须提供自描述功能，即提供标准的函数，列举其支持的各类算法；包括：一个函数列举其支持的所有地球模型；另一个函数列举其支持的各类辐射校正算法；
3)动态链接库的作者应保证算法的效率、精度、正确性、以及对系统资源的合理利用；
C)业务流程管理模块与算法服务模块的接口，是一种模块间的调用约定，包括服务的名称、参数和返回的结果。
8.一种订单驱动的海量遥感数据集群化预处理系统方法，其特征在于：它包括：
A)登录系统：输入操作员的帐号和密码，进入主界面；
B)打开各子系统主窗口：点击主界面上的导航按钮，系统会打开子系统的主窗口，同时连接后台服务程序；
C)进入用户管理子系统，它包括：
1)创建用户：在用户信息对话框中填入用户名称、密码、真实姓名、单位、邮箱等信息，提交后保存到数据库中；
2)查询用户信息：从用户列表中选择需要查看的用户，系统弹出对话框显示该用户的注册信息；查询该用户当前是否在线；
3)修改用户信息：从用户列表中选择需要查看的用户，点击“修改”按钮，系统弹出对话框显示该用户的注册信息；修改后点击“确定”按钮，新的用户信息就被保存到数据库中；
4)删除用户：操作员可以从用户列表中选择用户进行删除；
D)进入工作流引擎子系统，它包括：
1)查看系统当前的工作流和订单：用户可以设置过滤条件，使窗口只显示符合条件的工作流和订单；
2)新建请求：用户可以从系统的菜单中创建各种请求，包括数据归档请求、数据编目请求、数据提取请求和产品生产请求；
3)查看工作流和订单信息：通过右键点击某个工作流或订单，操作员可以看到它的各个参数和当前的运行状态；
4)删除工作流：操作员可以删除已经完成或失败的工作流；
E)进入产品生产子系统，它包括：
1)查看订单列表：所有的产品生产订单分成排队订单、活动订单、非活动订单和结束订单这几类；
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息；
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作；
4)：创建生产订单：从菜单中打开产品生产订单的对话框，输入所需参数，然后提交给系统执行；
F)进入编目子系统，它包括：
1)查看订单列表：所有的数据编目订单，它包括：排队订单、活动订单、非活动订单以及结束订单；
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息；
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作；
4)：创建数据编目订单：从菜单中打开数据编目订单的对话框，输入所需参数，然后提交给系统执行；
G)进入归档子系统，它包括：
1)查看订单列表：所有的数据归档和提取订单，它包括：排队订单、活动订单、非活动订单和结束订单；
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息；
3)控制运行：通过右键点击某个订单，从弹出菜单中选择所需操作；
4)创建数据归档或提取订单：从菜单中打开数据编目订单的对话框，输入所需参数，然后提交给系统执行；
5)查询归档数据：输入查询条件，系统查询数据库，将结果以列表方式显示给用户；
6)查看存储空间信息：系统通过一个对话框显示每一类数据所占用的存储空间的大小以及总容量，并用不同的颜色显示当前空间占用的百分比，如果超过某个阈值，显示红色报警；
H)进入带库管理子系统，它包括：
1)查看订单列表和操作队列：所有的数据归档和提取订单都进行排队，经过优化组合形成操作队列；
2)查看系统消息：系统消息包括：系统请求操作员干涉的消息、系统信息、警告和错误信息。当操作员将磁带迁入或迁出带库之后，需要在系统消息中进行确认；在发生磁带读写故障时也需要操作员对消息进行响应，通过右键菜单决定是重试还是忽略或者标记为坏带；
3)查看机械手的状态：显示磁带库的机械手当前是正在迁移磁带、扫描带库、扫描I/O槽还是空闲；如果是迁移磁带，系统给出磁带源槽位和目标槽位的槽位号；
4)查看磁带机的状态：系统在列表中显示带库中的每个带机当前的状态，包括正在装载、正在读数据、正在卸载和空闲；另外还列出了每个带机当前所装载的磁带的条码；
5)查看磁带库的信息：系统以对话框显示所管理的磁带库中所有槽位中的磁带条码以及空闲槽位的数量；
6)查询磁带数据信息：输入磁带的条码号，系统查询数据库，将查询结果显示给用户。查询结果包括磁带的容量、剩余容量、保存的数据类型、归档级别、首次和末次使用时间以及保存的数据列表；
7)迁移磁带：用户可以通过系统菜单下达磁带迁移订单，将磁带从磁带库迁移到离线或从离线迁移到带库。一次可以对多盘磁带进行迁移；
I)进入监控子系统，它包括：
1)查看各子系统的运行状况：系统通过类表方式显示各子系统的启动时间、启动用户帐号、服务器IP地址和当前的状态，包括：运行中、已关闭；
2)查看设备的状态：操作员可以浏览被管理设备和系统的MIB信息；
3)添加监控设备：操作员可以指定想要监控的设备，输入其IP地址即可；
4)关闭子系统：用户可以选择一个子系统，点击“关闭子系统”按钮向该子系统发送一个关闭命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101404559A CN1959717B (zh) | 2006-10-09 | 2006-10-09 | 订单驱动的海量遥感数据集群化预处理系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101404559A CN1959717B (zh) | 2006-10-09 | 2006-10-09 | 订单驱动的海量遥感数据集群化预处理系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1959717A CN1959717A (zh) | 2007-05-09 |
| CN1959717B true CN1959717B (zh) | 2011-09-28 |
Family
ID=38071402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006101404559A Expired - Fee Related CN1959717B (zh) | 2006-10-09 | 2006-10-09 | 订单驱动的海量遥感数据集群化预处理系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1959717B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI451768B (zh) * | 2009-03-25 | 2014-09-01 | Panasonic Corp | 負載控制系統 |
| JP2010258535A (ja) * | 2009-04-21 | 2010-11-11 | Panasonic Electric Works Co Ltd | 負荷制御システム |
| KR100979750B1 (ko) * | 2009-11-06 | 2010-09-03 | (주)피스페이스 | 분산 저장 시스템에서 파일을 관리하는 장치 및 방법 |
| CN102393815A (zh) * | 2011-07-13 | 2012-03-28 | 中国科学院遥感应用研究所 | 遥感运算的并行处理方法 |
| CN102521138B (zh) * | 2011-11-28 | 2015-11-25 | 华为技术有限公司 | 数据迁移触发方法和装置 |
| US8909734B2 (en) * | 2012-02-07 | 2014-12-09 | International Business Machines Corporation | Migrating data between networked computing environments |
| CN103092952A (zh) * | 2013-01-15 | 2013-05-08 | 深圳市连用科技有限公司 | 一种海量非结构化数据的存储系统和管理方法 |
| CN103218174B (zh) * | 2013-03-29 | 2015-11-25 | 航天恒星科技有限公司 | 一种用于遥感图像的io双缓存交互多核处理方法 |
| CN103345664A (zh) * | 2013-05-31 | 2013-10-09 | 华为技术有限公司 | 工作流-任务调度适配方法及系统 |
| CN105229626B (zh) * | 2013-06-18 | 2018-03-30 | 慧与发展有限责任合伙企业 | 利用过去偏好配对将事件通知按优先级排序 |
| CN103345616B (zh) * | 2013-06-19 | 2016-08-10 | 武汉世纪金桥安全技术有限公司 | 基于行为分析的指纹存储比对的系统 |
| US10713225B2 (en) * | 2014-10-30 | 2020-07-14 | Pearson Education, Inc. | Content database generation |
| CN105630589A (zh) * | 2014-11-24 | 2016-06-01 | 航天恒星科技有限公司 | 分布式流程调度系统及流程调度、执行方法 |
| CN104680398A (zh) * | 2015-03-12 | 2015-06-03 | 浪潮集团有限公司 | 一种针对电商用户海量行为数据的获取和存储方法 |
| CN105956082B (zh) * | 2016-04-29 | 2019-07-02 | 深圳大数点科技有限公司 | 实时数据处理与存储系统 |
| CN107527250B (zh) * | 2016-06-20 | 2021-02-05 | 腾讯科技（北京）有限公司 | 一种订单管理方法及服务器 |
| CN106357430A (zh) * | 2016-08-29 | 2017-01-25 | 桂林浩新科技服务有限公司 | 一种云计算集群服务状态监控方法和系统 |
| CN108090731B (zh) * | 2016-11-23 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 一种信息处理方法及设备 |
| CN107864055A (zh) * | 2017-10-31 | 2018-03-30 | 云宏信息科技股份有限公司 | 虚拟化系统的管理方法及平台 |
| CN107894836B (zh) * | 2017-11-22 | 2020-10-09 | 河南大学 | 基于手势和语音识别的遥感图像处理与展示的人机交互方法 |
| CN109086072A (zh) * | 2018-08-01 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种脚本生成方法和装置 |
| CN109344188B (zh) * | 2018-09-11 | 2022-10-04 | 北京航空航天大学 | 遥感卫星效能人工智能统计方法 |
| CN109408484B (zh) * | 2018-10-11 | 2022-05-06 | 中国科学院国家天文台 | 一种基于数据驱动的组件式行星探测数据存档系统及方法 |
| CN109460397B (zh) * | 2018-10-12 | 2024-02-02 | 中国平安人寿保险股份有限公司 | 数据产出控制方法及装置、存储介质和电子设备 |
| CN110008267B (zh) * | 2019-03-12 | 2022-06-14 | 北京国电智深控制技术有限公司 | 一种数据处理的系统及方法 |
| CN110110114B (zh) * | 2019-04-11 | 2024-05-03 | 平安科技（深圳）有限公司 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
| CN110688678B (zh) * | 2019-09-27 | 2021-07-30 | 支付宝(杭州)信息技术有限公司 | 一种应用于区块链的数据处理方法、装置及设备 |
| CN112308443B (zh) * | 2020-11-09 | 2024-07-12 | 中国科学院空天信息创新研究院 | 一种遥感信息产品生成工作流的批量调度方法及装置 |
| CN115576677A (zh) * | 2022-12-08 | 2023-01-06 | 中国科学院空天信息创新研究院 | 批量遥感数据快速处理的任务流程调度管理系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1431465A (zh) * | 2003-01-14 | 2003-07-23 | 孙建中 | 基于点源信息动态采集平台方法 |
| CN1651860A (zh) * | 2004-06-08 | 2005-08-10 | 王汶 | 用不同尺度遥感数据估计面积变化的对称系统抽样技术 |
| CN1787526A (zh) * | 2005-12-16 | 2006-06-14 | 中国科学院上海技术物理研究所 | 卫星遥感数据应用产品网络动态发布系统 |
-
2006
- 2006-10-09 CN CN2006101404559A patent/CN1959717B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1431465A (zh) * | 2003-01-14 | 2003-07-23 | 孙建中 | 基于点源信息动态采集平台方法 |
| CN1651860A (zh) * | 2004-06-08 | 2005-08-10 | 王汶 | 用不同尺度遥感数据估计面积变化的对称系统抽样技术 |
| CN1787526A (zh) * | 2005-12-16 | 2006-06-14 | 中国科学院上海技术物理研究所 | 卫星遥感数据应用产品网络动态发布系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1959717A (zh) | 2007-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1959717B (zh) | 订单驱动的海量遥感数据集群化预处理系统及其方法 | |
| US8849782B2 (en) | Storage tape analytics user interface | |
| US9020921B2 (en) | Storage tape analytics user interface providing library analysis and monitoring alerts | |
| JP5568776B2 (ja) | 計算機のモニタリングシステム及びモニタリング方法 | |
| US8131725B2 (en) | Systems and methods for using metadata to enhance data identification operations | |
| US8849783B2 (en) | Storage tape analytics user interface | |
| US7487408B2 (en) | Deferring error reporting for a storage device to align with staffing levels at a service center | |
| US20070185879A1 (en) | Systems and methods for archiving and retrieving digital assets | |
| US20090228669A1 (en) | Storage Device Optimization Using File Characteristics | |
| US20040267782A1 (en) | Database system | |
| US8842384B2 (en) | Data adapters for storage tape analytics system | |
| US10783040B2 (en) | Apparatus, system and method for data collection, import and modeling | |
| CN116540942A (zh) | 数据存储对象的迁移方法、系统、电子设备及存储介质 | |
| CN101681362A (zh) | 存储优化方法 | |
| CN101236481A (zh) | 用于不间断存储配置的设备、系统和方法 | |
| US20240111716A1 (en) | Data analytics systems for file systems including examples of path generation | |
| WO2016027370A1 (ja) | アーカイブ制御システム及び方法 | |
| US20060271579A1 (en) | Storage usage analysis | |
| JPH03282946A (ja) | データベース処理履歴情報の自動管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110928 Termination date: 20141009 |
|
| EXPY | Termination of patent right or utility model |