CN113377489A - 基于云平台的遥感智能监测应用的构建运行方法和装置 - Google Patents
基于云平台的遥感智能监测应用的构建运行方法和装置 Download PDFInfo
- Publication number
- CN113377489A CN113377489A CN202010158946.6A CN202010158946A CN113377489A CN 113377489 A CN113377489 A CN 113377489A CN 202010158946 A CN202010158946 A CN 202010158946A CN 113377489 A CN113377489 A CN 113377489A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- mirror image
- image
- algorithm
- mongodb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000010276 construction Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000012856 packing Methods 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例提供了一种基于云平台的遥感智能监测应用的构建运行方法和装置,该方法包括:从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器;使用Job Controller创建包含所述容器的Pod资源;调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务。本公开能够实现监测任务的周期执行,从而极大地提升了监测应用的稳定性和效率。
Description
技术领域
本公开的实施例一般涉及遥感监测技术领域,并且更具体地,涉及一种基于云平台的遥感智能监测应用的构建运行方法和装置。
背景技术
传统的遥感监测应用,例如违章建筑物监测、违法排污监测、雾霾监测、江河湖泊水质监测服务这样的传统遥感监测应用系统,其构建方式为遥感信息服务方给遥感信息使用方提供他们的违章建筑物监测或者城市变化检测之类的服务。而遥感信息的使用方也即用户,他们需要构建自己的软硬件系统,在自己的系统基础上构建遥感处理环境,部署相应的遥感信息系统,通过服务的方式调用服务方提供的资源。这种方式造成了系统本身构建成本高、系统本身扩展困难等众多问题。
遥感监测应用系统的使用需要海量的遥感卫星影像作为基础,而用户为了使用某种遥感监测应用系统,不仅需要自己构建系统并部署,还需要花费大量资金购买相应地区的遥感卫星影像。一方面,由于成本较高,每个用户只能购买有限的一部分影像数据,另一方面,用户可能需要从多个卫星数据供应商购买数据,这增加了数据获取的难度。
随着遥感在各行各业的应用越来越广泛,用户基数进一步扩大。这些人通常都是最终用户,不具备遥感相关领域的知识和技能。而传统的遥感监测应用系统,大多数都需要具备一些遥感领域的相关知识,才能顺利使用这些系统,这增加了用户的使用负担,也降低了用户的工作效率。
发明内容
在本公开的第一方面,提供了一种基于云平台的遥感智能监测应用的构建运行方法,包括:从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器;使用JobController创建包含所述容器的Pod资源;调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器之前还包括:使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将所述算法镜像加入镜像仓库。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述遥感影像数据包括影像文件和元数据文件,所述影像文件存储于分布式文件系统HDFS中,所述元数据文件存储于MongoDB集群中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述调取遥感影像数据包括:使用MongoDB Connector for Spark与分布式计算框架Spark建立连接;使用MongoDB过滤查询条件,使用所述分布式计算框架Spark加速空间运算,来从所述分布式文件系统HDFS中调取所述遥感影像数据。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述调取遥感影像数据之前还包括:在所述MongoDB集群中建立所述影像文件和所述元数据文件的空间索引。
在本公开的第二方面,提供了一种基于云平台的遥感智能监测应用的构建运行装置,包括:容器创建模块,用于以算法镜像作为基础镜像,创建对应的容器;语言创建模块,用于使用Job Controller创建包含所述容器的Pod资源;任务执行模块,用于调度到达指定时间的Pod,调取遥感影像数据,执行对应的遥感监测任务。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,还包括:算法处理模块,用于使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将所述算法镜像加入镜像仓库。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述遥感影像数据包括影像文件和元数据文件,所述影像文件存储于分布式文件系统HDFS中,所述元数据文件存储于MongoDB集群中。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述任务执行模块具体用于,使用MongoDB Connector for Spark与分布式计算框架Spark建立连接;使用MongoDB过滤查询条件,使用所述分布式计算框架Spark加速空间运算,来从所述分布式文件系统HDFS中调取所述遥感影像数据。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述任务执行模块具体用于,在所述MongoDB集群中建立所述影像文件和所述元数据文件的空间索引。
在本公开的是实施例提供的基于云平台的遥感智能监测应用的构建运行方法和装置中,从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器,使用Job Controller创建包含容器的Pod资源,调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务,从而实现了监测任务的周期执行,极大地提升了监测应用的稳定性和效率。
应当理解,公开内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了能够在其中实现本公开的实施例的示例性运行环境的示意图;
图2示出了根据本公开的实施例的基于云平台的遥感智能监测应用的构建运行方法的流程图;
图3示出了根据本公开的实施例的容器引擎Docker的架构图;
图4示出了根据本公开的实施例的基于云平台的遥感智能监测应用的构建运行装置的方框图;
图5示出了能够实施本公开的实施例的示例性电子设备的方框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本公开保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
术语解释:
kubernetes:简称k8s,Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。
MongoDB:一个分布式的、面向列的开源数据库,适合被用来存储海量数据。MongoDB存储的内容是结构松散的类似于JSON结构的BSON格式数据,支持MapReduce功能保证其可以对数据进行复杂的关系和分析。除此之外,MongoDB支持对于地理信息的索引及检索操作。
图1示出了能够在其中实现本公开的实施例的示例性运行环境的示意图,参见图1,该运行环境包括IaaS(基础设施即服务)101、PaaS(平台即服务)102和SaaS(软件即服务)103。
其中,IaaS 101为基础设施运维人员服务,提供计算、存储、网络及其他基础资源,云平台使用者可以在上面部署和运行包括操作系统和应用程序在内的任意软件,无需再为基础设施的管理而分心。PaaS 102为应用开发人员服务,提供支撑应用运行所需的软件运行时环境、相关工具与服务,如数据库服务、日志服务、监控服务等,让应用开发者可以专注于核心业务的开发。SaaS 103为一般用户服务,提供了一套完整可用的软件系统,让一般用户无需关注技术细节,只需通过浏览器、应用客户端等方式就能使用部署在云上的应用服务。
由于传统的遥感监测应用系统具有耦合性高、系统扩展性差的缺点,为解决该问题,本实施例在PaaS 102引入容器引擎。
容器引擎为容器的运行提供底层支持,容器是一个轻量级的虚拟运行环境,本质上是一个用户级的进程。容器因为其创建和回收开销很小,因此适用于负载均衡、自动伸缩等需要频繁穿件和销毁的应用场景。
相比于虚拟机,容器自身所占资源小,因此可以在PaaS 102中创建更多的容器,从而使得系统资源能够得到更有效的利用,另外容器也使得软件在PaaS 102中的部署变得简单。
下面以容器引擎Docker为例,来对本公开提供的基于云平台的遥感智能监测应用的构建方法来进行详细的说明。
图2示出了根据本公开的实施例的基于云平台的遥感智能监测应用的构建方法的流程图。参见图2,该方法包括以下步骤:
步骤201,从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器。
在本实施例中,遥感智能监测应用(例如,违章建筑物检测、违法排污检测、雾霾检测、江河湖泊水质检测等)会有周期性任务执行的需要,则对监测任务按照用户指定的时间范围和/或执行周期进行周期性执行的算法,即遥感智能监测应用对应的算法。
在一些实施例中,从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器之前,使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将该算法镜像加入镜像仓库,在kubernetes集群中,从镜像仓库中获取镜像文件,创建容器。
例如,参见图3,Docker Engine所做的事情就是借助Cgroups和namespace实现资源的隔离。在Docker Engine上,通过将遥感智能监测应用和其运行所需的资源封装在Docker镜像里,消除了外部环境的依赖,确保遥感智能监测应用可以运行。在容器引擎Docker内部,遥感智能监测应用只能访问到它自己的资源,从而确保了资源的安全。
在容器引擎Docker环境下,Docker Engine会创建一个Docker镜像仓库,在要运行一个特定的容器,Docker Engine会在镜像仓库中查找对应的镜像,在查找到镜像后进行加载,成为一个独立的容器。
步骤202,使用Job Controller创建包含容器的Pod资源。
步骤203,调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务。
在本实施例中,根据监测任务起止时间和监测频率,编写Crontab。不断轮询所有Job下的Pod,当发现Pod到达指定时间时,调度Pod执行相应的监测任务。
Crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的命令,该命令从标准输入设备读取指令,并将其存放于“Crontab”文件中,以供之后读取和执行。
在一些实施例中,调取遥感影像数据包括以下步骤:
步骤2031,使用MongoDB Connector for Spark与分布式计算框架Spark建立连接。
在本实施例中,分布式计算框架Spark基于内存计算,相比于MapReduce等其他分布式计算框架计算能力强,而且可以使用中间件MongoDB Connector for Spark实现计算引擎与MongoDB数据库的无缝连接。分布式计算框架Spark在进行数据分析时,通过MongoDB进行数据提取、过滤,仅读取分布式计算框架Spark运算所需的数据,在消除数据冗余的同时提高内存的使用效率,提升了分布式计算框架Spark内存计算能力。
基于文档的非关系型数据库MongoDB十分符合存储元数据文件。MongoDB是一个基于分布式文件系统的NoSQL开源数据库项目,使用类似于JSON的松散式存储,十分适合存储比较复杂的数据类型,具备索引、分片、负载均衡、聚合等功能。针对空间数据MongoDB提供了以2dsphere、2d为基础的一系列索引和查询机制来处地理空间数据,可以实现大规模地理空间数据的索引、存储、分片。
步骤2032,使用MongoDB过滤查询条件,使用分布式计算框架Spark加速空间运算,来从分布式文件系统HDFS中调取遥感影像数据。
在本实施例中,过滤查询条件为用户指定的地域范围和/或时间范围和/或执行周期。
根据本公开的实施例,以算法镜像作为基础镜像,创建对应的容器,使用JobController创建包含容器的Pod资源,调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务,从而实现了监测任务的周期执行,极大地提升了监测应用的稳定性和效率。
在一些实施例中,遥感影像数据包括影像文件和元数据文件,影像文件存储于分布式文件系统HDFS中,元数据文件存储于MongoDB集群中。
将影像数据存储于分布式文件系统HDFS中,具有以下优点:易于扩性展、数据可用性和文件系统接口兼容性。
对于易于扩展性,分布式文件系统HDFS可以将多台物理设备上的存储统一管理,从而形成一个大的可扩展的资源池,通过加入更多的节点,资源池可以进行横向扩展,进而实现容量的扩充和性能的提升。
对于数据可用性,通过实现数据冗余机制,例如RAID、Erasure Code和Replica等,可以有效地应对由于部分硬件失效而导致数据丢失或者不可用的问题。
对于文件系统接口兼容性,Posix文件访问是广泛使用的标准文件接口,因此现有软件不需任何修改即可直接运行,另外在文件系统接口之上,可以很方便地封装出块和对象接口,以满足部分应用的特殊需求。
根据本公开的实施例,将遥感影像数据集中统一管理,该数据仅有一份拷贝,为所有用户所共享,提升了存储效率,并且将影像存储于分布式文件系统HDFS中,影像元数据存储于MongoDB集群中,够提高数据的管理效率,如检索、访问、数据处理等,从而为在云平台上构建遥感智能监测应用服务提供了基础。
在一些实施例中,调取遥感影像数据之前,在MongoDB集群中建立影像文件和元数据文件的空间索引。
在本实施例中,建立影像文件和元数据文件的空间索引,能够方便通过元数据文件快速地查找到影像文件。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
图4示出了根据本公开的实施例的基于云平台的遥感智能监测应用的运行构建装置的方框图。该构建装置可以被包括在图1的PaaS 102中。如图4所示,该装置包括:
容器创建模块401,用于从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器。
语言创建模块402,用于使用Job Controller创建包含所述容器的Pod资源。
任务执行模块403,用于调度到达指定时间的Pod,调取遥感影像数据,执行对应的遥感监测任务。
在一些实施例中,该装置还包括:
算法处理模块,用于使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将所述算法镜像加入镜像仓库。
在一些实施例中,所述遥感影像数据包括影像文件和元数据文件,所述影像文件存储于分布式文件系统HDFS中,所述元数据文件存储于MongoDB集群中。
在一些实施例中,任务执行模块403具体用于,
使用MongoDB Connector for Spark与分布式计算框架Spark建立连接;
使用MongoDB过滤查询条件,使用所述分布式计算框架Spark加速空间运算,来从所述分布式文件系统HDFS中调取所述遥感影像数据。
在一些实施例中,任务执行模块403具体用于,
在所述MongoDB集群中建立所述影像文件和所述元数据文件的空间索引
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5示出了可以用来实施本公开的实施例的电子设备的示意性框图。如图所示,该设备包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令,来执行各种适当的动作和处理。在RAM 503中,还可以存储设备操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元501执行上文所描述的各个方法和处理,例如账号登录方法。例如,在一些实施例中,账号登录方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备上。当计算机程序加载到RAM 503并由CPU 501执行时,可以执行上文描述的账号登录方法的一个或多个步骤。备选地,在其他实施例中,CPU501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行账号登录方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种基于云平台的遥感智能监测应用的构建运行方法,其特征在于,包括:
从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器;
使用Job Controller创建包含所述容器的Pod资源;
调度到达指定时间的Pod资源,调取遥感影像数据,执行对应的遥感监测任务。
2.根据权利要求1所述的方法,其特征在于,所述从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器之前还包括:
使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将所述算法镜像加入镜像仓库。
3.根据权利要求1所述的方法,其特征在于,所述遥感影像数据包括影像文件和元数据文件,所述影像文件存储于分布式文件系统HDFS中,所述元数据文件存储于MongoDB集群中。
4.根据权利要求3所述的方法,其特征在于,所述调取遥感影像数据包括:
使用MongoDB Connector for Spark与分布式计算框架Spark建立连接;
使用MongoDB过滤查询条件,使用所述分布式计算框架Spark加速空间运算,来从所述分布式文件系统HDFS中调取所述遥感影像数据。
5.根据权利要求4所述的方法,其特征在于,所述调取遥感影像数据之前还包括:
在所述MongoDB集群中建立所述影像文件和所述元数据文件的空间索引。
6.一种基于云平台的遥感智能监测应用的构建运行装置,其特征在于,包括:
容器创建模块,用于从镜像仓库中拉取算法镜像作为基础镜像,创建对应的容器;
语言创建模块,用于使用Job Controller创建包含所述容器的Pod资源;
任务执行模块,用于调度到达指定时间的Pod,调取遥感影像数据,执行对应的遥感监测任务。
7.根据权利要求6所述的装置,其特征在于,还包括:
算法处理模块,用于使用Dockerfile将遥感智能监测应用对应的算法打包成所述算法镜像,将所述算法镜像加入镜像仓库。
8.根据权利要求6所述的装置,其特征在于,所述遥感影像数据包括影像文件和元数据文件,所述影像文件存储于分布式文件系统HDFS中,所述元数据文件存储于MongoDB集群中。
9.根据权利要求8所述的装置,其特征在于,所述任务执行模块具体用于,
使用MongoDB Connector for Spark与分布式计算框架Spark建立连接;
使用MongoDB过滤查询条件,使用所述分布式计算框架Spark加速空间运算,来从所述分布式文件系统HDFS中调取所述遥感影像数据。
10.根据权利要求8所述的装置,其特征在于,所述任务执行模块具体用于,
在所述MongoDB集群中建立所述影像文件和所述元数据文件的空间索引。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010158946.6A CN113377489A (zh) | 2020-03-09 | 2020-03-09 | 基于云平台的遥感智能监测应用的构建运行方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010158946.6A CN113377489A (zh) | 2020-03-09 | 2020-03-09 | 基于云平台的遥感智能监测应用的构建运行方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113377489A true CN113377489A (zh) | 2021-09-10 |
Family
ID=77568722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010158946.6A Pending CN113377489A (zh) | 2020-03-09 | 2020-03-09 | 基于云平台的遥感智能监测应用的构建运行方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113377489A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489957A (zh) * | 2022-04-01 | 2022-05-13 | 国家卫星海洋应用中心 | 遥感卫星数据处理方法、装置和电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105607944A (zh) * | 2015-12-18 | 2016-05-25 | 北京奇虎科技有限公司 | 一种共享应用环境的方法及装置 |
CN106020930A (zh) * | 2016-05-13 | 2016-10-12 | 深圳市中润四方信息技术有限公司 | 一种基于应用容器的应用管理方法及系统 |
CN108052333A (zh) * | 2017-12-11 | 2018-05-18 | 北京紫优能源科技有限公司 | 一种电力调度集控系统标准化自动化部署方法及架构 |
CN108897527A (zh) * | 2018-05-21 | 2018-11-27 | 东莞理工学院 | 一种云计算中遥感图像处理的Docker镜像自动化动态构建方法 |
CN109614219A (zh) * | 2018-10-19 | 2019-04-12 | 东莞理工学院 | 一种遥感图像处理Docker集群的condor任务映射方法 |
WO2019095936A1 (zh) * | 2017-11-15 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 容器镜像的构建方法、系统、服务器、装置及存储介质 |
CN110221910A (zh) * | 2019-06-19 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于执行mpi作业的方法和装置 |
CN110413294A (zh) * | 2019-08-06 | 2019-11-05 | 中国工商银行股份有限公司 | 服务发布系统、方法、装置和设备 |
CN110826485A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像的目标检测方法及系统 |
-
2020
- 2020-03-09 CN CN202010158946.6A patent/CN113377489A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105607944A (zh) * | 2015-12-18 | 2016-05-25 | 北京奇虎科技有限公司 | 一种共享应用环境的方法及装置 |
CN106020930A (zh) * | 2016-05-13 | 2016-10-12 | 深圳市中润四方信息技术有限公司 | 一种基于应用容器的应用管理方法及系统 |
WO2019095936A1 (zh) * | 2017-11-15 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 容器镜像的构建方法、系统、服务器、装置及存储介质 |
CN108052333A (zh) * | 2017-12-11 | 2018-05-18 | 北京紫优能源科技有限公司 | 一种电力调度集控系统标准化自动化部署方法及架构 |
CN108897527A (zh) * | 2018-05-21 | 2018-11-27 | 东莞理工学院 | 一种云计算中遥感图像处理的Docker镜像自动化动态构建方法 |
CN109614219A (zh) * | 2018-10-19 | 2019-04-12 | 东莞理工学院 | 一种遥感图像处理Docker集群的condor任务映射方法 |
CN110221910A (zh) * | 2019-06-19 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于执行mpi作业的方法和装置 |
CN110413294A (zh) * | 2019-08-06 | 2019-11-05 | 中国工商银行股份有限公司 | 服务发布系统、方法、装置和设备 |
CN110826485A (zh) * | 2019-11-05 | 2020-02-21 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像的目标检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
张杰: "Docker容器化下的遥感算法程序集成方法", 《中国图象图形学报》, vol. 24, no. 10, 16 October 2019 (2019-10-16), pages 1815 - 1820 * |
王利军;郭燕;王来刚;贺佳;程永政;刘婷;武喜红;: "农情遥感信息服务与野外监测云平台构建", 南方农业学报, no. 06, 11 July 2018 (2018-07-11) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489957A (zh) * | 2022-04-01 | 2022-05-13 | 国家卫星海洋应用中心 | 遥感卫星数据处理方法、装置和电子设备 |
CN114489957B (zh) * | 2022-04-01 | 2022-07-22 | 国家卫星海洋应用中心 | 遥感卫星数据处理方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101627B (zh) | 异构数据库同步方法及装置 | |
US10338958B1 (en) | Stream adapter for batch-oriented processing frameworks | |
CN109445802B (zh) | 基于容器的私有化Paas平台及其发布应用的方法 | |
CN110083660A (zh) | 一种同步数据的方法、装置、介质和电子设备 | |
CN111949650A (zh) | 一种多语言融合查询方法及多模数据库系统 | |
CN111324610A (zh) | 一种数据同步的方法及装置 | |
CN109740765B (zh) | 一种基于亚马逊网络服务器的机器学习系统搭建方法 | |
CN109951553B (zh) | 数据处理方法、系统、电子设备以及计算机可读存储介质 | |
CN108009004B (zh) | 基于Docker的业务应用可用度测量监控的实现方法 | |
CN113656423A (zh) | 更新数据的方法及装置、电子设备和存储介质 | |
CN112860412B (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
CN113377489A (zh) | 基于云平台的遥感智能监测应用的构建运行方法和装置 | |
EP3916578A1 (en) | System for implementing sub-database replication | |
CN112181724B (zh) | 大数据容灾方法、装置和电子设备 | |
US11042530B2 (en) | Data processing with nullable schema information | |
JP7368515B2 (ja) | ファイル移動方法及び装置、電子機器並びに媒体 | |
CN109902067B (zh) | 文件处理方法、装置、存储介质及计算机设备 | |
CN113626510A (zh) | 交易核对方法、装置、电子设备及存储介质 | |
CN113296913A (zh) | 基于单集群的数据处理方法、装置、设备及存储介质 | |
CN111880895A (zh) | 基于Kubernetes平台的数据读写方法及装置 | |
CN117349035B (zh) | 工作负载的调度方法、装置、设备及存储介质 | |
US20240036901A1 (en) | Container image management | |
US20230418681A1 (en) | Intelligent layer derived deployment of containers | |
US11467949B2 (en) | Techniques and architectures for providing an isolated runtime context in a shared environment | |
US11275569B1 (en) | Techniques and architectures for providing continuous integration (CI) and/or continuous delivery (CD) in a data lake environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |