CN109190450A - 基于分布式计算平台的人工智能遥感影像数据提取方法 - Google Patents
基于分布式计算平台的人工智能遥感影像数据提取方法 Download PDFInfo
- Publication number
- CN109190450A CN109190450A CN201810747213.9A CN201810747213A CN109190450A CN 109190450 A CN109190450 A CN 109190450A CN 201810747213 A CN201810747213 A CN 201810747213A CN 109190450 A CN109190450 A CN 109190450A
- Authority
- CN
- China
- Prior art keywords
- distributed computing
- computing platform
- image data
- remote sensing
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式计算平台的人工智能遥感影像数据提取方法，步骤如下：步骤一，分布式计算平台与人工智能学习系统结合，分布式计算平台为人工智能学习系统分配计算机资源，构建存储海量遥感影像数据的分布式计算平台存储系统；步骤二，分布式计算平台对输入的遥感影像数据进行分片；步骤三，编写分布式计算平台上遥感影像数据的提取算法，并将提取算法加载至存储系统中；步骤四，人工智能学习系统提取分布式计算平台上的遥感影像数据。本发明提高了遥感影像数据提取的处理能力与效率，采用了分布式存储、分布式计算结合人工智能学习系统的技术路线，实现了遥感影像数据快速、批量提取。
Description
技术领域
本发明涉及遥感影像数据提取方法的技术领域，特别涉及一种基于分布式计算平台的人工智能遥感影像数据提取方法。
背景技术
遥感信息产品是指通过对遥感影像各地物的光谱、空间、纹理、物候等特征进行分析，选择各地物特征，对影像中的像元或具体对象按照一定规则、模型、算法划分为不同的地物类型，从而获得带空间信息的实际地物对应信息，实现基于遥感影像的信息提取。最后，形成诸如土地利用现状分类、林种划分、新增建设物识别、基本农田侵占等专题地图。
传统的遥感信息产品需要人工借助专业软件进行生产，一方面成本较高，另一方面效率与处理能力都比较低。
发明内容
本发明为了解决上述技术问题，而提供一种基于分布式计算平台的人工智能遥感影像数据提取方法。
本发明所采取的技术方案是：
本发明的基于分布式计算平台的人工智能遥感影像数据提取方法，步骤如下：
步骤一，分布式计算平台与人工智能学习系统结合，分布式计算平台为人工智能学习系统分配计算资源，构建存储海量遥感影像数据的分布式计算平台存储系统；
步骤二，分布式计算平台对输入的遥感影像数据进行分片；
步骤三，编写分布式计算平台上遥感影像数据的提取算法，并将提取算法加载至存储系统中；
步骤四，人工智能学习系统提取分布式计算平台上的遥感影像数据。
所述的步骤一中，具体步骤如下：
A人工智能学习系统开始任务时，指定分布式计算平台构建存储系统的个数、每个存储系统占用cpu或gpu、每个存储系统大小；
B分布式计算平台根据计算机资源的需求在空闲计算机上创建存储系统；
C将分布式计算平台存储系统的文件路径作为key值，将元数据信息作为属性，key值和属性存储在分布式计算平台存储系统的数据库中，并在分布式计算平台的内存中建立索引和缓存；
D分布式计算平台存储系统的最后一级子目录或最后一级文件前面增加分割符，用于提取分布式计算平台存储系统目录下文件和子目录；
E设定分布式计算平台存储系统的遥感影像数据存储规则，若遥感影像数据大小大于或等于16MB，直接存储在分布式计算平台存储系统的文件内，若遥感影像数据大小小于16MB，直接存储在分布式计算平台存储系统的数据库中。
所述的步骤一中，元数据信息包括文件大小、文件创建时间和文件MD5即Message-Digest Algorithm 5（信息-摘要算法5）值。
所述的步骤二中，分布式计算平台按照分片规则对输入的遥感影像数据进行分片，分片后的遥感影像数据分别存储至相同或不同的分布式计算平台的存储系统内，并将遥感影像数据分片信息存放至分布式计算平台的内存队列中。
所述的步骤二中，分片规则为一个文件一个分片的文件分片规则，或网格分片规则。
所述的步骤三中，对存储在分布式计算平台存储系统内分片后的遥感影像数据进行卷积神经网络计算，将计算结果保存至原分布式计算平台存储系统上。
所述的步骤四中，运行多个节点上人工智能学习系统的计算任务时，人工智能学习系统从分布式计算平台内存队列中读取所需的遥感影像数据分片信息，分布式计算平台内存队列将被读取的遥感影像数据分别从相同或不同的分布式计算平台存储系统内提取，直至人工智能学习系统完全读取内存队列的遥感影像数据分片信息，且人工智能学习系统完成遥感影像数据的提取。
所述的步骤四中，各个节点上的人工智能学习系统读取遥感影像数据分片信息与分布式计算平台内存队列提取遥感影像数据为同步进行。
本发明具有的优点和积极效果是：
本发明提高了遥感影像数据提取的处理能力与效率，采用了分布式存储、分布式计算结合人工智能学习系统的技术路线，实现了遥感影像数据快速、批量提取。
附图说明
图1是本发明的流程示意图。
具体实施方式
以下参照附图及实施例对本发明进行详细的说明。
如图1所示，本发明的基于分布式计算平台的人工智能遥感影像数据提取方法，步骤如下：
步骤一，分布式计算平台spark与人工智能学习系统tensorflow结合，分布式计算平台为人工智能学习系统分配计算资源，构建存储海量遥感影像数据的分布式计算平台存储系统；
步骤二，分布式计算平台对输入的遥感影像数据进行分片；
步骤三，编写分布式计算平台上遥感影像数据的提取算法，并将提取算法加载至存储系统中；
步骤四，人工智能学习系统提取分布式计算平台上的遥感影像数据。
所述的步骤一中，具体步骤如下：
A人工智能学习系统开始任务时，指定分布式计算平台构建存储系统的个数、每个存储系统占用cpu或gpu、每个存储系统大小；
B分布式计算平台根据计算机资源的需求在空闲计算机上创建存储系统；
C将分布式计算平台存储系统的文件路径作为key值，将元数据信息作为属性，key值和属性存储在分布式计算平台存储系统的数据库中，并在分布式计算平台的内存中建立索引和缓存；
D分布式计算平台存储系统的最后一级子目录或最后一级文件前面增加分割符，用于提取分布式计算平台存储系统目录下文件和子目录；
E设定分布式计算平台存储系统的遥感影像数据存储规则，若遥感影像数据大小大于或等于16MB，直接存储在分布式计算平台存储系统的文件内，若遥感影像数据大小小于16MB，直接存储在分布式计算平台存储系统的数据库中。
所述的步骤一中，元数据信息包括文件大小、文件创建时间和文件MD5值。
所述的步骤二中，分布式计算平台按照分片规则对输入的遥感影像数据进行分片，分片后的遥感影像数据分别存储至相同或不同的分布式计算平台的存储系统内，并将遥感影像数据分片信息存放至分布式计算平台的内存队列中。
所述的步骤二中，分片规则为一个文件一个分片的文件分片规则，或网格分片规则。
所述的步骤三中，对存储在分布式计算平台存储系统内分片后的遥感影像数据进行卷积神经网络计算，将计算结果保存至原分布式计算平台存储系统上。
所述的步骤四中，运行多个节点上人工智能学习系统的计算任务时，人工智能学习系统从分布式计算平台内存队列中读取所需的遥感影像数据分片信息，分布式计算平台内存队列将被读取的遥感影像数据分别从相同或不同的分布式计算平台存储系统内提取，直至人工智能学习系统完全读取内存队列的遥感影像数据分片信息，且人工智能学习系统完成遥感影像数据的提取。
所述的步骤四中，各个节点上的人工智能学习系统读取遥感影像数据分片信息与分布式计算平台内存队列提取遥感影像数据为同步进行。
本发明利用分布式计算平台spark与人工智能学习系统tensorflow的结合，对要遥感影像数据进行批量学习训练并达到预期的精度后，再利用训练后的模型在分布式计算平台上进行遥感影像信息提取。
本发明提高了遥感影像数据提取的处理能力与效率，采用了分布式存储、分布式计算结合人工智能学习系统的技术路线，实现了遥感影像数据快速、批量提取。
Claims (8)
1.一种基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：步骤如下：
步骤一，分布式计算平台与人工智能学习系统结合，分布式计算平台为人工智能学习系统分配计算资源，构建存储海量遥感影像数据的分布式计算平台存储系统；
步骤二，分布式计算平台对输入的遥感影像数据进行分片；
步骤三，编写分布式计算平台上遥感影像数据的提取算法，并将提取算法加载至存储系统中；
步骤四，人工智能学习系统提取分布式计算平台上的遥感影像数据。
2.根据权利要求1所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤一中，具体步骤如下：
A人工智能学习系统开始任务时，指定分布式计算平台构建存储系统的个数、每个存储系统占用cpu或gpu、每个存储系统大小；
B分布式计算平台根据计算机资源的需求在空闲计算机上创建存储系统；
C将分布式计算平台存储系统的文件路径作为key值，将元数据信息作为属性，key值和属性存储在分布式计算平台存储系统的数据库中，并在分布式计算平台的内存中建立索引和缓存；
D分布式计算平台存储系统的最后一级子目录或最后一级文件前面增加分割符，用于提取分布式计算平台存储系统目录下文件和子目录；
E设定分布式计算平台存储系统的遥感影像数据存储规则，若遥感影像数据大小大于或等于16MB，直接存储在分布式计算平台存储系统的文件内，若遥感影像数据大小小于16MB，直接存储在分布式计算平台存储系统的数据库中。
3.根据权利要求2所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤一中，元数据信息包括文件大小、文件创建时间和文件MD5值。
4.根据权利要求1所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤二中，分布式计算平台按照分片规则对输入的遥感影像数据进行分片，分片后的遥感影像数据分别存储至相同或不同的分布式计算平台的存储系统内，并将遥感影像数据分片信息存放至分布式计算平台的内存队列中。
5.根据权利要求4所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤二中，分片规则为一个文件一个分片的文件分片规则，或网格分片规则。
6.根据权利要求1所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤三中，对存储在分布式计算平台存储系统内分片后的遥感影像数据进行卷积神经网络计算，将计算结果保存至原分布式计算平台存储系统上。
7.根据权利要求1所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤四中，运行多个节点上人工智能学习系统的计算任务时，人工智能学习系统从分布式计算平台内存队列中读取所需的遥感影像数据分片信息，分布式计算平台内存队列将被读取的遥感影像数据分别从相同或不同的分布式计算平台存储系统内提取，直至人工智能学习系统完全读取内存队列的遥感影像数据分片信息，且人工智能学习系统完成遥感影像数据的提取。
8.根据权利要求7所述的基于分布式计算平台的人工智能遥感影像数据提取方法，其特征在于：所述的步骤四中，各个节点上的人工智能学习系统读取遥感影像数据分片信息与分布式计算平台内存队列提取遥感影像数据为同步进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810747213.9A CN109190450A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式计算平台的人工智能遥感影像数据提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810747213.9A CN109190450A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式计算平台的人工智能遥感影像数据提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109190450A true CN109190450A (zh) | 2019-01-11 |
Family
ID=64936292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810747213.9A Pending CN109190450A (zh) | 2018-07-09 | 2018-07-09 | 基于分布式计算平台的人工智能遥感影像数据提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190450A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147547A (zh) * | 2019-04-09 | 2019-08-20 | 苏宁易购集团股份有限公司 | 一种基于迭代式学习的智能辅助标注方法及系统 |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| CN114676795A (zh) * | 2022-05-26 | 2022-06-28 | 鹏城实验室 | 一种深度学习模型的训练方法、装置、设备及存储介质 |
-
2018
- 2018-07-09 CN CN201810747213.9A patent/CN109190450A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147547A (zh) * | 2019-04-09 | 2019-08-20 | 苏宁易购集团股份有限公司 | 一种基于迭代式学习的智能辅助标注方法及系统 |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| CN114676795A (zh) * | 2022-05-26 | 2022-06-28 | 鹏城实验室 | 一种深度学习模型的训练方法、装置、设备及存储介质 |
| CN114676795B (zh) * | 2022-05-26 | 2022-08-23 | 鹏城实验室 | 一种深度学习模型的训练方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11907760B2 (en) | Systems and methods of memory allocation for neural networks | |
| CN110059807A (zh) | 图像处理方法、装置和存储介质 | |
| CN105589938A (zh) | 基于fpga的图像检索系统及检索方法 | |
| CN110765320B (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
| CN109190450A (zh) | 基于分布式计算平台的人工智能遥感影像数据提取方法 | |
| CN110059066A (zh) | spark结合tensorflow进行遥感影像信息提取的方法 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN111563192A (zh) | 实体对齐方法、装置、电子设备及存储介质 | |
| JP7085600B2 (ja) | 画像間の類似度を利用した類似領域強調方法およびシステム | |
| CN103177414A (zh) | 一种基于结构的图节点相似度并行计算方法 | |
| CN113487523B (zh) | 图形轮廓优化方法、装置、计算机设备和存储介质 | |
| CN104969237A (zh) | 匹配采集到的可视数据的特征 | |
| WO2012054352A1 (en) | Systems and methods for cluster validation | |
| CN113298197A (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
| CN104933143A (zh) | 获取推荐对象的方法及装置 | |
| CN110097581B (zh) | 基于点云配准icp算法构建k-d树的方法 | |
| CN116993555A (zh) | 国土空间规划重点区域识别的分区方法、系统及存储介质 | |
| Chen et al. | Sparkpr: An Efficient Parallel Inversion of Forest Canopy Closure | |
| CN108268533B (zh) | 一种用于图像检索的图像特征匹配方法 | |
| CN116957041A (zh) | 压缩神经网络模型的方法、装置和计算设备 | |
| Shangguan et al. | SPARK processing of computing-intensive classification of remote sensing images: The case on K-means clustering algorithm | |
| US10339107B2 (en) | Multi-level colocation and processing of spatial data on MapReduce | |
| CN110765130B (zh) | 一种分布式环境下基于Ripley’s K函数的时空POI数据点模式分析方法 | |
| CN110309367B (zh) | 信息分类的方法、信息处理的方法和装置 | |
| Hu et al. | Study on the multi-granularity virtualization of manufacturing resources |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190111 |