CN103714184B - 一种遥感影像快速并行处理方法及装置 - Google Patents
一种遥感影像快速并行处理方法及装置 Download PDFInfo
- Publication number
- CN103714184B CN103714184B CN201410014185.1A CN201410014185A CN103714184B CN 103714184 B CN103714184 B CN 103714184B CN 201410014185 A CN201410014185 A CN 201410014185A CN 103714184 B CN103714184 B CN 103714184B
- Authority
- CN
- China
- Prior art keywords
- dough sheet
- subdivision
- algorithm
- parallel
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
- G06F9/449—Object-oriented method invocation or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遥感影像快速并行处理方法及装置,涉及遥感数据处理技术领域,解决了遥感影像并行算法的实际运行效率往往达不到理想的加速比,严重依赖于集群的硬件配置情况,不具有通用性的问题。本发明的主要方法为:将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板并形成剖分面片模板库;对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型;针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库。本发明主要用于遥感影像快速并行处理的过程中。
Description
技术领域
本发明涉及遥感数据处理技术领域,特别涉及一种遥感影像快速并行处理方法及装置。
背景技术
遥感影像作为一种实时性高、覆盖范围广、信息丰富的空间信息资源,已经成为国家空间数据基础设施建设的重要基础数据,在航空航天、军事侦察、灾害预报、环境监测、土地规划与利用、农作物估产等诸多军事及民用领域发挥了重要作用。随着对地观测技术、遥感技术、计算机及通信技术的迅猛发展,空间信息的数据量以每日TB级的速度急剧膨胀,这为空间信息应用服务的自动化、实时化、智能化创造了有利的前提条件,也给空间信息的组织和管理带来了严峻挑战,从而造成“空间数据的生产和传输能力远远大于空间数据解析能力”的局面。
经过几十年的发展,遥感影像处理技术日趋成熟,已经取得了一大批理论和算法成果。并行处理技术是目前遥感影像处理的一个热点研究方向,也是提高影像处理速度和效率最有效的方法之一。以并行数据处理为基础的高性能计算技术是目前遥感影像高性能处理所采用的主要方法。高性能集群、专用硬件设备图形处理器(Graphic ProcessingUnit,GPU)、众核(Many Integrated Core,MIC)等在遥感影像高性能处理领域得到广泛应用。
但是,由于缺乏有效的数据组织机制,多源异构的影像数据要实现动态、高效关联比较困难,且遥感影像并行算法的实际运行效率往往达不到理想的加速比,严重依赖于集群的硬件配置情况,不具有通用性。
发明内容
本发明提供了一种遥感影像快速并行处理方法及装置,以解决上述问题。
为解决上述问题,本发明的实施例提供如下技术方案:
一方面,本发明的实施例提供一种遥感影像快速并行处理方法,包括:
将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板并形成剖分面片模板库;
对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型;
针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库。
另一方面,本发明的实施例还提供一种遥感影像快速并行处理装置,包括:
模板生成单元,用于将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板;
模板库生成单元,用于形成剖分面片模板库;
并行处理模型建立单元,用于对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型;
并行类生成单元,用于针对所述剖分面片模板算法的并行处理模型,生成相应的并行类;
并行化类库生成单元,用于形成剖分面片模板处理算法的并行化类库。
本发明实施例提供的遥感影像快速并行处理方法及装置,依据地图分幅拓展的地球剖分模型,通过建立剖分面片模板的数据模型,快速生成剖分面片模板;根据具体的遥感影像算法的并行化模型,将算法串行处理步骤抽象为该并行类的方法成员,形成剖分面片模板处理算法的并行化类库。基于此,遥感领域技术研究人员在没有并行开发经验的背景下,不需要熟悉高性能计算平台的技术细节和空间数据的剖分组织机理,只需要通过实例化相应遥感影像算法的并行类并进行初始设定,通过调用该类所提供的方法接口,就可以利用剖分面片模板库中的模板进行快速的并行计算,从而达到了大幅提高遥感影像处理效率的目的。
附图说明
图1示出了本发明实施例提供的遥感影像快速并行处理方法流程;
图2示出了本发明实施例提供的剖分面片模板数据模型;
图3示出了本发明实施例提供的建立剖分面片模板的方法流程图;
图4示出了本发明实施例提供的剖分面片处理方法的流程图;
图5示出了本发明实施例提供的剖分面片模板库的形成示意图;
图6示出了本发明实施例提供的形成剖分面片模板库的方法流程图;
图7示出了本发明实施例提供的构建相应的剖分面片模板算法并行处理模型的方法流程图;
图8示出了本发明实施例提供的生成相应的并行类的方法流程图;
图9示出了本发明实施例提供的遥感影像快速并行处理装置的组成框图;
图10示出了本发明实施例提供的一种模板生成单元的组成框图;
图11示出了本发明实施例提供的另一种模板生成单元的组成框图;
图12示出了本发明实施例提供的模板库生成单元的组成框图;
图13示出了本发明实施例提供的并行处理模型建立单元的组成框图;
图14示出了本发明实施例提供的并行类生成单元的组成框图。
具体实施方式
本发明的实施例提供一种遥感影像快速并行处理方法,如图1所示,该方法包括:
101、将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板并形成剖分面片模板库。
其中,剖分面片模板作为剖分面片计算的基本单元,在适当的剖分层级以每个面片为单元建立基准影像。剖分面片模板由面片信息、模板类型、模板数据组成。面片信息包括与剖分面片相对应的编码、层次、形状、面积、空间位置、投影变换等信息;模板类型对应具体的剖分处理算法,可以由模板管理模块创建,并管理模板元数据信息;模板数据是指定剖分面片对应的基准遥感影像信息,包括分辨率信息、坐标信息、像素信息及空间实体的颜色、纹理、形状等特征信息。剖分模板元数据信息包括数据格式、数据类型、数据文件算法接口、数据处理算法接口,其中,数据文件算法负责生成和解析数据文件,数据处理算法负责使用模板数据进行空间数据处理。
剖分面片模板库是按照剖分面片模板数据模型(如图2所示)所建立的标准化正射遥感影像集合,是剖分面片的“DNA特征库”,能够实现全球任意地区遥感影像的统一管理、定位和共享。模板库的存储采用与剖分面片多层次、分布式剖分集群存储方案。模板库具有模板存储、模板索引、模板计算等功能模块。存储模块负责将各类模板数据根据其对应的面片存入存储集群,模板数据以二进制文件方式进行存储,文件本身的生成和解析则由模板调度系统统一管理;索引模块负责生成全球模板的索引大表,便于模板的快速提取和更新;由于具体的计算需求所涉及的区域不一定完全按照面片的范围,需要从现有的面片模板中进行组合,来生成任意区域的模板。模板计算调度系统负责模板统筹管理,接收计算任务,调度计算资源等,应包括模板管理、模板数据、任务调度、计算资源调度等模块。
102、对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型。
103、针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库。
进一步的,将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板,可以通过但不局限于以下的方法实现,如图3所示,该方法包括:
201、基于EMD剖分模型,对待处理区域的遥感影像数据进行剖分化处理,形成该区域的遥感影像多层级剖分面片集合。
其中,在基于EMD剖分模型,对待处理区域的遥感影像数据进行剖分化处理,形成该区域的遥感影像多层级剖分面片集合时,生成该遥感影像所对应的多层级剖分面片优选第5-8级剖分面片,当然,本发明实施例对此也不进行限制,也可以是其他层级的剖分面片。
202、提取剖分面片的模板化特征形成相应层级的剖分面片模板。
进一步的,由于不同应用对对遥感影像尺度的需求不同,在形成基础的剖分面片之后,可能需要对对应的剖分面片进行处理,得到与不同应用需求对应的遥感影像剖分面片,针对该需求,本发明的实施例还提供一种剖分面片处理方法,如图4所示,该方法包括:
301、根据不同应用对遥感影像尺度的需求,构造面向剖分面片模板的计算模式。
其中,剖分面片模板的计算模式包括以下计算:在纵向方向上包含面片的聚合、分裂等操作;在横向方向上包含面片的扩展、收缩等操作;针对模板而言包含辐射校正、几何纠正、图像增强、投影变换、镶嵌、匀光匀色、快速更新等操作。其中聚合表示若干个同级面片聚集得到一个高层级的面片,主要涉及同级面片的位置关系组合、面片数据结构调整等;分裂表示一个高级别面片分裂为若干个低层级面片,主要涉及面片的分割、控制点调整、高精影像的选取等;扩展表示相邻同级面片直接的拼接、镶嵌,组成大的临时视图等。
302、根据所述计算模式对相应面片进行处理,得到与不同应用需求对应的遥感影像剖分面片的集合。
其中,在据所述计算模式对相应面片进行处理,得到与不同应用需求对应的遥感影像剖分面片时,可以通过以下处理进行,例如,纵向通过聚合生成高层级的面片,或通过分裂生成低层级的面片;横向通过模板的收缩、扩张等操作,得到与应用需求对应的遥感影像剖分面片。当然本发明实施例对此不进行限制,步骤301中提到的计算方式以及没有提到但是现有的计算方式,在具体实施本发明实施例时,均可以根据实际需求选择对应的计算模式进行面片的处理。
进一步的,在建立剖分面片的模板之后,会形成剖分面片模板库,如图5所示,本发明的实施例提供一种如图形成剖分面片模板库的方法如图6所示,该方法包括:
401、在剖分面片模板库中检索建立的剖分面片模板;若不存在,执行402;若存在,则执行403。
402、直接将所述建立的剖分面片模板存入所述剖分面片模板库中。
403、将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量;若度量结果小于预设阈值则执行404;否则执行405。
其中,该预设阈值为一经验值,其根据具体应用领域而定,通过多次实验设定。
404、不更新模板库中对应的剖分面片模板;
405、将所述建立的剖分面片模板存入所述剖分面片模板库中更新对应的剖分面片模板。
需要说明的是,剖分面片模板库采用多层次、分布式剖分集群存储方式,在具体实施时,该模板库的存储系统可以采用Hadoop平台的HBase分布式数据管理方式,在将所述建立的剖分面片模板存入所述剖分面片模板库中时,可以根据剖分面片标识信息采用Hash算法确定该面片在HDFS分布式系统的存储位置,按照“数据节点编号\卫星类型\面片层级\目标模板数据”方式组织面片模板数据。当然,本发明的实施例也可以采用其他的分布式存储方式,本发明实施例对此不进行限制。
进一步的,在对所述剖分面片模板的算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型时,本发明实施例提供的但不局限于以下方法,该方法如图7所示,包括:
501、分析与所述剖分面片模板相关的算法,其可并行的代码步及其占整个算法的总运算步的百分比,确定所述剖分面片算法的可并行性;根据剖分面片模板算法的并行化特征,剖分面片模板算法分三类:全局可并行算法,局部可并行算法,不可并行算法。
502、根据其并行性的类型提取对应的并行化处理模型,所述并行化处理模型为:全局并行处理模型,局部并行处理模型,串行算法处理模型。
其中,全局并行化处理模型主要针对具有天然并行性的模板处理算法。该模型的处理流程为:集群主节点接受参数,完成初始化功能,利用MPI消息库,将计算热点区域分解到各个计算节点,各计算节点获取计算任务,利用OpenMP实现节点内的并行计算,最后将计算结果聚合至主节点。主节点动态控制计算节点的计算负载。
局部可并行处理算法主要针对部分计算具有依赖的模板处理算法。该模型的处理流程为:集群主节点接受参数,进行初始化操作,执行串行处理流程,分析计算热点区域,采用数据分解或工作分解两种策略对计算热点进行分解,其余处理流程与全局并行处理模型类似。
串行算法处理模型主要针对计算热点区域依赖性较强,并行性较差的模板处理算法。因计算依赖型较强,并行化开销可能超过原来的串行算法,这类算法的处理流程为:集群主节点进行计算任务的分配,利用MPI将计算任务分配至存放对应面片模板的计算节点,实现计算任务的本地计算,从而节省数据传输所带来的额外开销。
进一步的,针对具体处理算法,运用面向对象软件开发技术,针对该算法的并行化模型,设计相应的并行类,将该算法并行化模型中处理步骤抽象为并行类的方法成员,对该并行类的方法进行并行化实现;具体的,在针对所述剖分面片模板算法的并行处理模型,生成相应的并行类时,本发明的实施提供但不局限于以下方法,该方法如图8所示,包括:
601、根据所述并行处理模型设计对应的并行算法的抽象父类,确定所述剖分面片模板处理算法所必须的计算参数,将所述计算参数映射为该算法抽象父类的数据成员。
其中,这些计算参数包括算法的输入输出、相应剖分面片模板编号、图像像素大小等,将其映射为相应并行算法类的数据成员,在具体实施使用时,通过继承该算法的抽象父类,编写相应的构造方法实现该类的初始化。
602、将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员,所述方法成员分别对应三种并行处理模型不同的处理流程。
需要说明的是,首先确定算法所对应的并行处理模型,根据具体算法特点,进行算法抽象父类的方法成员的设计,实现并行处理的方法成员采用fork-join模式,主节点负责计算任务的分解及子节点计算结果的规约,在进行任务分解时以就近计算为原则,尽量较少数据在节点间的传递。
需要说明的是,将常见的模板处理算法按上述方法进行并行化,构建常见模板处理算法的并行化类库。
在针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库之后,当用户对特定的遥感影像进行处理操作时,首先根据所述特定的遥感影像确定其对应的剖分面片模板,继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数,并调用所述抽象父类的相关方法成员,完成所述确定的剖分面片模板算法的并行化;若所定义的方法不能满足用户需求,可重写对应方法。
基于上述方法,本发明的实施例还提供一种遥感影像快速并行处理装置,如图9所示,该装置包括:
模板生成单元71,用于将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板。
模板库生成单元72,用于形成剖分面片模板库。
并行处理模型建立单元73,用于对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型。
并行类生成单元74,用于针对所述剖分面片模板算法的并行处理模型,生成相应的并行类。
并行化类库生成单元75,用于形成剖分面片模板处理算法的并行化类库。
进一步的,如图10所示,所述模板生成单元71包括:
剖分化处理模块711,用于基于EMD剖分模型,对待处理区域的遥感影像数据进行剖分化处理,形成该区域的遥感影像多层级剖分面片集合。
模板生成模块712,用于提取剖分面片的模板化特征形成相应层级的剖分面片模板。
进一步的,如图11所示,所述模板生成单元71还包括:
计算模式构造模块713,用于根据不同应用对遥感影像尺度的需求,构造面向剖分面片模板的计算模式。
所述剖分化处理模块711还用于,根据所述计算模式对相应面片进行处理,得到与不同应用需求对应的遥感影像剖分面片。
进一步的,如图12所示,所述模板库生成单元72包括:
检索模块721,用于在剖分面片模板库中检索建立的剖分面片模板。
入库操作模块722,用于若不存在,直接将所述建立的剖分面片模板存入所述剖分面片模板库中。
目标特征向量对比模块723,用于若存在,则将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量。
所述入库操作模块722还用于,若度量结果小于预设阈值则不更新模板库中对应的剖分面片模板;否则将所述建立的剖分面片模板存入所述剖分面片模板库中更新对应的剖分面片模板。其中,所述入库操作模块722具体用于,采用多层次、分布式剖分集群存储方式,将所述建立的剖分面片模板存入所述剖分面片模板库中。
进一步的,如图13所示,所述并行处理模型建立单元73包括:
分析模块731,用于分析与所述剖分面片模板相关算法的可并行代码步及所述可并行代码步占整个算法的总运算步的百分比,确定所述剖分面片算法的可并行性;根据剖分面片模板算法的并行化特征,剖分面片模板算法的并行性分三类:全局可并行算法,局部可并行算法,不可并行算法。
并行处理模型生成模块732,用于根据其并行性提取对应的并行化处理模型,所述并行化处理模型为:全局并行处理模型,局部并行处理模型,串行算法处理模型。
进一步的,如图14所示,所述并行类生成单元74包括:
设计模块741,用于根据所述并行处理模型设计对应的并行算法的抽象父类,确定所述剖分面片模板处理算法所必须的计算参数,将所述计算参数映射为该算法抽象父类的数据成员;
映射模块742,用于将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员,所述方法成员分别对应三种并行处理模型不同的处理流程。
进一步的,在并行类生成单元74针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,并行化类库生成单元75形成剖分面片模板处理算法的并行化类库之后,当用户对特定的遥感影像进行处理操作时,遥感影像快速并行处理装置还包括:
确定单元,用于根据所述特定的遥感影像确定其对应的剖分面片模板;
操作单元,用于继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数,并调用所述抽象父类的相关方法成员,完成所述确定的剖分面片模板算法的并行化;若所定义的方法不能满足用户需求,可重写对应方法。
需要说明的是,本发明实施例提供的感影像快速并行处理装置的各组成单元及模块的其他描述,请参考方法部分的相关描述,本发明实施例此处将不再赘述。
本发明实施例提供的遥感影像快速并行处理方法及装置,依据地图分幅拓展的地球剖分模型,通过建立剖分面片模板的数据模型,快速生成剖分面片模板;根据具体的遥感影像算法的并行化模型,将算法串行处理步骤抽象为该并行类的方法成员,形成剖分面片模板处理算法的并行化类库。基于此,遥感领域技术研究人员在没有并行开发经验的背景下,不需要熟悉高性能计算平台的技术细节和空间数据的剖分组织机理,只需要通过实例化相应遥感影像算法的并行类并进行初始设定,通过调用该类所提供的方法接口,就可以利用剖分面片模板库中的模板进行快速的并行计算,从而达到了大幅提高遥感影像处理效率的目的。并且该并行化算法库基于常见的MPI计算集群,主要应用于并行性较好的遥感影像处理算法,实施过程简单,并行效率较高,加速比理想。
本发明实施例提供的模板库是多层分布式存储方式,具有易扩展特性的分布式存储结构,实现了剖分面片模板的快速定位、检索以及面向剖分面片模板的分布式处理功能。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种遥感影像快速并行处理方法,其特征在于,包括:
将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板并形成剖分面片模板库;
对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型;
针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库;
其中,所述将遥感影像数据进行剖分化处理,建立剖分面片模板包括:
基于全球剖分模型EMD剖分模型,对待处理区域的遥感影像数据进行剖分化处理,形成该区域的遥感影像多层级剖分面片集合;
根据不同应用对遥感影像尺度的需求,构造面向剖分面片模板的计算模式;
根据所述计算模式对相应面片进行处理,得到与不同应用需求对应的遥感影像剖分面片的集合;
提取剖分面片的模板化特征形成相应层级的剖分面片模板。
2.根据权利要求1所述的遥感影像快速并行处理方法,其特征在于,所述形成剖分面片模板库包括:
在剖分面片模板库中检索建立的剖分面片模板;
若不存在,则直接将所述建立的剖分面片模板存入所述剖分面片模板库中;
若存在,则将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量;若度量结果小于预设阈值则不更新模板库中对应的剖分面片模板;否则将所述建立的剖分面片模板存入所述剖分面片模板库中,更新对应的剖分面片模板。
3.根据权利要求2所述的遥感影像快速并行处理方法,其特征在于,将所述建立的剖分面片模板存入所述剖分面片模板库中包括:
采用多层次、分布式剖分集群存储方式,将所述建立的剖分面片模板存入所述剖分面片模板库中。
4.根据权利要求3所述的遥感影像快速并行处理方法,其特征在于,对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型包括:
分析与所述剖分面片模板相关的处理算法的可并行代码步及所述可并行代码步占整个算法的总运算步的百分比,确定所述剖分面片算法的可并行性的类型;根据剖分面片模板算法的并行化特征,剖分面片模板算法分三类:全局可并行算法,局部可并行算法,不可并行算法;
根据其并行性的类型提取对应的并行化处理模型,所述并行化处理模型为:全局并行处理模型,局部并行处理模型,串行算法处理模型。
5.根据权利要求4所述的遥感影像快速并行处理方法,其特征在于,针对所述剖分面片模板算法的并行处理模型,设计相应的并行类包括:
根据所述并行处理模型设计对应的并行算法的抽象父类,确定所述剖分面片模板处理算法所必须的计算参数,将所述计算参数映射为该算法抽象父类的数据成员;
将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员,所述方法成员分别对应三种并行处理模型不同的处理流程。
6.根据权利要求5所述的遥感影像快速并行处理方法,其特征在于,在针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,形成剖分面片模板处理算法的并行化类库之后,当用户对特定的遥感影像进行处理操作时,还包括:
根据所述特定的遥感影像确定其对应的剖分面片模板;
继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数,并调用所述抽象父类的相关方法成员,完成所述确定的剖分面片模板算法的并行化;若所定义的方法不能满足用户需求,可重写对应方法。
7.一种遥感影像快速并行处理装置,其特征在于,包括:
模板生成单元,用于将待处理区域的遥感影像数据进行剖分化处理,建立剖分面片模板;
模板库生成单元,用于形成剖分面片模板库;
并行处理模型生成单元,用于对所述剖分面片模板的处理算法进行并行性分析,构建相应的剖分面片模板算法并行处理模型;
并行类生成单元,用于针对所述剖分面片模板算法的并行处理模型,生成相应的并行类;
并行化类库生成单元,用于形成剖分面片模板处理算法的并行化类库;
其中,所述模板生成单元包括:
剖分化处理模块,用于基于EMD剖分模型,对待处理区域的遥感影像数据进行剖分化处理,形成该区域的遥感影像多层级剖分面片集合;
计算模式构造模块,用于根据不同应用对遥感影像尺度的需求,构造面向剖分面片模板的计算模式;
所述剖分化处理模块还用于,根据所述计算模式对相应面片进行处理,得到与不同应用需求对应的遥感影像剖分面片的集合;模板生成模块,用于提取剖分面片的模板化特征形成相应层级的剖分面片模板。
8.根据权利要求7所述的遥感影像快速并行处理装置,其特征在于,所述模板库生成单元包括:
检索模块,用于在剖分面片模板库中检索建立的剖分面片模板;
入库操作模块,用于若不存在,直接将所述建立的剖分面片模板存入所述剖分面片模板库中;
目标特征向量度量模块,用于若存在,则将建立的剖分面片模板的目标特征向量与所述模板库中的对应剖分面片模板的目标特征向量进行相似性度量;
所述入库操作模块还用于,若度量结果小于预设阈值则不更新模板库中对应的剖分面片模板;否则将所述建立的剖分面片模板存入所述剖分面片模板库中更新对应的剖分面片模板。
9.根据权利要求8所述的遥感影像快速并行处理装置,其特征在于,所述入库操作模块具体用于,采用多层次、分布式剖分集群存储方式,将所述建立的剖分面片模板存入所述剖分面片模板库中。
10.根据权利要求9所述的遥感影像快速并行处理装置,其特征在于,所述并行处理模型生成单元包括:
分析模块,用于分析与所述剖分面片模板相关处理算法的可并行的代码步及所述可并行代码步占整个算法的总运算步的百分比,确定所述剖分面片算法的可并行性;根据剖分面片模板算法的并行化特征,剖分面片模板算法的并行性分三类:全局可并行算法,局部可并行算法,不可并行算法;
并行处理模型生成模块,用于根据其并行性提取对应的并行化处理模型,所述并行化处理模型为:全局并行处理模型,局部并行处理模型,串行算法处理模型。
11.根据权利要求10所述的遥感影像快速并行处理装置,其特征在于,所述并行类生成单元包括:
设计模块,用于根据所述并行处理模型设计对应的并行算法的抽象父类,确定所述剖分面片模板处理算法所必须的计算参数,将所述计算参数映射为该算法抽象父类的数据成员;
映射模块,用于将所述剖分面片模板算法的并行处理模型中处理步骤映射为抽象父类的方法成员,所述方法成员分别对应三种并行处理模型不同的处理流程。
12.根据权利要求11所述的遥感影像快速并行处理装置,其特征在于,还包括:
确定单元,用于在并行类生成单元针对所述剖分面片模板算法的并行处理模型,生成相应的并行类,并行化类库生成单元形成剖分面片模板处理算法的并行化类库之后,当用户对特定的遥感影像进行处理操作时,根据所述特定的遥感影像确定其对应的剖分面片模板;
操作单元,用于继承确定的剖分面片模板算法的抽象父类,通过该类的构造方法传入算法必须的计算参数,并调用所述抽象父类的相关方法成员,完成所述确定的剖分面片模板算法的并行化;若所定义的方法不能满足用户需求,可重写对应方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410014185.1A CN103714184B (zh) | 2014-01-13 | 2014-01-13 | 一种遥感影像快速并行处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410014185.1A CN103714184B (zh) | 2014-01-13 | 2014-01-13 | 一种遥感影像快速并行处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103714184A CN103714184A (zh) | 2014-04-09 |
CN103714184B true CN103714184B (zh) | 2017-08-29 |
Family
ID=50407159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410014185.1A Active CN103714184B (zh) | 2014-01-13 | 2014-01-13 | 一种遥感影像快速并行处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103714184B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239144A (zh) * | 2014-09-22 | 2014-12-24 | 珠海许继芝电网自动化有限公司 | 一种多级分布式任务处理系统 |
CN104915539A (zh) * | 2015-04-22 | 2015-09-16 | 山东农业大学 | 一种基于遥感分类获取流域下垫面信息的方法 |
CN107657599B (zh) * | 2017-08-07 | 2020-11-03 | 北京航空航天大学 | 基于混合粒度划分和动态负载分配的遥感图像融合系统并行实现方法 |
CN110263017B (zh) * | 2018-06-15 | 2021-09-14 | 清华大学 | 一种基于球面网格遥感数据文件集的键值存储方法及装置 |
CN111367649B (zh) * | 2018-12-26 | 2024-03-01 | 北京四维图新科技股份有限公司 | 高精地图数据并行处理方法和装置 |
CN112671452B (zh) * | 2020-12-17 | 2023-03-14 | 西安电子科技大学 | 异构卫星网络管理方法、系统、介质、设备、终端及应用 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103019671A (zh) * | 2012-10-08 | 2013-04-03 | 中国科学院对地观测与数字地球科学中心 | 面向数据密集型遥感图像处理的泛型编程的框架编程方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8325761B2 (en) * | 2000-06-26 | 2012-12-04 | Massivley Parallel Technologies, Inc. | System and method for establishing sufficient virtual channel performance in a parallel computing network |
-
2014
- 2014-01-13 CN CN201410014185.1A patent/CN103714184B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103019671A (zh) * | 2012-10-08 | 2013-04-03 | 中国科学院对地观测与数字地球科学中心 | 面向数据密集型遥感图像处理的泛型编程的框架编程方法 |
Non-Patent Citations (1)
Title |
---|
基于EMD的遥感影像数据组织模型;宋树华;《地理与地理信息科学》;20130531;正文第1页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103714184A (zh) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103714184B (zh) | 一种遥感影像快速并行处理方法及装置 | |
Zhao et al. | Geographical information system parallelization for spatial big data processing: a review | |
CN108255539B (zh) | 基于云计算和数据虚拟化的气象卫星数据处理系统 | |
CN103488537B (zh) | 一种数据抽取、转换和加载etl的执行方法及装置 | |
CN104899561A (zh) | 一种并行化的人体行为识别方法 | |
Gupta et al. | Fuzzy c-means clustering and particle swarm optimization based scheme for common service center location allocation | |
CN114902273A (zh) | 使用gpu优化资源分配的系统和方法 | |
Song et al. | Extraction of loess shoulder-line based on the parallel GVF snake model in the loess hilly area of China | |
CN103150148A (zh) | 一种基于任务树的大尺度遥感影像并行镶嵌方法 | |
Huo et al. | An improved multi-cores parallel artificial Bee colony optimization algorithm for parameters calibration of hydrological model | |
CN112948123B (zh) | 一种基于Spark的网格水文模型分布式计算方法 | |
CN111626311B (zh) | 一种异构图数据处理方法和装置 | |
Kijewski-Correa et al. | CyberEye: Development of integrated cyber-infrastructure to support rapid hurricane risk assessment | |
WO2023134403A1 (zh) | 一种物联网资源分配方法、系统、终端以及存储介质 | |
Tang et al. | Nash equilibrium and multi criterion aerodynamic optimization | |
Xu et al. | Three-dimensional object detection with deep neural networks for automatic as-built reconstruction | |
CN110012021B (zh) | 一种移动边缘计算下的自适应计算迁移方法 | |
CN105069702A (zh) | 一种电网集成信息处理方法 | |
CN102831613A (zh) | 一种并行的分形网络演化影像分割方法 | |
CN102496033B (zh) | 基于mr计算框架的图像sift特征匹配方法 | |
KR20130082530A (ko) | 소셜 네트워크 서비스와 연동되는 증강 현실 서비스 제공 장치, 방법 및 그 시스템 | |
CN109034073A (zh) | 预测建筑拆除废弃物产生量的方法、系统、设备及介质 | |
CN101436204A (zh) | 一种基于并行元胞自动机的城市演变模拟实现方法 | |
Shangguan et al. | A stream computing approach for live environmental models using a spatial data infrastructure with a waterlogging model case study | |
CN113806028A (zh) | 一种空间众包任务分配方法及系统、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |