CN107273867A - 空天遥感数据处理一体机 - Google Patents

空天遥感数据处理一体机 Download PDF

Info

Publication number
CN107273867A
CN107273867A CN201710501732.2A CN201710501732A CN107273867A CN 107273867 A CN107273867 A CN 107273867A CN 201710501732 A CN201710501732 A CN 201710501732A CN 107273867 A CN107273867 A CN 107273867A
Authority
CN
China
Prior art keywords
data
empty day
remote sensing
module
remotely
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710501732.2A
Other languages
English (en)
Inventor
付琨
吴方才
史经业
张瑞
徐淼
李会丹
杨彦嫣
李海世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201710501732.2A priority Critical patent/CN107273867A/zh
Publication of CN107273867A publication Critical patent/CN107273867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种空天遥感数据处理一体机，所述一体机提供一体化系统架构，并在所述一体化系统架构中搭建处理空天遥感数据的不同模块；所述一体化系统架构中搭建的各模块独立存在，独立进行数据处理；以及所述一体化系统架构中搭建的各模块通过所述一体化系统架构与其他模块建立交互，与其他模块进行数据互通，协作支持应用。本发明的空天遥感数据处理一体机产品能够实现空天遥感数据集多源引接、处理、分析、挖掘的高度集成融合的一体化解决方案。此外，在实际应用时本发明的一体机还可以根据实际需求在一体化架构中增加或减少实际的一体机模块，具备很强的扩展性。

Description

空天遥感数据处理一体机
技术领域
本发明涉及计算机科学与技术，特别是涉及一种空天遥感数据处理一体机。
背景技术
随着现有技术的不断成熟，为了提高软硬一体化的集成度，业内包括云计算一体机、大数据一体机、超融合一体机等等一体机情况层出不穷，其主要思想是将云计算操作系统、大数据集群处理软件与基础硬件平台进行有效集成，能够实现快速交付和降低运维难度的目标。其中各一体机具备不同的优缺点：
云计算一体机：主要实现空天遥感数据的服务发布功能，通过资源的池化技术将服务进行灵活的部署和发布，针对海量遥感数据的融合、拼接以及通过算法实现图像的精细化等很难满足其性能需求；
大数据一体机：主要能够实现海量遥感数据的存储、处理等性能要求，但是在针对海量数据的分析、挖掘和智能化目标提取等方面很难达到客户目标要求。
通过以上分析，目前每一类一体机产品都只具备独立的功能，很难满足空天遥感数据从引接、处理、分析、挖掘以及动态的服务发布等全流程的业务需求。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的空天遥感数据处理一体机。
依据本发明实施例的一个方面，提供了一种空天遥感数据处理一体机，
所述一体机提供一体化系统架构，并在所述一体化系统架构中搭建处理空天遥感数据的不同模块；
所述一体化系统架构中搭建的各模块独立存在，独立进行数据处理；以及
所述一体化系统架构中搭建的各模块通过所述一体化系统架构与其他模块建立交互，与其他模块进行数据互通，协作支持应用。
可选地，所述空天遥感数据处理一体机的一体化系统架构中搭建有多源引接模块、云计算服务模块、大数据服务模块以及深度学习服务模块。
可选地，各模块的功能如下：
所述多源引接模块，配置为采用多源数据协议适配及预处理完成空天遥感数据的采集；
所述大数据服务模块，配置为存储和处理海量空天遥感数据，形成空天遥感数据的大数据处理；
所述深度学习服务模块，配置为通过深度学习模型算法和网络调优实现空天遥感数据的智能提取和分析，对空天遥感数据进行分析挖掘；
所述云计算服务模块，配置为通过云计算技术实现资源分配和服务发布功能，实现数据可视化。
可选地，所述多源引接模块、云计算服务模块、大数据服务模块以及深度学习服务模块通过所述一体化系统架构互相交互完成空天遥感数据的一次完整处理过程时，各模块具备如下功能：
所述多源引接模块，配置为接入分布在不同数据源的空天遥感数据，对不同类型的空天遥感数据进行数据清洗，得到符合所述空天遥感数据处理一体机的预设规则的清洗数据；
云计算服务模块，与所述多源引接模块连接，配置为接收所述多源引接模块清洗得到的符合所述预设规则的清洗数据，依据预设的计算规则为所述清洗数据提供云计算服务，得到计算后的计算数据；
大数据服务模块，与所述云计算服务模块连接，配置为根据本模块的底层资源对所述计算数据进行整合及管理，得到服务数据；以及，利用所述服务数据为所述空天遥感数据处理一体机支持的不同上层应用提供资源支持和响应服务；
深度学习服务模块，与所述大数据服务模块连接，配置为根据深度学习算法建立学习模型，并利用海量空天遥感数据对所述学习模型进行训练，以得到功能维度不断升级的服务平台。
可选地，所述多源引接模块还配置为：
针对不同数据源，通过多对一的技术标准和/或接口适配能力接入不同数据源的空天遥感数据。
可选地，所述多源引接模块还配置为：
对不同类型的空天遥感数据按照拉伸、配准、文本分词、野点滤除、自动粗标注的流程中的至少一步对数据进行清洗；以及
对所述清洗数据进行统一融合处理，并将融合后的清洗数据传输至所述云计算服务模块。
可选地，所述云计算服务模块还配置为：
通过虚拟化技术将所述空天遥感数据处理一体机的基础设施设备进行资源池化；
将所述清洗数据作为资源分配至各资源池中；
利用云计算技术将各资源池的资源动态、按需的分配至各业务系统。
可选地，所述云计算服务模块还配置为：在业务的执行过程中，根据业务的变更动态地进行资源的调度。
可选地，所述云计算服务模块还配置为：
采用云计算技术对所述清洗数据进行分布式计算；或者
采用云计算技术对所述清洗数据进行内存计算；或者
采用云计算技术对所述清洗数据进行流式计算。
可选地，所述大数据服务模块还配置为：
对所述云计算服务模块得到的所述计算数据进行进一步的离线处理，扩大所述计算数据的使用功能，其中，所述离线处理包括所述计算数据的存储、处理、分析和挖掘中的至少一个功能。
可选地，所述大数据服务模块还配置为：
进一步设计大数据管理规则，利用所述大数据管理规则对所述计算数据进行管理，以为各业务系统提供数据支撑服务，其中，所述支撑服务包括负载均衡、容错调度中的至少之一。
可选地，所述大数据服务模块还配置为：采用分布式文件系统或者分布式数据库或者内存数据库对所述计算数据进行存储，以供各业务系统进行调用。
可选地，所述深度学习服务模块还配置为：
根据空天遥感数据的数据应用特点，针对空间信息、态热信息实时性要求，将遥感影像数据转为标准化数据；
对标准化数据进行正射校正、影像融合、影像拼接和地物的智能提取与分类进行深度定制和系统化整合。
可选地，所述空天遥感数据处理一体机的各模块之间采用松耦合机制连接。
本发明实施例提供的空天遥感数据处理一体机产品的设计围绕海量地理信息从多源数据引接、海量多样数据的存储和处理、通过深度学习算法实现对海量地理信息数据的智能化目标提取和决策分析，以及通过云计算技术实现处理后数据的可视化效果动态服务发布等覆盖全过程、多技术领域深度融合的一体机产品。与现有技术的各种的一体机(云计算一体机、超融合一体机、大数据一体机等)只是从计算资源调度及分配、大数据处理性能等单方面解决计算性能或者处理速度等问题的性能不同，本发明实施例提供的空天遥感数据处理一体机能够对空天遥感数据(例如，空天遥感数据)进行有效处理，解决从数据源的采集——多源数据协议适配及预处理、大数据处理——遥感海量数据的存储和处理、数据分析挖掘——通过深度学习模型算法和网络调优实现遥感数据的智能提取和分析、数据可视化——通过云计算技术实现资源分配和服务发布功能。因此，本发明实施例提供的空天遥感数据处理一体机产品能够实现空天遥感数据集多源引接、处理、分析、挖掘的高度集成融合的一体化解决方案。
本发明实施例提供的空天遥感数据处理一体机，在实际应用时可以根据实际需求在一体化架构中增加或减少实际的一体机模块，具备很强的扩展性。软件定义设计理念，采用业务指导功能、功能决定架构的设计思路和流程，模块之间采用松耦合机制，能够快速、灵活地在不同模块间进行搭建。另外，利用软件功能部署层面，能够实现资源的动态弹性调度，横行的可扩展性，实现资源的线性可扩能力。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的空天遥感数据一体机的架构示意图；
图2示出了根据本发明一个实施例的实现空天遥感数据的全流程的业务需求的空天遥感数据处理一体机的结构示意图；
图3示出了根据本发明一个实施例的空天遥感数据处理一体机的软硬件架构结合的示意图；以及
图4示出了根据本发明一个实施例的空天遥感数据处理一体机的功能分类结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
海量空天遥感数据目前分布在不同的数据采集点，包括：高分卫星拍摄、遥感飞船、低空无人机等多个数据源进行空天遥感数据的采集，数据源本身获取的数据具有不同的数据格式、数据标准、数据的技术要求。因此，在数据引接处理需要能够对现有数据采集点数据有效的协议适配、传输加速以及数据预处理等功能，引接的数据才能实现后续的处理、分析和服务的发布供用户使用。
空天遥感数据具有数据类型多样、数据量庞大、处理时效性高等典型大数据特征，围绕地理空间大数据市场需求的演进给数据处理提出了巨大挑战，传统的WEB(网络)—中间件—数据库的三层架构很难满足对海量空天遥感数据的处理、分析挖掘性能、吞吐的需求。云计算、大数据技术的不断成熟和演进，将技术架构从Scale-in(内向扩展)的模式转变为Scale-out(横向扩展)模式，实现横向可扩的支撑架构，随着横向节点不断增加，整体集群的性能和吞吐越大，有效满足海量遥感数据的存储、处理、分析挖掘的性能要求。
目前情况下，遥感影像数据的智能化目标提取、决策分析等主要靠人工的方式进行，系统的处理效率和精确度不高。人工智能技术的不断成熟，逐步取代了传统人工提取的模式，人工智能技术主要通过设计有效的目标分析的业务模型，通过深度学习的无监督网络的调优和调参，训练模型的有效特征值，实现对目标提取和决策分析高效的处理。
针对海量空天遥感数据处理效果的可视化和服务发布，云计算技术是很好的支撑，云计算技术主要通过对计算、存储、网络等设备进行资源的池化，通过智能的资源管理平台实现对应用服务所需资源的动态调配和按需分配，能够灵活的实现资源的有效利用和动态释放，充分的实现前端用户对服务请求的友好反馈，满足客户的良好使用效果。
基于上述分析，为解决上述技术问题，本发明实施例提供了一种空天遥感数据处理一体机。图1示出了根据本发明一个实施例的空天遥感数据一体机的架构示意图。参见图1，本发明的空天遥感数据一体机的技术构思是提供一体化系统架构，并在一体化系统架构中搭建处理空天遥感数据的不同模块。需要说明地是，空天遥感数据处理一体机的一体化系统架构中搭建的各模块可以独立存在，独立地进行数据处理，也可以通过一体化系统架构与其他模块建立交互关系，与其他模块进行数据互通，以达到协作支持应用的目的。
在空天遥感数据的处理过程中，各模块能够分别满足空天遥感数据从引接、处理、分析、挖掘以及动态的服务发布等全流程的业务需求。具体地，若需要完成空天遥感数据的全流程的业务需求，那么空天遥感数据处理一体机至少需要包括接收空天遥感数据的多源引接模块，快速进行数据计算的云计算模块，支持多应用的大数据服务模块，以及根据空天遥感数据不断更新和学习的深度学习模块。图2示出了根据本发明一个实施例的实现空天遥感数据的全流程的业务需求的空天遥感数据处理一体机的结构示意图。参见图2，该空天遥感数据处理一体机可以包括：
多源引接模块210，配置为采用多源数据协议适配及预处理完成空天遥感数据的采集；
大数据服务模块220，配置为存储和处理海量空天遥感数据，形成空天遥感数据的大数据处理；
深度学习服务模块230，配置为通过深度学习模型算法和网络调优实现空天遥感数据的智能提取和分析，对空天遥感数据进行分析挖掘；
云计算服务模块240，配置为通过云计算技术实现资源分配和服务发布功能，实现数据可视化。
其中，多源引接模块210、大数据服务模块220、深度学习服务模块230以及云计算服务模块240可以独立存在，独立进行数据处理、应用支撑、数据存储等服务，没有先后顺序。当需要对空天遥感数据进行流程化处理时，多源引接模块210、大数据服务模块220、深度学习服务模块230以及云计算服务模块240可以通过一体化架构提供的接口实现各模块的交互。
具体地，多源引接模块210、大数据服务模块220、深度学习服务模块230以及云计算服务模块240通过一体化系统架构互相交互完成空天遥感数据的一次完整处理过程时，各模块具备的功能及具体的信号交互过程如下：
多源引接模块210，配置为接入分布在不同数据源的空天遥感数据，对不同类型的空天遥感数据进行数据清洗，得到符合空天遥感数据处理一体机的预设规则的清洗数据；
云计算服务模块240，与多源引接模块210连接，配置为接收多源引接模块210清洗得到的符合预设规则的清洗数据，依据预设的计算规则为清洗数据提供云计算服务，得到计算后的计算数据；
大数据服务模块220，与云计算服务模块240连接，配置为根据本模块的底层资源对计算数据进行整合及管理，得到服务数据；以及，利用服务数据为空天遥感数据处理一体机支持的不同上层应用提供资源支持和响应服务；
深度学习服务模块230，与大数据服务模块220连接，配置为根据深度学习算法建立学习模型，并利用海量空天遥感数据对学习模型进行训练，以得到功能维度不断升级的服务平台。
本发明实施例提供的空天遥感数据处理一体机产品的设计围绕海量空天遥感数据从多源数据引接、海量多样数据的存储和处理、通过深度学习算法实现对海量地理信息数据的智能化目标提取和决策分析，以及通过云计算技术实现处理后数据的可视化效果动态服务发布等覆盖全过程、多技术领域深度融合的一体机产品。与现有技术的各种的一体机(云计算一体机、超融合一体机、大数据一体机等)只是从计算资源调度及分配、大数据处理性能等单方面解决计算性能或者处理速度等问题的性能不同，本发明实施例提供的空天遥感数据处理一体机能够对空天遥感数据进行有效处理，解决从数据源的采集——多源数据协议适配及预处理、大数据处理——遥感海量数据的存储和处理、数据分析挖掘——通过深度学习模型算法和网络调优实现遥感数据的智能提取和分析、数据可视化——通过云计算技术实现资源分配和服务发布功能的问题。因此，本发明实施例提供的空天遥感数据处理一体机产品能够实现空天遥感数据集多源引接、处理、分析、挖掘的高度集成融合的一体化解决方案。
本发明实施例提供的空天遥感数据处理一体机不仅仅包括图2所示的各模块，在实际应用时可以根据实际需求在一体化架构中增加或减少实际的一体机模块，具备很强的扩展性。软件定义设计理念，采用业务指导功能、功能决定架构的设计思路和流程，模块之间采用松耦合机制，能够快速、灵活地在不同模块间进行搭建。另外，利用软件功能部署层面，能够实现资源的动态弹性调度，横行的可扩展性，实现资源的线性可扩能力。
图3示出了根据本发明一个实施例的空天遥感数据处理一体机的软硬件架构结合的示意图。参见图3，空天遥感数据处理一体机可以由计算处理设备、智能处理设备、存储设备和网络设备等硬件设备集合而成。软件运行在由各设备所提供或组合的硬件架构上，提供不同的业务支持。在实际应用中，本发明实施例的空天遥感数据处理一体机还可以采用其他分类方式，图4示出了根据本发明一个实施例的空天遥感数据处理一体机的功能分类结构示意图。
结合图1-图4，在本发明实施例中，首先，多源引接模块210针对不同数据源，通过多对一的技术标准和/或接口适配能力接入不同数据源的地理空间数据。由图4可以看出，数据源可以是飞机拍摄、卫星拍摄、无人驾驶小机器人拍摄等等。这些数据类型较多，且多是视频类数据，数据量极大，需要有足够能力的后台进行支持。参见图3可知常见的数据类型，除视频类外，还包括图像、文本、电子和其他类型。与图3基于硬件设备的分类不同，图4基于功能将空天遥感数据处理一体机进一步分为计算模块、存储模块、图形加速模块和网络互连模块，各软件模块灵活组合形成各种符合业务需求的一体机产品。
本发明实施例在阐述空天遥感数据处理一体机时以图2以及图3的分类方式为依据进行论述，与图4的分类可能有重叠或冲突，这仅仅是称呼或者分类上的不同，并不影响空天遥感数据处理一体机的实际功能。
实施时，多源引接模块210可以对不同类型的空天遥感数据按照拉伸、配准、文本分词、野点滤除、自动粗标注的流程中的至少一步对数据进行清洗。以及，对清洗数据进行统一融合处理，并将融合后的清洗数据传输至云计算服务模块240。清洗后的数据具备相同的类型，降低了传输、存储等处理难度。多源引接模块210引接数据与空天遥感数据处理一体机的数据层进行实时、分时通讯和故障监测，并可以通过网络将各种方式的数据进行融合，并统一违反传输和存储到数据层。多源引接模块210提供了大数据接入框架，并在大数据接入框架内置了各种增量数据抽取模块，能够捕获数据表上的变化数据，并将其转换为目标系统的数据格式，加载数据库中。对于跨系统的数据共享，接入框架还支持一对多以及双向同步且源和目标可以是如文件、数据库、LDAP(Lightweight Directory AccessProtocol，轻量目录访问协议)、Web Service(网络服务器)等多种数据源，能够满足各种系统数据共享的需求。同时，多源引接模块210所在的系统提供了丰富的数据源支持，可视化的数据清洗转换规则，灵活的调度设置，强大的统一监控平台，能全面满足数据中心数据仓库类项目的需求。可以将不同来源的数据，经过清洗转换后变为统一格式存储。
进一步，云计算服务模块240对数据进行计算。云计算服务模块240调用云计算共享资源集群，为整个空天遥感数据处理一体机的一体化系统平台提供高性能的计算资源。云计算服务模块240可以通过虚拟化技术将空天遥感数据处理一体机的基础设施设备进行资源池化，将清洗数据作为资源分配至各资源池中，利用云计算技术将各资源池的资源动态、按需的分配至各业务系统。以及，云计算服务模块240在业务的执行过程中，根据业务的变更动态地进行资源的调度。即，云计算服务模块240能够对资源的调度、管理进行动态调整。例如，图3中示出了计算资源池、存储资源池、网络资源池、GPU(Graphics ProcessingUnit，图形处理单元)资源池这四类资源池。
需要说明的是，虚拟化技术与云计算服务的结合，使得本发明实施例的空天遥感数据处理一体机具备极高的大数据计算的能力，大数据计算能力较高，才能够满足空天遥感数据量较大的需求。而虚拟化技术使得数据处理过程由底层处理的不可见变为虚拟池的界面化，即使得数据处理变得可视化，尤其后续在产品或者服务层面的更新时，可视化的服务发布能够增加客户粘性。其中，大数据计算涉及到大数据计算引擎，大数据计算主要有分布式计算、内存计算和流式计算三种形态。
1)分布式计算
分布式计算是把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分别分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。目前较流行的分布式计算模型是Hadoop(分布式系统基础架构)的MapReduce。MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归约)”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce的典型应用包括日志分析、搜索索引等。
2)内存计算
内存计算(In-Memory Computing)，实质上就是CPU(Central Processing Unit，中央处理器)直接从内存而非硬盘上读取数据，并对数据进行计算、分析。此项技术是对传统数据处理方式的一种加速，是实现商务智能中海量数据分析和实施数据分析的关键应用技术。Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。轻量级快速处理。着眼大数据处理，速度往往被置于第一位，技术人员经常寻找能尽快处理数据的工具。Spark允许Hadoop集群中的应用程序在内存中以100倍的速度运行，即使在磁盘上运行也能快10倍。Spark通过减少磁盘IO(In-Out，输入/输出)来达到性能提升，将中间处理数据全部放到了内存中。
3)流式计算
流式计算并不是进行流式数据的存储，而是当流动的数据到来后在内存中直接进行数据的实时计算。目前较流行的流式计算模型有Storm、S4等。流式计算以实时数据产出的低延迟、高吞吐为目标，在实时消息处理等方面广泛应用。
云计算服务模块240对多源引接模块210引接的海量数据及时处理之后，将得到的计算数据传输至大数据服务模块220。大数据服务模块220采用大数据处理集群实现，主要实现多源海量数据的存储、处理、分析和挖掘等功能，按照数据的特点可以将数据分为结构化数据和非结构化数据，根据业务的不同需求，实现数据的离线分析、准实时处理和实时数据处理能力，进一步设计大数据管理规则，利用大数据管理规则对计算数据进行管理，以为各业务系统提供数据支撑服务，其中，支撑服务包括负载均衡、容错调度中的至少之一。并且，大数据服务模块220对底层资源全面整合和全生命周期集中管理，从而在保证数据的安全可靠性前提下，为各类上层应用提供资源支持和快速响应服务。
大数据服务模块220的功能包括数据存储、数据分析、元数据管理、数据质量管理等等。云计算服务模块240更偏向于对数据进行实时处理，而实时处理后的数据则可以利用大数据服务模块220对其进行存储以及进一步的分析处理等，以达到对数据的进一步利用。大数据服务模块220进一步可以对云计算服务模块得到的计算数据进行进一步的离线处理，扩大计算数据的使用功能，其中，离线处理包括计算数据的存储、处理、分析和挖掘中的至少一个功能。
其中，大数据服务模块220在完成数据存储功能时，可以利用分布式文件系统、分布式数据库、内存数据库等不同的数据库完成数据存储。具体地，
1)分布式文件系统
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的特点包括更容易地访问文件、服务器负载平衡、文件和文件夹安全等。目前，比较流行的分布式文件系统包括HDFS(Hadoop分布式文件系统被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统)、CEPH、Lustre、GlusterFS(Gluster File System，集群文件系统)、PVFS(并行虚拟文件系统)、GFS(The Google File System，可扩展的谷歌文件系统)等。对于不方便用数据库二维逻辑表来表现的非结构化数据，比如所有格式的办公文档、文本、图片、XML(可扩展标记语言)、HTML(超文本标记语言)、各类报表、图像和音频/视频信息等都可以采用分布式文件系统存储。
2)分布式数据库
分布式数据库系统由分布于多个计算机结点上的若干个数据库系统组成，它提供有效的存取手段来操纵这些结点上的子数据库。分布式数据库在使用上可视为一个完整的数据库，而实际上它是分布在地理分散的各个结点上，分布在各个结点上的子数据库在逻辑上是相关的。目前，比较流行的分布式数据库有HBase等。HBase已在互联网搜索、捕获增量数据等方面得到了很好的应用。
3)内存数据库
将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。内存数据库的特点包括：采用复杂的数据模型表示数据结构，数据冗余小，易扩充，实现了数据共享；具有较高的数据和程序独立性，数据库的独立性有物理独立性和逻辑独立性；内存数据库为用户提供了方便的用户接口；内存数据库提供4个方面的数据控制功能，分别是并发控制、恢复、完整性和安全性；增加了系统的灵活性。主流的内存数据库包括TimesTen、ASE-IMDB、SolidDB等。
除上述模块之外，本发明实施例的空天遥感数据处理一体机还提供了深度学习服务模块230。其中，深度学习服务模块230可以根据空天遥感数据的数据应用特点，针对空间信息、态热信息实时性要求，将遥感影像数据转为标准化数据，进而对标准化数据进行正射校正、影像融合、影像拼接和地物的智能提取与分类进行深度定制和系统化整合。
具体地，在空天遥感数据层面，深度学习服务模块230所处的深度学习平台主要实现根据海量空天遥感数据的数据应用特点，针对空间信息、态势信息实时性要求，将遥感影像数据的标准化服务，并对标准化数据进行正射校正、影像融合、影像拼接和地物的智能提取与分类等进行深度定制和系统化融合，为用户提供一个具备独立进行深度学习模型训练，计算调度服务、智能分析服务、模型训练管理(训练服务框架+训练服务+可视化前端)、模型管理、识别服务调度管理服务、识别服务集以及结果访问API(ApplicationProgramming Interface，应用程序编程接口)的一体化平台。
机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任务的启动等工作，这回导致非常大的I/O和CPU消耗。而Spark基于内存的计算模型天生就擅长迭代计算，多个步骤计算直接在内存中完成，只有在必要时才会操作磁盘和网络，所以说Spark Mlib正是机器学习的理想的平台。MLlib基于RDD(Resilient Distributed Datasets，弹性分布式数据集)，可以与Spark SQL、GraphX、Spark Streaming无缝集成，以RDD为基石，MLlib是Spark实现一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维以及底层优化，该算法可以进行可扩充。
本发明实施例提供的空天遥感数据处理一体机通过服务引擎面向应用提供统一的数据、资源服务。可以面向大数据的建模、管理、分析、挖掘和融合等，支撑各类基于大数据平台的新业务、通过云计算发布服务等。本发明产品涵盖遥感信息领域从多源数据引接、海量数据存储和处理、数据智能分析和挖掘以及动态可视化服务发布全过程，形成了数据平台的一体化、智能化和自动化。可支持不同芯片平台，全面提高自主安全可控程度。
综上，本发明实施例提供的空天遥感数据处理一体机，主要优势体现如下：
1、跨界融合、深度优化
横切面角度分析，本发明实施例提供的空天遥感数据处理一体机产品体系涵盖的领域多、业务广；
纵切面角度分析，本发明实施例提供的空天遥感数据处理一体机产品体系在性能、接口适配和模块兼容等方面进行深度调优、多尺度测试，形成多功能、高性能、自适应的一体化解决方案；
2、软件定义、灵活弹性
软件定义设计理念，采用业务指导功能、功能决定架构的设计思路和流程，模块之间采用松耦合机制，能够快速、灵活的搭建；
部署层面，能够实现资源的动态弹性调度，横行的可扩展性，实现资源的线性可扩能力；
3、集中管理、快速交付
深度集成虚拟化、大数据处理平台，并深度优化软硬件的性能，灵活的模块化配置实现一体机资源池集中调度、管理和资源的统一监控；
高度融合的一体化产品，依托集成的软件堆栈，可以很方便的实现自动化部署、快速交付；
4、安全可靠、维护至简
深度适配各种芯片硬件平台(龙芯、飞腾、神威等)，稳定运行，并且智能化运维平台实现一体机的智能化的运维管理功能，降低运维的难度。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的空天遥感数据处理一体机设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (14)

1.一种空天遥感数据处理一体机，其特征在于，
所述一体机提供一体化系统架构，并在所述一体化系统架构中搭建处理空天遥感数据的不同模块；
所述一体化系统架构中搭建的各模块独立存在，独立进行数据处理；以及
所述一体化系统架构中搭建的各模块通过所述一体化系统架构与其他模块建立交互，与其他模块进行数据互通，协作支持应用。
2.根据权利要求1所述的空天遥感数据处理一体机，其特征在于，所述空天遥感数据处理一体机的一体化系统架构中搭建有多源引接模块、云计算服务模块、大数据服务模块以及深度学习服务模块。
3.根据权利要求2所述的空天遥感数据处理一体机，其特征在于，各模块的功能如下：
所述多源引接模块，配置为采用多源数据协议适配及预处理完成空天遥感数据的采集；
所述大数据服务模块，配置为存储和处理海量空天遥感数据，形成空天遥感数据的大数据处理；
所述深度学习服务模块，配置为通过深度学习模型算法和网络调优实现空天遥感数据的智能提取和分析，对空天遥感数据进行分析挖掘；
所述云计算服务模块，配置为通过云计算技术实现资源分配和服务发布功能，实现数据可视化。
4.根据权利要求2所述的空天遥感数据处理一体机，其特征在于，所述多源引接模块、云计算服务模块、大数据服务模块以及深度学习服务模块通过所述一体化系统架构互相交互完成空天遥感数据的一次完整处理过程时，各模块具备如下功能：
所述多源引接模块，配置为接入分布在不同数据源的空天遥感数据，对不同类型的空天遥感数据进行数据清洗，得到符合所述空天遥感数据处理一体机的预设规则的清洗数据；
云计算服务模块，与所述多源引接模块连接，配置为接收所述多源引接模块清洗得到的符合所述预设规则的清洗数据，依据预设的计算规则为所述清洗数据提供云计算服务，得到计算后的计算数据；
大数据服务模块，与所述云计算服务模块连接，配置为根据本模块的底层资源对所述计算数据进行整合及管理，得到服务数据；以及，利用所述服务数据为所述空天遥感数据处理一体机支持的不同上层应用提供资源支持和响应服务；
深度学习服务模块，与所述大数据服务模块连接，配置为根据深度学习算法建立学习模型，并利用海量空天遥感数据对所述学习模型进行训练，以得到功能维度不断升级的服务平台。
5.根据权利要求4所述的空天遥感数据处理一体机，其特征在于，所述多源引接模块还配置为：
针对不同数据源，通过多对一的技术标准和/或接口适配能力接入不同数据源的空天遥感数据。
6.根据权利要求4或5所述的空天遥感数据处理一体机，其特征在于，所述多源引接模块还配置为：
对不同类型的空天遥感数据按照拉伸、配准、文本分词、野点滤除、自动粗标注的流程中的至少一步对数据进行清洗；以及
对所述清洗数据进行统一融合处理，并将融合后的清洗数据传输至所述云计算服务模块。
7.根据权利要求3-5任一项所述的空天遥感数据处理一体机，其特征在于，所述云计算服务模块还配置为：
通过虚拟化技术将所述空天遥感数据处理一体机的基础设施设备进行资源池化；
将所述清洗数据作为资源分配至各资源池中；
利用云计算技术将各资源池的资源动态、按需的分配至各业务系统。
8.根据权利要求7所述的空天遥感数据处理一体机，其特征在于，所述云计算服务模块还配置为：在业务的执行过程中，根据业务的变更动态地进行资源的调度。
9.根据权利要求4所述的空天遥感数据处理一体机，其特征在于，所述云计算服务模块还配置为：
采用云计算技术对所述清洗数据进行分布式计算；或者
采用云计算技术对所述清洗数据进行内存计算；或者
采用云计算技术对所述清洗数据进行流式计算。
10.根据权利要求4所述的空天遥感数据处理一体机，其特征在于，所述大数据服务模块还配置为：
对所述云计算服务模块得到的所述计算数据进行进一步的离线处理，扩大所述计算数据的使用功能，其中，所述离线处理包括所述计算数据的存储、处理、分析和挖掘中的至少一个功能。
11.根据权利要求10所述的空天遥感数据处理一体机，其特征在于，所述大数据服务模块还配置为：
进一步设计大数据管理规则，利用所述大数据管理规则对所述计算数据进行管理，以为各业务系统提供数据支撑服务，其中，所述支撑服务包括负载均衡、容错调度中的至少之一。
12.根据权利要求4所述的空天遥感数据处理一体机，其特征在于，所述大数据服务模块还配置为：采用分布式文件系统或者分布式数据库或者内存数据库对所述计算数据进行存储，以供各业务系统进行调用。
13.根据权利要求4所述的空天遥感数据处理一体机，其特征在于，所述深度学习服务模块还配置为：
根据空天遥感数据的数据应用特点，针对空间信息、态热信息实时性要求，将遥感影像数据转为标准化数据；
对标准化数据进行正射校正、影像融合、影像拼接和地物的智能提取与分类进行深度定制和系统化整合。
14.根据权利要求1所述的空天遥感数据处理一体机，其特征在于，所述空天遥感数据处理一体机的各模块之间采用松耦合机制连接。
CN201710501732.2A 2017-06-27 2017-06-27 空天遥感数据处理一体机 Pending CN107273867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710501732.2A CN107273867A (zh) 2017-06-27 2017-06-27 空天遥感数据处理一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710501732.2A CN107273867A (zh) 2017-06-27 2017-06-27 空天遥感数据处理一体机

Publications (1)

Publication Number Publication Date
CN107273867A true CN107273867A (zh) 2017-10-20

Family

ID=60068784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710501732.2A Pending CN107273867A (zh) 2017-06-27 2017-06-27 空天遥感数据处理一体机

Country Status (1)

Country Link
CN (1) CN107273867A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052617A (zh) * 2017-12-15 2018-05-18 四川汉科计算机信息技术有限公司 基于远程嵌入式数据采集的航空大数据智能分析系统
CN108052616A (zh) * 2017-12-15 2018-05-18 四川汉科计算机信息技术有限公司 基于远程嵌入式数据采集的航空大数据智能分析方法
CN110083455A (zh) * 2019-05-07 2019-08-02 网易（杭州）网络有限公司 图计算处理方法、装置、介质及电子设备
CN110138440A (zh) * 2019-04-30 2019-08-16 中国空间技术研究院 空间智能飞行器云边协同信息处理架构
CN111783556A (zh) * 2020-06-11 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 多域多源遥感信息融合系统及方法
CN112988695A (zh) * 2019-12-13 2021-06-18 北京市计算中心 一种超融合混合架构计算材料平台
CN116455678A (zh) * 2023-06-16 2023-07-18 中国电子科技集团公司第十五研究所 网络安全日志汇接方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102597992A (zh) * 2009-07-22 2012-07-18 卡罗林·帕特里希亚·麦格瑞戈 用于多维时态数据挖掘的系统、方法和计算机程序
CN103281351A (zh) * 2013-04-19 2013-09-04 武汉方寸科技有限公司 一种高效能遥感数据处理与分析的云服务平台
CN104115144A (zh) * 2011-12-12 2014-10-22 安大略理工大学 用于多维时域和相关数据挖掘框架、分析和子分组的系统、方法和计算机程序
CN104794151A (zh) * 2015-01-30 2015-07-22 北京东方泰坦科技股份有限公司 一种基于协同标绘技术的空间知识服务系统建设方法
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN105160593A (zh) * 2015-08-18 2015-12-16 国家电网公司 面向大数据的输变电设备多维异构数据融合方法及系统
CN105681443A (zh) * 2016-01-28 2016-06-15 安徽四创电子股份有限公司 一种基于大数据的云计算架构方法及系统
CN105719421A (zh) * 2016-04-27 2016-06-29 丛静华 一种基于大数据挖掘的集成化森林防火信息化系统
CN106453618A (zh) * 2016-11-15 2017-02-22 西安中科空间信息技术有限公司 基于G‑Cloud云计算的遥感图像处理服务云平台系统
US20170109422A1 (en) * 2015-10-14 2017-04-20 Tharmalingam Satkunarajah 3d analytics actionable solution support system and apparatus
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102597992A (zh) * 2009-07-22 2012-07-18 卡罗林·帕特里希亚·麦格瑞戈 用于多维时态数据挖掘的系统、方法和计算机程序
CN104115144A (zh) * 2011-12-12 2014-10-22 安大略理工大学 用于多维时域和相关数据挖掘框架、分析和子分组的系统、方法和计算机程序
CN103281351A (zh) * 2013-04-19 2013-09-04 武汉方寸科技有限公司 一种高效能遥感数据处理与分析的云服务平台
CN104794151A (zh) * 2015-01-30 2015-07-22 北京东方泰坦科技股份有限公司 一种基于协同标绘技术的空间知识服务系统建设方法
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN105160593A (zh) * 2015-08-18 2015-12-16 国家电网公司 面向大数据的输变电设备多维异构数据融合方法及系统
US20170109422A1 (en) * 2015-10-14 2017-04-20 Tharmalingam Satkunarajah 3d analytics actionable solution support system and apparatus
CN105681443A (zh) * 2016-01-28 2016-06-15 安徽四创电子股份有限公司 一种基于大数据的云计算架构方法及系统
CN105719421A (zh) * 2016-04-27 2016-06-29 丛静华 一种基于大数据挖掘的集成化森林防火信息化系统
CN106453618A (zh) * 2016-11-15 2017-02-22 西安中科空间信息技术有限公司 基于G‑Cloud云计算的遥感图像处理服务云平台系统
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052617A (zh) * 2017-12-15 2018-05-18 四川汉科计算机信息技术有限公司 基于远程嵌入式数据采集的航空大数据智能分析系统
CN108052616A (zh) * 2017-12-15 2018-05-18 四川汉科计算机信息技术有限公司 基于远程嵌入式数据采集的航空大数据智能分析方法
CN110138440A (zh) * 2019-04-30 2019-08-16 中国空间技术研究院 空间智能飞行器云边协同信息处理架构
CN110083455A (zh) * 2019-05-07 2019-08-02 网易（杭州）网络有限公司 图计算处理方法、装置、介质及电子设备
CN110083455B (zh) * 2019-05-07 2022-07-12 网易（杭州）网络有限公司 图计算处理方法、装置、介质及电子设备
CN112988695A (zh) * 2019-12-13 2021-06-18 北京市计算中心 一种超融合混合架构计算材料平台
CN112988695B (zh) * 2019-12-13 2023-09-12 北京市计算中心有限公司 一种超融合混合架构计算材料平台
CN111783556A (zh) * 2020-06-11 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 多域多源遥感信息融合系统及方法
CN116455678A (zh) * 2023-06-16 2023-07-18 中国电子科技集团公司第十五研究所 网络安全日志汇接方法及系统
CN116455678B (zh) * 2023-06-16 2023-09-05 中国电子科技集团公司第十五研究所 网络安全日志汇接方法及系统

Similar Documents

Publication Publication Date Title
CN107273867A (zh) 空天遥感数据处理一体机
Zhang et al. A survey on emerging computing paradigms for big data
JP2021108183A (ja) 意図推薦方法、装置、機器及び記憶媒体
Zicari Big data: Challenges and opportunities
CN104506632B (zh) 一种基于分布式多中心的资源共享系统及方法
CN103246749B (zh) 面向分布式计算的矩阵数据库系统及其查询方法
US20140095505A1 (en) Performance and scalability in an intelligent data operating layer system
CN108021809A (zh) 一种数据处理方法及系统
CN106030573A (zh) 半结构化数据作为第一等级数据库元素的实现
Wang et al. Research and implementation on spatial data storage and operation based on Hadoop platform
CN103970607A (zh) 使用等价集合来计算优化虚拟机分配的方法和装置
CN104111936B (zh) 数据查询方法和系统
CN104252345B (zh) 在云环境中管理复杂对象的方法及系统
CN109033109A (zh) 数据处理方法及系统
CN107851060A (zh) 卸载数据分析应用中的概率计算
Ounacer et al. A new architecture for real time data stream processing
CN103843384B (zh) 基于地理定位的负载平衡
CN108287889B (zh) 一种基于弹性表模型的多源异构数据存储方法和系统
CN105391777A (zh) 一种解耦逻辑代码与性能代码的算法托管PaaS平台
Cuzzocrea Data warehousing and OLAP over big data: a survey of the state-of-the-art, open problems and future challenges
CN116166191A (zh) 湖仓一体系统
Luo et al. Big-data analytics: challenges, key technologies and prospects
Kahil et al. Big data and interactive visualization: Overview on challenges, techniques and tools
CN111951935A (zh) 面向医疗大数据处理的医疗云系统、方法、系统和介质
Sebaa et al. Query optimization in cloud environments: challenges, taxonomy, and techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co.,Ltd.

Address before: 101399 National Geographic Information Technology Industrial Park 1A-4 Star Map Building, No. 2 Airport East Road, Shunyi Airport Economic Core Area, Beijing

Applicant before: GEOVIS TECHNOLOGY (BEIJING) Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020