CN113609126B - 一种众源时空数据的一体化存储管理方法及系统 - Google Patents

Abstract

本发明公开了一种众源时空数据的一体化存储管理方法及系统，其中，所述方法包括：对初始时空数据的数据结构进行分析整合，获得标准时空数据；根据进行所述相应等级的处理后的所述标准时空数据，构建众源异构时空数据库；将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；将所述标准新增时空数据存储至所述众源异构时空数据库。解决了现有技术信息平台不能互联互通，导致处理数据工作量巨大且加大工作技术难度的技术问题。

Description

一种众源时空数据的一体化存储管理方法及系统

技术领域

本发明涉及数据管理领域，尤其涉及一种众源时空数据的一体化存储管理方法及系统。

背景技术

城市时空大数据平台是数字中国时空信息数据库的重要组成部分，在推进智慧城市建设过程中都将时空大数据平台作为支撑智慧应用的时空基础设施。随着社会的发展，传统测绘积累了非常丰富的空间数据资料，空间数据体量越来越大，数据种类越来越丰富，有结构化的、非结构化的，有以文件形式存储的、有以关系型数据库存储的、有以分布式文件系统存储的。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术信息平台不能互联互通，导致处理数据工作量巨大且加大工作技术难度的技术问题。

发明内容

本申请实施例通过提供一种众源时空数据的一体化存储管理方法及系统，解决了现有技术信息平台不能互联互通，导致处理数据工作量巨大且加大工作技术难度的技术问题。达到统一管理众源、海量的信息数据，通过对数据格式和服务协议进行互联互通，提高各管理部门对海源数据的流通应用能力，研发构建统一数据存储管理系统，对数据进行统一质检、入库、更新和查看，降低数据管理人员管理数据难度，提供运维人员的工作效率，进而降低工作难度，提高工作效率，满足时空数据的存储管理需求的技术效果。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的。

第一方面，本申请实施例提供了一种众源时空数据的一体化存储管理方法，所述方法包括：获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；获得第一新增时空数据；在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；将所述标准新增时空数据存储至所述众源异构时空数据库。

另一方面，本申请还提供了一种众源时空数据的一体化存储管理系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；第二获得单元，所述第二获得单元用于对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；第三获得单元，所述第三获得单元用于将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；第一处理单元，所述第一处理单元用于根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；第一构建单元，所述第一构建单元用于根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；第四获得单元，所述第四获得单元用于分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；第五获得单元，所述第五获得单元用于获得第一新增时空数据；第六获得单元，所述第六获得单元用于在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；第七获得单元，所述第七获得单元用于根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；第一存储单元，所述第一存储单元用于将所述标准新增时空数据存储至所述众源异构时空数据库。

第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；将所述标准新增时空数据存储至所述众源异构时空数据库。进而达到统一管理众源、海量的信息数据，通过对数据格式和服务协议进行互联互通，提高各管理部门对海源数据的流通应用能力，研发构建统一数据存储管理系统，对数据进行统一质检、入库、更新和查看，降低数据管理人员管理数据难度，提供运维人员的工作效率，进而降低工作难度，提高工作效率，满足时空数据的存储管理需求的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种众源时空数据的一体化存储管理方法的流程示意图；

图2为本申请实施例一种众源时空数据的一体化存储管理方法中获得第一数据处理逻辑线的流程示意图；

图3为本申请实施例一种众源时空数据的一体化存储管理方法中获得第二数据处理逻辑线的流程示意图；

图4为本申请实施例一种众源时空数据的一体化存储管理方法中构建第一决策树的流程示意图；

图5为本申请实施例一种众源时空数据的一体化存储管理方法中获得第一降维数据特征集的流程示意图；

图6为本申请实施例一种众源时空数据的一体化存储管理方法中处理标准时空数据的流程示意图；

图7为本申请实施例一种众源时空数据的一体化存储管理方法中填充标准时空数据的流程示意图；

图8为本申请实施例一种众源时空数据的一体化存储管理系统的结构示意图；

图9为本申请实施例所提供的一种用于执行控制输出数据的方法的电子设备的结构示意图。

附图标记说明：第一获得单元11，第二获得单元12，第三获得单元13，第一处理单元14，第一构建单元15，第四获得单元16，第五获得单元17，第六获得单元18，第七获得单元19，第一存储单元20，总线1110，处理器1120，收发器1130，总线接口1140，存储器1150和用户接口1160。

具体实施方式

在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。

上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。

申请概述

本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。

应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。

也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。

下面结合本发明实施例中的附图对本发明实施例进行描述。

实施例一

如图1所示，本申请实施例提供了一种众源时空数据的一体化存储管理方法，其中，所述方法包括：

步骤S100：获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台，所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；

具体而言，所述时空数据是指具有时间元素并随时间变化而变化的空间数据，是描述地球环境中地物要素信息的一种表达方式。这些时空数据涉及到各式各样的数据，如地球环境地物要素的数量、形状、纹理、空间分布特征、内在联系及规律等的数字、文本、图形和图像等，不仅具有明显的空间分布特征，而且具有数据量庞大、非线性以及时变等特征。所述时空大数据平台是把各种分散的(点数据)和分割的(条数据)大数据汇聚到一个特定的平台上(时空数据或地理框架数据平台)，并使之发生持续的聚合效应的数据平台，具有多源、海量、更新快速的综合特点。所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台，所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同。

步骤S200：对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；

具体而言，对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，将所述时空数据结构进行标准化处理，获得相对应的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据。

步骤S300：将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；

具体而言，将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，所述时空数据完整度等级分析模型为神经网络模型，通过大量数据训练，获得所述模型的输出结果即所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级，通过模型训练输出使得获得的时空数据完整度等级更加合理准确。

步骤S400：根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；

如图6所示，进一步而言，其中，所述根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理，本申请实施例步骤S400还包括：

步骤S410：获得预定完整度等级阈值；

步骤S420：分别判断所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级与所述预定完整度等级阈值之间的相互关系，根据所述相互关系对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行筛选；

步骤S430：如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在低于所述预定完整度等级的完整度等级，获得第一删除信息，所述第一删除信息用于删除与所述低于所述预定完整度等级的完整度等级相对应的标准时空数据。

具体而言，所述预定完整度等级阈值为所述时空数据的完整度等级合理范围大小，分别判断所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级与所述预定完整度等级阈值之间的相互关系，即判断所述时空数据的完整度等级是否达到所述预定完整度等级阈值。并根据所述相互关系对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行完整度符合要求的数据筛选，如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在低于所述预定完整度等级的完整度等级，即所述时空数据的完整度不够，不能对其使用，根据所述第一删除信息用于删除与所述低于所述预定完整度等级的完整度等级相对应的标准时空数据。达到通过分析数据完整性对数据进行相应处理，保证时空数据后续的应用完整性，进而满足存储管理要求的技术效果。

步骤S500：根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；

具体而言，根据进行所述相应等级的处理后满足数据完整度的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库，所述众源异构时空数据库是通过互联网由大量时空数据提供的一种开放地理空间数据库，既包括有混合型数据(包括结构化和非结构化)又有离散性数据(数据分布在不同的系统或平台)。

步骤S600：分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；

步骤S700：获得第一新增时空数据；

具体而言，所述数据处理逻辑线为时空数据处理过程中对应的数据处理逻辑，分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，并将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库。所述第一新增时空数据为新增的具有时间、空间、专题属性三维信息的时空数据，以扩充时空数据库。

步骤S800：在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；

如图2所示，进一步而言，其中，所述在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线，本申请实施例步骤S800还包括：

步骤S810：获得所述第一新增时空数据的特征参数；

步骤S820：根据所述第一新增时空数据的特征参数，从所述众源异构时空数据库中获得第三初始时空数据，所述第三初始时空数据与所述第一新增时空数据具有第一相似度；

步骤S830：获得预定相似度阈值；

步骤S840：判断所述第一相似度是否在所述预定相似度阈值之内；

步骤S850：如果所述第一相似度在所述预定相似度阈值之内，获得所述第一数据处理逻辑线，所述第一数据处理逻辑线与所述第三初始时空数据相匹配。

具体而言，所述第一新增时空数据的特征参数为新增时空数据的数据特征，如要素数量特征、空间分布特征、形状特征、时间特征等。根据所述第一新增时空数据的特征参数，从所述众源异构时空数据库中检索获得与所述第一新增时空数据具有第一相似度的所述时空数据，即数据特征上具有一定相似度的时空数据。所述预定相似度阈值为预设的数据相似度范围，判断所述第一相似度是否在所述预定相似度阈值之内，如果所述第一相似度在所述预定相似度阈值之内，即新增时空数据与所述时空数据具有一定相似度，可用与所述时空数据相同的逻辑处理线对所述新增时空数据进行数据处理。达到通过新增数据特征匹配相应数据逻辑处理线，进而提高对数据的处理效率的技术效果。

步骤S900：根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；

步骤S1000：将所述标准新增时空数据存储至所述众源异构时空数据库。

具体而言，根据与新增时空数据相匹配的所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得处理后的标准新增时空数据。并将处理后的所述标准新增时空数据存储至所述众源异构时空数据库，提高对海源数据的流通应用能力，进而满足时空数据的存储管理需求。

如图3所示，进一步而言，其中，所述判断所述第一相似度是否在所述预定相似度阈值之内后，本申请实施例步骤S840还包括：

步骤S841：如果所述第一相似度不在所述预定相似度阈值之内，构建第一新增时空数据的特征参数的代价函数；

步骤S842：获得所述第一新增时空数据的特征参数的代价函数的最小值；

步骤S843：根据所述代价函数的最小值，获得第二数据处理逻辑线，所述第二数据处理逻辑线为所述第一新增时空数据的预估处理逻辑。

具体而言，判断所述第一相似度是否在所述预定相似度阈值之内，如果所述第一相似度不在所述预定相似度阈值之内，即新增时空数据的相似度不够，构建所述第一新增时空数据的特征参数对应的代价函数。代价函数用于衡量模型预测值与真实值之间的差异，在机器学习中，优化模型的过程本质上是寻找最小代价函数的过程，通过缩小代价函数的取值可以使预测模型逐步逼近真实值。通过所述第一代价函数，获得所述第一新增时空数据的特征参数的代价函数的最小值，并根据所述代价函数的最小值，获得所述第一新增时空数据的预估处理逻辑即所述第二数据处理逻辑线，用于对新增时空数据进行数据处理。达到通过确定代价函数最小值的方式获得对应数据处理逻辑线，使得到的结果误差达到最小值的技术效果。

如图4所示，进一步而言，本申请实施例还包括：

步骤S1110：对所述众源异构时空数据库的数据特征进行主成分分析，获得第一降维数据特征集，所述第一降维数据特征集包括第一特征、第二特征和第三特征；

步骤S1120：分别对所述第一特征、所述第二特征和所述第三特征进行信息论编码运算，获得决策树的节点特征信息；

步骤S1130：根据所述节点特征信息，构建第一决策树；

步骤S1140：通过所述第一决策树对所述众源异构时空数据库中的时空数据进行分类存储。

具体而言，对所述众源异构时空数据库的数据特征进行主成分分析，主成分分析是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。获得主成分分析降维之后的第一降维数据特征集，所述第一降维数据特征集包括第一特征、第二特征和第三特征。降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影，将原特征投影到这些维度上，使降维后信息量损失最小。

为了具体构建所述第一决策树，可分别对所述第一特征、所述第二特征以及所述第三特征进行信息熵的运算，即通过信息论编码中的香农公式对其进行信息熵数值的具体计算，进而获得对应的特征信息熵，进一步，信息熵表示信息的不确定度，当不确定性越大时，它所包含的信息量也就越大，信息熵也就越高，纯度也就越低，当集合中的所有样本均匀混合时，信息熵最大，纯度最低。因此，应基于所述数据大小比对模型对所述特征信息熵对其大小数值的比对，继而获得熵值最小的特征，即第一根节点特征信息，通过对熵值最小的特征进行优先分类，继而按照熵值由小到大的顺序，依次对各节点特征进行分类，最终构建所述第一决策树。并通过所述第一决策树对所述众源异构时空数据库中的时空数据进行正确的分类存储，使得每个数据的分类结果都匹配适合的类别时空数据，进而实现了对时空数据一体化正确分类存储的技术效果。

如图5所示，进一步而言，其中，所述对所述众源异构时空数据库的数据特征进行主成分分析，获得第一降维数据特征集，本申请实施例步骤S1110还包括：

步骤S1111：根据所述众源异构时空数据库，获得与其对应的第一数据特征集；

步骤S1112：对所述第一数据特征集进行去中心化处理，获得第二数据特征集；

步骤S1113：获得所述第二数据特征集的协方差矩阵；

步骤S1114：根据所述协方差矩阵，获得所述协方差矩阵的第一特征值和第一特征向量；

步骤S1115：将所述第一数据特征集投影到所述第一特征向量，获得第一降维数据特征集，其中所述第一降维数据特征集为所述第一数据特征集降维之后获得的数据特征集。

具体而言，通过所述众源异构时空数据库，获得与其对应的数据特征集，对提取到的特征数据进行数值化处理，即去均值，求每一个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值。并构建特征数据集矩阵，获得所述第一特征数据集。继而对所述第一特征数据集中的各特征数据进行中心化处理，首先求解所述第一特征数据集中各特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，继而获得新的特征值，由新的特征值构成所述第二特征数据集，所述第二特征数据集为一数据矩阵。通过协方差公式：

对所述第二特征数据集进行运算，获得所述第二特征数据集的第一协方差矩阵。其中，

为所述第二特征数据集中的特征数据；

为该特征数据的平均值；M为所述第二特征数据集中的样本数据总量。继而通过矩阵运算，求出所述第一协方差矩阵的特征值及特征向量，且每一特征值对应一个特征向量。在求出的所述第一特征向量中，选取最大的前K个特征值及其对应的特征向量，并将所述第一特征数据集中的原始特征投影到所选取的特征向量之上，得到降维之后的所述第一特征数据集。通过主成分分析法对数据库中的特征数据进行降维处理，在保证信息量的前提下，剔除冗余数据，使得数据库中特征数据的样本量减小，且降维后信息量损失最小，从而加快训练模型对于数据的运算速度。

如图7所示，进一步而言，本申请实施例步骤S430还包括：

步骤S431：如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在所述预定完整度等级之内的完整度等级，获得第一填充信息，所述第一填充信息用于填充在所述预定完整度等级之内的完整度等级相对应的标准时空数据的缺失项。

具体而言，如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在所述预定完整度等级之内的完整度等级，即所述时空数据满足预定数据完整度，根据所述第一填充信息填充在所述预定完整度等级之内的完整度等级相对应的标准时空数据的缺失项，如数据文字或属性的缺失项，对补充缺失项之后的数据进行应用。达到补充时空数据缺失项，确保数据完整度进而满足时空数据存储管理要求的技术效果。

综上所述，本申请实施例所提供的一种众源时空数据的一体化存储管理方法及系统具有如下技术效果：

由于采用了对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；将所述标准新增时空数据存储至所述众源异构时空数据库。进而达到统一管理众源、海量的信息数据，通过对数据格式和服务协议进行互联互通，提高各管理部门对海源数据的流通应用能力，进而降低工作难度，提高工作效率，满足时空数据的存储管理需求的技术效果。

实施例二

基于与前述实施例中一种众源时空数据的一体化存储管理方法同样发明构思，本发明还提供了一种众源时空数据的一体化存储管理系统，如图8所示，所述系统包括：

第一获得单元11，所述第一获得单元11用于获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台，所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；

第二获得单元12，所述第二获得单元12用于对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；

第三获得单元13，所述第三获得单元13用于将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；

第一处理单元14，所述第一处理单元14用于根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；

第一构建单元15，所述第一构建单元15用于根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；

第四获得单元16，所述第四获得单元16用于分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；

第五获得单元17，所述第五获得单元17用于获得第一新增时空数据；

第六获得单元18，所述第六获得单元18用于在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；

第七获得单元19，所述第七获得单元19用于根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；

第一存储单元20，所述第一存储单元20用于将所述标准新增时空数据存储至所述众源异构时空数据库。

进一步的，所述系统还包括：

第八获得单元，所述第八获得单元用于获得所述第一新增时空数据的特征参数；

第九获得单元，所述第九获得单元用于根据所述第一新增时空数据的特征参数，从所述众源异构时空数据库中获得第三初始时空数据，所述第三初始时空数据与所述第一新增时空数据具有第一相似度；

第十获得单元，所述第十获得单元用于获得预定相似度阈值；

第一判断单元，所述第一判断单元用于判断所述第一相似度是否在所述预定相似度阈值之内；

第十一获得单元，所述第十一获得单元用于如果所述第一相似度在所述预定相似度阈值之内，获得所述第一数据处理逻辑线，所述第一数据处理逻辑线与所述第三初始时空数据相匹配。

进一步的，所述系统还包括：

第二构建单元，所述第二构建单元用于如果所述第一相似度不在所述预定相似度阈值之内，构建第一新增时空数据的特征参数的代价函数；

第十二获得单元，所述第十二获得单元用于获得所述第一新增时空数据的特征参数的代价函数的最小值；

第十三获得单元，所述第十三获得单元用于根据所述代价函数的最小值，获得第二数据处理逻辑线，所述第二数据处理逻辑线为所述第一新增时空数据的预估处理逻辑。

进一步的，所述系统还包括：

第十四获得单元，所述第十四获得单元用于对所述众源异构时空数据库的数据特征进行主成分分析，获得第一降维数据特征集，所述第一降维数据特征集包括第一特征、第二特征和第三特征；

第十五获得单元，所述第十五获得单元用于分别对所述第一特征、所述第二特征和所述第三特征进行信息论编码运算，获得决策树的节点特征信息；

第三构建单元，所述第三构建单元用于根据所述节点特征信息，构建第一决策树；

第二存储单元，所述第二存储单元用于通过所述第一决策树对所述众源异构时空数据库中的时空数据进行分类存储。

进一步的，所述系统还包括：

第十六获得单元，所述第十六获得单元用于根据所述众源异构时空数据库，获得与其对应的第一数据特征集；

第十七获得单元，所述第十七获得单元用于对所述第一数据特征集进行去中心化处理，获得第二数据特征集；

第十八获得单元，所述第十八获得单元用于获得所述第二数据特征集的协方差矩阵；

第十九获得单元，所述第十九获得单元用于根据所述协方差矩阵，获得所述协方差矩阵的第一特征值和第一特征向量；

第二十获得单元，所述第二十获得单元用于将所述第一数据特征集投影到所述第一特征向量，获得第一降维数据特征集，其中所述第一降维数据特征集为所述第一数据特征集降维之后获得的数据特征集。

进一步的，所述系统还包括：

第二十一获得单元，所述第二十一获得单元用于获得预定完整度等级阈值；

第一筛选单元，所述第一筛选单元用于分别判断所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级与所述预定完整度等级阈值之间的相互关系，根据所述相互关系对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行筛选；

第一删除单元，所述第一删除单元用于如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在低于所述预定完整度等级的完整度等级，获得第一删除信息，所述第一删除信息用于删除与所述低于所述预定完整度等级的完整度等级相对应的标准时空数据。

进一步的，所述系统还包括：

第一填充单元，所述第一填充单元用于如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在在所述预定完整度等级之内的完整度等级，获得第一填充信息，所述第一填充信息用于填充在所述预定完整度等级之内的完整度等级相对应的标准时空数据的缺失项。

前述图1实施例一中的一种众源时空数据的一体化存储管理方法的各种变化方式和具体实例同样适用于本实施例的一种众源时空数据的一体化存储管理系统，通过前述对一种众源时空数据的一体化存储管理方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种众源时空数据的一体化存储管理系统的实施方法，所以为了说明书的简洁，在此不再详述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

示例性电子设备

具体的，参见图9所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。

在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述控制输出数据的方法实施例的各个过程。

收发器1130，用于在处理器1120的控制下接收和发送数据。

本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。

总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构总线、微通道体系结构总线、扩展总线、视频电子标准协会、外围部件互连总线。

处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器、网络处理器、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、可编程逻辑阵列、微控制单元或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网、局域网、无线局域网、广域网、无线广域网、城域网、互联网、公共交换电话网、普通老式电话业务网、蜂窝电话网、无线网络、无线保真网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信系统、码分多址系统、全球微波互联接入系统、通用分组无线业务系统、宽带码分多址系统、长期演进系统、LTE频分双工系统、LTE时分双工系统、先进长期演进系统、通用移动通信系统、增强移动宽带系统、海量机器类通信系统、超可靠低时延通信系统等。

应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器，或闪存。

易失性存储器包括：随机存取存储器，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器、动态随机存取存储器、同步动态随机存取存储器、双倍数据速率同步动态随机存取存储器、增强型同步动态随机存取存储器、同步连接动态随机存取存储器和直接内存总线随机存取存储器。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器、浏览器，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种众源时空数据的一体化存储管理方法，其中，所述方法包括：

获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台，所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；

对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；

将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；

根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；

根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；

分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；

获得第一新增时空数据；

在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；

根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；

将所述标准新增时空数据存储至所述众源异构时空数据库。

2.如权利要求1所述的方法，其中，所述在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线，包括：

获得所述第一新增时空数据的特征参数；

根据所述第一新增时空数据的特征参数，从所述众源异构时空数据库中获得第三初始时空数据，所述第三初始时空数据与所述第一新增时空数据具有第一相似度；

获得预定相似度阈值；

判断所述第一相似度是否在所述预定相似度阈值之内；

如果所述第一相似度在所述预定相似度阈值之内，获得所述第一数据处理逻辑线，所述第一数据处理逻辑线与所述第三初始时空数据相匹配。

3.如权利要求2所述的方法，其中，所述判断所述第一相似度是否在所述预定相似度阈值之内后，包括：

如果所述第一相似度不在所述预定相似度阈值之内，构建第一新增时空数据的特征参数的代价函数；

获得所述第一新增时空数据的特征参数的代价函数的最小值；

根据所述代价函数的最小值，获得第二数据处理逻辑线，所述第二数据处理逻辑线为所述第一新增时空数据的预估处理逻辑。

4.如权利要求1所述的方法，其中，所述方法包括：

对所述众源异构时空数据库的数据特征进行主成分分析，获得第一降维数据特征集，所述第一降维数据特征集包括第一特征、第二特征和第三特征；

分别对所述第一特征、所述第二特征和所述第三特征进行信息论编码运算，获得决策树的节点特征信息；

根据所述节点特征信息，构建第一决策树；

通过所述第一决策树对所述众源异构时空数据库中的时空数据进行分类存储。

5.如权利要求4所述的方法，其中，所述对所述众源异构时空数据库的数据特征进行主成分分析，获得第一降维数据特征集，包括：

根据所述众源异构时空数据库，获得与其对应的第一数据特征集；

对所述第一数据特征集进行去中心化处理，获得第二数据特征集；

获得所述第二数据特征集的协方差矩阵；

根据所述协方差矩阵，获得所述协方差矩阵的第一特征值和第一特征向量；

将所述第一数据特征集投影到所述第一特征向量，获得第一降维数据特征集，其中所述第一降维数据特征集为所述第一数据特征集降维之后获得的数据特征集。

6.如权利要求1所述的方法，其中，所述根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理，包括：

获得预定完整度等级阈值；

分别判断所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级与所述预定完整度等级阈值之间的相互关系，根据所述相互关系对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行筛选；

如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在低于所述预定完整度等级的完整度等级，获得第一删除信息，所述第一删除信息用于删除与所述低于所述预定完整度等级的完整度等级相对应的标准时空数据。

7.如权利要求6所述的方法，其中，所述方法包括：

如果所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级中存在所述预定完整度等级之内的完整度等级，获得第一填充信息，所述第一填充信息用于填充在所述预定完整度等级之内的完整度等级相对应的标准时空数据的缺失项。

8.一种众源时空数据的一体化存储管理系统，其中，所述系统包括：

第一获得单元，所述第一获得单元用于获得第一初始时空数据，获得第二初始时空数据，直到第N初始时空数据，其中，所述第一初始时空数据来自第一初始时空数据平台，所述第二初始时空数据来自第二初始时空数据平台，所述第N初始时空数据来自第N初始时空数据平台所述第一初始时空数据平台、所述第二初始时空数据平台直到所述第N初始时空数据平台的数据结构不同；

第二获得单元，所述第二获得单元用于对所述第一初始时空数据、所述第二初始时空数据，直到第N初始时空数据的数据结构进行分析整合，获得第一标准时空数据、第二标准时空数据，直到第N标准时空数据；

第三获得单元，所述第三获得单元用于将所述第一标准时空数据、所述第二标准时空数据直到所述第N标准时空数据输入时空数据完整度等级分析模型，获得所述第一标准时空数据的第一完整度等级、所述第二标准时空数据的第二完整度等级，直到所述第N标准时空数据的第N完整度等级；

第一处理单元，所述第一处理单元用于根据所述第一完整度等级、所述第二完整度等级，直到所述第N完整度等级对所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据进行相应等级的处理；

第一构建单元，所述第一构建单元用于根据进行所述相应等级的处理后的所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据，构建众源异构时空数据库；

第四获得单元，所述第四获得单元用于分别获得所述第一标准时空数据、所述第二标准时空数据，直到所述第N标准时空数据的数据处理逻辑线，将所述数据处理逻辑线分别与其对应的标准时空数据和初始时空数据对应存储至所述众源异构时空数据库；

第五获得单元，所述第五获得单元用于获得第一新增时空数据；

第六获得单元，所述第六获得单元用于在所述众源异构时空数据库中对所述第一新增时空数据进行检索，获得第一数据处理逻辑线；

第七获得单元，所述第七获得单元用于根据所述第一数据处理逻辑线对所述第一新增时空数据进行数据处理，获得标准新增时空数据；

第一存储单元，所述第一存储单元用于将所述标准新增时空数据存储至所述众源异构时空数据库。

9.一种众源时空数据的一体化存储管理系统，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的众源时空 数据的一体化存储管理方法 中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的众源时空数据的一体化存储管理方法中的步骤。

Images