CN110427420B - 一种可动态调节的数据管理系统与模型控制方法 - Google Patents

Abstract

本发明提出一种可动态调节的数据管理系统与模型控制方法。本发明的可动态调节的数据管理系统可以包括数据编辑更新模块、数据精度调节组件、数据分析处理核心组件以及数据可视化输出显示组件。不同于现有技术中的静态数据价值展示，在本发明提出的技术方案中，数据精度调节组件输出的调节参数能够实现动态的数据价值展示，克服了仅仅能描述静止时点数据对象状态的不足，能够跟踪并分析数据价值随时间推移而产生的一系列变化，描述数据对象的变化过程，预测对象未来的发展趋势和系统的变化趋势。

Description

一种可动态调节的数据管理系统与模型控制方法

技术领域

本发明属于计算机数据处理技术领域，尤其涉及一种可动态调节的数据管理系统与模型控制方法。

背景技术

数据中心是使用特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息的数据仓库的表现形式。数据仓库存储的数据信息本身没有任何价值，对外表现为一组数据存储形式而已。

然而，数据信息内在的价值是巨大的，但是这种价值只有通过标准化的科学数据管理才能体现。为了充分挖掘数据信息的内在价值，提出了很多展现数据价值的技术方案。以大数据处理、数据清洗、数据挖掘、机器学习以及人工智能为代表的数据处理技术层出不穷，它们都能从不同角度基于已有的数据仓库的海量数据，充分地挖掘出数据信息的价值。同时，为了更好地展示数据信息的价值，也提出了对应的价值体现手段，包括三维可视化图形、时间趋势预测图、空间变化图等。通过这些手段，可以以可视化的方式显示关键信息以辅助决策。

数据信息的可视化表达方法包括主要有：灰色系统预测方法、神经网络方法、支持向量机等，例如3D风险地图、加权回归(GWR)与元胞自动机(CA)及空间数据场模型等。3D风险信息地图就是借助GIS和可视化等技术将风险地图信息进行三维可视化表达。与基于抽象符号的二维风险信息地图相比，3D风险信息地图的表达直观、真实，便于进行复杂的空间分析，有更好的模拟功能和认知功能。基于加权回归(GWR)及空间数据场模型(SDF)的空间数据布局模拟模型主要包括三大模块：转换概率模块、异步元胞演化间隔获取模块及模型运行模块。前两个模块得到的转换概率图及元胞演化间隔图被输入到元胞自动机模型中，设置模型终止条件，得到最终的数据空间布局方案。

在现有技术中，例如中国专利公开CN109522359A公开了一种基于大数据的可视化产业分析方法。该方法以海量数据为基础，采用大数据采集、清洗、处理、挖掘、分析、可视化等技术手段和方法，可以从海量数据中挖掘出有价值的产业信息。基于Html css和Echarts.js结合的可视化分析技术，可以实现丰富多样、形象直观的展现形式。中国专利公开CN109242170A提出了一种基于数据挖掘技术的城市道路管理系统及方法。其技术实质是确定模型的合理性，并判断模型是否可用；如果模型可用，则将得到的知识可视化之后显示给用户。进一步地，利用可视化技术或其他知识表示技术进行处理，以用户需要和感兴趣的方式反馈给用户。中国专利公开CN108038246A公开了一种用于生成可视化视图的方法及装置，用于解决现有技术中在展示信息数据时，数据可视化无法兼顾美观功能，造成无法进一步挖掘该数据的价值的问题。通过对数据的直观呈现，提高了用户的信息获取效率，便于用户进行数据挖掘与处理，改善了用户的使用体验。

然而，以上述公开技术为代表的现有技术数据信息价值体现系统，都是从已有的数据出发，静态地展示当前数据已有的价值；并且，为了建模需要，在模型分析之前就假定了数据变量间的关系具有同质性。这导致隐藏了变量间关系的局部特性，所得结果只是多块数据区域的某种＂平均＂结果，而无法动态地展示不同数据块之间的差异性。此外，现有技术针对同一个数据仓库的对应分析得出的结果无法进行扩展调节，从而降低了数据仓库的价值使用。

发明内容

为解决现有技术中针对数据价值体现的方案中存在的诸多问题，本发明提出一种可动态调节的数据管理系统与模型控制方法。采用本发明的技术方案，可以避免现有技术的上述缺陷。利用本发明的数据管理系统，可以针对不同数据的差异性来调节不同参数，从而在模型控制环节动态地展示不同数据块之间的差异性。利用本发明的模型控制方法，可以利用已有的数据仓库，分析其在多种不同参数调节下的动态变化趋势，从而最大限度地体现数据仓库的价值。

在本发明的第一个方面，提供了一种可动态调节的数据管理系统，包括数据编辑更新模块、数据精度调节组件、数据分析处理核心组件以及数据可视化输出显示组件。

在一些实例中，所述数据编辑更新模块配置为：基于预定大小和预设时间范围从一数据仓库中获取预设数量的数据点集，将所获取的数据点集按照其属性分布，构成至少一个连续数值表面；并且基于所述至少一个数值表面进行更新计算，以生成派生数据，所述派生数据反映所述连续数值表面的空间特征。

在一些实例中，所述数据精度调节组件配置用于调节所述数据编辑更新模块进行所述更新计算的参数，所述参数体现所述更新计算的精度。

在一些实例中，所述数据分析处理核心组件包括强度图生成组件和数据兴趣域展示组件。在一些实例中，所述强度图生成组件配置为根据所述数据点集以及所述派生数据生成数据强度图。在一些实例中生成所述数据强度图包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度。在一些实例中，所述属性聚集度表征所述派生数据和所述连续数值表面的数据点集的聚集程度。

在一些实例中，所述数据兴趣域展示组件配置为基于所述强度图生成组件生成的数据强度图，按照所述强度图的大小展示不同的数据兴趣域。

在一些实例中，所述数据可视化输出显示组件配置为根据所述数据精度调节组件输出的调节参数，以不同的调节参数，展示所述派生数据和所述连续数值表面的数据点集的聚集程度图以及数据兴趣域。

在本发明的又一个方面，提供了一种可动态调节的模型控制方法。所述模型控制方法用于控制本发明的数据管理系统的数据管理过程。所述方法包括步骤S1-S6。

在步骤S1中，将从数据仓库输入到所述数据分类组件的数据通过高速镜像双内存映射通道映射到内存数据库中。在步骤S2中，在所述内存数据库中对所述输入数据进行索引标准处理，将经索引标准处理的数据输入到过滤器进行处理，并将经过滤器处理的数据存储到缓存中。

在步骤S3中，利用数据分类组件，从所述缓存中取出数据，对数据进行分类处理，并将分类处理后的数据输入到数据编辑更新组件进行编辑处理。在步骤S4中，利用所述强度图生成组件，根据所述数据点集以及所述派生数据生成数据强度图；其中生成所述数据强度图包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度。

在步骤S5中，利用所述数据兴趣域展示组件，基于所述数据强度图，按照强度图大小展示不同的数据兴趣域。在步骤S6中，利用数据可视化输出显示组件，根据不同的调节参数，在不同调节参数下展示所述派生数据和所述连续数值表面的数据点集的所述属性聚集度以及所述数据兴趣域。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

本发明的新颖特征在所附权利要求书中具体阐述。通过参考以下对其中利用本发明原理的说明性实施方案加以阐述的详细描述和附图，将会获得对本发明的特征和优点的更好的理解，在这些附图中：

图1是根据本发明的示例性实施例的可动态调节的数据管理系统的框架图；

图2是根据本发明的示例性实施例的数据管理系统的强度图生成组件所生成的数据强度图；

图3是根据本发明的示例性实施例的数据管理系统的数据兴趣域的展示图；

图4是根据本发明的示例性实施例的输出结果的反馈调节效果图；

图5是根据本发明的示例性实施例的在数据仓库中对数据进行分组前的图形化处理示意图；以及

图6是根据本发明的示例性实施例的可动态调节的模型控制方法的流程图。

具体实施例

虽然在本文中已示出并描述了本发明的优选实施方案，但对于本领域技术人员显而易见的是，这些实施方案仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下现将会想到多种变化、改变和替换。应当理解，本文中所述的本发明实施方案的各种替代方案可用于实施本发明。

参见附图1，是根据本发明的示例性实施例的可动态调节的数据管理系统的框架图。在一些实施例中，本发明的可动态调节的数据管理系统可以包括数据编辑更新模块、数据精度调节组件、数据分析处理核心组件以及数据可视化输出显示组件。

在一些示例性实施例中，本发明的数据编辑更新模块配置为基于预定大小和预设时间范围从数据仓库中获取预设数量的数据点集，将所获取的数据点集按照其属性分布，构成至少一个连续数值表面；并且，基于所述至少一个数值表面进行更新计算，以生成派生数据。派生数据可以反映所述连续数值表面的空间特征。

在一些实例中，可以首先利用一数据分类组件对数据仓库中的数据进行处理，随后利用所述数据编辑更新模块对数据进行处理。该数据分类组件配置为连接内存数据库，通过内存映射的方式访问内存数据库中的索引、过滤器以及缓存数据。在一个具体实现方式中，可以在所述数据分类组件基于预定大小和预设时间范围，从所述缓存中获取数据之后，所述数据编辑更新组件再从所述数据分类组件获取上述预设数量的数据点集。

本发明的数据编辑更新模块所进行的上述将所述数据点集按照其属性分布，构成至少一个连续数值表面，并基于所述至少一个数值表面进行更新计算以生成派生数据的处理，是指对数据进行表面分析，获得更多的反映原始数据所暗含的特征的数据。作为一个非限制性的举例，例如，如果所述数据点集为空间地理数据，则其属性包括等值线、坡度、坡向、等高线、高程点等属性数据。对这些属性数据进行更新计算得到派生数据，包括：将同一等值线的数据集进行汇合，展示其坡度表面图；或者，将等距的高程点数据进行离散化，生成离散化的等高线数值表面图。这样，就获得了更多的派生数据，能够体现这些空间地理数据的空间特征和格局信息。

当然，所述更新计算得到派生数据不限于上述举例，例如，可以进一步等温线生成等。这些等温线、等值线、等高线、坡度表面图，都能体现所述连续数值表面的空间特征。例如，表面值变化小的地方，显示数值等值稀疏；反之则显示数值等值稠密。

在一些示例性实施例中，本发明的数据精度调节组件配置用于调节所述数据编辑更新模块进行所述更新计算的参数。所述参数体现所述更新计算的精度。通过调节更新计算的参数，可以得到不同分辨率或者不同大小的连续数值表面或者派生数据。

在一些示例性实施例中，本发明的数据分析处理核心组件可以包括强度图生成组件和数据兴趣域展示组件。参照图2，所述强度图生成组件可以根据所述数据点集以及生成的所述派生数据生成数据强度图。生成数据强度图包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度。该属性聚集度可以表征所述派生数据和所述连续数值表面的数据点集的聚集程度。在前述非限制性的例子中，所述属性聚集度可以是等温线、等值线、等高线、坡度表面图的聚集程度，也可以是数据点集中的等值线、坡度、坡向、等高线、高程点的聚集程度。

参照图3，示出本发明的数据兴趣域展示组件基于所述强度图生成组件生成的数据强度图，按照强度图大小展示不同的数据兴趣域。图3中相对深色的部分，例如中图和右图中的深色部分，是数据兴趣域。

本发明的数据可视化输出显示组件配置为根据所述数据精度调节组件输出的调节参数，以不同的调节参数，展示所述派生数据和所述连续数值表面的数据点集的聚集程度图以及数据兴趣域。例如，图3展示了在不同调节参数下，数据点集的聚集程度图；其中，左图的调节参数最大，右边的最小，中间的次之。

在一些示例性实施例中，本发明的数据可视化输出显示组件可以连接至一反馈调节模块。例如，所述反馈调节模块可以配置为根据数据可视化输出显示组件展示的结果，将调节参数反馈给所述数据精度调节组件。

参见图4，是根据本发明的示例性实施例的输出结果的反馈调节效果图。所述数据精度调节组件连接至数据分析处理核心组件的所述强度图生成组件和所述数据兴趣域展示组件，通过所述数据精度调节组件输出的调节参数的变化，使得所述强度图生成组件和所述数据兴趣域展示组件的输出结果发生变化。

在一些实例中，本发明的数据精度调节组件可以连接至分布式数据采集系统。在一些实例中，本发明的数据仓库可以连接至内存计算引擎，所述内存计算引擎包括批处理引擎和图形处理引擎。基于所述图形处理引擎，可以在数据仓库中对数据进行分组前的图形化处理。

参见图5，是根据本发明的示例性实施例，在数据仓库中对数据进行分组前的图形化处理的示意图。基于不同的不确定度，图5的中间部分所示的原始数据可以分裂为C1-C3三类。从数据仓库输入到数据分类组件的数据，可以通过高速镜像双内存映射通道而映射到内存数据库。

参见图6，是根据本发明的示例性实施例的可动态调节的模型控制方法的流程图。该模型控制方法用于控制前述数据管理系统的数据管理过程。在一些实施例中，该模型控制方法可以包括步骤S1至S6。

在步骤S1中，将从数据仓库输入到数据分类组件的数据通过高速镜像双内存映射通道映射到内存数据库中。在步骤S2中，在所述内存数据库中对所述输入数据进行索引标准处理，将经索引标准处理的数据输入到过滤器进行处理，并将经过滤器处理的数据存储到缓存中。

在步骤S3中，利用数据分类组件，从所述缓存中取出数据，对数据进行分类处理，并将分类处理后的数据输入到数据编辑更新组件进行编辑处理。在一些实例中，所述编辑处理可以包括：从所述缓存中获取预设数量的数据点集，将所述数据点集按照其属性分布，构成至少一个连续数值表面；基于所述至少一个数值表面，进行更新计算以生成派生数据。该派生数据可以反映所述连续数值表面的空间特征。

在步骤S4中，利用所述强度图生成组件，根据所述数据点集以及所述派生数据生成数据强度图。生成所述数据强度图的处理可以包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度。该属性聚集度可以表征所述派生数据和所述连续数值表面的数据点集的聚集程度。

在步骤S5中，利用所述数据兴趣域展示组件，基于所述数据强度图，按照强度图大小展示不同的数据兴趣域。在步骤S6中，利用数据可视化输出显示组件，根据不同的调节参数，在不同调节参数下展示所述派生数据和所述连续数值表面的数据点集的所述属性聚集度以及所述数据兴趣域。

在一些实施例中，所述方法可以进一步包括：根据数据可视化输出显示组件展示的结果，通过反馈调节模块将反馈调节参数提供给数据精度调节组件。

本发明的数据分类组件可以包括多种分类数据模型，包括但不限于如下之一：矢量数据模型、栅格数据模型。数据分类组件的分类方法可以包括单元分解法、空间枚举法、网格法、边界表示法等等。

本领域技术人员可以理解，不同于现有技术中的静态数据价值展示(其仅仅是针对数据对象的某一特定时点的描述)，在本发明提出的技术方案中，数据精度调节组件输出的调节参数能够实现动态的数据价值展示，克服了仅仅能描述静止时点数据对象状态的不足，能够跟踪并分析数据价值随时间推移而产生的一系列变化，描述数据对象的变化过程，预测对象未来的发展趋势和系统的变化趋势。此外，本发明提出的技术方案能够根据生成的数据强度图大小展示不同的数据兴趣域，从而动态地展示不同数据块之间的差异性，所得结果不再是多块数据区域的某种“平均”结果，而是生成派生数据反映所述连续数值表面的空间特征。

虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和结构及其等效项。

Claims (10)

1.一种可动态调节的数据管理系统，包括数据编辑更新模块、数据精度调节组件、数据分析处理核心组件以及数据可视化输出显示组件，

其中，所述数据编辑更新模块配置为：基于预定大小和预设时间范围从一数据仓库中获取预设数量的数据点集，将所获取的数据点集按照其属性分布，构成至少一个连续数值表面；并且基于所述至少一个数值表面进行更新计算，以生成派生数据，所述派生数据反映所述连续数值表面的空间特征；

其中，所述数据精度调节组件配置用于调节所述数据编辑更新模块进行所述更新计算的参数，所述参数体现所述更新计算的精度；

其中，所述数据分析处理核心组件包括强度图生成组件和数据兴趣域展示组件；其中，所述强度图生成组件配置为根据所述数据点集以及所述派生数据生成数据强度图，其中，生成所述数据强度图包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度，其中，所述属性聚集度表征所述派生数据和所述连续数值表面的数据点集的聚集程度；

其中，所述数据兴趣域展示组件配置为基于所述强度图生成组件生成的数据强度图，按照所述强度图的大小展示不同的数据兴趣域；并且

其中，所述数据可视化输出显示组件配置为根据所述数据精度调节组件输出的调节参数，以不同的调节参数，展示所述派生数据和所述连续数值表面的数据点集的聚集程度图以及数据兴趣域。

2.如权利要求1所述的数据管理系统，其中所述数据可视化输出显示组件连接至一反馈调节模块，所述反馈调节模块配置为根据所述数据可视化输出显示组件展示的结果，将反馈调节参数提供给所述数据精度调节组件。

3.如权利要求1或2所述的数据管理系统，其中所述数据精度调节组件连接所述数据分析处理核心组件的所述强度图生成组件和所述数据兴趣域展示组件，通过所述数据精度调节组件输出的调节参数的变化，使得所述强度图生成组件和所述数据兴趣域展示组件的输出结果发生变化。

4.如权利要求1或2所述的数据管理系统，其中所述数据精度调节组件连接至一分布式数据采集系统，其中所述数据仓库连接至一内存计算引擎，所述内存计算引擎包括批处理引擎和图形处理引擎。

5.如权利要求1或2所述的数据管理系统，其中所述数据仓库连接至一数据分类组件，从而首先利用该数据分类组件对所述数据仓库中的数据进行处理，随后再利用所述数据编辑更新模块对数据进行处理，其中所述数据分类组件连接内存数据库，通过内存映射的方式访问内存数据库中的索引、过滤器以及缓存数据。

6.如权利要求5所 述的数据管理系统，其中所述数据分类组件和所述内存数据库之间通过高速镜像双通道式的内存映射方式进行数据通信。

7.一种可动态调节的模型控制方法，所述模型控制方法用于控制前述权利要求5-6任一项所述的数据管理系统的数据管理过程，所述方法包括如下步骤：

S1：将从数据仓库输入到所述数据分类组件的数据通过高速镜像双内存映射通道映射到内存数据库中；

S2：在所述内存数据库中对所述输入数据进行索引标准处理，将经索引标准处理的数据输入到过滤器进行处理，并将经过滤器处理的数据存储到缓存中；

S3：利用数据分类组件，从所述缓存中取出数据，对数据进行分类处理，并将分类处理后的数据输入到数据编辑更新组件进行编辑处理；

S4：利用所述强度图生成组件，根据所述数据点集以及所述派生数据生成数据强度图；其中生成所述数据强度图包括以所述连续数值表面的至少一个数值表面的数据点集为中心，计算整个数值表面的属性聚集度；

S5：利用所述数据兴趣域展示组件，基于所述数据强度图，按照强度图大小展示不同的数据兴趣域；以及

S6：利用数据可视化输出显示组件，根据不同的调节参数，在不同调节参数下展示所述派生数据和所述连续数值表面的数据点集的所述属性聚集度以及所述数据兴趣域。

8.如权利要求7所述的方法，所述步骤S3进一步包括：从所述缓存中获取预设数量的数据点集，将所述数据点集按照其属性分布，构成至少一个连续数值表面；并且基于所述至少一个数值表面，进行更新计算以生成派生数据。

9.如权利要求7所述的方法，还包括：基于图形处理引擎以及不同的不确定度，在所述数据仓库中对数据进行分组前的图形化处理。

10.如权利要求7所述的方法，还包括：根据数据可视化输出显示组件展示的结果，通过反馈调节模块将反馈调节参数提供给数据精度调节组件。

Images