CN112231380A - 采集数据的综合处理方法、系统、存储介质及电子设备 - Google Patents
采集数据的综合处理方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112231380A CN112231380A CN202011125688.8A CN202011125688A CN112231380A CN 112231380 A CN112231380 A CN 112231380A CN 202011125688 A CN202011125688 A CN 202011125688A CN 112231380 A CN112231380 A CN 112231380A
- Authority
- CN
- China
- Prior art keywords
- data
- cross
- database
- preset
- data elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 49
- 238000005553 drilling Methods 0.000 claims abstract description 35
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 238000013506 data mapping Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001178520 Stomatepia mongo Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Abstract
本发明关于一种采集数据的综合处理方法、系统、存储介质和电子设备。该方法包括：对多个采集数据库中的数据元进行抽取；预设融合数据库中的列范式规则；其中，对各采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；将抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；对融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。本公开实施例不仅能够使用户在处理数据时更加方便、快捷，而且能够使用户对数据进行更深入了解，更容易发现问题，从而做出正确的决策。
Description
技术领域
本公开实施例涉及数据处理技术领域，尤其涉及一种采集数据的综合处理方法、系统、存储介质及电子设备。
背景技术
在现实采集中，数据的来源多种多样，包括线上采集、线下采集线上导入、接口采集等，调查对象也是千变万化，因此，数据存储管理极为分散，造成了过量的数据冗余和数据不一致性。根据数据的时期不同，数据的存储介质也会有所不同，急需统一管理多个采集的物理数据库，包括关系型及非关系型数据库，比如mongo、mysql、达梦、cassandra等；而且，针对各种业务数据，因业务标准的不一，以及开发人员对统计数据掌握不够全面，导致描述的方式会千差万别，极易丢失有价值的统计信息和统计属性；另外，由于数据结构差异化，数据对象的表示有多种方式，使得数据集成过程复杂多样；目前，在采集数据数据库的基础上，急需建立一套统一数据标准、统一数据库的融合数据库，以满足后续对数据的分析及查看业务的功能。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种采集数据的综合处理方法、系统、存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开实施例的第一方面，提供一种采集数据的综合处理方法，该方法包括：
对多个采集数据库中的数据元进行抽取；
预设融合数据库中的列范式规则；
其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；
将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；
对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；
其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
本公开的一种示例性实施例中，通过预设查询服务对所述多个采集数据库中的数据元进行抽取；
该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
本公开的一种示例性实施例中，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；
所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；
所述交叉报表管理用于配置透视表；
所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
本公开的一种示例性实施例中，通过对所述融合数据库中的数据进行处理分析，能够根据预设业务需求从所述数据中提取出一加权的新数据值。
本公开的一种示例性实施例中，所述向上钻取是将低层次的细节数据概括到高层次的汇总数据；所述向下钻取是从汇总数据深入到细节数据，以获取明细数据查询。
根据本公开实施例的第二方面，提供一种采集数据的综合处理系统，该系统包括：
抽取模块，用于对多个采集数据库中的数据元进行抽取；
规则模块，用于预设融合数据库中的列范式规则；其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；
融合模块，用于将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；
分析模块，用于对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
本公开的一种示例性实施例中，该系统还包括查询模块，用于通过预设查询服务对所述多个采集数据库中的数据元进行抽取；该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
本公开的一种示例性实施例中，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；
所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；
所述交叉报表管理用于配置透视表；
所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一个实施例中所述采集数据的综合处理方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述采集数据的综合处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开的实施例中，根据本示例提供的一种采集数据的综合处理方法，在统计业务数据时，基于多个采集数据库进行数据元融合，形成调查对象的合并数据，并构建融合数据库，以在该融合数据库上进行数据分析处理，以及在数据钻取时能够跟踪数据的来源。该种方式不仅能够使用户在处理数据时更加方便、快捷，而且能够使用户对数据进行更深入了解，更容易发现问题，从而做出正确的决策。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中采集数据的综合处理方法流程图；
图2示出本公开示例性实施例中采集数据的综合处理系统框图；
图3示出本公开示例性实施例中一种程序产品示意图；
图4示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种采集数据的综合处理方法，该方法可以应用于一终端设备。参考图1中所示，该方法可以包括下述步骤：
步骤S101：对多个采集数据库中的数据元进行抽取；
步骤S102：预设融合数据库中的列范式规则；其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；
步骤S103：将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库。
步骤S104：对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
根据本示例提供的一种采集数据的综合处理方法，在统计业务数据时，基于多个采集数据库进行数据元融合，形成调查对象的合并数据，并构建融合数据库，以在该融合数据库上进行数据分析处理，以及在数据钻取时能够跟踪数据的来源。该种方式不仅能够使用户在处理数据时更加方便、快捷，而且能够使用户对数据进行更深入了解，更容易发现问题，从而做出正确的决策。
下面，将参考图1对本示例实施方式中的上述方法的各个步骤进行更详细的说明。
在步骤S101、S102、S103中，对多个采集数据库中的数据元进行抽取；预设融合数据库中的列范式规则；其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库。
示例的，因采集的数据来源多种多样，而且根据数据的时期不同，数据的存储介质也会不同，需要统一管理多个采集的物理数据库，包括关系型及非关系型数据库，因此在采集数据的数据库基础上，需要建议一套统一数据标准、统一数据库的列规范融合数据库，在融合数据库建立之前，首先需要对多个采集数据的数据库中的数据元进行抽取，具体为，将采集数据库中的元数据进行格式转换，可以将该元数据的存储形式转换成数据库表元组，并将该数据库表元组作为待融合数据。从数据库中抽取数据对于关系数据库一般包括包括全量抽取，类似于数据迁移或数据复制，能够将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自身可识别的格式；增量抽取，即抽取自上次抽取以来数据库中要抽取的表中新增、修改、删除的数据；在本示例中，对采集数据的综合处理是基于多行业采集数据的数据融合，可通过分析各行业的业务模型，抽取主题，建立基于主题的标准数据表，然后基于标准数据表抽取采集来源的业务数据。调查对象可以是行业企业，也可以是行政机构，也可以是各行各业的综合企业，具体不做限制；本处理方法支持的业务范围广，并且模型可适配性高。
另外，数据融合通过对不同的数据进行分析加工，得出一种新的信息或数据类型。数据融合侧重解决多源数据的拉通、冲突解决等难点。而对于多个采集数据库中数据元的抽取规则均是基于融合数据库的列范式做数据映射，数据映射即给定两个数据模型，在模型之间建立起数据元素的对应关系，将这一过程称为数据映射。数据映射是很多数据集成任务的第一步，例如：数据迁移、数据清洗、数据集成、语义网构造、P2P信息系统。通常，数据迁移包括三个阶段：数据抽取、数据转换、数据加载。在本示例中，数据抽取的规则需遵循融合数据库的列范式，可以理解为，该融合数据库在建立时，便结合各采集表业务预先对列进行了规范化设置，即标准列范式，每个采集表单指标都有独一份的业务含义，而数据库库整理是持续的过程，需要持续的整理融合数据库的字段定义。在统计业务数据时，将各业务数据表中的数据元进行融合，以形成调查对象的合并数据，该种方式能够便于数据钻取时跟踪数据的来源。本示例中，融合数据变化部分是每个调查对象的主题模型，模型抽取完即可适配融合标准，以方便数据的抽取、打折、确权、清理、钻取等操作。
在步骤S104中，对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
示例的，当融合数据库构建完成后，用户可借助数据字典查询所有采集指标在表单中无法理解的各种结构及类型定义，从而在最大程度上消除歧义和交流不畅的问题。数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑、外部实体等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明。在采集表单定义时，就开始设计每个指标项的数据字典，其中包含各种结构、类型定义。数据字典是数据处理的基础，属于数据库列字段的集合，数据字典页面可以查询和管理系统中所有融合数据表字段，并支持创建和发行自定义字段，数据字典是查询分析的基础。通过数据字典的标准管理能实现多源业务数据的融合、打折及钻取。另外，数据字典包括数据项、数据源、数据表、统一数据集；其中，数据项维护了统一的数据标准，对数据库的列做了标准定义，业务含义相同的列需要做合并处理；数据源统一管理多个采集的物理数据库，包括关系型及非关系型数据库，比如mongo、mysql、达梦、cassandra等；数据表管理了需要用于查询分析的数据中间表；统一数据集是基于数据项合并全部业务的代码转换，数据一般实时自动同步并允许人工介入补充维护。
另外，在一个示例中，通过对所述融合数据库中的数据进行处理分析，能够根据预设业务需求从所述数据中提取出一加权的新数据值。具体的，当数据融合后，通过对多源数据做分析，能够根据业务需要从多源数据提取一个加权的新值，例如，可将查看较多的业务数据进行加权，如搜索量的统计，可为用户提供较为直观的显示，以供用户参考。
另外，在建立分析时就设定好数据钻取的维度和层次，维是人们观察数据的特定角度，人们可用不同的方法来观察同一个数据，为每一种方法创建不同的维，维是人们进行数据精确度量的单位，维按内容可以分为结构维、度量维、分区维和分类维。结构维由在层次机构中不同等级度量所组成；度量维是由各度量所组成，它一般是一些数值字段，可进行各种计算；分区维对一个维的属性值进行分组。因此，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，即改变维的层次，变换分析的粒度；维层次是一个维的彼此相关的粗细程度不同的等级，例如代表时间的维可以是日期、季度、年份等不同等级，而这些等级又是相互关联的，这些不同的描述放慢组成一个维。在一个示例中，所述向上钻取是将低层次的细节数据概括到高层次的汇总数据；所述向下钻取是从汇总数据深入到细节数据，以获取明细数据查询。具体的，在数据分析时改变维的力度对数据进行层层深入的查看，主要是在建立分析时就设定好钻取的维度和层次，在查看时通过鼠标点击某个数据点时就会捕捉到下个页面，例如，在做数据钻取分析时，使用坐标轴图展现了各个省份的合同金额，点击具体某个省份即可查看到该省份下的所有市的合同金额。支持向上钻取和向下钻取，向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数，用户可以定义分析因素的汇总行，例如对于各地区各年度的销售情况，可以生成地区与年度的合计行，也可以生成地区或者年度的合计行；向下钻取是从汇总数据深入到细节数据进行观察或增加新维，即获取明细数据查询，例如，用户分析“各地区、城市的销售情况”时，可以对某一个城市的销售额细分为各个年度的销售额，对某一年度的销售额，可以继续细分为各个季度的销售额。通过钻取的功能，使用户对数据能更深入了解，更容易发现问题，做出正确的决策。在一个实施例中，通过预设查询服务对所述多个采集数据库中的数据元进行抽取；该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
示例的，查询服务通过自定义的SQL查询引擎，能够实现跨库跨表的数据结果集SQL；根据结果集配置透视表，实现结果集的二次开发；封装业务数据配置的接口，通过接口调用实现多业务系统支持。查询引擎是用来将查询语句转化为对数据库的操作，比如输入SQL的数据库查询语句，那它的引擎，就将SQL语句转化为对数据库的操作在数据库中查询某项，它是实现了对用户的一个接口，不同的语言用不同的引擎，如Java的JDBC(JavaDatabase Connectivity)、ODBC、JET等。数据透视表是一种交互式的表，可以进行某些计算，如求和与计数等，所进行的计算与数据跟数据透视表中的排列有关。例如，如果要按季度来分析每个雇员的销售业绩，可以将雇员名称作为列标放在数据透视表的顶端，将季度名称作为行号放在表的左侧，然后对每一个雇员以季度计算销售数量，放在每个行和列的交汇处。创建数据透视表后，可对其进行自定义以集中在所需信息上。自定义的方面包括更改布局、更改格局或深化以显示更详细的数据。
在一个实施例中，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；所述交叉报表管理用于配置透视表；所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
示例的，跨库SQL查询定义包括跨库的SQL查询引擎，支持多种数据库的查询语句解析；交叉报表管理可以配置透视表，对于数据交叉的报表，建立新的透视表，在交叉表的基础上提取数据集合；服务接口管理将SQL查询及交叉表以接口的形式发布，供业务系统使用。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。
进一步的，本示例实施方式中，还提供了一种采集数据的综合处理系统。参考图2中所示，该系统可以包括抽取模块201、规则模块202、融合模块203和分析模块204。其中：
所述抽取模块201，用于对多个采集数据库中的数据元进行抽取；
所述规则模块202，用于预设融合数据库中的列范式规则；其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得
所述融合模块203，用于将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；其中，对各所述采集数据库中数据元的抽取均基于所述融合数据库的列范式做数据映射所得。
所述分析模块204，用于对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
根据本示例提供的一种采集数据的综合处理系统，在统计业务数据时，基于多个采集数据库进行数据元融合，形成调查对象的合并数据，并构建融合数据库，以在该融合数据库上进行数据分析处理，以及在数据钻取时能够跟踪数据的来源。该种方式不仅能够使用户在处理数据时更加方便、快捷，而且能够使用户对数据进行更深入了解，更容易发现问题，从而做出正确的决策在一个实施例中，该系统还包括查询模块，用于通过预设查询服务对所述多个采集数据库中的数据元进行抽取；该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
在一个实施例中，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；所述交叉报表管理用于配置透视表；所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述采集数据的综合处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述采集数据的综合处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图3所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述采集数据的综合处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图4来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述采集数据的综合处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1中所示的步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述采集数据的综合处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种采集数据的综合处理方法，其特征在于，该方法包括：
对多个采集数据库中的数据元进行抽取；
预设融合数据库中的列范式规则；
其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；
将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；
对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；
其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
2.根据权利要求1所述综合处理方法，其特征在于，通过预设查询服务对所述多个采集数据库中的数据元进行抽取；
该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
3.根据权利要求2所述综合处理方法，其特征在于，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；
所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；
所述交叉报表管理用于配置透视表；
所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
4.根据权利要求1所述综合处理方法，其特征在于，通过对所述融合数据库中的数据进行处理分析，能够根据预设业务需求从所述数据中提取出一加权的新数据值。
5.根据权利要求1所述综合处理方法，其特征在于，所述向上钻取是将低层次的细节数据概括到高层次的汇总数据；所述向下钻取是从汇总数据深入到细节数据，以获取明细数据查询。
6.一种采集数据的综合处理系统，其特征在于，该系统包括：
抽取模块，用于对多个采集数据库中的数据元进行抽取；
规则模块，用于预设融合数据库中的列范式规则；其中，对各所述采集数据库中数据元的抽取均基于预设融合数据库中的列范式规则做数据映射所得；
融合模块，用于将所述抽取的数据元进行融合，以形成采集对象的合并数据，并根据该合并数据构建融合数据库；
分析模块，用于对所述融合数据库中的数据进行处理分析，并设置数据钻取时的维度和层次；其中，在进行数据分析时，通过改变维的力度对数据进行层层深入的查看，以实现数据的向上钻取和向下钻取。
7.根据权利要求6所述综合处理系统，其特征在于，该系统还包括查询模块，用于通过预设查询服务对所述多个采集数据库中的数据元进行抽取；该预设查询服务包括通过预设SQL查询引擎对所述采集数据库中的数据元进行抽取，以实现跨库跨表的数据结果集SQL；并根据所述结果集配置透视表，以实现该结果集的二次开发。
8.根据权利要求7所述综合处理系统，其特征在于，所述预设查询服务包括：跨库SQL查询定义、交叉报表管理和服务接口管理；
所述跨库SQL查询定义包括跨库的所述预设SQL查询引擎；
所述交叉报表管理用于配置透视表；
所述服务接口管理用于将SQL查询及交叉表以接口形式进行发布。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述采集数据的综合处理方法的步骤。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～5任一项所述采集数据的综合处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011125688.8A CN112231380A (zh) | 2020-10-20 | 2020-10-20 | 采集数据的综合处理方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011125688.8A CN112231380A (zh) | 2020-10-20 | 2020-10-20 | 采集数据的综合处理方法、系统、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112231380A true CN112231380A (zh) | 2021-01-15 |
Family
ID=74119233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011125688.8A Pending CN112231380A (zh) | 2020-10-20 | 2020-10-20 | 采集数据的综合处理方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112231380A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297139A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 元数据查询方法、系统及电子设备 |
| CN113961637A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种基于数据库的数据融合方法、系统和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937965A (zh) * | 2012-09-29 | 2013-02-20 | 山东浪潮齐鲁软件产业股份有限公司 | 一种基于数据模型的元系统设计方法 |
| US20130138601A1 (en) * | 2011-11-24 | 2013-05-30 | Tata Consultancy Services Limited | System and method for data aggregation, integration and analyses in a multi-dimensional database |
| CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
| CN105205104A (zh) * | 2015-08-26 | 2015-12-30 | 成都布林特信息技术有限公司 | 一种云平台数据获取方法 |
| CN105405069A (zh) * | 2015-12-02 | 2016-03-16 | 国家电网公司 | 一种购电经营决策分析与数据处理方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN110851495A (zh) * | 2019-10-24 | 2020-02-28 | 长城计算机软件与系统有限公司 | 异构源数据处理方法、装置、存储介质和电子设备 |
-
2020
- 2020-10-20 CN CN202011125688.8A patent/CN112231380A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130138601A1 (en) * | 2011-11-24 | 2013-05-30 | Tata Consultancy Services Limited | System and method for data aggregation, integration and analyses in a multi-dimensional database |
| CN102937965A (zh) * | 2012-09-29 | 2013-02-20 | 山东浪潮齐鲁软件产业股份有限公司 | 一种基于数据模型的元系统设计方法 |
| CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
| CN105205104A (zh) * | 2015-08-26 | 2015-12-30 | 成都布林特信息技术有限公司 | 一种云平台数据获取方法 |
| CN105405069A (zh) * | 2015-12-02 | 2016-03-16 | 国家电网公司 | 一种购电经营决策分析与数据处理方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN110851495A (zh) * | 2019-10-24 | 2020-02-28 | 长城计算机软件与系统有限公司 | 异构源数据处理方法、装置、存储介质和电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297139A (zh) * | 2021-04-28 | 2021-08-24 | 上海淇玥信息技术有限公司 | 元数据查询方法、系统及电子设备 |
| CN113961637A (zh) * | 2021-12-23 | 2022-01-21 | 北京力控元通科技有限公司 | 一种基于数据库的数据融合方法、系统和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xiao et al. | Virtual knowledge graphs: An overview of systems and use cases | |
| US11003645B1 (en) | Column lineage for resource dependency system and graphical user interface | |
| US9075859B2 (en) | Parameterized database drill-through | |
| Ballard et al. | Data modeling techniques for data warehousing | |
| US8949291B2 (en) | Automatic conversion of multidimentional schema entities | |
| EP2784700A2 (en) | Integration of transactional and analytical capabilities of a database management system | |
| US20150317374A1 (en) | User-relevant statistical analytics using business intelligence semantic modeling | |
| US20210056084A1 (en) | Processes and Systems for Onboarding Data for a Digital Duplicate | |
| CN112231380A (zh) | 采集数据的综合处理方法、系统、存储介质及电子设备 | |
| CN116089495A (zh) | 一种基于大数据的自助分析平台 | |
| Kricke et al. | Graph data transformations in Gradoop | |
| CN115640300A (zh) | 一种大数据管理方法、系统、电子设备和存储介质 | |
| CN113722564A (zh) | 基于空间图卷积能源物资供应链的可视化方法及装置 | |
| CN114077652A (zh) | 一种基于多维数据立方体的数据处理方法及电子装置 | |
| CN116467291A (zh) | 一种知识图谱存储与搜索方法及系统 | |
| Kozmina et al. | Olap personalization with user-describing profiles | |
| CN114880483A (zh) | 一种元数据知识图谱构建方法、存储介质及系统 | |
| Hodinka et al. | Business intelligence in Environmental reporting powered by XBRL | |
| CN109242301A (zh) | 一种基于大数据架构的土地绩效交互式实时分析方法 | |
| KR102488466B1 (ko) | 테이블 다이어그램 기반형 키-밸류 db 설계 정보처리장치 및 방법 | |
| Kadar | Data modeling and relational database design in archaeology | |
| Agrawal et al. | Analysis of multidimensional modeling related to conceptual level | |
| Agosti | Database design: A classified and annotated bibliography | |
| Rodrigues | Relatório de Estágio-Solução de BI Roaming Data Science (RoaDS) em ambiente Vodafone | |
| Zhang | Construction of regional forestry ecological resources protection and sharing platform under the background of big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100190 17-19 / F, building a 1, 66 Zhongguancun East Road, Haidian District, Beijing Applicant after: New Great Wall Technology Co.,Ltd. Address before: 100190 17-19 / F, building a 1, 66 Zhongguancun East Road, Haidian District, Beijing Applicant before: GREAT WALL COMPUTER SOFTWARE & SYSTEMS Inc. |
|
| CB02 | Change of applicant information |