CN111813777A - Olap自动创建并写入mq数据的方法及系统 - Google Patents

Olap自动创建并写入mq数据的方法及系统 Download PDF

Info

Publication number
CN111813777A
CN111813777A CN202010625448.8A CN202010625448A CN111813777A CN 111813777 A CN111813777 A CN 111813777A CN 202010625448 A CN202010625448 A CN 202010625448A CN 111813777 A CN111813777 A CN 111813777A
Authority
CN
China
Prior art keywords
olap
data
automatically
module
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010625448.8A
Other languages
English (en)
Other versions
CN111813777B (zh
Inventor
金熙
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd, Changzhou Weiyizhi Technology Co Ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202010625448.8A priority Critical patent/CN111813777B/zh
Publication of CN111813777A publication Critical patent/CN111813777A/zh
Application granted granted Critical
Publication of CN111813777B publication Critical patent/CN111813777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种OLAP自动创建并写入MQ数据的方法及系统，包括自动建表步骤：根据MQ数据结构自动创建多个OLAP数据表；数据ETL步骤：自动消费MQ数据到OLAP数据表。本发明通过采用解析MQ中数据结构中数据字段及信息特征自动建表的方式，减少的手动建表冗余繁琐的操作，提高了工作效率，也减少了手动建表人工失误的风险；通过采用OLAP_MQ表和OLAP_View表直接从MQ中获取数据，减少ETL中间环节，减少系统冗余，提高系统鲁棒性。OLAP_View表可以根据业务需求灵活调整，提升了系统的灵活性与扩展性；本发明提高了系统的扩展性，充分利用各个节点的算力提高OLAP效率。

Description

OLAP自动创建并写入MQ数据的方法及系统
技术领域
本发明涉及数据处理领域，具体地，涉及一种OLAP自动创建并写入MQ数据的方法及系统。
背景技术
传统的数据结构处理采用手动建表的方式，手动建表存在操作冗余繁琐、工作效率低、人工失误的风险高等问题。
专利文献为CN103631911B的发明专利公开了一种基于数组存储和向量处理的OLAP查询处理方法。在该方法中，根据数据仓库模式中的参照完整性约束对主-外键进行数组下标映射，使维表主键与事实表外键直接映射为数组下标地址，将复杂的模式转换为一个虚拟物化表，为不同的查询提供统一的数据访问视图。OLAP查询被简化为谓词处理、分组处理和聚集处理三个阶段。在谓词处理阶段使用选择向量多趟处理多个谓词在事实表上的选择结果，在分组处理阶段使用分组向量为每一个满足谓词条件的事实表记录分配分组数组下标，在聚集处理阶段使用聚集向量为聚集函数提供基于数组的聚集器。本发明简化了复杂模式下的OLAP查询处理过程，消除了表间的连接操作，提高了OLAP查询处理时的代码执行效率。但是上述方案局限性强，灵活性和扩展性不高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种OLAP自动创建并写入MQ数据的方法及系统。
根据本发明提供的一种OLAP自动创建并写入MQ数据的方法，包括如下步骤：
自动建表步骤：根据MQ数据结构自动创建多个OLAP数据表；
数据ETL步骤：自动消费MQ数据到OLAP数据表。
优选地，所述自动建表步骤包括：
解析步骤：自动解析MQ中数据结构，获取解析后的数据字段及信息特征；
OLAP_MQ表自动创建步骤：根据解析步骤中的数据字段自动创建OLAP_MQ表,在表引擎中配置MQ的集群、topic、数据结构信息，将OLAP_MQ表作为MQ的一个消费者，不同节点下同名表共同组成MQ的消费组；
OLAP_Entity表自动创建步骤：根据解析步骤中的数据字段及信息特征自动创建OLAP_Entity表；
OLAP_View表自动创建步骤：根据解析步骤中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑；
OLAP_Distributed表自动创建步骤：根据OLAP_Entity表自动创构建步骤中的OLAP_Entity表信息自动创建OLAP_Distributed表。
优选地，所述数据ETL步骤包括：
数据进入步骤：原始数据进入MQ中；
OLAP_MQ表信息存入步骤：OLAP_MQ表自动创建步骤中所创建OLAP_MQ表作为MQ的消费者自动从数据进入步骤中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构信息自动解析，存入OLAP_MQ表中；
OLAP_Distributed表信息存入步骤：OLAP_View表自动创构建步骤中所创建OLAP_View表,自动从OLAP_MQ表中获取所需数据，并按照业务需求对数据进行类型转换、过滤和计算，并将结果写入OLAP_Distributed表自动创建步骤中所创建OLAP_Distributed表中；
数据分发步骤：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的OLAP_Entity表中；
去重存储步骤：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
优选地，OLAP_MQ表和OLAP_View表为数据中间转化表。
优选地，所述OLAP_Distributed表作为各个节点实体表的映射表。
根据本发明提供额一种OLAP自动创建并写入MQ数据的系统，包括如下模块：
自动建表模块：根据MQ数据结构自动创建多个OLAP数据表；
数据ETL模块：自动消费MQ数据到OLAP数据表。
优选地，所述自动建表模块包括：
解析模块：自动解析MQ中数据结构，获取解析后的数据字段及信息特征；
OLAP_MQ表自动创建模块：根据解析模块中的数据字段自动创建OLAP_MQ表,在表引擎中配置MQ的集群、topic、数据结构信息，将OLAP_MQ表作为MQ的一个消费者，不同节点下同名表共同组成MQ的消费组；
OLAP_Entity表自动创建模块：根据解析模块中的数据字段及信息特征自动创建OLAP_Entity表，具体的，本发明根据业务需求提前配置程序所需增加字段(增加字段为维度匹配字段或计算获得字段),及合并数据所需主键、应用端需求数据类型等信息。程序获取MQ数据解析数据Key value，key和配置中增加字段为建表所需字段,value根据程序匹配规则(匹配规则根据应用端需求)转化为特定数据类型,结合业务需求在程序中通过配置文件指定参数,通过拼接获得建表sql，最后通过程序执行sql创建所需表。
OLAP_View表自动创建模块：根据解析模块中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑；具体的，由于业务需求导致OLAP_MQ和OLAP_Entity部分数据类型和字段发生变化，程序根据配置文件最后通过拼接获得带select的建表sql，最后通过程序执行sql创建所需表。
OLAP_Distributed表自动创建模块：根据OLAP_Entity表自动创构建模块中的OLAP_Entity表信息自动创建OLAP_Distributed表。
优选地，所述数据ETL模块包括：
数据进入模块：原始数据进入MQ中；
OLAP_MQ表信息存入模块：OLAP_MQ表自动创建模块中所创建OLAP_MQ表作为MQ的消费者自动从数据进入模块中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构信息自动解析，存入OLAP_MQ表中；
OLAP_Distributed表信息存入模块：OLAP_View表自动创构建模块中所创建OLAP_View表,自动从OLAP_MQ表中获取所需数据，并按照业务需求对数据进行类型转换、过滤和计算，并将结果写入OLAP_Distributed表自动创建模块中所创建OLAP_Distributed表中；
数据分发步骤：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的OLAP_Entity表中；
去重存储步骤：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
优选地，OLAP_MQ表和OLAP_View表为数据中间转化表。
优选地，所述OLAP_Distributed表作为各个节点实体表的映射表。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过采用解析MQ中数据结构中数据字段及信息特征自动建表的方式，减少的手动建表冗余繁琐的操作，提高了工作效率，也减少了手动建表人工失误的风险；
2、本发明通过采用OLAP_MQ表和OLAP_View表直接从MQ中获取数据，减少ETL中间环节，减少系统冗余，提高系统鲁棒性。OLAP_View表可以根据业务需求灵活调整，提升了系统的灵活性与扩展性；
3、本发明通过采用OLAP_Entity表和OLAP_Distributed表利用了分布式集群的思想，使得系统的扩展性提高，并充分利用各个节点的算力提高OLAP效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的OLAP自动创建并写入MQ数据的方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，根据本发明提供的OLAP自动创建并写入MQ数据的方法及系统，根据MQ中数据结构,自动创建OLAP表并自动获取MQ中数据写入OALP分布式表中，形成自动化ETL体系结构，减少了人工操作冗余繁琐的过程，并规避了人工操作潜在失误的风险。具体的，OLAP自动创建并写入MQ数据的方法包括自动建表步骤和数据ETL步骤，其中：所述自动建表步骤包括：
步骤A1：自动解析MQ中数据结构，获取解析后的数据字段及信息特征。
步骤A2：根据步骤A1中的数据字段自动创建OLAP_MQ表，具体的，程序获取MQ数据解析数据key value，key为建表所需字段,数据类型与value保持一致,MQ的集群信息通过配置文件统一规定,最后通过拼接获得建表sql最后通过程序执行sql创建所需表。在表引擎中配置MQ的集群、topic、数据结构信息，将表作为MQ的一个消费者；不同节点下同名表共同组成MQ的消费组。
步骤A3：根据步骤A1中的数据字段及信息特征自动创建OLAP_Entity表
步骤A4：根据步骤A1中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑。
根据本发明提供的具体实施例如下：
SELECT
toFloat64OrZero(planPutNum)AS planPutNum,
toFloat64OrZero(actualPutNum)AS actualPutNum,
(actualPutNum/planPutNum)AS prodPlanAchieveRate,
FROM OLAP_M
WHERE customerId＝‘XXX’；
例中用toFloat64OrZero函数将OLAP_M表中planPutNum字段原本的数据类型变成Float64类型,通过actualPutNum和planPutNum字段数值计算出prodPlanAchieveRate字段值,使用WHERE过滤复合customerId＝‘XXX’的数据。
步骤A5：根据步骤A3中的OLAP_MQ表信息自动创建OLAP_Distributed表，具体的，根据OLAP_Entity表的信息，OLAP集群信息通过拼接建表sql创建OLAP_Entity的分布式映射表。
所述数据ETL步骤，包括如下步骤：
步骤B1：原始数据进入MQ中。
步骤B2：步骤A2中所创建OLAP_MQ表作为MQ的消费者可以自动从步骤B1中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构自动解析，存入OLAP_MQ表中。
步骤B3：步骤A3中所创建OLAP_View表,当MATERIALIZED VIEW添加至引擎，它将会在后台收集数据。可以持续不断地从OLAP_MQ表中获取所需数据，并通过SELECT指定获取特定的字段信息，使用不同的函数将数据进行类型转换、过滤和计算，并将最终结果写入步骤A5中所创建OLAP_Distributed表中。被消费转换的数据最终不存储在OLAP_MQ表及OLAP_View表中，以上两表仅仅作为数据转换中间件。
步骤B4：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的步骤A3所创建OLAP_Entity表中。OLAP_Distributed表作为各个节点实体表的映射表，不存储数据仅仅提供查询及插入数据功能。更为具体的，OLAP_Distributed表建表时会根据配置，配置OLAP_Distributed分布式表的路由规则，根据所述路由规则将数据分到不同节点的OLAP_Entity实体表中。
步骤B5：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
本发明还提供一种OLAP自动创建并写入MQ数据的系统，包括如下模块：
自动建表模块：根据MQ数据结构自动创建多个OLAP数据表；
数据ETL模块：自动消费MQ数据到OLAP数据表。
所述自动建表模块包括：
解析模块：自动解析MQ中数据结构，获取解析后的数据字段及信息特征；
OLAP_MQ表自动创建模块：根据解析模块中的数据字段及业务需求自动创建OLAP_MQ表,在表引擎中配置MQ的集群、topic、数据结构信息，将OLAP_MQ表作为MQ的一个消费者，不同节点下同名表共同组成MQ的消费组；
OLAP_Entity表自动创建模块：根据解析模块中的数据字段及信息特征自动创建OLAP_Entity表；
OLAP_View表自动创建模块：根据解析模块中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑；
OLAP_Distributed表自动创建模块：根据OLAP_Entity表自动创构建模块中的OLAP_Entity表信息自动创建OLAP_Distributed表。
所述数据ETL模块包括：
数据进入模块：原始数据进入MQ中；
OLAP_MQ表信息存入模块：OLAP_MQ表自动创建模块中所创建OLAP_MQ表作为MQ的消费者自动从数据进入模块中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构信息自动解析，存入OLAP_MQ表中；
OLAP_Distributed表信息存入模块：OLAP_View表自动创构建模块中所创建OLAP_View表,根据建表时规则自动从OLAP_MQ表中获取所需数据，并按照业务需求对数据进行类型转换、过滤和计算，并将结果写入OLAP_Distributed表自动创建模块中所创建OLAP_Distributed表中；
数据分发步骤：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的OLAP_Entity表中；
去重存储步骤：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
进一步的，OLAP_MQ表和OLAP_View表为数据中间转化表，所述OLAP_Distributed表作为各个节点实体表的映射表。
本发明通过采用解析MQ中数据结构中数据字段及信息特征自动建表的方式，减少的手动建表冗余繁琐的操作，提高了工作效率，也减少了手动建表人工失误的风险；通过采用OLAP_MQ表和OLAP_View表直接从MQ中获取数据，减少ETL中间环节，减少系统冗余，提高系统鲁棒性。OLAP_View表可以根据业务需求灵活调整，提升了系统的灵活性与扩展性；通过采用OLAP_Entity表和OLAP_Distributed表利用了分布式集群的思想，使得系统的扩展性提高，并充分利用各个节点的算力提高OLAP效率。本发明通过OLAP软件，使用多节点的计算资源共同查询计算，提高了OLAP效率，OLAP_MQ表通过配置MQ集群信息伪装成消费者,根据MQ特性,消费者可以自动消费MQ中数据,通过指定关系OLAP_View表会自动消费。OLAP_MQ中数据并插入OLAP_Distributed表中(OLAP框架自动运行)，OLAP_Distributed表将数据分发,查询时OLAP_Distributed表会汇总个节点OLAP_Entity表的数据保证数据完整性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种OLAP自动创建并写入MQ数据的方法，其特征在于，包括如下步骤：
自动建表步骤：根据MQ数据结构自动创建多个OLAP数据表；
数据ETL步骤：自动消费MQ数据到OLAP数据表。
2.根据权利要求1所述的OLAP自动创建并写入MQ数据的方法，其特征在于，所述自动建表步骤包括：
解析步骤：自动解析MQ中数据结构，获取解析后的数据字段及信息特征；
OLAP_MQ表自动创建步骤：根据解析步骤中的数据字段自动创建OLAP_MQ表,在表引擎中配置MQ的集群、topic、数据结构信息，将OLAP_MQ表作为MQ的一个消费者，不同节点下同名表共同组成MQ的消费组；
OLAP_Entity表自动创建步骤：根据解析步骤中的数据字段及信息特征自动创建OLAP_Entity表；
OLAP_View表自动创建步骤：根据解析步骤中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑；
OLAP_Distributed表自动创建步骤：根据OLAP_Entity表自动创构建步骤中的OLAP_Entity表信息自动创建OLAP_Distributed表。
3.根据权利要求2所述的OLAP自动创建并写入MQ数据的方法，其特征在于，所述数据ETL步骤包括：
数据进入步骤：原始数据进入MQ中；
OLAP_MQ表信息存入步骤：OLAP_MQ表自动创建步骤中所创建OLAP_MQ表作为MQ的消费者自动从数据进入步骤中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构信息自动解析，存入OLAP_MQ表中；
OLAP_Distributed表信息存入步骤：OLAP_View表自动创构建步骤中所创建OLAP_View表,自动从OLAP_MQ表中获取所需数据，并按照业务需求对数据进行类型转换、过滤和计算，并将结果写入OLAP_Distributed表自动创建步骤中所创建OLAP_Distributed表中；
数据分发步骤：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的OLAP_Entity表中；
去重存储步骤：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
4.根据权利要求3所述的OLAP自动创建并写入MQ数据的方法，其特征在于，OLAP_MQ表和OLAP_View表为数据中间转化表。
5.根据权利要求3所述的OLAP自动创建并写入MQ数据的方法，其特征在于，所述OLAP_Distributed表作为各个节点实体表的映射表。
6.一种OLAP自动创建并写入MQ数据的系统，其特征在于，包括如下模块：
自动建表模块：根据MQ数据结构自动创建多个OLAP数据表；
数据ETL模块：自动消费MQ数据到OLAP数据表。
7.根据权利要求6所述的OLAP自动创建并写入MQ数据的系统，其特征在于，所述自动建表模块包括：
解析模块：自动解析MQ中数据结构，获取解析后的数据字段及信息特征；
OLAP_MQ表自动创建模块：根据解析模块中的数据字段自动创建OLAP_MQ表,在表引擎中配置MQ的集群、topic、数据结构信息，将OLAP_MQ表作为MQ的一个消费者，不同节点下同名表共同组成MQ的消费组；
OLAP_Entity表自动创建模块：根据解析模块中的数据字段及信息特征自动创建OLAP_Entity表；
OLAP_View表自动创建模块：根据解析模块中的数据字段及业务需求自动创建OLAP_View表，通过SELECT指定类型转换过滤和计算逻辑；
OLAP_Distributed表自动创建模块：根据OLAP_Entity表自动创构建模块中的OLAP_Entity表信息自动创建OLAP_Distributed表。
8.根据权利要求7所述的OLAP自动创建并写入MQ数据的系统，其特征在于，所述数据ETL模块包括：
数据进入模块：原始数据进入MQ中；
OLAP_MQ表信息存入模块：OLAP_MQ表自动创建模块中所创建OLAP_MQ表作为MQ的消费者自动从数据进入模块中MQ订阅topic并拉取数据,并根据表引擎中配置的数据结构信息自动解析，存入OLAP_MQ表中；
OLAP_Distributed表信息存入模块：OLAP_View表自动创构建模块中所创建OLAP_View表,自动从OLAP_MQ表中获取所需数据，并按照业务需求对数据进行类型转换、过滤和计算，并将结果写入OLAP_Distributed表自动创建模块中所创建OLAP_Distributed表中；
数据分发步骤：OLAP_Distributed表根据建表时业务规则将数据分发至不同节点的OLAP_Entity表中；
去重存储步骤：OLAP_Entity表根据建表时业务规则将数据Merge去重，每个节点的OLAP_Entity表保存ETL后的数据。
9.根据权利要求8所述的OLAP自动创建并写入MQ数据的系统，其特征在于，OLAP_MQ表和OLAP_View表为数据中间转化表。
10.根据权利要求8所述的OLAP自动创建并写入MQ数据的系统，其特征在于，所述OLAP_Distributed表作为各个节点实体表的映射表。
CN202010625448.8A 2020-07-02 2020-07-02 Olap自动创建并写入mq数据的方法及系统 Active CN111813777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625448.8A CN111813777B (zh) 2020-07-02 2020-07-02 Olap自动创建并写入mq数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625448.8A CN111813777B (zh) 2020-07-02 2020-07-02 Olap自动创建并写入mq数据的方法及系统

Publications (2)

Publication Number Publication Date
CN111813777A true CN111813777A (zh) 2020-10-23
CN111813777B CN111813777B (zh) 2021-04-06

Family

ID=72855878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625448.8A Active CN111813777B (zh) 2020-07-02 2020-07-02 Olap自动创建并写入mq数据的方法及系统

Country Status (1)

Country Link
CN (1) CN111813777B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150134595A1 (en) * 2013-03-12 2015-05-14 Morgan Stanley Data feeds platform
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
CN107169070A (zh) * 2017-05-08 2017-09-15 山大地纬软件股份有限公司 一种基于大数据的社保指标仓库的构建系统及其方法
CN107330014A (zh) * 2017-06-15 2017-11-07 武汉斗鱼网络科技有限公司 一种数据表的创建方法与设备
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及系统
CN110377666A (zh) * 2019-07-26 2019-10-25 浪潮软件股份有限公司 基于cmsp消息中间件进行异源数据库间数据同步的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150134595A1 (en) * 2013-03-12 2015-05-14 Morgan Stanley Data feeds platform
CN107169070A (zh) * 2017-05-08 2017-09-15 山大地纬软件股份有限公司 一种基于大数据的社保指标仓库的构建系统及其方法
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
CN107330014A (zh) * 2017-06-15 2017-11-07 武汉斗鱼网络科技有限公司 一种数据表的创建方法与设备
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及系统
CN110377666A (zh) * 2019-07-26 2019-10-25 浪潮软件股份有限公司 基于cmsp消息中间件进行异源数据库间数据同步的方法

Also Published As

Publication number Publication date
CN111813777B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110618983B (zh) 基于json文档结构的工业大数据多维分析与可视化方法
CN110059103B (zh) 一种跨平台统一的大数据sql查询方法
US6789071B1 (en) Method for efficient query execution using dynamic queries in database environments
US7630993B2 (en) Generating database schemas for relational and markup language data from a conceptual model
CN101021874B (zh) 一种对查询sql请求进行优化的方法及装置
Zhao et al. Modeling MongoDB with relational model
US6970882B2 (en) Unified relational database model for data mining selected model scoring results, model training results where selection is based on metadata included in mining model control table
US7865503B2 (en) Systems and methods for data storage and retrieval using virtual data sets
US20070276787A1 (en) Systems and Methods for Data Model Mapping
CN107169033A (zh) 基于数据模式转换和并行框架的关系数据查询优化方法
CN101710336A (zh) 一种利用关系中间件加速数据处理的方法
CN107491476B (zh) 一种适用于多种大数据管理系统的数据模型转换及查询分析方法
CN106484815A (zh) 一种基于海量数据类sql检索场景的自动识别优化方法
CN115292350A (zh) Sql语句的处理方法及装置
CN113312342A (zh) 一种基于多源数据库的科技资源集成系统
CN102521367B (zh) 面向海量数据的分布式处理方法
CN111813777B (zh) Olap自动创建并写入mq数据的方法及系统
CN101719162A (zh) 基于片段模式匹配的多版本开放式地理信息服务访问方法及系统
US20080162441A1 (en) Accelerating queries using secondary semantic column enumeration
WO2008085358A1 (en) Accelerating queries using temporary enumeration representation
US10877998B2 (en) Highly atomized segmented and interrogatable data systems (HASIDS)
CN115757481A (zh) 数据迁移方法、装置、设备和存储介质
CN112269797B (zh) 一种卫星遥感数据在异构计算平台上的多维查询方法
CN110647518B (zh) 一种数据源融合计算方法、组件及装置
Eldrrat et al. Data Migration from Conventional Databases into NoSQL: Methods and Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant