CN113779092A - 基于数据仓库的实时数据展示方法、装置、设备及介质 - Google Patents
基于数据仓库的实时数据展示方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113779092A CN113779092A CN202111094862.1A CN202111094862A CN113779092A CN 113779092 A CN113779092 A CN 113779092A CN 202111094862 A CN202111094862 A CN 202111094862A CN 113779092 A CN113779092 A CN 113779092A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- layer
- time data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 131
- 238000004140 cleaning Methods 0.000 claims description 21
- 238000004220 aggregation Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000013524 data verification Methods 0.000 claims description 8
- 230000002085 persistent effect Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 152
- 238000011161 development Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及计算机及人工智能技术领域，揭示了一种基于数据仓库的实时数据展示方法、装置、设备及介质，其中方法包括：响应于数据采集请求，通过源数据层的数据接口实时采集源数据后进行解析，得到实时消息流数据；接收实时数据任务，通过分层设计的实时数据仓库对实时消息流数据进行实时数据处理，生成每层对应的实时数据结果表；响应于数据展示请求，根据数据展示请求中的业务需求信息对实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上，从而实时生成用户需要的实时数据报表，能够支撑时效性要求高的场景，提高数据处理的实时性和效率。
Description
技术领域
本申请涉及到计算机及人工智能技术领域，特别是涉及到一种基于数据仓库的实时数据展示方法、装置、设备及介质。
背景技术
信息技术与数据智能大环境下，数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，并用于研究和解决从数据库中获取信息的问题。数据仓库的特征主要在于面向主题、集成性、稳定性和时变性。
传统数据仓库的时效性通常是T+1日，传统数仓的任务执行频率都是按天执行，即使能通过任务调度来调整到小时级别，但实际还是无法支撑时效性更高的场景，对于一些时效性要求高的场景，则需要实时方案来进行有效支撑和解决。目前的实时方案框架较为单一，数据实时性和准确性较差，需要重复开发，且不支持数据快速修正。
发明内容
本申请的主要目的为提供一种基于数据仓库的实时数据展示方法、装置、设备及介质，旨在解决现有数据仓库的实时方案框架较为单一、数据实时性和准确性较差，无法有效支撑时效性要求高的场景和需要重复开发的问题。
为了实现上述发明目的，本申请实施例的第一方面提出一种基于数据仓库的实时数据展示方法，所述方法包括：
响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
在第一方面的一种可能的实现方式中，在所述通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之前，还包括：
在接收所述实时数据任务后，对所述实时消息流数据进行消费幂处理，以判断该实时消息流数据是否已被消费；若是，则去除该实时消息流数据；若否，则发送该实时消息流数据至实时数据仓库。
在第一方面的一种可能的实现方式中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之中，还包括：
若执行所述实时数据任务时接收到数据不准确的业务反映，判断代码或源数据是否出现bug，若是，则修复代码并立刻停止实时任务；在完成代码修复后，调整消息队列的Offset函数，调整完毕后判断是否支持任务重跑，若是，则直接重启实时任务，若否，则清空已持久化数据；在清空已持久化数据后，判断是否需要消费幂处理，若是，则在清空幂后重启实时任务，若否，则直接重启实时任务，完成实时数据仓库的数据修复。
在第一方面的一种可能的实现方式中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
采用与所述实时数据仓库相同的模型架构构建离线数据仓库；
在预设时间点对离线数据仓库进行消费后数据结果的批量计算，得到离线计算结果；
将所述离线计算结果与同一时间点消费后的实时数据仓库生成的数据结果进行比对；
在判断比对结果不一致后，对所述实时数据仓库进行实时数据补全。
在第一方面的一种可能的实现方式中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
通过编写固定时间边界的测试用例与相同时间边界的实时数据仓库进行数据验证。
在第一方面的一种可能的实现方式中，所述分层设计的实时数据仓库，包括：
数据贴源层，用于存储数据源数据层的数据接口实时采集的实时消息流数据；
细节数据层，用于对数据贴源层中的实时消息流数据进行数据清洗处理和数据加密处理；
数据中间层，用于对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表；
数据汇总层，用于对数据中间层生成的不同维度的数据中间表进行整合汇总，生成用于分析不同主题域的服务数据汇总表；
数据集市层，用于根据服务数据汇总表搭建数据集市。
在第一方面的一种可能的实现方式中，所述实时数据结果表，包括：数据贴源层生成的实时消息流数据、细节数据层生成的实时数据基础表、数据中间层生成的数据中间表、数据汇总层生成的服务数据汇总表和数据集市层生成的实时看板结果表。
本申请实施例的第二方面还提出了一种基于数据仓库的实时数据展示装置，包括：
实时数据采集模块，用于响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
实时数据处理模块，用于接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
实时数据展示模块，用于响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
本申请实施例的第三方面还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请实施例的第四方面还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于数据仓库的实时数据展示方法、装置、设备及介质，响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果，通过对数据仓库进行分层设计，高内聚低耦合，为后续的数据展示和开发进行铺垫，而不需要重复开发相同的功能代码，减少开发成本和时间，提高实时消息流数据的处理效率；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上，能够立刻生成用户需要的实时数据报表，提高数据实时性，能够支撑时效性要求高的场景；并且无需每次都重新对数据进行处理再生成中间表后进行汇总，大大提高了数据处理的实时性和效率。
附图说明
图1为本申请一实施例的基于数据仓库的实时数据展示方法的流程示意图；
图2为本申请一实施例的基于数据仓库的实时数据展示装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
本申请实施例可以应用于服务器中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1，本申请实施例中提供一种为了实现上述发明目的，本申请提出一种基于数据仓库的实时数据展示方法，所述方法包括：
S1、响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
S2、接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
S3、响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
随着数据仓库技术的发展，目前传统数据仓库的时效性通常为T+1日，任务执行效率都是按天来执行，但对于时效性要求高情景下的数据仓库执行数据任务，例如金融行业的实时计算流方案，不仅对数据实时性和数据准确性要求高，还要求能够对数据快速修正，传统数据仓库显然是满足不了上述要求。本实施例应用于时效性要求高情景下的数据仓库执行实时数据任务，响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述实时数据处理包括数据贴源、数据清洗及加密、数据聚合、数据汇总分析和搭建数据集市，通过对数据仓库进行分层设计，高内聚低耦合，为后续的数据展示和开发进行铺垫，而不需要重复开发相同的功能代码，减少开发成本和时间，提高实时消息流数据的处理效率；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上，能够立刻生成用户需要的实时数据报表，提高数据实时性，能够支撑时效性要求高的场景；并且无需每次都重新对数据进行处理再生成中间表后进行汇总，大大提高了数据处理的实时性和效率。
对于步骤S1，在接收系统发送的数据采集指令后，通过数据仓库中源数据层的若干个数据接口实时采集各个数据采集指令后对应的源数据。其中，数据源头包括多种结构化数据和非结构化数据，结构化数据如oracle、MySQL、mogodb和postgresql等，非结构化数据包括Excel和xml等，源数据层接入业务源、文件和外部第三方平台等等。因此需要对采集到的源数据进行标准化和规范化处理，统一转换为数据仓库的符合标准数据存储格式和处理规范的基础数据，提高批量实时数据处理时的效率，并根据数据仓库自带的数据解析规则对转化后的源数据进行解析，从而得到对应的实时消息流数据，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性。
对于步骤S2，本实施例在接收系统下发的实时数据任务后，通过分为不同功能层设计的实时数据仓库对上一步骤中的实时消息流数据进行处理，数据仓库分为五层，按照数据处理先后顺序分别为ODS(Operation Data Store)数据准备层、DWD(Data WarehouseDetails)细节数据层、DWM(Data WareHouse Middle)数据中间层、DWS(Data WareHouseSummary)数据汇总层和DMM(Direct Model Mapping)数据集市层，ODS作为贴源层，保持和源数据相同，DWD作为对数据进行数据清洗和加密的细节数据层，DWM作为实时维度，DWS作为实时汇总，DMM作为应用层构建数据集市并开放给前端对接，最终以可视化的图像或指标进行展示。通过实时数据仓库中的每一层在对实时消息流数据进行实时数据处理后，分别生成每一层实时数据仓库所对应的实时数据结果表，且各层之间的数据流向按照ODS→DWD→DWM→DWS→DMM的单向顺序进行实时数据处理，当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果。通过对数据仓库进行分层设计，高内聚低耦合，为后续的数据展示和开发进行铺垫，而不需要重复开发相同的功能代码，减少开发成本和时间，提高实时消息流数据的处理效率。
对于步骤S3，本实施例在接收到系统下发的数据展示指令后，获取所述数据展示指令的业务需求信息，从而根据具体的业务需求信息对实时数据仓库中各层的数据结果表进行对应的组合加工，完成业务需求加工后，最终数据进行图形或表格形式展示至前端定制页面上。本实施例能够根据业务需求对数据仓库中各层正在处理的实时数据结果表进行组合加工，从而能够立刻生成用户需要的实时数据报表，提高数据实时性，能够支撑时效性要求高的场景；并且无需每次都重新对数据进行处理再生成中间表后进行汇总，大大提高了数据处理的实时性和效率。
在一种优选的实施例中，在所述通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之前，还包括：
在接收所述实时数据任务后，对所述实时消息流数据进行消费幂处理，以判断该实时消息流数据是否已被消费；若是，则去除该实时消息流数据；若否，则发送该实时消息流数据至实时数据仓库。
在互联网应用中，尤其在网络不稳定的情况下，消息队列的消息有可能会出现重复。消息重复会影响业务处理，需要对消息做幂等处理。消息重复的场景如下：发送时消息重复，当一条消息已被成功发送到服务端并完成持久化。此时出现了网络闪断或者客户端宕机，导致服务端对客户端应答失败。如果此时生产者意识到消息发送失败并尝试再次发送消息，消费者后续会收到两条内容相同并且Message ID也相同的消息。投递时消息重复，消息消费的场景下，消息已投递到消费者并完成业务处理，当客户端给服务端反馈应答的时候网络闪断。为了保证消息至少被消费一次，消息队列的服务端将在网络恢复后再次尝试投递之前已被处理过的消息，消费者后续会收到两条内容相同并且Message ID也相同的消息。负载均衡时消息重复(包括但不限于网络抖动、Broker重启以及消费者应用重启)，当消息队列的Broker或客户端重启、扩容或缩容时，会触发Rebalance，此时消费者可能会收到重复消息。
为了避免上述集中情况，本实施例通过对实时消息流做幂等处理，但在实际中的过程中，由于不同的Message ID对应的消息内容可能相同，有可能出现冲突(重复)的情况，所以为了真正安全的幂等处理，不采取以Message ID作为处理依据。最好的方式是以业务唯一标识作为幂等处理的关键依据，而业务的唯一标识可以通过消息Key设置。当消费完一条消息，将这条消息的Key存入KV(Key＝Value)中，如果任务异常重启导致消息重新发送的时候，先从KV判断该消息是否已被消费，如果已消费就不再往下发送，如果还没消费，则将该消息发送至数据实时数据仓库中。本实施例通过对实时消息流数据进行消费幂处理，从而判断该条消息是否被消费，提高输出的实时数据准确性。
在一种优选的实施例中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之中，还包括：
若执行所述实时数据任务时接收到数据不准确的业务反映，判断代码或源数据是否出现bug，若是，则修复代码并立刻停止实时任务；在完成代码修复后，调整消息队列的Offset函数，调整完毕后判断是否支持任务重跑，若是，则直接重启实时任务，若否，则清空已持久化数据；在清空已持久化数据后，判断是否需要消费幂处理，若是，则在清空幂后重启实时任务，若否，则直接重启实时任务，完成实时数据仓库的数据修复。
在具体的实施例中，在执行实时数据任务时，如果获取到反应数据不准确的消息，则需要立刻进行数据修复或数据恢复，具体步骤如下：判断代码或源数据是否出现bug，若是，则修复代码并立刻停止实时任务；在完成代码修复后，调整消息队列的Offset函数，在调整完毕后，再判断是否支持任务重跑，若是，则直接重启实时任务，若否，则清空已持久化数据；清空已持久化数据后再判断是否需要幂等处理，若是，则在清空幂等KV后重启实时任务，若否，则直接重启实时任务，完成实时数据仓库的数据修复。消息幂等性保证了每条实时数据能够消费成功，并且将每条消费的key值实例化到Redis里面，以支持服务重启后能够不漏数据提高数据修复的时效性，从而能够提高数据处理的准确性和效率。
其中，将每条消费的key值实例化到Redis里面，每一条Kafka消息是有offset值，offset值的存储可以直接存储在kafka硬盘里，但只是存储在kafak硬盘偶有意外发生，所以设计将其存放在Redis中，Redis集群非常适合这种key-value，key值是kafka的topic名，value值是offset值，每消费一条kafka，offset值+1；Redis集群做了高可用多机房异地灾备，内存数据库可以支持这种kafka快读快写的操作，如果出现kafka消费异常，首先会去读取Redis对应topic的value值，取出offset，将kafka消费从offset值开始消费。
在一种优选的实施例中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
采用与所述实时数据仓库相同的模型架构构建离线数据仓库；
在预设时间点对离线数据仓库进行消费后数据结果的批量计算，得到离线计算结果；
将所述离线计算结果与同一时间点消费后的实时数据仓库生成的数据结果进行比对；
在判断比对结果不一致后，对所述实时数据仓库进行实时数据补全。
在具体的实施例中，若在实时数据任务跑批时不进行数据补全，让任务一直执行，即使是每天很小的误差也会导致累积误差慢慢变大，本次实时方案设计用离线修正实时汇总层，操作方法如下，通过与实施数据仓库相同的开发模型结构构建离线数据仓库，在预设时间点对离线数据仓库进行消费后数据结果的批量计算，可以按时间整点来批量计算，也可以按每日0点00分来切分数据进行批量计算，将计算结果和实时数据数仓这个时间点消费后的数据结果进行比对，发现不一致及时进行修正，使用离线批量计算出来的数据替换掉实时数据，例如将实时的kafka offset设置到0点00分的offset，从而完成数据补全。通过对离线数据仓库与实施离线数据的批量运算结果的对比进行数据补全，利用实时数据仓库和离线仓库相辅相成，不仅能够相互纠错，也能让实现数据修正，以保证数据准确性。
在一种优选的实施例中，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
通过编写固定时间边界的测试用例与相同时间边界的实时数据仓库进行数据验证。
在具体的实施例中，在对实时信息流数据进行实时数据处理后，还需要对其进行数据验证。在实时数据仓库中将kafka数据落地到tidb，TiDB可以实现对落盘的消息进行检索、查询、汇总，一方面是为了提供高级数据分析使用，kafka落地到tidb的操作是指将dwd层数据一对一落到tidb表，通过自研的同步组件将数据实时落到对应表；数据验证的方式根据测试人员写代码模拟实时看板的逻辑，读取tidb而不是读取dwm、dws和dmm层数据，计算出来的实时指标进行模拟看版和实时看版的比较，以此来验证实时看版的数据是否准确，从而进行数据验证。
另一方面，实时数据补全只能等1小时或1天后才能修正，如果要紧急查看问题，通过编写固定时间边界的测试用例与相同时间边界的业务库数据或者离线数仓数据进行比对。当出现生产问题，识别到当前实时指标展示不准确，或者接收到数据指标不准确的业务反映信息时，通过代码用例读取tidb表中(例如A、B、C,、D表)创建时间预设时间段内(例如0点-12点)的数据，进行sql聚合计算后得出来的结果作为A。通过sql代码直接读取上游数据库A、B、C、D表创建时间0点-12点的数据进行sql计算的出来的结果作为B，进行比对发现不同，则判定A、B、C、D中一张表有问题，再缩小表范围和时间段来查看到具体的问题。另外，TIDB对于每个kafka的消费都是有监控的，如果通过监控无法看出问题，可以通过上面的方式来找出问题。本实施例通过对经过实时数据处理后的实时数据信息流进行数据验证，将kafka数据落地到tidb中，方便进行数据验证，并且提供给数据高级数据分析人员，有利于分析人员进行数据分析和修正，提高实时数据处理的正确性。
在一种优选的实施例中，所述分层设计的实时数据仓库，包括：
数据贴源层，用于存储数据源数据层的数据接口实时采集的实时消息流数据；
细节数据层，用于对数据贴源层中的实时消息流数据进行数据清洗处理和数据加密处理；
数据中间层，用于对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表；
数据汇总层，用于对数据中间层生成的不同维度的数据中间表进行整合汇总，生成用于分析不同主题域的服务数据汇总表；
数据集市层，用于根据服务数据汇总表搭建数据集市。
在一种优选的实施例中，所述实时数据结果表，包括：数据贴源层生成的实时消息流数据、细节数据层生成的实时数据基础表、数据中间层生成的数据中间表、数据汇总层生成的服务数据汇总表和数据集市层生成的实时看板结果表。
具体的，所述分层设计的实时数据仓库包括数据贴源层、细节数据层、数据中间层、数据汇总层和数据集市层，首先通过数据贴源层存储数据源数据层的数据接口实时采集的实时消息流数据，接着通过细节数据层对数据贴源层中的实时消息流数据进行数据清洗处理和数据加密处理；通过数据中间层对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表；然后通过数据汇总层对数据中间层生成的不同维度的数据中间表进行整合汇总，生成用于分析不同主题域的服务数据汇总表，最后通过数据集市层根据服务数据汇总表搭建数据集市，得到一张张可以根据业务需求加工后的直接使用的表，通过提供数据集市为报表展示提供数据支撑，从而可以后续提供给前端进行数据展示。
在一种优选的实施例中，所述数据清洗及加密，具体为：
通过所述实时数据仓库的细节数据层对贴源层中的实时消息流数据进行数据清洗和加密，包括删除空值数据、删除脏数据和删除超过预设极限范围的数据。
在本实施例中，ODS(Operation Data Store)数据准备区，也称为贴源层，为数据运营层，保持和源数据相同，数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
具体的，在完成数据采集后，通过DWD(Data Warehouse Details)细节数据层对贴源层中的实时消息流数据进行数据清洗和加密，细节数据层也称数据清洗层，是业务层与数据仓库的隔离层，DWD作为数据清洗和加密层，主要对ODS数据层做一些数据清洗和规范化的操作，数据清洗包括为去除空值、脏数据、超过极限范围的数据。通过对数据进行清洗和加密，批量实时数据处理时的效率，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性。
在一种优选的实施例中，所述数据聚合，具体为：
通过所述实时数据仓库的实时维度层对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表。
在实施例中，在完成数据清洗和加密后，通过实时数据仓库的DWM(DataWareHouse Middle)数据中间层对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，数据中间层细化一点就是实时维度层，会在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。其中，轻度的聚合操作是指通过flink完成，flink支持flink sql，通过sql语句完成DWD层聚合，类似select tablea.cloumnx tableb.cloumny from tablea,tableb；最终完成轻度聚合，生成不同维度的一系列的数据中间表，减少重复开发的时间和成本，提高复用性。
在一种优选的实施例中，所述数据汇总分析，具体为：
通过所述实时数据仓库的实时汇总层对经过实时维度层数据聚合后的数据中间表进行整合汇总为用于分析不同主题域的服务数据汇总表。
在本实施例中，完成数据聚合后，通过DWS(Data WareHouse Summary)数据汇总层，对经过实时维度层数据聚合后的数据中间表进行整合，汇总得到用于分析不同主题域的服务数据汇总表，DWS层作为主题模型层，基于DWM上的基础数据，整合汇总成分析某一个主题域的服务数据层，用于提供后续的业务查询、OLAP分析和数据分发等。其中，DWS层和DWM层是基于DWM层进行聚合，DWM层已经形成了各种维度表，DWM层维度表不是对外部直接提供服务，设计是为了复用性，减少重复加工做的。DWS层是为了提供业务查询，设计是为了对外服务，其实际不考虑复用性，重复加工。本实施例通过对数据中间表进行汇总，得到用于分析不同主题域的服务数据层，有利于后续生成数据报表和展示。
另外，在完成数据汇总分析后，还通过DMM(Direct Model Mapping)直接模型映射，也叫数据集市层，实际就是一张张可以直接用的结果表，根据业务需求加工后的可以直接用的表，可以提供数据集市，可以提供报表的数据支撑，从而能够提供给前端进行数据展示。在经过实时数据仓库的各个处理层对实时信息流数据进行处理后，即可完成数据报表的加工过程，最终通过图形或表格形式展示在前端定制页面上。
参照图2，本申请还提出了一种基于数据仓库的实时数据展示装置，包括：
实时数据采集模块100，用于响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
实时数据处理模块200，用于接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
实时数据展示模块300，用于响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
本实施例响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表，通过对数据仓库进行分层设计，高内聚低耦合，为后续的数据展示和开发进行铺垫，而不需要重复开发相同的功能代码，减少开发成本和时间，提高实时消息流数据的处理效率；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上，能够立刻生成用户需要的实时数据报表，提高数据实时性，能够支撑时效性要求高的场景；并且无需每次都重新对数据进行处理再生成中间表后进行汇总，大大提高了数据处理的实时性和效率。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于数据仓库的实时数据展示方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数据仓库的实时数据展示方法。所述基于数据仓库的实时数据展示方法，包括：响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于数据仓库的实时数据展示方法，包括步骤：响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
上述执行的基于数据仓库的实时数据展示方法，本实施例响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据，为后续根据实时数据任务进行数据处理提供精确可靠的数据支撑，提高数据准确性和实时性；接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果，通过对数据仓库进行分层设计，高内聚低耦合，为后续的数据展示和开发进行铺垫，而不需要重复开发相同的功能代码，减少开发成本和时间，提高实时消息流数据的处理效率；响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上，能够立刻生成用户需要的实时数据报表，提高数据实时性，能够支撑时效性要求高的场景；并且无需每次都重新对数据进行处理再生成中间表后进行汇总，大大提高了数据处理的实时性和效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于数据仓库的实时数据展示方法，其特征在于，所述方法包括：
响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
2.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之前，还包括：
在接收所述实时数据任务后，对所述实时消息流数据进行消费幂处理，以判断该实时消息流数据是否已被消费；若是，则去除该实时消息流数据；若否，则发送该实时消息流数据至实时数据仓库。
3.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之中，还包括：
若执行所述实时数据任务时接收到数据不准确的业务反映，判断代码或源数据是否出现bug，若是，则修复代码并立刻停止实时任务；在完成代码修复后，调整消息队列的Offset函数，调整完毕后判断是否支持任务重跑，若是，则直接重启实时任务，若否，则清空已持久化数据；在清空已持久化数据后，判断是否需要消费幂处理，若是，则在清空幂后重启实时任务，若否，则直接重启实时任务，完成实时数据仓库的数据修复。
4.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
采用与所述实时数据仓库相同的模型架构构建离线数据仓库；
在预设时间点对离线数据仓库进行消费后数据结果的批量计算，得到离线计算结果；
将所述离线计算结果与同一时间点消费后的实时数据仓库生成的数据结果进行比对；
在判断比对结果不一致后，对所述实时数据仓库进行实时数据补全。
5.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，在所述接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表步骤之后，还包括：
通过编写固定时间边界的测试用例与相同时间边界的实时数据仓库进行数据验证。
6.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，所述分层设计的实时数据仓库，包括：
数据贴源层，用于存储数据源数据层的数据接口实时采集的实时消息流数据；
细节数据层，用于对数据贴源层中的实时消息流数据进行数据清洗处理和数据加密处理；
数据中间层，用于对经过细节数据层数据清洗和加密后的实时消息流数据进行数据聚合，生成对应的不同维度的数据中间表；
数据汇总层，用于对数据中间层生成的不同维度的数据中间表进行整合汇总，生成用于分析不同主题域的服务数据汇总表；
数据集市层，用于根据服务数据汇总表搭建数据集市。
7.根据权利要求1所述的基于数据仓库的实时数据展示方法，其特征在于，所述实时数据结果表，包括：数据贴源层生成的实时消息流数据、细节数据层生成的实时数据基础表、数据中间层生成的数据中间表、数据汇总层生成的服务数据汇总表和数据集市层生成的实时看板结果表。
8.一种基于数据仓库的实时数据展示装置，其特征在于，包括：
实时数据采集模块，用于响应于若干个数据采集请求，通过源数据层的数据接口实时采集所述数据采集请求对应的源数据后进行解析，得到实时消息流数据；
实时数据处理模块，用于接收实时数据任务，通过分层设计的实时数据仓库对所述实时消息流数据进行实时数据处理，生成每一层实时数据仓库对应的实时数据结果表；其中，所述分层设计为通过不同层的实时数据仓库对所述实时消息流数据进行对应不同层面级别的实时数据处理，且当前层实时数据仓库的数据处理对象为上一层实时数据仓库的数据处理结果；
实时数据展示模块，用于响应于数据展示请求，根据所述数据展示请求中的业务需求信息对所述实时数据结果表进行组合加工，得到对应的数据报表后展示在前端定制页面上。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111094862.1A CN113779092B (zh) | 2021-09-17 | 2021-09-17 | 基于数据仓库的实时数据展示方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111094862.1A CN113779092B (zh) | 2021-09-17 | 2021-09-17 | 基于数据仓库的实时数据展示方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113779092A true CN113779092A (zh) | 2021-12-10 |
| CN113779092B CN113779092B (zh) | 2024-03-01 |
Family
ID=78851858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111094862.1A Active CN113779092B (zh) | 2021-09-17 | 2021-09-17 | 基于数据仓库的实时数据展示方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113779092B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114676201A (zh) * | 2022-02-28 | 2022-06-28 | 上海深至信息科技有限公司 | 一种数据集市框架 |
| CN114926583A (zh) * | 2022-05-09 | 2022-08-19 | 北京工业大学 | 场地仿真管理方法、装置、电子设备及存储介质 |
| CN116662282A (zh) * | 2023-06-06 | 2023-08-29 | 苏州五优好房信息技术有限公司 | 一种基于多维数据的服务数据处理共享系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180067984A1 (en) * | 2016-09-02 | 2018-03-08 | PFFA Acquisition LLC | Database and system architecture for analyzing multiparty interactions |
| CN108427711A (zh) * | 2018-01-31 | 2018-08-21 | 北京三快在线科技有限公司 | 实时数据仓库、实时数据处理方法、电子设备及存储介质 |
| CN111460045A (zh) * | 2020-03-02 | 2020-07-28 | 心医国际数字医疗系统(大连)有限公司 | 数据仓库建设的建模方法、模型、计算机设备和存储介质 |
| CN112506870A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据仓库增量更新方法、装置及计算机设备 |
| CN112732680A (zh) * | 2021-01-22 | 2021-04-30 | 浪潮卓数大数据产业发展有限公司 | 一种数据仓库设计方法 |
| CN113076310A (zh) * | 2021-04-30 | 2021-07-06 | 浙江太美医疗科技股份有限公司 | 实时数据仓库的数据校验方法、系统及计算机可读介质 |
| CN113094241A (zh) * | 2021-05-07 | 2021-07-09 | 北京京东振世信息技术有限公司 | 一种实时程序准确性的确定方法、装置、设备及存储介质 |
-
2021
- 2021-09-17 CN CN202111094862.1A patent/CN113779092B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180067984A1 (en) * | 2016-09-02 | 2018-03-08 | PFFA Acquisition LLC | Database and system architecture for analyzing multiparty interactions |
| CN108427711A (zh) * | 2018-01-31 | 2018-08-21 | 北京三快在线科技有限公司 | 实时数据仓库、实时数据处理方法、电子设备及存储介质 |
| CN111460045A (zh) * | 2020-03-02 | 2020-07-28 | 心医国际数字医疗系统(大连)有限公司 | 数据仓库建设的建模方法、模型、计算机设备和存储介质 |
| CN112506870A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据仓库增量更新方法、装置及计算机设备 |
| CN112732680A (zh) * | 2021-01-22 | 2021-04-30 | 浪潮卓数大数据产业发展有限公司 | 一种数据仓库设计方法 |
| CN113076310A (zh) * | 2021-04-30 | 2021-07-06 | 浙江太美医疗科技股份有限公司 | 实时数据仓库的数据校验方法、系统及计算机可读介质 |
| CN113094241A (zh) * | 2021-05-07 | 2021-07-09 | 北京京东振世信息技术有限公司 | 一种实时程序准确性的确定方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114676201A (zh) * | 2022-02-28 | 2022-06-28 | 上海深至信息科技有限公司 | 一种数据集市框架 |
| CN114926583A (zh) * | 2022-05-09 | 2022-08-19 | 北京工业大学 | 场地仿真管理方法、装置、电子设备及存储介质 |
| CN116662282A (zh) * | 2023-06-06 | 2023-08-29 | 苏州五优好房信息技术有限公司 | 一种基于多维数据的服务数据处理共享系统 |
| CN116662282B (zh) * | 2023-06-06 | 2023-11-03 | 苏州五优好房信息技术有限公司 | 一种基于多维数据的服务数据处理共享系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113779092B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10592386B2 (en) | Fully automated machine learning system which generates and optimizes solutions given a dataset and a desired outcome | |
| CN113779092A (zh) | 基于数据仓库的实时数据展示方法、装置、设备及介质 | |
| JP6577455B2 (ja) | スレッド強度分析を用いた季節的傾向把握および予測によるクラウドサービスにおけるｓｌａ違反の予測的診断 | |
| EP3591586A1 (en) | Data model generation using generative adversarial networks and fully automated machine learning system which generates and optimizes solutions given a dataset and a desired outcome | |
| US20210097343A1 (en) | Method and apparatus for managing artificial intelligence systems | |
| CN103514223A (zh) | 一种数据仓库数据同步方法和系统 | |
| US10198346B1 (en) | Test framework for applications using journal-based databases | |
| CN112286806A (zh) | 自动化测试方法、装置、存储介质及电子设备 | |
| US10909109B1 (en) | Quality control test transactions for shared databases of a collaboration tool | |
| CN112069196B (zh) | 基于数据库的数据处理方法、装置、设备及可读存储介质 | |
| US20200349063A1 (en) | Probabilistic software testing via dynamic graphs | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| Helal et al. | Online correlation for unlabeled process events: A flexible CEP-based approach | |
| CN114238085A (zh) | 接口测试方法、装置、计算机设备、存储介质 | |
| Nasirifard et al. | OrderlessChain: A CRDT-based BFT Coordination-free Blockchain Without Global Order of Transactions | |
| US10749772B1 (en) | Data reconciliation in a distributed data storage network | |
| CN111435356A (zh) | 数据特征提取方法、装置、计算机设备以及存储介质 | |
| Garg et al. | A Nonblocking Coordinated Checkpointing Algorithm for Mobile Computing Systems | |
| CN114356945A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112860722A (zh) | 数据核对方法、装置、电子设备和可读存储介质 | |
| CN112650925A (zh) | 一种用于一卡通的app信息推送系统、方法及介质 | |
| Abuya et al. | An Improved Failure Recovery Algorithm In Two-Phase Commit Protocol For Transaction Atomicity | |
| Eriksson | How to implement Bounded-Delay replication in DeeDS | |
| CN117632254A (zh) | 黑盒系统迁移方法、装置、存储介质及计算机设备 | |
| Cindroi et al. | Department of Computer Science and Engineering UNIVERSITY OF GOTHENBURG CHALMERS UNIVERSITY OF TECHNOLOGY Gothenburg, Sweden 2018 Statistical Model Update Optimization in Industrial Practice |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |