CN115136128A - 数据处理方法、平台、计算机可读存储介质及电子设备 - Google Patents

数据处理方法、平台、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN115136128A
CN115136128A CN202080003611.5A CN202080003611A CN115136128A CN 115136128 A CN115136128 A CN 115136128A CN 202080003611 A CN202080003611 A CN 202080003611A CN 115136128 A CN115136128 A CN 115136128A
Authority
CN
China
Prior art keywords
data
original data
original
terminal
fact table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080003611.5A
Other languages
English (en)
Inventor
许蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN115136128A publication Critical patent/CN115136128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种数据处理方法、平台、计算机可读存储介质、电子设备，涉及大数据处理技术领域，该方法包括：基于预设的标准化数据接口，将原始数据抽取至消息引擎中；其中，所述原始数据包括终端设备产生的终端数据和/或应用系统产生的系统数据(S110)；从所述消息引擎中读取所述原始数据，并将所述原始数据存储至分布式文件系统中，形成事实表(S120)；将所述事实表存储至列式数据库中，并从所述列式数据库中获取生成目标图表所需要的目标列数据(S130)；根据所述目标列数据生成所述目标图表(S140)。本公开提高了数据处理结果的准确率。

Description

PCT国内申请，说明书已公开。

Claims (14)

  1. PCT国内申请，权利要求书已公开。
CN202080003611.5A 2020-12-25 2020-12-25 数据处理方法、平台、计算机可读存储介质及电子设备 Pending CN115136128A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/139301 WO2022133981A1 (zh) 2020-12-25 2020-12-25 数据处理方法、平台、计算机可读存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115136128A true CN115136128A (zh) 2022-09-30

Family

ID=82158619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003611.5A Pending CN115136128A (zh) 2020-12-25 2020-12-25 数据处理方法、平台、计算机可读存储介质及电子设备

Country Status (3)

Country Link
US (1) US11983193B2 (zh)
CN (1) CN115136128A (zh)
WO (1) WO2022133981A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470217A (zh) * 2022-11-14 2022-12-13 云筑信息科技(成都)有限公司 一种实时解决数仓模型变化响应问题的方法
CN118132120A (zh) * 2024-05-07 2024-06-04 成都赛力斯科技有限公司 一种业务系统的更新方法及装置、电子设备、存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080827B (zh) * 2022-07-01 2024-05-24 中银金融科技有限公司 一种敏感数据处理方法及装置
CN115168474B (zh) * 2022-07-26 2023-04-14 成都智元汇信息技术股份有限公司 一种基于大数据模型的物联中台系统搭建方法
CN115756586B (zh) * 2022-11-25 2024-01-19 中电金信软件有限公司 Flink作业的执行方法、装置、计算机设备和存储介质
CN115827922B (zh) * 2022-12-08 2024-02-27 华润网络(深圳)有限公司 基于风电数据的可视化分析处理方法、系统和计算机设备
CN116049190B (zh) * 2023-01-18 2024-07-23 中电金信软件有限公司 基于Kafka的数据处理方法、装置、计算机设备和存储介质
CN116450668A (zh) * 2023-04-20 2023-07-18 广州飞狮数字科技有限公司 一种实时计算任务开发方法及系统
CN116719971B (zh) * 2023-05-08 2024-04-09 中银金融科技有限公司 拉链表数据加载方法、装置和电子设备
CN116383228B (zh) * 2023-06-05 2023-08-25 建信金融科技有限责任公司 数据处理方法、装置、计算机设备和存储介质
CN116431654B (zh) * 2023-06-08 2023-09-08 中新宽维传媒科技有限公司 基于湖仓一体化的数据存储方法、装置、介质和计算设备
CN117171145B (zh) * 2023-06-28 2024-03-26 华远陆港智慧物流科技有限公司 一种企业管理系统数据的分析处理方法、设备及存储介质
CN116630034B (zh) * 2023-07-21 2023-11-07 杭银消费金融股份有限公司 一种风控数据处理系统及方法
CN116628274B (zh) * 2023-07-25 2023-09-22 浙江锦智人工智能科技有限公司 一种针对图数据库的数据写入方法、设备及介质
CN117251448B (zh) * 2023-09-18 2024-04-30 北京数方科技有限公司 一种宽表拉链表数据处理方法及装置
CN117251633B (zh) * 2023-10-08 2024-08-27 国任财产保险股份有限公司 一种客户数据管理系统
CN117198474B (zh) * 2023-11-06 2024-03-01 天河超级计算淮海分中心 医学影像数据实时获取方法、系统、电子设备及存储介质
CN117544677B (zh) * 2023-11-08 2024-05-17 苏州盖雅信息技术有限公司 一种消息队列topic复用的实现方法、系统、装置及存储介质
CN117668053B (zh) * 2023-12-12 2024-06-11 广州阳光耐特电子有限公司 一种数据采集分析系统及方法
CN117573687B (zh) * 2024-01-12 2024-04-12 优铸科技(北京)有限公司 一种基于ClickHouse数据库的业务表单反写/读取方法及系统
CN118069680A (zh) * 2024-02-02 2024-05-24 天翼爱音乐文化科技有限公司 数据处理方法和系统、电子设备及存储介质
CN118363967A (zh) * 2024-06-18 2024-07-19 中国铁塔股份有限公司 数据采集方法及装置、可读存储介质、计算机程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN104820670B (zh) 2015-03-13 2018-11-06 华中电网有限公司 一种电力信息大数据的采集和存储方法
CN104933112B (zh) * 2015-06-04 2018-12-21 浙江力石科技股份有限公司 分布式互联网交易信息存储处理方法
US9965531B2 (en) * 2015-07-21 2018-05-08 Accenture Global Services Limited Data storage extract, transform and load operations for entity and time-based record generation
US10877988B2 (en) * 2015-12-01 2020-12-29 Microsoft Technology Licensing, Llc Real-time change data from disparate sources
US11222004B2 (en) * 2016-11-03 2022-01-11 International Business Machines Corporation Management of a database with relocation of data units thereof
EP3616093A1 (en) * 2017-04-27 2020-03-04 Citrix Systems Inc. Methods for enhancing a legacy single tenant application system to a multi-tenant application system with minimal changes
US11334594B2 (en) * 2019-10-19 2022-05-17 Microsoft Technology Licensing, Llc Data model transformation
CN111008197A (zh) 2019-11-20 2020-04-14 王锦志 一种电力营销服务系统数据中台设计方法
CN111143465A (zh) 2019-12-11 2020-05-12 深圳市中电数通智慧安全科技股份有限公司 一种数据中台的实现方法、装置以及电子设备
CN111506660B (zh) 2020-04-21 2023-03-31 瑞纳智能设备股份有限公司 一种热网实时数据仓系统
US11580123B2 (en) * 2020-11-13 2023-02-14 Google Llc Columnar techniques for big metadata management
US20220229841A1 (en) * 2021-01-20 2022-07-21 Servicenow, Inc. Database streaming for automated processes

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470217A (zh) * 2022-11-14 2022-12-13 云筑信息科技(成都)有限公司 一种实时解决数仓模型变化响应问题的方法
CN115470217B (zh) * 2022-11-14 2023-04-07 云筑信息科技(成都)有限公司 一种实时解决数仓模型变化响应问题的方法
CN118132120A (zh) * 2024-05-07 2024-06-04 成都赛力斯科技有限公司 一种业务系统的更新方法及装置、电子设备、存储介质
CN118132120B (zh) * 2024-05-07 2024-07-02 成都赛力斯科技有限公司 一种业务系统的更新方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2022133981A1 (zh) 2022-06-30
US11983193B2 (en) 2024-05-14
US20220398254A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
CN115136128A (zh) 数据处理方法、平台、计算机可读存储介质及电子设备
US20240104147A1 (en) Real-time monitoring and reporting systems and methods for information access platform
CN105516233B (zh) 用于在一个或多个云系统上便携部署应用的方法和系统
US10122783B2 (en) Dynamic data-ingestion pipeline
CN112685385A (zh) 一种用于智慧城市建设的大数据平台
CN101346972B (zh) 用于收集数据以便特征化http会话工作负荷的方法和装置
CN113067709B (zh) 基于云服务的计费方法、装置、设备及可读存储介质
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN111352903A (zh) 日志管理平台、日志管理方法、介质以及电子设备
CN109190025B (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN110874272A (zh) 资源配置方法及装置、计算机可读存储介质、电子设备
CN108170832B (zh) 一种面向工业大数据的异构数据库的监控系统及监控方法
CN103164525A (zh) Web应用发布方法和装置
CN103997662A (zh) 节目推送的方法及系统
CN113282611A (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
US20220114483A1 (en) Unified machine learning feature data pipeline
CN115640300A (zh) 一种大数据管理方法、系统、电子设备和存储介质
CN102855391A (zh) 一种ems多专业数据全息存储及全景事故反演方法
US20100010979A1 (en) Reduced Volume Precision Data Quality Information Cleansing Feedback Process
CN111930927B (zh) 评价信息展示方法、装置、电子设备及可读存储介质
CN110740153B (zh) 一种监测数据获取方法、系统及装置
CN115168474B (zh) 一种基于大数据模型的物联中台系统搭建方法
KR101878291B1 (ko) 에너지 빅데이터 관리 시스템 및 그 방법
CN113255026B (zh) 一种基于语义信息交换的cad协同设计方法
CN113868322A (zh) 一种语义结构解析方法、装置、设备及虚拟化系统、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination