CN117493709A - 一种面向poi的数据中台架构系统 - Google Patents

一种面向poi的数据中台架构系统 Download PDF

Info

Publication number
CN117493709A
CN117493709A CN202311481818.5A CN202311481818A CN117493709A CN 117493709 A CN117493709 A CN 117493709A CN 202311481818 A CN202311481818 A CN 202311481818A CN 117493709 A CN117493709 A CN 117493709A
Authority
CN
China
Prior art keywords
module
data
poi
service
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311481818.5A
Other languages
English (en)
Inventor
朱宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Natural Order Technology Co ltd
Original Assignee
Hefei Natural Order Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Natural Order Technology Co ltd filed Critical Hefei Natural Order Technology Co ltd
Priority to CN202311481818.5A priority Critical patent/CN117493709A/zh
Publication of CN117493709A publication Critical patent/CN117493709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，尤其是一种面向POI的数据中台架构系统，包括基建组建模块，所述基建组建模块连接有应用模块，通过应用模块与Api Gateway模块连接，将数据传递至元数据服务模块中进行整合，并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。以此打造数据驱动的智能业务，做到由”数字”到”智能”的转变，同一个业务线内，也分为算法、数仓、风控等多个租户，高定位不同的业务线，支持多业务、多租户。

Description

一种面向POI的数据中台架构系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种面向POI的数据中台架构系统。
背景技术
地图APP和相关应用、小程序等早就成为人们生活不可或缺的助手，然而随着现实生活场景的不断丰富以及移动互联网技术的发展，地图APP和相关应用产生的数据量越来越多、数据种类越来越丰富，其内含的业务价值越来越大；
但大量的数据以数据孤岛的形式分散在各业务系统，现有的数据架构更重平台而轻规范，已经无法高效支撑业务的发展。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种面向POI的数据中台架构系统。
为了实现上述目的，本发明采用了如下技术方案：
设计一种面向POI的数据中台架构系统，包括基建组建模块，所述基建组建模块连接有应用模块，通过应用模块与Api Gateway模块连接，将数据传递至元数据服务模块中进行整合，并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。
优选的，所述基建组件模块包括Hive模块、Spark模块、Flink模块、clickhouse模块以及Kibana模块。
优选的，所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块，提供传输、应用以及查询的服务。
优选的，所述Api Gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块。
优选的，所述元数据服务模块包括自定义配置组件模块、血缘关系组件模块、数字字典组件模块、数据特征组件模块以及前端集控终端模块。
优选的，所述Api Gateway模块与所述元数据服务模块之间还设置有审计和安全组件模块。
优选的，所述Api Gateway模块与所述元数据服务模块之间还设置有监控预警组件，通过对数据进行实时的监控，当遇到数据异常时及时对数据进行报警。
优选的，所述统一储存模块包括数据的加密/解密、脱敏、集合/分组、查以及实时/离线。
优选的，所述统一储存模块，用于持久化存储数据，通过抽象层API屏蔽各存储单元的接口，做到对业务无感知，目前支持的存储组件包括mysql、posgrlsql、redis、memcache、hive、kafka、oracle、es以及mongodb。
本发明提出的一种面向POI的数据中台架构系统，有益效果在于：该面向POI的数据中台架构系统，以此打造数据驱动的智能业务，做到由”数字”到”智能”的转变，同一个业务线内，也分为算法、数仓、风控等多个租户，高定位不同的业务线，支持多业务、多租户。
附图说明
图1为本发明提出的一种面向POI的数据中台架构系统的系统框图。
图2为本发明提出的一种面向POI的数据中台架构系统的基建组件模块的系统框图。
图3为本发明提出的一种面向POI的数据中台架构系统的元数据服务模块的系统框图。
图4为本发明提出的一种面向POI的数据中台架构系统的血缘关系组件的系统框图。
图5为本发明提出的一种面向POI的数据中台架构系统的数据备份的系统框图。
图6为本发明提出的一种面向POI的数据中台架构系统的审计和安全组件的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，一种面向POI的数据中台架构系统，包括基建组建模块，所述基建组建模块连接有应用模块，应用层主要是通过子服务系统对外提供服务。比如数据查询服务提供一站式企业数据资产目录查询，授权用户可以通过该服务完成数据检索，从时间、主题、业务场景等多个维度全面了解数据现状。
通过应用模块与Api Gateway模块连接，将数据传递至元数据服务模块中进行整合，并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。
数据中台核心目标包括5个方面：
1.多业务线、多租户支持；
实景、底图、户外POI、室内POI、高精定位等都是不同的业务线，同一个业务线内，也分为算法、数仓、风控等多个租户，所以数据中台必须支持多业务线、多租户。
2.多数据源的支持；数据中台必须要能够支持不同类型的数据源比如MySQL、Hive，还要考虑将半结构化的KV，比如redis、hbase，纳入数据管理；
3.数据生命周期管理；包括数据上下线、版本控制等；
4.数据安全保障；包括数据加密、解密、脱敏、权限控制、操作审计等；
5.监控与预警机制；对核心数据建立实时监控及预警机制；
所述基建组件模块包括Hive模块、Spark模块、Flink模块、clickhouse模块以及Kibana模块。
所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块，提供传输、应用以及查询的服务。
所述Api Gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块，主要实现鉴权、流量控制、请求路由以及相应的监控报警。
所述元数据服务模块包括自定义配置组件模块、血缘关系组件模块、数字字典组件模块、数据特征组件模块以及前端集控终端模块，元数据可以表述为数据的数据，构建数据中台要确保全局数据的业务表述、指标口径是一致的，前提就要搞清楚这些指标的业务口径、数据来源和计算逻辑，而这些数据就是元数据。元数据包括数据字典、数据特征以及数据血缘关系三类。
所述Api Gateway模块与所述元数据服务模块之间还设置有审计和安全组件模块。
所述Api Gateway模块与所述元数据服务模块之间还设置有监控预警组件，通过对数据进行实时的监控，当遇到数据异常时及时对数据进行报警，
所述统一储存模块包括数据的加密/解密、脱敏、集合/分组、查以及实时/离线。
所述统一储存模块，用于持久化存储数据，通过抽象层API屏蔽各存储单元的接口，做到对业务无感知，目前支持的存储组件包括mysql、posgrlsql、redis、memcache、hive、kafka、oracle、es以及mongodb。统一存储接口层，封装各种异构数据源的持久化存储组件的读写接口，比如针对mysql的统一访问API。
底层存储，真正的数据存储组件，包括结构化、非结构化数据持久化存储组件，比如es、mongodb等。
基建组件，包括大数据生态圈常用基建，实时的诸如flink、非实时的诸如hive，
安全和审计组件，包数据备份和恢复、操作审计、精细化权限管理三部分。同时对客户端请求和用户操作进行留存记录，做到增删改查行为留痕可查。
监控预警组件，对核心数据构建监控预警指标，实时跟踪异常状态并周相关人员。
应用层是基于现有数据和业务场景开发的直接面向用户的应用服务或者产品，Api Gateway层是对应用层请求进行鉴权、负载、路由等。这两部分是比较常规的内容，下面重点讲述元数据服务层、存储层以及安全认证组件和监控预警组件。
从图1数据中台架构全貌中可以看到，我们把元数据划分为数据字典、数据特征和数据血缘关系三类。
数据字典，描述的是数据的结构信息，以某POI数据表为例，数据字典包括，表名、表中字段、字段类型和含义、备注信息、依赖于此表的下游产出任务。此中数据包括业务数据和指标数据。业务数据即为业务行为产生的原子数据，比如一笔用户充值。
涉及关系数据库，比如Mysql、PostgrelSql、Sqlite等，其中的表名、字段和备注信息，中台通过统一的接口直接拉取原始库表的表结构，原始表信息发生变化，中台接口能实时获取变化并进行更新。
涉及非关系数据库，比如redis、hbase等，这些组件本身并没有表结构元数据，其中的表名、字段和备注信息，需要数据产品和业务人员进行维护，通过数据字典接口将表、字段和备注信息写入中台数据字典中。
针对数据字典的写入、更新、删除需要数据产品以及业务方共同经过需求评审和技术评审之后提交更改。每次操作都会有对应的版本记录和审计日志，保证数据变动完全可追述。
数据特征，主要指数据的属性信息。包括存储空间、访问热度、所属主题域、分层信息、表关联的指标等。
数据血缘，是指表与表之间的上下游依赖关系，比如A表经过加工产生了B表，那么A表为B表的父表，B表为A表的子表。数据血缘关系的采集，一般可以通过三种方式：通过静态解析SQL，获得输入表和输出表；通过实时抓取正在执行的SQL，解析执行计划，获取输入表和输出表；通过任务日志解析的方式，获取执行后的SQL输入表和输出表。
第一种方式，面临准确性的问题，因为任务没有执行，这个SQL对不对都是一个问题。第三种方式，血缘虽然是执行后产生的，可以确保是准确的，但是时效性比较差，通常要分析大量的任务日志数据。所以第二种方式，我们认为是比较理想的实现方式，基于此构建了血缘关系生成服务。针对各类数据库我们引入了proxy代理层；
参考图4，所有的执行sql都会通过代理层分发到具体的节点去执行，这样代理就能实时获取sql语句，并通过解析器拆分出其中的库表和字段生成规则，实时地捕捉任务执行计划，获取输入表和输出表，推送给Kafka，由一个集成模块负责将血缘写入Neo4j图数据库中。然后通过API的方式，基于图查询引擎，获取血缘关系。血缘关系能快速做到数据影响分析和问题故障溯源，审计和安全组件，包括数据备份和恢复、操作审计、精细化权限管理三部分。
数据备份和恢复，数据中台的数据都存储在HDFS中，即使是实时的数据也会归档一份到HDFS，所以要解决的核心问题是HDFS的数据备份。目前我们数据备份策略是基于HDFS快照+DistCp+EC实现的。
业务集群分为线上集群和冷备集群两个集群，数据加工任务访问的是线上集群，存储采用的是HDFS默认的3副本。而冷备集群，主要考虑到存储成本的因素，采用的是EC存储。它是一种基于纠删码实现的数据容错机制，通过将数据进行分块，然后基于一定的算法计算一些冗余的校验块，当其中一部分数据块丢失的时候，可以通过这些冗余的校验块和剩余的数据块，恢复出丢失的数据块。这非常适合低频的冷数据备份。
对于增量数据的备份，使用的是Hadoop自带的distcp。它有一个differ参数，可以对比两个快照，仅拷贝增量的数据。同时，distcp是基于MapReduce框架实现的数据同步工具，可以充分利用Hadoop分布式计算的能力，保证数据的拷贝性能。
参考图5，首先，对于第一次开始数据备份的文件，我们会先创建一个快照，然后利用distcp拷贝全量的备份数据到冷备集群。然后后续的每一天，我们都会定时生成一个快照，并和前一天的快照基于distcp--differ参数进行对比，将有更新的部分再同步到冷备集群。同步完成以后，删除前一天的快照，这样就完成了每日数据的增量同步。
参考图6，精细化权限管理，数据中台支撑技术体系是基于OpenLDAP+Kerberos+Ranger实现的一体化用户、认证、权限管理体系，OpenLDAP是一个轻量化的目录服务，数据以树型结构进行存储，能够提供高性能的查询服务，非常适合用户管理的场景。
在OpenLDAP中，我们可以创建用户(User)和组(Group)，对于每个用户，会有唯一的uid，对于每个组，通过Memberuid，我们可以添加一个用户到一个组中。在网易大数据平台上注册一个用户，平台会自动生成一个OpenLDAP的用户，当该用户加入某个项目时，会将该项目对应的Group下增加一个Memberuid。Hadoop可以使用LdapGroupsMappings同步LDAP创建的用户和用户组，这样当我们在LDAP中添加用户和组时，会自动同步到Hadoop集群内的所有机器上。通过这个方式，就可以解决用户管理的问题了，而接下来要解决的就是认证的问题。
在非安全网络中，除了客户端要证明自己是谁，对于服务端而言，同样也需要证明我是我。为了实现双向的认证，我们在生产环境启用了安全等级最高的，基于共享密钥实现的Kerberos认证。权限认证通过之后，使用Ranger进行更精细化的权限控制，会具体到每个表的每个字段，确保数据的使用安全。
操作审计机制，由于用户每次访问数据，都要对权限进行验证，所以在校验权限的同时，可以获取用户访问表的记录，Ranger支持审计的功能，用户的访问记录会由部署在各个服务(HDFS，HBase等等)上的插件推送到Audit Server上，然后存储在ES中，Ranger提供了API接口查询表的访问记录。
监控预警机制。这部分比较简单，通过对核心数据建立监控预警规则，比如数据指标阈值波动超过20％，就会出发报警，按照配置的报警接受信息，通过短信、邮件、微信甚至在线呼叫等方式直接通知业务相关人员。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种面向POI的数据中台架构系统，包括基建组建模块，其特征在于，所述基建组建模块连接有应用模块，通过应用模块与Api Gateway模块连接，将数据传递至元数据服务模块中进行整合，并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。
2.根据权利要求1所述的面向POI的数据中台架构系统，其特征在于，所述基建组件模块包括Hive模块、Spark模块、Flink模块、clickhouse模块以及Kibana模块。
3.根据权利要求2所述的面向POI的数据中台架构系统，其特征在于，所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块，提供传输、应用以及查询的服务。
4.根据权利要求3所述的面向POI的数据中台架构系统，其特征在于，所述Api Gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块。
5.根据权利要求4所述的面向POI的数据中台架构系统，其特征在于，所述元数据服务模块包括自定义配置组件模块、血缘关系组件模块、数字字典组件模块、数据特征组件模块以及前端集控终端模块。
6.根据权利要求5所述的面向POI的数据中台架构系统，其特征在于，所述Api Gateway模块与所述元数据服务模块之间还设置有审计和安全组件模块。
7.根据权利要求6所述的面向POI的数据中台架构系统，其特征在于，所述Api Gateway模块与所述元数据服务模块之间还设置有监控预警组件，通过对数据进行实时的监控，当遇到数据异常时及时对数据进行报警。
8.根据权利要求7所述的面向POI的数据中台架构系统，其特征在于，所述统一储存模块包括数据的加密/解密、脱敏、集合/分组、查以及实时/离线。
9.根据权利要求8所述的面向POI的数据中台架构系统，其特征在于，所述统一储存模块，用于持久化存储数据，通过抽象层API屏蔽各存储单元的接口，做到对业务无感知，目前支持的存储组件包括mysql、posgrlsql、redis、memcache、hive、kafka、oracle、es以及mongodb。
CN202311481818.5A 2023-11-09 2023-11-09 一种面向poi的数据中台架构系统 Pending CN117493709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311481818.5A CN117493709A (zh) 2023-11-09 2023-11-09 一种面向poi的数据中台架构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311481818.5A CN117493709A (zh) 2023-11-09 2023-11-09 一种面向poi的数据中台架构系统

Publications (1)

Publication Number Publication Date
CN117493709A true CN117493709A (zh) 2024-02-02

Family

ID=89684429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311481818.5A Pending CN117493709A (zh) 2023-11-09 2023-11-09 一种面向poi的数据中台架构系统

Country Status (1)

Country Link
CN (1) CN117493709A (zh)

Similar Documents

Publication Publication Date Title
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
US11755628B2 (en) Data relationships storage platform
Gupta et al. Cloud computing and big data analytics: what is new from databases perspective?
CN111930768B (zh) 增量数据获取方法、发送方法、装置及其计算机存储介质
CN114925045B (zh) 大数据集成和管理的PaaS平台
CN104036365A (zh) 一种企业级数据服务平台建设方法
Ding et al. SeaCloudDM: a database cluster framework for managing and querying massive heterogeneous sensor sampling data
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN117112691A (zh) 一种面向大数据的多存储引擎数据库的存储方法
CN111538720A (zh) 电力行业基础数据清理的方法及系统
CN113378219B (zh) 一种非结构化数据的处理方法和系统
Malhotra et al. Bigdata analysis and comparison of bigdata analytic approches
CN112306992B (zh) 一种基于互联网的大数据平台系统
Chen et al. Event-based spatio-temporal database design
CN114528270A (zh) 云环境下实时流数据与业务维度信息自动关联系统及方法
CN118193482A (zh) 一种空间数据存储管理装置
CN116594982A (zh) 一种基于规则引擎和Clickhouse的流量数仓建设方法
CN116795816A (zh) 一种基于流式处理的数仓建设方法和系统
CN117493709A (zh) 一种面向poi的数据中台架构系统
Pan et al. An open sharing pattern design of massive power big data
Aqel et al. A Comparative Study of NoSQL Databases
Peng Analysis of Computer Information Processing Technology Based on Unstructured Data
Cuiyuan A method of public opinion analysis in big data environments
Qu Information resource sharing model of coastal city library based on cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination