CN112612802A - 一种实时数据中台的处理方法、装置及平台 - Google Patents
一种实时数据中台的处理方法、装置及平台 Download PDFInfo
- Publication number
- CN112612802A CN112612802A CN202011512284.4A CN202011512284A CN112612802A CN 112612802 A CN112612802 A CN 112612802A CN 202011512284 A CN202011512284 A CN 202011512284A CN 112612802 A CN112612802 A CN 112612802A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- strategy
- module
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004931 aggregating effect Effects 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims description 58
- 238000007726 management method Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 8
- 238000013501 data transformation Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2372—Updates performed during offline database operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Abstract
本发明涉及一种实时数据中台的处理方法、装置及平台，该方法包括：根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据；基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。本发明支持多种目标数据库及数据源的增量数据同步，便于用户理解数据含义。
Description
技术领域
本发明涉及数据处理的技术领域，具体涉及一种实时数据中台的处理方法、装置及平台。
背景技术
随着互联网的发展，企业业务系统增多，数据来源各种各样，经营所需的数据需求高频且多样，但是数据系统复杂、数据不统一，数据分析速度、数据准确一致性难保障，战略决策与数据化运营受阻，所以需要一个数据中台提供稳定一致数据访问服务。
目前各个用户在数据开发领域的痛点包括如下内容：
数据源繁杂，各类信息系统产生的数据，无法高效抽取使用。数据处理管理软件繁多，不同供应商的软件套装连通困难，缺乏一致性用户体验。数据孤岛，难以发挥数据价值。数据管理困难，受限于开发语言、技术框架、数据存储等诸多技术问题，无法进行统一管理。重复开发，缺少规范和共享及规划机制，重复开发，浪费严重。
基于以上诸多业务痛点，针对客户需要构建“全”、“统”及“通”的大数据体系，即能够支持对企业全域数据按照统一规范进行管理，统一入口完成数据交付服务，各个组件环节都能够连接打通方便客户更好的专注于数据应用开发层面工作的实时数据中台的处理方案是本领域亟待解决的技术问题。
发明内容
本发明的目的在于针对现有技术的不足而提供一种实时数据中台的处理方法、装置及平台。本发明的目的可以通过如下所述技术方案来实现。
本发明提供一种实时数据中台的处理方法，包括：
预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。
可选地，其中，该方法还包括：
预设客户类型与访问客户端的权限管理策略对应关系；
检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。
可选地，其中，该方法还包括：
接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；
记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；
再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。
可选地，其中，该方法还包括：
预设各个存储数据类型的异构数据源校验策略；
基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；
在校验所述存储数据通过时，确认存储所述存储数据。
可选地，其中，该方法还包括：
预设各个数据类型对应数据库中对应元数据信息的离线更新策略；
根据所述离线更新策略离线更新所述存储数据的元数据信息，并同步至统一的内部元数据查询接口。
另一方面，本发明还提供一种实时数据中台的处理装置，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，
所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。
可选地，其中，该装置还包括：用户权限管理模块，与所述数据存储模块相连接，用于：
预设客户类型与访问客户端的权限管理策略对应关系；
检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。
可选地，其中，该装置还包括：用户行为分析模块，与所述数据存储模块相连接，用于：
接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；
记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；
再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。
可选地，其中，该装置还包括：存储数据校验模块，与所述数据存储模块相连接，用于：
预设各个存储数据类型的异构数据源校验策略；
基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；
在校验所述存储数据通过时，确认存储所述存储数据。
另一方面，本发明还提供一种实时数据中台的处理平台，包括：实时数据中台的处理装置、数据源库及存储数据库；
所述实时数据中台的处理装置，与所述数据源库及存储数据库相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，
所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储；
所述数据源库，为大数据平台，存储有所述存储数据的数据源；
所述存储数据库，用于存储所述存储数据。
与现有技术比，本发明的有益效果：
本发明的实时数据中台的处理方法、装置及平台，可以进行秒级别的数据同步、转化、聚合操作，可以支持kudud和TiDB等多种目标数据库，还支持MongoDB、SQLServer等数据源的增量数据同步。可以实现微服务管理，实时数据中台中各个组件均可采用微服务的方式开发部署，使服务方便易用，状态可控。围绕业务领域来创建新的应用服务，可以独立进行开发、管理和迭代。使用一些功能比较明确、业务比较精炼的服务解决了更大、更实际的问题，大大增强了数据中台的适用场景和应用扩张能力。离线更新数据库中的元数据信息，方便用户检索了解数据含义，统一查询企业内部元数据查询入口，便于用户理解数据含义。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例中的实时数据中台的处理方法的流程示意图；
图2为本发明实施例中第二种实时数据中台的处理方法的流程示意图；
图3为本发明实施例中第三种实时数据中台的处理方法的流程示意图；
图4为本发明实施例中第四种实时数据中台的处理方法的流程示意图；
图5为本发明实施例中第五种实时数据中台的处理方法的流程示意图；
图6为本发明实施例中的实时数据中台的处理装置的结构示意图；
图7为本发明实施例中第二种实时数据中台的处理装置的结构示意图；
图8为本发明实施例中第三种实时数据中台的处理装置的结构示意图；
图9为本发明实施例中第四种实时数据中台的处理装置的结构示意图；
图10为本发明实施例中实时数据中台的处理平台的结构示意图。
具体实施方式
下面将结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
如图1所示，为本实施例中一种实时数据中台的处理方法的流程示意图。具体地，该方法包括如下步骤：
步骤101、预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。
步骤102、根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。
步骤103、接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。
步骤104、基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。
在一些可选的实施例中，如图2所示，为本实施中第二种实时数据中台的处理方法的流程示意图，与图1中不同的是，还包括：
步骤201、预设客户类型与访问客户端的权限管理策略对应关系。
步骤202、检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的访问数据。
在一些可选的实施例中，如图3所示，为本实施中第三种实时数据中台的处理方法的流程示意图，与图1中不同的是，该方法还包括：
步骤301、接收客户端的用户行为请求，根据用户行为请求获取对应的存储标识，进而查询得到对应的存储数据。
步骤302、记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端的用户行为喜好并存储。
步骤303、再次接受客户端的用户行为请求时，根据用户行为喜好与推荐数据的对应关系向客户端推送对应的推送数据。
在一些可选的实施例中，如图4所示，为本实施中第四种实时数据中台的处理方法的流程示意图，与图1中不同的是，该方法还包括：
步骤401、预设各个存储数据类型的异构数据源校验策略。
步骤402、基于存储标识得到存储数据的类型，根据异构数据源校验策略校验存储数据的数据记录和内容一致性。
步骤403、在校验存储数据通过时，确认存储该存储数据。
在一些可选的实施例中，如图5所示，为本实施中第五种实时数据中台的处理方法的流程示意图，与图1中不同的是，还包括：
步骤501、预设各个数据类型对应数据库中对应元数据信息的离线更新策略。
步骤502、根据离线更新策略离线更新存储数据的元数据信息，并同步至统一的内部元数据查询接口。
在一些可选的实施例中，如图6所示，为本实施中实时数据中台的处理装置的示意图，该装置用于实施上述的实时数据中台的处理方法。具体地，该装置包括：数据存储设置模块601、数据存储部署模块602、数据转换模块603及数据存储模块604。
数据存储设置模块601，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。
数据存储部署模块602，与数据存储设置模块601相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。
数据转换模块603，与数据存储部署模块602相连接，接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。
数据存储模块604，与数据转换模块603相连接，基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。
在一些可选的实施例中，如图7所示，为本实施中第二种实时数据中台的处理装置的示意图，与图6中不同的是，还包括：用户权限管理模块701，与数据存储模块604相连接，用于：
预设客户类型与访问客户端的权限管理策略对应关系；检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的访问数据。
在一些可选的实施例中，如图8所示，为本实施中第三种实时数据中台的处理装置的示意图，与图6中不同的是，还包括：用户行为分析模块801，与数据存储模块604相连接，用于：
接收客户端的用户行为请求，根据用户行为请求获取对应的存储标识，进而查询得到对应的存储数据。
记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端的用户行为喜好并存储。
再次接受客户端的用户行为请求时，根据用户行为喜好与推荐数据的对应关系向客户端推送对应的推送数据。
在一些可选的实施例中，如图9所示，为本实施中第四种实时数据中台的处理装置的示意图，还包括：存储数据校验模块901，与数据存储模块604相连接，用于：
预设各个存储数据类型的异构数据源校验策略；基于存储标识得到存储数据的类型，根据异构数据源校验策略校验存储数据的数据记录和内容一致性；在校验存储数据通过时，确认存储该存储数据。
在一些可选的实施例中，如图10所示，为一种实时数据中台的处理平台的结构示意图，包括：实时数据中台的处理装置1001、数据源库1002及存储数据库1003。
实时数据中台的处理装置1001，与数据源库1002及存储数据库1003相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。
数据存储部署模块，与数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。
数据转换模块，与数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。
数据存储模块，与数据转换模块相连接，基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。
数据源库1002，为大数据平台，存储有存储数据的数据源。
存储数据库1003，用于存储该存储数据。
本实施例的实时数据处理方案，一站式数据产品体系，覆盖数据全链路开发流程，包括数据采集、数据分析、数据挖掘、任务运维、数据质量、元数据管理等关键功能。充分满足企业建设数据中台过程中的多样复杂需求，兼容性强，解放开发人员生产力，极大缩短了数据价值的萃取过程，提升企业提炼数据价值的能力。支持多种数据源，开箱即用，基于WEB的图形化操作界面，快速上手，极大地降低了企业大数据开发学习门槛。弹性轻量，灵活匹配各个阶段时期建设，单台服务器即可部署，不限硬件厂商、型号和年限，各功能模块可按需搭配，逐步进行数据中台建设，降低了企业一次性设备投入。
以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。
Claims (10)
1.一种实时数据中台的处理方法，其特征在于，包括：
预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。
2.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设客户类型与访问客户端的权限管理策略对应关系；
检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。
3.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；
记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；
再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。
4.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设各个存储数据类型的异构数据源校验策略；
基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；
在校验所述存储数据通过时，确认存储所述存储数据。
5.根据权利要求1所述的实时数据中台的处理方法，其特征在于，还包括：
预设各个数据类型对应数据库中对应元数据信息的离线更新策略；
根据所述离线更新策略离线更新所述存储数据的元数据信息，并同步至统一的内部元数据查询接口。
6.一种实时数据中台的处理装置，其特征在于，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，
所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。
7.根据权利要求6所述的实时数据中台的处理装置，其特征在于，还包括：用户权限管理模块，与所述数据存储模块相连接，用于：
预设客户类型与访问客户端的权限管理策略对应关系；
检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。
8.根据权利要求6所述的实时数据中台的处理装置，其特征在于，还包括：用户行为分析模块，与所述数据存储模块相连接，用于：
接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；
记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；
再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。
9.根据权利要求6所述的实时数据中台的处理装置，其特征在于，还包括：存储数据校验模块，与所述数据存储模块相连接，用于：
预设各个存储数据类型的异构数据源校验策略；
基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；
在校验所述存储数据通过时，确认存储所述存储数据。
10.一种实时数据中台的处理平台，其特征在于，包括：实时数据中台的处理装置、数据源库及存储数据库；
所述实时数据中台的处理装置，与所述数据源库及存储数据库相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，
所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；
所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；
所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；
所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储；
所述数据源库，为大数据平台，存储有所述存储数据的数据源；
所述存储数据库，用于存储所述存储数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011512284.4A CN112612802A (zh) | 2020-12-19 | 2020-12-19 | 一种实时数据中台的处理方法、装置及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011512284.4A CN112612802A (zh) | 2020-12-19 | 2020-12-19 | 一种实时数据中台的处理方法、装置及平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612802A true CN112612802A (zh) | 2021-04-06 |
Family
ID=75243856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011512284.4A Pending CN112612802A (zh) | 2020-12-19 | 2020-12-19 | 一种实时数据中台的处理方法、装置及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612802A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742758A (zh) * | 2021-11-04 | 2021-12-03 | 浙江华云信息科技有限公司 | 基于中台的数据集权限管控方法、系统及存储介质 |
| CN114546998A (zh) * | 2022-01-13 | 2022-05-27 | 北京元年科技股份有限公司 | 数据中台的数据处理方法、装置、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130232158A1 (en) * | 2010-04-16 | 2013-09-05 | Dag Heggelund | Data subscription |
| CN103617231A (zh) * | 2013-11-26 | 2014-03-05 | 国家电网公司 | 大数据管理系统 |
| CN107016031A (zh) * | 2016-12-20 | 2017-08-04 | 常州市善松信息科技有限公司 | 一种数据中心中间件系统 |
| CN107679064A (zh) * | 2017-07-31 | 2018-02-09 | 平安科技（深圳）有限公司 | 数据查询方法、装置及计算机可读存储介质 |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的系统及方法 |
| CN108133007A (zh) * | 2017-12-22 | 2018-06-08 | 北京明朝万达科技股份有限公司 | 一种数据同步方法和系统 |
| CN110674147A (zh) * | 2019-08-28 | 2020-01-10 | 视联动力信息技术股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN110909000A (zh) * | 2019-11-19 | 2020-03-24 | 深圳市网心科技有限公司 | 一种数据处理方法、系统、装置及计算机可读存储介质 |
| CN111581291A (zh) * | 2020-05-09 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及可读介质 |
-
2020
- 2020-12-19 CN CN202011512284.4A patent/CN112612802A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130232158A1 (en) * | 2010-04-16 | 2013-09-05 | Dag Heggelund | Data subscription |
| CN103617231A (zh) * | 2013-11-26 | 2014-03-05 | 国家电网公司 | 大数据管理系统 |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的系统及方法 |
| CN107016031A (zh) * | 2016-12-20 | 2017-08-04 | 常州市善松信息科技有限公司 | 一种数据中心中间件系统 |
| CN107679064A (zh) * | 2017-07-31 | 2018-02-09 | 平安科技（深圳）有限公司 | 数据查询方法、装置及计算机可读存储介质 |
| CN108133007A (zh) * | 2017-12-22 | 2018-06-08 | 北京明朝万达科技股份有限公司 | 一种数据同步方法和系统 |
| CN110674147A (zh) * | 2019-08-28 | 2020-01-10 | 视联动力信息技术股份有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN110909000A (zh) * | 2019-11-19 | 2020-03-24 | 深圳市网心科技有限公司 | 一种数据处理方法、系统、装置及计算机可读存储介质 |
| CN111581291A (zh) * | 2020-05-09 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及可读介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742758A (zh) * | 2021-11-04 | 2021-12-03 | 浙江华云信息科技有限公司 | 基于中台的数据集权限管控方法、系统及存储介质 |
| CN114546998A (zh) * | 2022-01-13 | 2022-05-27 | 北京元年科技股份有限公司 | 数据中台的数据处理方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105224351B (zh) | 快速配置实现方法及快速配置服务器 | |
| US8429256B2 (en) | Systems and methods for generating cached representations of host package inventories in remote package repositories | |
| US20100088197A1 (en) | Systems and methods for generating remote system inventory capable of differential update reports | |
| CN104239041B (zh) | 一种生成处理方案和配置的方法和装置 | |
| CN111046000B (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
| CN112612802A (zh) | 一种实时数据中台的处理方法、装置及平台 | |
| CN104767839A (zh) | 一种ip定位方法及装置 | |
| CN108763323B (zh) | 基于资源集和大数据技术的气象格点文件应用方法 | |
| CN113886485A (zh) | 数据处理方法、装置、电子设备、系统和存储介质 | |
| CN106411650A (zh) | 一种分布式安全保密检查方法 | |
| CN106682210B (zh) | 日志文件查询方法及装置 | |
| CN111538720B (zh) | 电力行业基础数据清理的方法及系统 | |
| CN113760730A (zh) | 一种自动化测试的方法和装置 | |
| CN111641684A (zh) | 一种车辆运行信号和远程控制信号数据的适配方法及系统 | |
| CN113778709B (zh) | 接口调用方法、装置、服务器及存储介质 | |
| CN115577160A (zh) | 一种生产线数据采集方法、装置、设备及介质 | |
| CN114124471A (zh) | 一种自动化修改应用服务密码的方法 | |
| CN109412861B (zh) | 一种终端网络建立安全关联展示方法 | |
| CN113704203A (zh) | 一种日志文件的处理方法及装置 | |
| CN115599868B (zh) | 数据实时同步处理方法、系统、设备及介质 | |
| CN109684158A (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
| US11514017B2 (en) | Systems and methods for provisioning a new secondary IdentityIQ instance to an existing IdentityIQ instance | |
| CN109167692B (zh) | 一种设备配套的验证方法、装置、设备和系统 | |
| CN108062327B (zh) | 客户端的匹配方法和装置 | |
| CN114500676A (zh) | 一种工业互联网设备间的信息交互方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Feisuanzhi Technology (Shenzhen) Co.,Ltd. Address before: 208e-10, port building, shipping center, 59 Linhai Avenue, Nanshan street, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Qianhai feisuan Technology (Shenzhen) Co.,Ltd. |
|
| CB02 | Change of applicant information |