CN112699107A - 一种支持高度自定义的数据管理平台 - Google Patents
一种支持高度自定义的数据管理平台 Download PDFInfo
- Publication number
- CN112699107A CN112699107A CN202011564855.9A CN202011564855A CN112699107A CN 112699107 A CN112699107 A CN 112699107A CN 202011564855 A CN202011564855 A CN 202011564855A CN 112699107 A CN112699107 A CN 112699107A
- Authority
- CN
- China
- Prior art keywords
- data
- entity
- main
- sporocarp
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 30
- 238000002955 isolation Methods 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 9
- 238000004220 aggregation Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 33
- 239000008280 blood Substances 0.000 claims description 11
- 210000004369 blood Anatomy 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 abstract description 3
- 210000001503 joint Anatomy 0.000 abstract description 3
- 238000005406 washing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Abstract
本发明涉及自定义多个主数据管理模块、数据抽取和推送、数据转化、数据隔离及聚合、数据血缘和任务调度技术领域，具体涉及一种支持高度自定义的数据管理平台，包括主实体、子实体、行为子实体和业务实体，所述主实体包括主实体A、主实体B和主实体C，所述业务实体分别为主实体A和子实体提供数据，所述主实体A分别与子实体和行为子实体之间建立有附属关系，所述主实体A与主实体C之间建立有关联关系。该支持高度自定义的数据管理平台通过数据隔离存储，不仅满足了业务需求，还提高了数据安全，并且扩展了多种方式数据源对接，通过数据清洗，提高数据质量，从而提升准确度，极大地帮助节省企业经费，方便快捷，提高人效。
Description
技术领域
本发明涉及自定义多个主数据管理模块、数据抽取和推送、数据转化、数据隔离及聚合、数据血缘和任务调度技术领域，具体涉及一种支持高度自定义的数据管理平台。
背景技术
现有的系统仅支持定义一种业务数据管理-联系人相关业务，支持自定义联系人的数据字段和数据结构，支持两种类型数据源对接,分别为“数据库类型”和“表单数据类型”，针对进入系统的数据，无数据清洗或转换，直接投入使用；而且现有的技术存在如下缺点：1、一套系统无法兼容多个主业务数据管理，需要企业付更多财力和物力；2、不同主业务数据无法隔离存储，造成数据冗余，严重影响数据使用；3、不支持对数据进行清洗，脏数据导致数据出现准确度低、时效性差等一系列问题，且无法最大限度挖掘数据价值；4、系统中的数据出现问题后，无法查看数据的上下游，不能做到快速定位问题及评估影响范围及程度；因此，设计出一种支持高度自定义的数据管理平台，对于目前自定义多个主数据管理模块、数据抽取和推送、数据转化、数据隔离及聚合、数据血缘和任务调度技术领域来说是迫切需要的。
发明内容
本发明提供一种支持高度自定义的数据管理平台，用抽象的数据模型以面向对象的方式设计，可以根据不同的应用场景实例化，以解决现有技术存在的行业之间数据模型差异大，无法统一进行数据管理和数据分析的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明的实施例，一种支持高度自定义的数据管理平台，包括主实体、子实体、行为子实体和业务实体，所述主实体为存储数据的主要载体，是数据分析的主要对象，对数据的应用也主要是对主实体的应用，所述子实体是依附于主实体存在的附属数据，是主实体有逻辑附属关系的数据，所述行为子实体是由主实体本身产生的行为信息，同主实体存在逻辑的附属关系，并且行为子实体继承自子实体，在子实体的基础上扩展了一些行为的特征信息，所述业务实体是所有的数据进入系统中时，以相同的结构生成业务实体，并且业务实体是其他实体数据的来源实体，所述主实体包括主实体A、主实体B和主实体C，所述业务实体分别为主实体A和子实体提供数据，所述主实体A分别与子实体和行为子实体之间建立有附属关系，所述行为子实体继承于子实体，所述主实体A与主实体C之间建立有关联关系，所述主实体A为主实体B提供数据，所述主实体、子实体、行为子实体和业务实体之间建立有数据流转过程，所述数据流转过程为原始数据在系统中形成业务实体，业务实体根据血缘关系推送至指定的主实体(可多个)、子实体和行为子实体，并建立它们之间的从属关系，并且多个主实体之间同时入库时可以建立主实体之间的关联关系，在最后的行为子实体入库后，会根据主实体的血缘关系推送至下一个主实体进入下一轮的数据流转直至结束。
进一步地，所述附属关系为子实体和行为子实体只能以附属的关系。
进一步地，所述关联关系是主实体之间存在的一对多、多对一的关系。
进一步地，所述血缘关系为数据的来源和去向实体之间的关系，血缘可以是业务实体到主实体、业务实体到子实体和行为子实体、主实体到主实体。
进一步地，所述该数据管理平台具有数据隔离及聚合、个性化的数据管理模式、数据血缘和数据转换等特殊的数据分析方法。
本发明具有如下优点：
1、该支持高度自定义的数据管理平台可以支持自定义多个主数据管理，每一个主数据可以自定义自己的业务数据(字段或数据关系)和功能模块(是否需要标签、数据评级等)，通过多种方式的数据源接入数据后，在一套系统中同时管理所有主业务数据，且不同主数据之间存储完全隔离，提高数据安全，同时极大地帮助节省企业经费，方便快捷，提高人效。
2、该支持高度自定义的数据管理平台通过数据血缘能追溯数据的全踪迹，可以查询上传该系统后所有数据的上下游，防止遇见数据问题后能做到快速定位问题，并且当遇见严重的数据问题，能够支持通过一键清空脏数据，然后进行重抽或重推操作。
3、该支持高度自定义的数据管理平台通过数据隔离存储，不仅满足了业务需求，还提高了数据安全，并且扩展了多种方式数据源对接，百度广告等，最大限度的支持了多种数据源类型的多样性，而且通过自定义自己的数据字段和数据结构，支持多种业务既满足个性化的前提下，又能统一管理，同时通过数据清洗，提高数据质量，从而提升准确度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明的实体之间的关系示意图；
图2为本发明的实体间数据流转过程示意图；
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1-2，本发明提供一种技术方案：
一种支持高度自定义的数据管理平台，包括主实体、子实体、行为子实体和业务实体，主实体为存储数据的主要载体，是数据分析的主要对象，对数据的应用也主要是对主实体的应用，如：联系人和企业信息，子实体是依附于主实体存在的附属数据，是主实体有逻辑附属关系的数据，如：联系人的教育经历、工作经历等信息，行为子实体是由主实体本身产生的行为信息，同主实体存在逻辑的附属关系，并且行为子实体继承自子实体，在子实体的基础上扩展了一些行为的特征信息，如：联系人的购买信息，业务实体是所有的数据进入系统中时，以相同的结构生成业务实体，并且业务实体是其他实体数据的来源实体，保证数据的安全性和可用性，主实体包括主实体A、主实体B和主实体C，业务实体分别为主实体A和子实体提供数据，主实体A分别与子实体和行为子实体之间建立有附属关系，行为子实体继承于子实体，主实体A与主实体C之间建立有关联关系，主实体A为主实体B提供数据，主实体、子实体、行为子实体和业务实体之间建立有数据流转过程，数据流转过程为原始数据在系统中形成业务实体，业务实体根据血缘关系推送至指定的主实体(可多个)、子实体和行为子实体，并建立它们之间的从属关系，并且多个主实体之间同时入库时可以建立主实体之间的关联关系，在最后的行为子实体入库后，会根据主实体的血缘关系推送至下一个主实体进入下一轮的数据流转直至结束。
本发明中：附属关系为子实体和行为子实体只能以附属的关系，从属于某个主实体存在，并且只能附属于一个主实体。
本发明中：关联关系是主实体之间存在的一对多、多对一的关系，便于主实体之间的建立多重关系。
本发明中：血缘关系为数据的来源和去向实体之间的关系，血缘可以是业务实体到主实体、业务实体到子实体和行为子实体、主实体到主实体，通过数据血缘能追溯数据的全踪迹，可以查询上传该系统后所有数据的上下游，防止遇见数据问题后能做到快速定位问题，并且当遇见严重的数据问题，能够支持通过一键清空脏数据，然后进行重抽或重推操作。
本发明中：该数据管理平台具有数据隔离及聚合、个性化的数据管理模式、数据血缘和数据转换等特殊的数据分析方法；
1、数据隔离及聚合
①、隔离：每个主数据自定义数据结构和字段，且独立存储，一个主数据等同于一套缩小版的业务系统，实现真正的数据隔离；
②、聚合：将多个主数据的数据通过推送和关联配置等，又可以将隔离的数据按需求聚合和关联，同样实现数据聚合；
2、个性化的数据管理模式分两个维度：功能模块化和数据个性化；
①、功能模块化：针对每个主数据，都可以自由配置是否需要“标签管理，分群管理、指标管理、用户画像”等功能，避免了功能模块的冗余；
②、数据个性化：每个主数据都有一套自己的标签体系、分群和统计指标，根据采集的数据进行数据去重，自动生成专属的用户画像，为企业精准化营销保驾护航；
3、数据血缘
可视化数据血缘分析图，清楚的展示了数据来源于哪张”表“，接收了哪些“字段”和“数据量”，如何“流转”，不仅做到了”一目了然“，还能速定位”问题根源“，对于上下游影响的数据可以做“重新抽取”或“推送”，彻底纠正；
4、数据清洗
业务数据采集后，可以对数据需要进行特殊处理，将其“规范化”或“衍生新字段”，数据转换模块支持多种清洗小工具，有“值替换、截取长度、提取UTM值、MD5聚合”支持扩展多种清洗小工具。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (5)
1.一种支持高度自定义的数据管理平台，包括主实体、子实体、行为子实体和业务实体，其特征在于：所述主实体为存储数据的主要载体，是数据分析的主要对象，对数据的应用也主要是对主实体的应用，所述子实体是依附于主实体存在的附属数据，是主实体有逻辑附属关系的数据，所述行为子实体是由主实体本身产生的行为信息，同主实体存在逻辑的附属关系，并且行为子实体继承自子实体，在子实体的基础上扩展了一些行为的特征信息，所述业务实体是所有的数据进入系统中时，以相同的结构生成业务实体，并且业务实体是其他实体数据的来源实体，所述主实体包括主实体A、主实体B和主实体C，所述业务实体分别为主实体A和子实体提供数据，所述主实体A分别与子实体和行为子实体之间建立有附属关系，所述行为子实体继承于子实体，所述主实体A与主实体C之间建立有关联关系，所述主实体A为主实体B提供数据，所述主实体、子实体、行为子实体和业务实体之间建立有数据流转过程，所述数据流转过程为原始数据在系统中形成业务实体，业务实体根据血缘关系推送至指定的主实体(可多个)、子实体和行为子实体，并建立它们之间的从属关系，并且多个主实体之间同时入库时可以建立主实体之间的关联关系，在最后的行为子实体入库后，会根据主实体的血缘关系推送至下一个主实体进入下一轮的数据流转直至结束。
2.根据权利要求1所述的一种支持高度自定义的数据管理平台，其特征在于：所述附属关系为子实体和行为子实体只能以附属的关系。
3.根据权利要求1所述的一种支持高度自定义的数据管理平台，其特征在于：所述关联关系是主实体之间存在的一对多、多对一的关系。
4.根据权利要求1所述的一种支持高度自定义的数据管理平台，其特征在于：所述血缘关系为数据的来源和去向实体之间的关系，血缘可以是业务实体到主实体、业务实体到子实体和行为子实体、主实体到主实体。
5.根据权利要求1所述的一种支持高度自定义的数据管理平台，其特征在于：所述该数据管理平台具有数据隔离及聚合、个性化的数据管理模式、数据血缘和数据转换等特殊的数据分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564855.9A CN112699107A (zh) | 2020-12-25 | 2020-12-25 | 一种支持高度自定义的数据管理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564855.9A CN112699107A (zh) | 2020-12-25 | 2020-12-25 | 一种支持高度自定义的数据管理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699107A true CN112699107A (zh) | 2021-04-23 |
Family
ID=75510713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011564855.9A Pending CN112699107A (zh) | 2020-12-25 | 2020-12-25 | 一种支持高度自定义的数据管理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699107A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437179A (zh) * | 2017-08-09 | 2017-12-05 | 中国银行股份有限公司 | 一种提供风险监控与特色服务的银行渠道系统 |
| CN111125345A (zh) * | 2019-12-24 | 2020-05-08 | 南京三百云信息科技有限公司 | 数据应用方法和装置 |
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN111611441A (zh) * | 2020-05-22 | 2020-09-01 | 阳光财产保险股份有限公司 | 异构数据的处理方法、装置以及计算机设备 |
| CN111737488A (zh) * | 2020-06-12 | 2020-10-02 | 南京中孚信息技术有限公司 | 基于领域实体提取和关联分析的信息溯源方法及装置 |
| CN111784108A (zh) * | 2020-05-29 | 2020-10-16 | 远光软件股份有限公司 | 一种主数据管理平台的建模方法和装置 |
| CN111883230A (zh) * | 2019-12-18 | 2020-11-03 | 深圳数字生命研究院 | 饮食数据的生成方法及装置、存储介质和电子装置 |
-
2020
- 2020-12-25 CN CN202011564855.9A patent/CN112699107A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437179A (zh) * | 2017-08-09 | 2017-12-05 | 中国银行股份有限公司 | 一种提供风险监控与特色服务的银行渠道系统 |
| CN111883230A (zh) * | 2019-12-18 | 2020-11-03 | 深圳数字生命研究院 | 饮食数据的生成方法及装置、存储介质和电子装置 |
| CN111125345A (zh) * | 2019-12-24 | 2020-05-08 | 南京三百云信息科技有限公司 | 数据应用方法和装置 |
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN111611441A (zh) * | 2020-05-22 | 2020-09-01 | 阳光财产保险股份有限公司 | 异构数据的处理方法、装置以及计算机设备 |
| CN111784108A (zh) * | 2020-05-29 | 2020-10-16 | 远光软件股份有限公司 | 一种主数据管理平台的建模方法和装置 |
| CN111737488A (zh) * | 2020-06-12 | 2020-10-02 | 南京中孚信息技术有限公司 | 基于领域实体提取和关联分析的信息溯源方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107220757B (zh) | 一种规则配置及解析的系统和方法 | |
| CN110990391A (zh) | 多源异构数据的整合方法、系统、计算机设备及存储介质 | |
| CN102169500A (zh) | 一种业务流程动态展示装置 | |
| US10686720B2 (en) | Integrated capacity and architecture design tool | |
| CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN113051446A (zh) | 拓扑关系查询方法、装置、电子设备和介质 | |
| CN102567825B (zh) | 一种工作流流程配置的方法和装置 | |
| CN112215581A (zh) | 一种基于工作流引擎的自定义审批流管理系统 | |
| CN116662441A (zh) | 一种分布式数据血缘构建及展现方法 | |
| US8850321B2 (en) | Cross-domain business service management | |
| CN101582026A (zh) | 业务系统应用软件中动态业务生成的应用方法 | |
| CN114153862A (zh) | 业务数据处理方法、装置、设备及存储介质 | |
| CN104954232A (zh) | 网络中服务组合的方法及装置 | |
| CN104123135B (zh) | 一种统一后台接口的方法及装置 | |
| CN112699107A (zh) | 一种支持高度自定义的数据管理平台 | |
| CN113094166A (zh) | 一种链路追踪方法、装置、介质和计算设备 | |
| CN110717726B (zh) | 一种基于cmdb的ci模型定义方法 | |
| CN111723253A (zh) | 一种基于图数据库的数据血缘查询方法及查询系统 | |
| CN117076426A (zh) | 基于流批一体化的交通智能引擎系统构建方法及装置 | |
| US20090319537A1 (en) | Method And System of Using Structured Social Networks and Communities to Create And Maintain Relationships Between Configuration Items in a Configuration Management Database | |
| CN112100181A (zh) | 一种基于沙盘的数据资源管理方法 | |
| CN111625655A (zh) | 基于知识图谱的归并以及分类方法、装置以及存储介质 | |
| CN113094360B (zh) | 一种跨行业数据处理方法 | |
| CN115905322A (zh) | 业务处理方法、装置、电子设备及存储介质 | |
| CN105095283A (zh) | 网络社交系统中准好友的推荐方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |