CN117009352A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117009352A CN117009352A CN202310891302.1A CN202310891302A CN117009352A CN 117009352 A CN117009352 A CN 117009352A CN 202310891302 A CN202310891302 A CN 202310891302A CN 117009352 A CN117009352 A CN 117009352A
- Authority
- CN
- China
- Prior art keywords
- data
- mapping relation
- data table
- processing
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 181
- 238000013507 mapping Methods 0.000 claims abstract description 173
- 238000000034 method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 13
- 238000007405 data analysis Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008520 organization Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003754 machining Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- HRANPRDGABOKNQ-ORGXEYTDSA-N (1r,3r,3as,3br,7ar,8as,8bs,8cs,10as)-1-acetyl-5-chloro-3-hydroxy-8b,10a-dimethyl-7-oxo-1,2,3,3a,3b,7,7a,8,8a,8b,8c,9,10,10a-tetradecahydrocyclopenta[a]cyclopropa[g]phenanthren-1-yl acetate Chemical compound C1=C(Cl)C2=CC(=O)[C@@H]3C[C@@H]3[C@]2(C)[C@@H]2[C@@H]1[C@@H]1[C@H](O)C[C@@](C(C)=O)(OC(=O)C)[C@@]1(C)CC2 HRANPRDGABOKNQ-ORGXEYTDSA-N 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012367 process mapping Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置及电子设备，属于计算机领域。所述数据处理方法包括：数据中台从第一系统获取第一类型数据表；所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；所述数据中台向所述第一系统发送所述加工映射关系表。
Description
技术领域
本申请属于计算机领域，具体涉及一种数据处理方法、装置及电子设备。
背景技术
当前，各种数据表往往会在不同系统之间进行传递，以保险领域为例，业务系统的数据表时常会传递至财务系统。
在数据表横跨多个系统的场景下，不同系统之间传递的数据表无法进行有效标注跟踪。例如，具有高度关联性的业务数据表与财务数据表在多个系统传递的过程中目前仍无法实现标注跟踪。
发明内容
本申请实施例提供一种数据处理方法、装置及电子设备，能够解决无法对跨系统传递的数据表进行有效标注跟踪的问题。
第一方面，本申请实施例提供了一种数据处理方法，该方法包括：
数据中台从第一系统获取第一类型数据表；
所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
所述数据中台向所述第一系统发送所述加工映射关系表。
作为一种可选的实施方式，在所述所述数据中台向所述第一系统发送所述加工映射关系表之前，所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；
所述数据中台向所述第一系统发送所述加工映射关系表，包括：
在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
作为一种可选的实施方式，所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表，包括：
在所述所述加工映射关系表的基础数据来源于所述第一类型数据表的情况下，所述加工映射关系表匹配所述第一类型数据表；
在所述所述加工映射关系表的基础数据并非来源于所述第一类型数据表的情况下，所述加工映射关系表不匹配所述第一类型数据表。
作为一种可选的实施方式，在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台保存所述加工映射关系表。
作为一种可选的实施方式，所述数据中台从第一系统获取第一类型数据表，包括：
所述数据中台从第一系统获取第一类型信息；
所述数据中台对所述第一类型信息进行进行标准化处理，得到标准化处理表，并将所述标准化处理表作为第一类型数据表。
作为一种可选的实施方式，所述第一类型数据表具有第一唯一标识，所述第二类型数据表具有第二唯一标识；
所述加工映射关系表包括所述第一类型数据表中的所述第一唯一标识与所述第二类型数据表中的第二唯一标识之间的映射关系。
作为一种可选的实施方式，所述第一系统为业务类系统，所述第二系统为财务类系统；或者，所述第一系统为财务类系统，所述第二系统为业务类系统。
作为一种可选的实施方式，在所述数据中台保存所述加工映射关系表之后，所述方法还包括：
所述数据中台基于所述加工映射关系表进行数据关联组合，得到目标应用数据；其中，所述目标应用数据用于数据分析。
第二方面，本申请实施例提供了一种数据处理装置，该装置包括：
获取模块，用于从第一系统获取第一类型数据表；
发送模块，用于向第二系统发送所述第一类型数据表；
接收模块，用于接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
所述发送模块，还用于向所述第一系统发送所述加工映射关系表。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储程序，所述程序被处理器执行时实现根据如下过程：从第一系统获取第一类型数据表；向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；向所述第一系统发送所述加工映射关系表。
在本申请实施例中，数据中台从第一系统获取第一类型数据表；所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；所述数据中台向所述第一系统发送所述加工映射关系表。在此过程中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。
附图说明
图1是本申请实施例提供的一种数据处理方法的示意图；
图2是本申请实施例提供的一种数据处理方法的流程图；
图3是本申请实施例提供的一种数据处理方法的流程图；
图4是本申请实施例提供的一种数据处理方法的流程图；
图5是本申请实施例提供的一种数据处理方法的流程图；
图6是本申请实施例提供的一种数据处理方法的流程图；
图7是本申请实施例提供的一种数据处理方法的流程图；
图8是本申请实施例提供的一种数据处理方法的流程图；
图9是本申请实施例提供的一种数据处理装置的结构框图；
图10是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
在介绍本申请实施例提供的数据处理方法之前，先对本申请实施例提供的数据处理方法中涉及到的数据中台进行阐释。
数据中台是一种数据管理应用体系，具有数据整合、数据加工、数据服务等能力。数据中台一方面是集“数据仓库和数据服务”为一体的数据类系统，同时也对应于相应的组织管理体系，通过系统和组织管理体系的结合可以最终实现数据服务能力的提升。
从系统建设角度看，数据中台的核心能力是提供各类数据服务支持，让用户能够更加快速、方便地获取数据及数据分析结果。在此过程中，通过中台系统的统一数据获取、加工、计算等步骤保证数据的正确性、一致性、时效性等，同时保证应用数据的复用性、控制数据冗余重复建设等。
数据中台在通过技术连接数据的存储、运算、分析等方面日渐成熟，在各领域广泛适用。数据中台可包括贴源层、整合/标记层和数据应用层。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种数据处理方法进行详细地说明。
图1是本申请实施例提供的一种数据处理方法的示意图。如图1所示，本申请实施例提供的数据处理方法可涉及到，数据中台、第一系统和第二系统。其中，第一系统和第二系统可以为两种不同类型的系统。第一系统可向数据中台发送第一数据表；第二系统从数据中台中获取第一数据表并返回加工映射关系表；第一系统根据需求从数据中台获取加工映射关系表；数据分析系统根据需求从数据中台获取加工映射表。在本实施例中，通过加工映射关系表建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。
在本申请实施例中，第一系统可位于第一服务器上，第二系统可位于第二服务器上，数据中台可位于第三服务器上。其中，第一服务器、第二服务器和第三服务器均可以为一台服务器，也可以为服务器集群。例如，数据中台所在的第三服务器可以为一台服务器，第一系统所在的第一服务器可以为一台服务器，第二系统所在的第二服务器也可以为一台服务器。又例如，数据中台所在的第三服务器可以为包括多台服务器的服务器集群，第一系统所在的第一服务器可以为一台服务器，第二系统所在的第二服务器也可以为一台服务器。在本申请实施例中，数据中台、第一系统和第二系统这三者之间的数据交互可以为服务器之间的交互。当然，在本申请实施例中，在某些情况下，数据中台、第一系统和第二系统也可以位于同一台服务器上。
图2是本申请实施例提供的一种数据处理方法的流程图。如图2所示，本申请实施例提供的数据处理方法，包括：
步骤210：数据中台从第一系统获取第一类型数据表；
其中，获取的数据可记录在数据中台的贴源层中。
步骤220：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
此步骤中，在数据中台向第二系统发送所述第一类型数据表前，第二系统可以对数据中台申请数据使用并告知数据中台数据使用的目标以及加工逻辑。此操作可以使数据中台了解数据进入到第二系统后将参与何种类型的加工计算、产生何种类型的标记及衍生数据。例如：在第二系统为财务类系统时，告知数据中台，保单收费信息进入到进销存系统后，将经过系统处理生成制账凭证。
此外，加工映射关系表的表结构可由数据中台模型组成员与第二系统需求人员根据使用需求完成表结构设计(设计原则主要参照维度建模方法论)，表结构中可包含第一类型数据表的主键字段以及第二系统利用该第一类型数据表产生的应用需求中涉及的各类数据信息，该步骤高度依赖数据中台模型设计人员，反应了数据中台中系统和组织管理体系的结合。
需了解的是，在本申请实施例中，用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系的任何表都可以视为加工映射关系表。所述加工映射关系表可以为一个关系表，也可以为多个关系表。举例而言，在通过多个表才可以得出所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系的情况下，这多个表均作为加工映射关系表。在通过一个表即可得出所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系的情况下，这个表即为加工映射关系表。
步骤230：所述数据中台向所述第一系统发送所述加工映射关系表。
在本申请实施例中，数据中台从第一系统获取第一类型数据表；所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；所述数据中台向所述第一系统发送所述加工映射关系表。通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。
图3是本申请实施例提供的一种数据处理方法的流程图。如图3所示，本申请实施例提供的数据处理方法，包括：
步骤310：数据中台从第一系统获取第一类型数据表；
步骤320：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
步骤310和步骤320的阐释可参考如图2中相应步骤的描述。
步骤330：所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；
此步骤中，对加工映射关系表进行核验可包括数据行数校验和主键校验中的至少一种。同时，在本申请实施例中，还可以对加工映射关系表进行其他方面的核验，具体规则可根据各加工映射关系表中具体的数据关系进行定义。核验可以确保贴源层数据(即第一类型数据表)为加工映射关系表的基础数据来源。
核验通过后的加工映射关系表可保存在数据中台中，例如可保存在数据中台的整合/标记层。对于核验未通过的加工映射关系表，通知第二系统及数据中台相关人员进行数据核验及调整，待加工映射关系表正确后保存到数据中台。
步骤340：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，对于第二系统返回的加工映射关系表进行核验，以确保第一系统获得正确的加工映射关系表。
图4是本申请实施例提供的一种数据处理方法的流程图。如图4所示，本申请实施例提供的数据处理方法，包括：
步骤410：数据中台从第一系统获取第一类型数据表；
步骤420：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
步骤410和步骤420的阐释可参考如图2中相应步骤的描述。
步骤430：在所述所述加工映射关系表的基础数据来源于所述第一类型数据表的情况下，所述加工映射关系表匹配所述第一类型数据表；
步骤440：在所述所述加工映射关系表的基础数据并非来源于所述第一类型数据表的情况下，所述加工映射关系表不匹配所述第一类型数据表。
步骤450：所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，对于第二系统返回的加工映射关系表与第一类型数据表进行匹配，以确保第一类型数据表为加工映射关系表的基础数据来源。
图5是本申请实施例提供的一种数据处理方法的流程图。如图5所示，本申请实施例提供的数据处理方法，包括：
步骤510：数据中台从第一系统获取第一类型数据表；
步骤520：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
步骤530：所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；
步骤540：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台保存所述加工映射关系表。
步骤550：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
步骤510、步骤520、步骤530和步骤550的阐释可参考如图2-图3中相应步骤的描述。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，数据中台保存匹配成功的加工映射关系表，实现记录数据轨迹的目的。
图6是本申请实施例提供的一种数据处理方法的流程图。如图6所示，本申请实施例提供的数据处理方法，包括：
步骤610：所述数据中台从第一系统获取第一类型信息；
此步骤中，所述第一类型信息是指由业务类系统向数据中台写入的数据。
步骤620：所述数据中台对所述第一类型信息进行进行标准化处理，得到标准化处理表，并将所述标准化处理表作为第一类型数据表。
此步骤中，数据中台可通过对第一类型信息进行清洗、校验后形成可供后续各类操作使用的第一类型数据表，在此过程中数据表结构可不发生变化。
第一类型信息的清洗包括脏数据处理、代码标准化、数据类型转换中的至少一种，在本申请实施例中，第一类型信息的清洗还可以视需求增加其他处理步骤。在此过程中，第一类型信息的清洗是缓慢变化、持续更新的。示例如下：
第一类型数据表的校验是将标准化完成的第一类型数据表与第一类型信息进行校验，以确保标准化处理后获取到的第一类型数据表没有产生疏漏或者差错。
若校验时发现获取的第一类型数据表存在问题，则不保存此第一类型数据表，对所获取的第一类型信息重新进行标准化处理，以获取正确的第一类型数据表。若校验时确认第一类型数据表正确，则将第一类型数据表存储在数据中台中，例如存储在数据中台的贴源层。
步骤630：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
步骤640：所述数据中台向所述第一系统发送所述加工映射关系表。
步骤630和步骤640的阐释可参考如图2中相应步骤的描述。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，对获取的第一类型信息进行标准化处理，以便于后续数据的引用及加工。同时，可对标准化处理后的第一类型数据表进行校验，确保存储的第一类型数据表正确。
作为一种可选的实施方式，在上述所有实施例中，所述第一类型数据表可具有第一唯一标识，所述第二类型数据表可具有第二唯一标识；所述加工映射关系表包括所述第一类型数据表中的所述第一唯一标识与所述第二类型数据表中的第二唯一标识之间的映射关系。
其中，唯一标识可以是主键。表中经常有一个列或多列的组合，其值能唯一地标识表中的每一行，这样的一列或多列称为表的主键，通过它可强制表的实体完整性，精确地定位到一个唯一的表。
由此，通过主键与主键间的映射关系可以直观地将表与表联系起来。
以保险行业业务系统到财务系统的数据表传递为例，数据表的主要结构变化及流转过程如下：
业务系统发往数据中台的数据表例如为核心业务系统-收付费表(T_PRODUCT_FEE)：
| FEE_ID | POLICY_ID | PRODUCT_ID | SALE_CHANLE | ORANGE_ID | PREM | …… |
| 主键 | 保单号 | 产品代码 | 销售渠道 | 销售机构 | 保费 | …… |
业务系统的数据在进入数据中台之后，可在不改变数据结构的情况下完成数据标准化处理。处理后的数据可根据另一系统(例如进销存系统(SAP))的使用请求，进入另一系统，此时形成使用申请记录，该记录中主要记录使用的表及其他相关日志信息。
| APPLY_SYSTEM | SOURTH_TABLE | RELATION_TABLE | …… |
| 申请系统 | 使用表 | 映射关系表 | …… |
| SAP | T_PRODUCT_FEE | T_PRODUCT_FEE_SAP_ACCOUNT | …… |
当另一系统生成凭证信息后可将用于反映过程关系数据的加工映射关系表推送到数据中台，作为后续数据标记的依据。
以T_PRODUCT_FEE_SAP_ACCOUNT表为例：
| FEE_ID | ACCOUNT_ID | CREATE_TIME | UPDATE_TIME | …… |
| 收费主键 | 凭证号 | 创建时间 | 更新时间 | …… |
上述本申请实施方式中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，由具有强识别性的唯一标识生成加工映射关系表，可以快速准确地对数据表进行标注跟踪。
作为一种可选的实施方式，在上述所有实施例中，所述第一系统可以为业务类系统，所述第二系统可以为财务类系统；或者，所述第一系统可以为财务类系统，所述第二系统可以为业务类系统。具体的应用过程可参考如图8所示的本申请实施例。
图7是本申请实施例提供的一种数据处理方法的流程图。如图7所示，本申请实施例提供的数据处理方法，包括：
步骤710：数据中台从第一系统获取第一类型数据表；
步骤720：所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
步骤730：所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；
步骤740：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台保存所述加工映射关系表。
步骤750：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
步骤710、步骤720、步骤730、步骤740和步骤750的阐释可参考如图2-图5中相应步骤的描述。
步骤760：所述数据中台基于所述加工映射关系表进行数据关联组合，得到目标应用数据；其中，所述目标应用数据用于数据分析。
此步骤中，目标应用数据存储于数据中台的数据应用层中，以供数据分析类系统如报表系统等使用。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，将加工映射关系表进行数据关联组合后存储于数据应用层中，以供数据分析。
下面结合具体应用场景对本申请实施例提供的数据处理方法的具体过程进行进一步阐释。图8是本申请实施例提供的数据处理方法的一种示例使用场景的示意图。在图8的示例中，所述第一系统为业务类系统，所述第二系统为财务类系统。图8所示本申请实施例提供的数据处理方法可应用于保险行业中，横跨业务数据及财务数据。需了解的是，第一系统也可以为财务类系统，第二系统也可以为业务类系统。
参照图8，本申请实施例提供的数据处理方法的具体过程可如下：
S1：业务类系统将数据写入中台系统的贴源层；
S2：数据通过中台接口服务推送到财务类系统中；
S3：财务类系统使用中台贴源层数据进行数据加工后，向数据中台的整合/标记层推送对应的加工映射关系表；
S4：业务类系统根据使用需求从整合/标记层获取组合标记后的数据信息；
S5：组合标记后的数据根据使用需求进行数据关联组合，进入数据应用层。
本实施例提供的数据处理方法依赖数据中台完成数据从业务类系统到财务类系统的流转，并在数据中台的整合/标记层完成数据的业财标签标注，从而完成数据从业务系统到财务系统的轨迹追踪。
具体地，以收付信息进入进销存系统完成制账凭证的场景为例，数据主要结构变化及流转过程如下：
业务系统发往数据中台的数据表例如为核心业务系统-收付费表(T_PRODUCT_FEE)：
| FEE_ID | POLICY_ID | PRODUCT_ID | SALE_CHANLE | ORANGE_ID | PREM | …… |
| 主键 | 保单号 | 产品代码 | 销售渠道 | 销售机构 | 保费 | …… |
数据通过S1进入数据中台贴源层，在不改变数据结构的情况下完成数据标准化处理。处理后的数据根据进销存系统的使用请求通过S2进入进销存系统(SAP)，此时形成使用申请记录，该记录中主要记录使用的表及其他相关日志信息。
| APPLY_SYSTEM | SOURTH_TABLE | RELATION_TABLE | …… |
| 申请系统 | 使用表 | 映射关系表 | …… |
| SAP | T_PRODUCT_FEE | T_PRODUCT_FEE_SAP_ACCOUNT | …… |
当进销存系统生成凭证信息后可将用于反映过程关系数据的加工映射关系表通过S3推送到数据中台，作为后续数据标记的依据。
以T_PRODUCT_FEE_SAP_ACCOUNT表为例：
| FEE_ID | ACCOUNT_ID | CREATE_TIME | UPDATE_TIME | …… |
| 收费主键 | 凭证号 | 创建时间 | 更新时间 | …… |
数据中台可根据预先设定的数据处理频率(准实时/定时批量)对获取的各类映射关系表进行数据核对，并根据实际使用需求完成对业务系统、数据中台应用层的数据加工。
在此过程中，以数据中台为基础，对数据的流转轨迹进行标记，实现了业财数据的标记跟踪，为业财数据核对、跟踪、分析、应用提供基础数据支持。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。同时，在应用于业财系统中时，完成了对业财数据的跟踪标记，为业财数据核对、跨主题数据应用分析提供基础支持。
需了解的是，本申请实施例提供的数据处理方法可适用于保险行业中两种不同类型系统之间的数据表传递。在保险行业中，业财数据的核对、跨主体数据应用分析一直以来都是数据应用中比较关注的内容，但是因为运算能力、系统功能界定、应用技术支持等各方面的限制尚未形成有效的实际应用实现。
数据中台技术自提出以来在各专业领域已经得到了充分的实践，基于中台自身具备的数据集成、数据服务能力、数据分析等方面的技术特性，结合保险行业特定应用场景，可以有效解决长期以来困扰各保险公司的业财数据核对、跨主题分析应用等场景的问题，为未来的业财数据核对、跟踪、分析、应用提供数据基础。
图9是本申请实施例提供的一种数据处理装置的结构框图。如图9所示，本申请实施例提供的一种数据处理装置900包括：获取模块910、发送模块920、接收模块930；
所述获取模块910，用于从第一系统获取第一类型数据表；
所述发送模块920，用于向第二系统发送所述第一类型数据表；
所述接收模块930，用于接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
所述发送模块920，还用于向所述第一系统发送所述加工映射关系表。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。
在一个实施例中本申请实施例提供的数据处理装置还包括处理模块，所述处理模块用于在所述所述数据中台向所述第一系统发送所述加工映射关系表之前，所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；所述发送模块920还用于在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
在一个实施例中，所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表，所述处理模块还用于：在所述所述加工映射关系表的基础数据来源于所述第一类型数据表的情况下，所述加工映射关系表匹配所述第一类型数据表；在所述所述加工映射关系表的基础数据并非来源于所述第一类型数据表的情况下，所述加工映射关系表不匹配所述第一类型数据表。
在一个实施例中，所述处理模块还用于：在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台保存所述加工映射关系表。
在一个实施例中，所述获取模块910还用于：所述数据中台从第一系统获取第一类型信息；所述处理模块还用于：所述数据中台对所述第一类型信息进行进行标准化处理，得到标准化处理表，并将所述标准化处理表作为第一类型数据表。
在一个实施例中，在所述数据中台保存所述加工映射关系表之后，所述处理模块还用于：所述数据中台基于所述加工映射关系表进行数据关联组合，得到目标应用数据；其中，所述目标应用数据用于数据分析。
如图10所示，本申请实施例提供了一种电子设备1000，所述电子设备可以为各种类型的计算机，终端，以及其他可能的设备等。
所述电子设备1000包括：处理器1010和存储器1020，所述存储器1020存储程序，所述程序被所述处理器1010执行时实现上文所描述的任一种方法的步骤。举例而言，所述程序被处理器1010执行时实现根据如下过程：从第一系统获取第一类型数据表；向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；向所述第一系统发送所述加工映射关系表。
在本申请实施例中，通过加工映射关系表对从第一系统传递到第二系统中的数据表进行标注跟踪，建立起完整的数据表流转轨迹，实现跨系统的数据表标注跟踪。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
数据中台从第一系统获取第一类型数据表；
所述数据中台向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
所述数据中台向所述第一系统发送所述加工映射关系表。
2.根据权利要求1所述的方法，其特征在于，在所述所述数据中台向所述第一系统发送所述加工映射关系表之前，所述方法还包括：
所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表；
所述数据中台向所述第一系统发送所述加工映射关系表，包括：
在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台向所述第一系统发送所述加工映射关系表。
3.根据权利要求2所述的方法，其特征在于，所述数据中台对所述加工映射关系表进行核验，以确认所述加工映射关系表是否匹配所述第一类型数据表，包括：
在所述所述加工映射关系表的基础数据来源于所述第一类型数据表的情况下，所述加工映射关系表匹配所述第一类型数据表；
在所述所述加工映射关系表的基础数据并非来源于所述第一类型数据表的情况下，所述加工映射关系表不匹配所述第一类型数据表。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述加工映射关系表匹配所述第一类型数据表的情况下，所述数据中台保存所述加工映射关系表。
5.根据权利要求1所述的方法，其特征在于，所述数据中台从第一系统获取第一类型数据表，包括：
所述数据中台从第一系统获取第一类型信息；
所述数据中台对所述第一类型信息进行进行标准化处理，得到标准化处理表，并将所述标准化处理表作为第一类型数据表。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一类型数据表具有第一唯一标识，所述第二类型数据表具有第二唯一标识；
所述加工映射关系表包括所述第一类型数据表中的所述第一唯一标识与所述第二类型数据表中的第二唯一标识之间的映射关系。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述第一系统为业务类系统，所述第二系统为财务类系统；或者，所述第一系统为财务类系统，所述第二系统为业务类系统。
8.根据权利要求4所述的方法，其特征在于，在所述数据中台保存所述加工映射关系表之后，所述方法还包括：
所述数据中台基于所述加工映射关系表进行数据关联组合，得到目标应用数据；其中，所述目标应用数据用于数据分析。
9.一种数据处理装置，其特征在于，包括：
获取模块，用于从第一系统获取第一类型数据表；
发送模块，用于向第二系统发送所述第一类型数据表；
接收模块，用于接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；
所述发送模块，还用于向所述第一系统发送所述加工映射关系表。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储程序，所述程序被处理器执行时实现根据如下过程：从第一系统获取第一类型数据表；向第二系统发送所述第一类型数据表，并接收所述第二系统返回的加工映射关系表，所述加工映射关系表用于指示所述第一类型数据表与所述第二系统的第二类型数据表之间的映射关系；所述第二类型数据表为在所述第一类型数据表的基础上得到的数据表；向所述第一系统发送所述加工映射关系表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891302.1A CN117009352A (zh) | 2023-07-19 | 2023-07-19 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310891302.1A CN117009352A (zh) | 2023-07-19 | 2023-07-19 | 一种数据处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117009352A true CN117009352A (zh) | 2023-11-07 |
Family
ID=88562955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310891302.1A Pending CN117009352A (zh) | 2023-07-19 | 2023-07-19 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117009352A (zh) |
-
2023
- 2023-07-19 CN CN202310891302.1A patent/CN117009352A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734028B (zh) | 基于区块链的数据管理方法、区块链节点及存储介质 | |
| CN107633016B (zh) | 数据处理方法及装置和电子设备 | |
| CN108184233A (zh) | 一种号码携带方法及系统 | |
| CN110688828A (zh) | 文件处理方法及装置、文件处理系统、计算机设备 | |
| CN110969417B (zh) | 政务事项同步方法、装置、系统、计算机设备和存储介质 | |
| CN109711973A (zh) | 风险评估方法及装置、存储介质、计算机设备 | |
| CN107133233B (zh) | 一种配置数据查询的处理方法及装置 | |
| CN109711849B (zh) | 以太坊地址画像生成方法、装置、电子设备及存储介质 | |
| CN106487799A (zh) | 基于云平台的设备信息存储系统 | |
| CN114372868A (zh) | 纸质档案与电子档案的关联管理方法及装置 | |
| CN114238397A (zh) | 用户数据处理方法、装置、设备、存储介质和程序产品 | |
| CN112965986A (zh) | 业务一致性处理方法、装置、设备及存储介质 | |
| CN112559363A (zh) | 基于全链路标记的测试用例生成方法、系统、设备和介质 | |
| CN117009352A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN105653695A (zh) | 一种并发数据请求处理方法及装置 | |
| CN111367776A (zh) | 资源转移业务的记录方法、装置、设备及存储介质 | |
| CN111124883A (zh) | 一种基于树形表格的测试用例库引入方法、系统及设备 | |
| CN110245290A (zh) | 一种应用注册的数据关联方法、装置、存储介质和服务器 | |
| CN105354740A (zh) | 建立个人信用信息数据库的方法及装置 | |
| CN112800127B (zh) | 基于交易账单的数据挖掘分析方法及装置 | |
| CN112039893B (zh) | 私密交易处理方法、装置、电子设备及可读存储介质 | |
| CN109740027B (zh) | 数据交换方法、装置、服务器和存储介质 | |
| CN113065855A (zh) | 一种基于区块链的用于拆分数字资产的方法及系统 | |
| CN112036850A (zh) | 数字资产数据的访问方法及装置、数字资产的交易系统 | |
| CN113256420B (zh) | 一种交易中的企业用户识别方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |