CN115794916A

CN115794916A - 多源数据融合的数据处理方法、装置、设备和存储介质

Info

Publication number: CN115794916A
Application number: CN202211453301.0A
Authority: CN
Inventors: 由磊; 何珍; 魏巍
Original assignee: Urumqi Public Security Bureau; Yulin Public Security Bureau; Beijing Ruian Technology Co Ltd
Current assignee: Urumqi Public Security Bureau; Yulin Public Security Bureau; Beijing Ruian Technology Co Ltd
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2023-03-14

Abstract

本发明公开了一种多源数据融合的数据处理方法，包括：分别确定各业务系统对应的主数据集；针对每一主数据集，对该主数据集中各数据项的候选数据明细进行一致性比对，以从各数据项的候选数据明细中确定各数据项在该主数据集中的同源相同数据和同源差异数据；分别确定上述同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；根据上述可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。可以实现对各个业务系统的业务数据所对应的主数据集进行自动化的数据研判。

Description

多源数据融合的数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种多源数据融合的数据处理方法、装置、设备和存储介质。

背景技术

目前，在对多个业务系统的接入数据存入数据库的过程中，一个关键问题是对各业务系统的接入系统中提取的数据字段构成的主数据集进行数据融合，从多个业务系统的接入数据中提取主数据集的各数据项的明细数据时，由于各业务系统具有独立性，因此需要对各业务系统的接入数据对应的主数据集进行数据分析研判，以对主数据集中的数据进行校正和标准化处理，以便后续工作人员对各业务系统对应的主数据集进行数据分析，通常由工作人员对主数据集进行数据分析研判和校正，导致多源数据融合效率低下。因此，如何实现多源数据融合的自动化处理，降低多源数据融合过程中的人工成本，同时保证多源数据融合过程中对主数据集研判的准确性，是需要解决的问题。

发明内容

本发明提供了一种多源数据融合的数据处理方法、装置、设备和存储介质，可以实现多源数据融合的自动化处理，降低多源数据融合过程中的人工成本，同时保证多源数据融合过程中对主数据集研判的准确性。

根据本发明的一方面，提供了一种多源数据融合的数据处理方法，包括：

分别确定各业务系统对应的主数据集；

针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从所述至少两个数据项的候选数据明细中确定所述至少两个数据项在该主数据集中的同源相同数据和同源差异数据；

分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据所述可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；

根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和所述至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

根据本发明的另一方面，提供了一种多源数据融合的数据处理装置，该装置包括：

主数据集确定模块，用于分别确定各业务系统对应的主数据集；

同源差异数据确定模块，用于针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从所述至少两个数据项的候选数据明细中确定所述至少两个数据项在该主数据集中的同源相同数据和同源差异数据；

可信度评分确定模块，用于分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据所述可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；

数据实例确定模块，用于根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和所述至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多源数据融合的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多源数据融合的数据处理方法。

本发明实施例的技术方案，分别确定各业务系统对应的主数据集；针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据；分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。解决了由于各业务系统具有独立性，且各个业务系统的主数据在数据项结构设计、数据项的数据明细取值范围和数据结构等各不相同，同时还存在人工输入错误或处理过程中发生的错误，不同时间获取的数据项的数据明细存在差异，导致从多各业务系统的接入数据中提取的主数据集往往存在同一数据项在某一时间段内获取多个数据明细时，存在数据明细不一致的问题。上述方案，实现了在从多个独立的业务系统中获得业务数据时，对各个业务系统的业务数据所对应的主数据集进行自动化的数据研判，以获得各主数据集对应的数据实例，提高了对主数据集进行数据研判的效率，节约了人工成本，同时保证了数据实例的准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种多源数据融合的数据处理方法的流程图；

图2为本发明实施例二提供的一种多源数据融合的数据处理方法的流程图；

图3为本发明实施例三提供的一种多源数据融合的数据处理方法的流程图；

图4为本发明实施例四提供的一种多源数据融合的数据处理装置的结构示意图；

图5为本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“候选”和“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“等”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种多源数据融合的数据处理方法的流程图，本实施例可适用于对多源数据进行数据融合处理的情况。该方法可以由多源数据融合的数据处理装置来执行，该多源数据融合的数据处理装置可以采用硬件和/或软件的形式实现，该多源数据融合的数据处理装置可配置于电子设备中。如图1所示，该方法包括：

S110、分别确定各业务系统对应的主数据集。

其中，业务系统是指可以用于接收数据的系统。业务系统接收的数据可以是用户输入的个人信息数据，个人信息数据可以包括用户的姓名、年龄、性别、身份证号和家庭住址。主数据集是指由业务系统的接入数据组成的数据集，主数据集中包含有至少两个数据项。若业务系统接收的数据是用户输入的个人信息数据，则每一项个人信息数据都对应数据集中的一个数据项。数据项是数据结构中讨论的最小单位，是数据记录中最基本的、不可分的有名数据单位。数据项可以是字母或数字，数据项可以通过数据类型及数据长度来描述。数据项可以用来描述数据项所在数据集对应的实体的某种属性。

具体的，业务系统接收的数据可以作为数据库的接入数据，可以预先在数据库中设置用于存储接入数据的表格，表格的每一列均可以存储一个主数据集，表格的第一行可以用于表征主数据集的数据项。可以根据实际需求定义表格的数据项。在获取到各业务系统的接入数据后，对各业务系统的接入数据进行数据提取，从各业务系统的接入数据中提取出对应于各数据项的数据，并根据提取出的数据确定各业务系统对应的主数据集。

示例性的，可以根据数据提取规则，从至少两个业务系统在规定时间内获取的业务数据中提取各业务系统的源数据字段；根据规定的数据映射关系，分别确定各业务系统的源数据字段对应的主数据集。

其中，业务数据即为业务系统接收的数据。数据提取规则可以是预先规定的，用于从各业务系统的业务数据中提取出符合需求的数据字段的规则，相应的，从各业务系统的业务数据中提取出的数据字段即为各业务系统的源数据字段。

具体的，预先为各业务系统配置对应的数据提取规则，根据各业务系统的数据提取规则，从至少两个业务系统在规定时间内获取的业务数据中提取出源数据字段。根据规定的数据映射关系，分别将源数据字段映射到各主数据集中的各数据项中，以根据各业务系统的源数据字段构建各业务系统对应的主数据集。同时，获取预先配置的各主数据集中的各数据项的数据研判策略和数据研判参数。数据研判是指对业务活动中形成的海量数据，通过数据分析的方法进行分类整理、量化分析，从而使数据反映业务运行情况，研判运行态势，发现运行异常，分析原因并提出对策建议的活动。

上述方案，根据数据提取规则和规定的数据映射关系，从各业务系统的接入数据中确定各业务系统对应的主数据集，可以提高主数据集的获取效率。

S120、针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据。

需要说明的是，不同时间获取的同一数据集中同一数据项的数据项明细理论上应该是相同的，但是实际上可能存在不同业务系统对应的主数据集中存在相同数据项，且不同时间获取的同一主数据集中同一数据项的数据项明细可能存在差异。因此需要对不同时间获取的同一主数据集中同一数据项的数据项明细进行数据分析研判，以从候选数据明细中确定准确的数据项明细。

其中，候选数据明细是指从业务数据中获取的和数据项对应的数据项明细。同源相同数据是指来自于同一主数据集中相同数据项的相同候选数据明细。同源差异数据是指来自于同一主数据集中相同数据项的不同候选数据明细。

具体的，每一主数据集中有至少两个数据项，每一数据项在规定时间段内可以获得至少两个候选数据明细。针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果，从至少两个数据项的候选数据明细中确定来自于同一主数据集中相同数据项的相同候选数据明细为同源相同数据，确定来自于同一主数据集中相同数据项的不同候选数据明细为同源差异数据。

S130、分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分。

其中，可信度参数是指，根据数据研判策略对各主数据集中的同源差异数据进行数据分析研判过程中所使用的研判参数，可信度计算函数是指根据数据研判策略确定的用于计算同源差异数据在各主数据集中的可信度评分的函数公式。在本实施例中，可信度计算函数为非线性计算函数。

具体的，可以根据经验设置各主数据集中各数据项对应的可信度参数，相同数据项在不同主数据集中的可信度参数存在差异。根据同源差异数据和各主数据集中数据项的对应关系，确定同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分。可信度计算函数如公式(1)所示：

其中，S_i为同源差异数据在第i个主数据集的可信度评分；w_i1和w_i2为同源差异数据在第i个主数据集中的可信度参数；x为在规定时间内从业务数据中提取各业务系统的源数据字段的次数。若业务系统对应的主数据集的个数为n，则1≤i≤n，且i和n均为整数。

S140、根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

其中，数据实例是指从一个业务系统提取的主数据集对应的个体的全部数据项明细。例如，数据实例可以是在用户许可的情况下，从第一个业务系统中提取出一个用户的姓名、年龄和家庭住址，一个用户的全部数据项明细组成的主数据集对应一个数据实例。

具体的，可以将该主数据集中的同源差异数据在各主数据集中的可信度评分相加，根据相加计算结果，确定满足预设目标数据明细筛选条件的相加计算结果为目标计算结果，并确定目标计算结果所对应的同源差异数据为同源差异数据对应的数据项在该主数据集的目标数据明细。将该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据进行整合，确定该主数据集对应的数据实例。目标数据明细筛选条件可以是，确定最大相加计算结果对应的同源差异数据为目标数据明细。

优选的，在确定该主数据集对应的数据实例后，还可以确定该主数据集对应的数据实例的溯源数据，并将溯源数据与该主数据集对应的数据实例对应存储。

其中，溯源数据包括数据实例所对应的主数据集的数据集标识，以及数据实例对应的业务系统的系统标识。

可以理解的是，将数据实例和主数据集的溯源数据对应存储，可以在对数据实例进行分析时，快速定位数据实例的数据来源，提高对数据实例的分析效率。

本实施例提供的技术方案，分别确定各业务系统对应的主数据集；针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据；分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。解决了由于各业务系统具有独立性，且各个业务系统的主数据在数据项结构设计、数据项的数据明细取值范围和数据结构等各不相同，同时还存在人工输入错误或处理过程中发生的错误，不同时间获取的数据项的数据明细存在差异，导致从多各业务系统的接入数据中提取的主数据集往往存在同一数据项在某一时间段内获取多个数据明细时，存在数据明细不一致的问题。上述方案，实现了在从多个独立的业务系统中获得业务数据时，对各个业务系统的业务数据所对应的主数据集进行自动化的数据研判，以获得各主数据集对应的数据实例，提高了对主数据集进行数据研判的效率，节约了人工成本，同时保证了数据实例的准确性。

实施例二

图2为本发明实施例二提供的一种多源数据融合的数据处理方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，且分别计算同源差异数据在各主数据集中的可信度评分的优选实施方案。具体的，如图2所示，该方法包括：

S210、分别确定各业务系统对应的主数据集。

S220、针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据。

S230、确定该主数据集中不同的同源差异数据之间是否具有依赖关系，并将具有依赖关系的同源差异数据进行组合，确定该主数据集的组合差异数据，且将不具有依赖关系的同源差异数据作为独立差异数据。

需要说明的是，各主数据集中均包含至少两个数据项，同一主数据集中的数据项之间可能存在依赖关系，因此需要将存在依赖关系的数据项对应的同源差异数据进行组合处理，再对组合处理后的同源差异数据进行数据研判，未进行组合处理的同源差异数据进行单独的数据研判。

具体的，确定该主数据集中不同的同源差异数据之间是否具有依赖关系，并将具有依赖关系的同源差异数据进行组合处理，根据组合结果确定组合后的同源差异数据为该主数据集的组合差异数据；将和其他同源差异数据没有依赖关系，未进行组合的同源差异数据为该主数据集的独立差异数据。

例如，主数据集中的两个同源差异项分别为用户的住址行政区和用户的详细住址，则需要将上述两个同源差异项进行组合处理，得到两个同源差异项对应的组合差异数据为用户的住址行政区和用户的详细住址。

S240、确定该主数据集中的组合差异数据在各主数据集中的可信度参数，以及该主数据集中的独立差异数据在各主数据集中的可信度参数。

具体的，根据组合差异数据和各主数据集中数据项的对应关系，确定组合差异数据在各主数据集中的可信度参数，根据独立差异数据和各主数据集中数据项的对应关系，确定独立差异数据在各主数据集中的可信度参数。

S250、根据可信度计算函数，组合差异数据在各主数据集中的可信度参数，以及独立差异数据在各主数据集中的可信度参数，分别确定该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分，并将该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分作为同源差异数据在各主数据集中的可信度评分。

具体的，根据可信度计算函数，以及组合差异数据在各主数据集中的可信度参数，计算该主数据集中的组合差异数据在各主数据集中的可信度评分。根据可信度计算函数，以及独立差异数据在各主数据集中的可信度参数，计算该主数据集中的独立差异数据在各主数据集中的可信度评分。将该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分作为同源差异数据在各主数据集中的可信度评分。

S260、根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

本实施例的技术方案，在确定该主数据集中的同源差异数据在各主数据集中的可信度评分时，考虑到了同一主数据集中的数据项之间可能存在依赖关系，因此在对该数据集中的同源差异数据进行数据研判时，将存在依赖关系的数据项对应的同源差异数据进行组合处理，再对组合处理后的同源差异数据进行数据研判，未进行组合处理的同源差异数据进行单独的数据研判，以分别确定该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分，提高了该主数据集中的同源差异数据在各主数据集中的可信度评分的计算结果的精确性和可靠性。

实施例三

图3为本发明实施例三提供的一种多源数据融合的数据处理方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例的优选实施方式。具体的，如图3所示，该方法包括：

S310、分别确定各业务系统对应的主数据集。

S320、针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据。

S330、分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，且分别计算同源差异数据在各主数据集中的可信度评分。

S340、根据该主数据集中的同源差异数据在各主数据集中的可信度评分，以及各主数据集的权重，确定该主数据集中的同源差异数据的可靠性值。

其中，可靠性值是指用于衡量该主数据集中的同源差异数据的可靠性的数据。

示例性的，确定该主数据集中的同源差异数据的可靠性值的方法可以是：计算该主数据集中的同源差异数据的在各主数据集中的可信度评分和各主数据集的权重之间的评分与权重乘积；将评分与权重乘积相加，确定该主数据集中的同源差异数据的可靠性值。

具体的，该主数据集中的同源差异数据的可靠性值的计算公式如公式(2)所示：

T＝∑α_i*S_i (2)

其中，α_i是指第i个主数据集的权重；S_i为同源差异数据在第i个主数据集的可信度评分；T为该主数据集中的同源差异数据的可靠性值。

上述方法提供了一种同源差异数据的可靠性值的计算方式，可以获得更加精确的同源差异数据的可靠性值。

S350、确定可靠性值中的最大值对应的同源差异数据为该主数据集中的目标数据明细，并整合该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。

具体的，从该主数据集中的各数据项对应的同源差异数据中确定可靠性值中的最大值，将可靠性值中的最大值对应的同源差异数据作为该主数据集中的目标数据明细，并整合该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。

本实施例的技术方案，根据该主数据集中的同源差异数据在各主数据集中的可信度评分，以及各主数据集的权重，确定该主数据集中的同源差异数据的可靠性值，并根据可靠性值对该主数据集中的同源差异数据进行筛选，以确定该数据集中各数据项对应的目标数据明细，并根据目标数据明细和同源相同数据，确定该主数据集对应的数据实例。上述方案，可以获得更加精确的同源差异数据的可靠性值，从而根据可靠性值准确的从同源差异数据中确定目标数据明细，保证了数据实例的准确性。

实施例四

图4为本发明实施例四提供的一种多源数据融合的数据处理装置的结构示意图。本实施例可适用于对多源数据进行数据融合处理的情况。如图4所示，该多源数据融合的数据处理装置包括：主数据集确定模块410、同源差异数据确定模块420、可信度评分确定模块430和数据实例确定模块440。

其中，主数据集确定模块410，用于分别确定各业务系统对应的主数据集；

同源差异数据确定模块420，用于针对每一主数据集，对该主数据集中至少两个数据项的候选数据明细进行一致性比对，并根据一致性比对结果从至少两个数据项的候选数据明细中确定至少两个数据项在该主数据集中的同源相同数据和同源差异数据；

可信度评分确定模块430，用于分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分；

数据实例确定模块440，用于根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例。

示例性的，可信度评分确定模块430，包括：

同源差异数据组合单元，用于确定该主数据集中不同的同源差异数据之间是否具有依赖关系，并将具有依赖关系的同源差异数据进行组合，确定该主数据集的组合差异数据，且将不具有依赖关系的同源差异数据作为独立差异数据；

可信度参数确定单元，用于确定该主数据集中的组合差异数据在各主数据集中的可信度参数，以及该主数据集中的独立差异数据在各主数据集中的可信度参数；

可信度评分计算单元，用于根据可信度计算函数，组合差异数据在各主数据集中的可信度参数，以及独立差异数据在各主数据集中的可信度参数，分别确定该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分，并将该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分作为同源差异数据在各主数据集中的可信度评分。

示例性的，数据实例确定模块440，包括：

可靠性值确定单元，用于根据该主数据集中的同源差异数据在各主数据集中的可信度评分，以及各主数据集的权重，确定该主数据集中的同源差异数据的可靠性值；

数据实例确定单元，用于确定可靠性值中的最大值对应的同源差异数据为该主数据集中的目标数据明细，并整合该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。

示例性的，可靠性值确定单元具体用于：

计算该主数据集中的同源差异数据的在各主数据集中的可信度评分和各主数据集的权重之间的评分与权重乘积；

将评分与权重乘积相加，确定该主数据集中的同源差异数据的可靠性值。

示例性的，主数据集确定模块410具体用于：

根据数据提取规则，从至少两个业务系统在规定时间内获取的业务数据中提取各业务系统的源数据字段；

根据规定的数据映射关系，分别确定各业务系统的源数据字段对应的主数据集。

示例性的，上述多源数据融合的数据处理装置，还包括：

溯源数据确定模块，用于确定该主数据集对应的数据实例的溯源数据，并将溯源数据与该主数据集对应的数据实例对应存储。

本实施例提供的多源数据融合的数据处理装置可适用于上述任意实施例提供的多源数据融合的数据处理方法，具备相应的功能和有益效果。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如多源数据融合的数据处理方法。

在一些实施例中，多源数据融合的数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的多源数据融合的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多源数据融合的数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程多源数据融合的数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种多源数据融合的数据处理方法，其特征在于，包括：

分别确定各业务系统对应的主数据集；

2.根据权利要求1所述的方法，其特征在于，分别确定该主数据集中的同源差异数据在各主数据集中的可信度参数，并根据所述可信度参数和可信度计算函数，分别计算同源差异数据在各主数据集中的可信度评分，包括：

确定该主数据集中不同的同源差异数据之间是否具有依赖关系，并将具有依赖关系的同源差异数据进行组合，确定该主数据集的组合差异数据，且将不具有依赖关系的同源差异数据作为独立差异数据；

确定该主数据集中的组合差异数据在各主数据集中的可信度参数，以及该主数据集中的独立差异数据在各主数据集中的可信度参数；

根据可信度计算函数，组合差异数据在各主数据集中的可信度参数，以及独立差异数据在各主数据集中的可信度参数，分别确定该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分，并将该主数据集中的组合差异数据和独立差异数据在各主数据集中的可信度评分作为同源差异数据在各主数据集中的可信度评分。

3.根据权利要求1所述的方法，其特征在于，根据该主数据集中的同源差异数据在各主数据集中的可信度评分，从同源差异数据中确定该主数据集的目标数据明细，并根据该主数据集中的目标数据明细和所述至少两个数据项在该主数据集中同源相同数据，确定该主数据集对应的数据实例，包括：

根据该主数据集中的同源差异数据在各主数据集中的可信度评分，以及各主数据集的权重，确定该主数据集中的同源差异数据的可靠性值；

确定所述可靠性值中的最大值对应的同源差异数据为该主数据集中的目标数据明细，并整合该主数据集中的目标数据明细和同源相同数据，确定该主数据集对应的数据实例。

4.根据权利要求3所述的方法，其特征在于，根据该主数据集中的同源差异数据在各主数据集中的可信度评分，以及各主数据集的权重，确定该主数据集中的同源差异数据的可靠性值，包括：

将所述评分与权重乘积相加，确定该主数据集中的同源差异数据的可靠性值。

5.根据权利要求1所述的方法，其特征在于，分别确定各业务系统对应的主数据集，包括：

6.根据权利要求1所述的方法，其特征在于，包括：

确定该主数据集对应的数据实例的溯源数据，并将所述溯源数据与该主数据集对应的数据实例对应存储。

7.一种多源数据融合的数据处理装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述可信度评分确定模块，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的多源数据融合的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的多源数据融合的数据处理方法。