CN113760997A - 数据置信度计算方法及装置、计算机设备和可读存储介质 - Google Patents

Abstract

本申请提供一种数据置信度计算方法及装置、计算机设备和可读存储介质，涉及大数据处理技术领域。本申请在获取到包括业务主键类型相同的已入库业务数据子集及待入库业务数据子集的目标业务数据集后，根据该目标业务数据集所对应的非主键数据类型的预设内容构建规则，对该目标业务数据集中每条业务数据的初始置信度进行处理，得到每条业务数据中目标数据内容的临时置信度，接着根据该目标业务数据集中每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在该目标业务数据集中的数据置信度，从而降低数据置信度计算时的人力依赖，提升数据置信度的准确性及可靠性。

Description

数据置信度计算方法及装置、计算机设备和可读存储介质

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种数据置信度计算方法及装置、计算机设备和可读存储介质。

背景技术

随着互联网技术的快速发展，大数据处理技术在各大行业的应用越发广泛。在大数据处理技术的具体实施过程中，通常需要收集大量的业务数据进行数据沉淀以便于执行后续业务操作。其中需要注意的是，数据收集的周期、手段、技术、录入人员的误操作、不同录入人员录入不统一等多重因素往往会导致收集到的数据存在很多不确定性，需要确定被收集数据的置信度来知晓数据的可信程度。

目前，被收集数据的置信度通常需要依赖于业务专家对业务数据的理解，由业务专家人工识别数据并人为判定得到。由此，这种置信度确定方案非常依赖人力，确定出的数据置信度的准确性无法得到保证，同时人工确定出的数据置信度仅能在特定时间节点可信，确定出的数据置信度往往会随着时间节点变动而逐渐变得过时且无效。

发明内容

有鉴于此，本申请的目的在于提供一种数据置信度计算方法及装置、计算机设备和可读存储介质，能够结合已入库业务数据及待入库业务数据各自的数据分布特征进行置信度计算，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度随着时间变动同步更新，提升数据置信度的可靠性。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请提供一种数据置信度计算方法，所述方法包括：

获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集；

对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度；

根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度；

根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

在可选的实施方式中，所述对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度的步骤，包括：

针对所述目标业务数据集包括的每个业务数据子集，根据预先配置的数据来源与子集置信度之间的对应关系，确定该业务数据子集的目标子集置信度；

将所述目标子集置信度作为该业务数据子集中每条业务数据的初始置信度。

在可选的实施方式中，所述根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度的步骤，包括：

针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容；

将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配；

若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度；

若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

在可选的实施方式中，所述根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度的步骤，包括：

针对每个目标数据内容，筛查该目标数据内容在所述目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度；

根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度；

对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度；

将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度；

按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度。

在可选的实施方式中，所述按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度的步骤，包括：

将该目标数据内容的待输出置信度与所述预设约束条件所对应的置信度阈值进行比较；

若该目标数据内容的待输出置信度小于或等于所述置信度阈值，则直接将该目标数据内容的待输出置信度作为该目标数据内容的数据置信度；

若该目标数据内容的待输出置信度大于所述置信度阈值，则将所述预设约束条件所对应的预设置信度作为该目标数据内容的数据置信度。

第二方面，本申请提供一种数据置信度计算装置，所述装置包括：

业务数据获取模块，用于获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集；

置信度初始化模块，用于对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度；

置信度预处理模块，用于根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度；

数据置信计算模块，用于根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

在可选的实施方式中，所述置信度预处理模块包括：

数据内容提取子模块，用于针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容；

预设规则匹配子模块，用于将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配；

临时置信输出子模块，用于若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度；

所述临时置信输出子模块，还用于若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

在可选的实施方式中，所述数据置信计算模块包括：

最大置信筛查子模块，用于针对每个目标数据内容，筛查该目标数据内容在所述目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度；

置信加权求和子模块，用于根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度；

置信除法运算子模块，用于对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度；

置信加法运算子模块，用于将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度；

置信约束输出子模块，用于按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度。

第三方面，本申请提供一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现前述实施方式中任意一项所述的数据置信度计算方法。

第四方面，本申请提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的数据置信度计算方法。

在此情况下，本申请实施例的有益效果包括以下内容：

本申请在获取到包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集的目标业务数据集后，会对该目标业务数据集进行置信度初始化，得到该目标业务数据集中每条业务数据的初始置信度，并根据该目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度，而后根据目标业务数据集中与业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在目标业务数据集中的数据置信度，从而通过结合已入库业务数据及待入库业务数据各自的数据分布特征进行置信度计算，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度随着时间变动同步更新，提升数据置信度的可靠性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的计算机设备的组成示意图；

图2为本申请实施例提供的数据置信度计算方法的流程示意图；

图3为本申请提供的目标业务数据集的举例示意图；

图4为本申请提供的用于记录目标业务数据集中每条业务数据的初始置信度的举例示意图；

图5为本申请提供的用于记录目标业务数据集中每个目标数据内容的临时置信度的举例示意图；

图6为本申请提供的用于记录目标业务数据集中每个目标主键内容的出现总频次及每个业务数据子集中的多个目标数据内容的出现频次和临时置信度的举例示意图；

图7为图2中的步骤S220包括的子步骤的流程示意图；

图8为图2中的步骤S230包括的子步骤的流程示意图；

图9为图2中的步骤S240包括的子步骤的流程示意图；

图10为本申请实施例提供的数据置信度计算装置的组成示意图；

图11为图10中的置信度预处理模块的组成示意图；

图12为图10中的数据置信计算模块的组成示意图。

图标：10-计算机设备；11-存储器；12-处理器；13-通信单元；100-数据置信度计算装置；110-业务数据获取模块；120-置信度初始化模块；130-置信度预处理模块；140-数据置信计算模块；131-数据内容提取子模块；132-预设规则匹配子模块；133-临时置信输出子模块；141-最大置信筛查子模块；142-置信加权求和子模块；143-置信除法运算子模块；144-置信加法运算子模块；145-置信约束输出子模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要理解的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

请参照图1，图1是本申请实施例提供的计算机设备10的组成示意图。在本申请实施例中，所述计算机设备10能够根据具有相同业务主键类型的已入库业务数据及待入库业务数据各自表现出的数据分布特征进行置信度计算，得到所述已入库业务数据及所述待入库业务数据中每种非主键数据类型的数据内容的数据置信度，从而减低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度可随着时间变动引发的数据入库操作同步更新，提升数据置信度的可靠性。

其中，所述业务主键类型用于表示对应业务数据中具有唯一性的数据类型，例如用户的身份证、电子设备的MAC地址等。所述非主键数据类型用于表示对应业务数据所涉及的非业务主键类型的数据类型，例如用户的姓名、手机号和邮箱等。已入库业务数据及待入库业务数据各自的与业务主键类型对应的主键内容需满足该业务主键类型的内容构建规则，以身份证作为业务主键类型为例，则所述已入库业务数据与待入库业务数据中记录的各个身份证号需要满足身份证编码规则。

在本实施例中，所述计算机设备10可以与建立有业务数据库的服务器通信连接，以从该服务器处获取业务主键类型相同的已入库业务数据及待入库业务数据进行置信度计算，而后将不同数据内容所表现出的数据置信度同步更新到该服务器。所述计算机设备10也可在自身创建一个业务数据库，以通过该业务数据库存储业务数据，而后自行基于业务主键类型相同的已入库业务数据及待入库业务数据进行置信度计算。其中，所述计算机设备10可以是，但不限于，个人计算机、服务器、平板电脑等。

其中，所述计算机设备10可以包括存储器11、处理器12、通信单元13及数据置信度计算装置100。所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中，所述存储器11可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，所述存储器11用于存储计算机程序，所述处理器12在接收到执行指令后，可相应地执行所述计算机程序。所述存储器11还用于存储不同非主键数据类型的预设内容构建规则，所述预设内容构建规则用于表示对应非主键数据类型的数据内容的构建标准，例如大陆手机号的预设内容构建规则包括对应手机号码需保持11个数字位。所述存储器11还用于存储与置信度计算过程相对应的针对数据置信度的预设约束条件，其中所述预设约束条件用于表示对需要输出的置信度数值进行数值约束。

在本实施例中，所述在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中，所述通信单元13用于通过网络建立所述计算机设备10与其他电子设备之间的通信连接，并通过所述网络收发数据，其中所述网络包括有线通信网络及无线通信网络。例如，所述计算机设备10可通过所述通信单元13将计算出的不同数据内容的数据置信度发送给用户终端进行展示。

在本实施例中，所述数据置信度计算装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或者在所述计算机设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述数据置信度计算装置100所包括的软件功能模块及计算机程序等。所述计算机设备10可通过所述数据置信度计算装置100结合业务主键类型相同的已入库业务数据及待入库业务数据各自表现出的数据分布特征进行置信度计算，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度随着时间变动同步更新，提升数据置信度的可靠性。

可以理解的是，图1所示的框图仅为所述计算机设备10的一种组成示意图，所述计算机设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请中，为确保所述计算机设备10能够有效地降低数据置信度计算时的人力依赖，提升数据置信度的准确性及可靠性，本申请实施例通过提供一种数据置信度计算方法实现前述功能，下面对本申请提供的数据置信度计算方法进行详细阐述。

请参照图2，图2是本申请实施例提供的数据置信度计算方法的流程示意图。在本申请实施例中，图2所示的数据置信度计算方法可以包括步骤S210～步骤S240。

步骤S210，获取目标业务数据集，其中目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集。

在本实施例中，所述已入库业务数据子集包括具有相同数据来源的至少一条已入库业务数据，所述待入库业务数据子集包括具有相同数据来源的至少一条待入库业务数据，每个业务数据子集(包括已入库业务数据子集及待入库业务数据子集)对应有一个数据来源，不同业务数据子集各自的数据来源可以相同，也可以不同。同一目标业务数据集所涉及的多个业务数据子集具有相同业务主键类型相同，且该目标业务数据集中所有业务数据中与该业务主键类型对应的主键内容需满足该业务主键类型的内容构建规则。

以图3所示的目标业务数据集的举例示意图为例，图3所示的目标业务数据集包括一个数据来源为A的已入库业务数据子集和一个数据来源为B的待入库业务数据子集，其中所述已入库业务数据子集与所述待入库业务数据子集具有相同的业务主键类型“身份证”，与该业务主键类型“身份证”对应的主键内容包括“101101料**0611”、“101101料料0612”及“101101**料0613”。此外，目标业务数据集所对应的非主键数据类型有3种，分别为“姓名”、“邮箱”及“手机号码”，则已入库业务数据子集的三条业务数据中与非主键数据类型“姓名”匹配的数据内容分别为“张三”、“李四”及“张老三”，已入库业务数据子集的三条业务数据中与非主键数据类型“手机号码”匹配的数据内容分别为“138*****671”、“138*****672”及“138*****567”。

步骤S220，对目标业务数据集进行置信度初始化，得到目标业务数据集中每条业务数据的初始置信度。

在本实施例中，所述计算机设备10可将所述目标业务数据集中的同一业务数据子集下的所有业务数据的初始置信度配置为相同数值，并针对不同业务数据子集分配不同的初始置信度的方式，得到目标业务数据集中每条业务数据的初始置信度。

以图4所示的用于记录目标业务数据集中每条业务数据的初始置信度的举例示意图为例，图4所示的目标业务数据集包括一个数据来源为A的已入库业务数据子集和一个数据来源为B的待入库业务数据子集，其中已入库业务数据子集包括的三条业务数据被分配到的初始置信度均为0.8，待入库业务数据子集包括的两条业务数据被分配到的初始置信度均为0.7。

步骤S230，根据目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度。

在本实施例中，所述计算机设备10在确定出所述目标业务数据集包括的每条业务数据的初始置信度后，会根据该业务数据记录的每个与目标业务数据集所涉及的非主键数据类型匹配的目标数据内容与对应预设内容构建规则的符合状况，针对每个所述目标数据内容在该业务数据中表现出的初始置信度进行置信度预处理，得到该业务数据中每个目标数据内容的临时置信度。

以图5所示的用于记录目标业务数据集中每个目标数据内容的临时置信度的举例示意图为例，图5所示的非主键数据类型“姓名”的目标数据内容“张三”在已入库业务数据子集中表现出的初始置信度为0.8，目标数据内容“张三”符合非主键数据类型“姓名”的预设内容构建规则，则目标数据内容“张三”在该已入库业务数据子集表现出的临时置信度可保持为0.8；图5所示的非主键数据类型“邮箱”的目标数据内容“lisi@163com”在已入库业务数据子集中表现出的初始置信度为0.8，目标数据内容“lisi@163com”符合非主键数据类型“邮箱”的预设内容构建规则，则目标数据内容“lisi@163com”在该已入库业务数据子集表现出的临时置信度将由0.8降为小于0.8的0.4。

步骤S240，根据目标业务数据集中与业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

在本实施例中，所述计算机设备10在确定出所述目标业务数据集包括的每条业务数据中不同非主键数据类型的目标数据内容各自的临时置信度后，将对应统计所述目标业务数据集中与业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中不同非主键数据类型的目标数据内容各自的出现频次。而后，所述计算机设备10将对应结合所述目标业务数据集中每个目标主键内容的出现总频次、每个业务数据子集中的所有目标数据内容各自的出现频次及临时置信度，针对每个目标数据内容在整个目标业务数据集中表现出的数据置信度进行计算，使每个目标数据内容的数据置信度与已入库业务数据及待入库业务数据各自表现出的数据分布特征直接相关，确保同一数据内容的数据置信度可随着时间变动引发的数据入库操作同步更新，以降低数据置信度计算时的人力依赖，提升数据置信度的准确性，确保数据置信度在同步更新作用下具有持续的可靠性。

其中，以图6所示的用于记录目标业务数据集中每个目标主键内容的出现总频次及每个业务数据子集中的多个目标数据内容的出现频次和临时置信度的举例示意图为例，图6所示的业务主键类型“身份证”的目标主键内容“101101**料0611”在数据来源为A的已入库业务数据子集中的出现总频次是107，业务主键类型“身份证”的目标主键内容“101101**料0612”在数据来源为A的已入库业务数据子集中的出现频次是92，而业务主键类型“身份证”的目标主键内容“101101****0612”在数据来源为B的待入库业务数据子集中的出现频次是127，则业务主键类型“身份证”的目标主键内容“101101****0612”在整个目标业务数据集中的出现总频次为127+92＝219。非主键数据类型“姓名”的目标数据内容“张老三”在数据来源为A的已入库业务数据子集中的出现频次是29，非主键数据类型“姓名”的目标数据内容“李小四”在数据来源为A的已入库业务数据子集中的出现频次是19，非主键数据类型“姓名”的目标数据内容“李小四”在数据来源为B的待入库业务数据子集中的出现频次是33，非主键数据类型“姓名”的目标数据内容“李小四”在数据来源为A的已入库业务数据子集中的临时置信度是0.8，非主键数据类型“姓名”的目标数据内容“李小四”在数据来源为B的待入库业务数据子集中的临时置信度是0.7。由此，所述计算机设备10可在图6所示的举例示意图的基础上，确定出每个目标主键内容所相关的各个目标数据内容的数据置信度，其中当某个目标主键内容与某个目标数据内容被记录在所述目标业务数据集的同一条业务数据中，则该目标主键内容将与该目标数据内容相关。

由此，本申请可通过执行上述步骤S210～步骤S240，结合具有相同业务主键类型的已入库业务数据及待入库业务数据各自表现出的数据分布特征进行置信度计算，减低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度可随着时间变动引发的数据入库操作同步更新，提升数据置信度的可靠性。

可选地，请参照图7，图7是图2中的步骤S220包括的子步骤的流程示意图。在本实施例中，所述步骤S220可以包括子步骤S221～子步骤S222，以确定出所述目标业务数据集中每条业务数据的初始置信度。

子步骤S221，针对目标业务数据集包括的每个业务数据子集，根据预先配置的数据来源与子集置信度之间的对应关系，确定该业务数据子集的目标子集置信度。

在本实施例中，所述数据来源与子集置信度之间的对应关系用于表示不同数据来源的业务数据子集的预设子集置信度。所述计算机设备10可根据所述数据来源与子集置信度之间的对应关系，针对所述目标业务数据集包括的每个业务数据子集，确定出各业务数据子集的与对应数据来源适配的目标子集置信度。

子步骤S222，将目标子集置信度作为该业务数据子集中每条业务数据的初始置信度。

在本实施例中，当确定出每个业务数据子集的目标子集置信度后，会按照该目标子集置信度对该业务数据子集包括的每条业务数据的初始置信度进行配置，如图4所示的用于记录目标业务数据集中每条业务数据的初始置信度的举例示意图。

由此，本申请可通过执行上述子步骤S221～子步骤S222，完成对目标业务数据集的置信度初始化操作，得到该目标业务数据集中每条业务数据的初始置信度。

可选地，请参照图8，图8是图2中的步骤S230包括的子步骤的流程示意图。在本实施例中，所述步骤S230可以包括子步骤S231～子步骤S234，以完成对所述目标业务数据集中涉及非主键数据类型的目标数据内容的临时置信度的预处理求解操作。

子步骤S231，针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容。

子步骤S232，将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配。

子步骤S233，若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度。

子步骤S234，若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

其中，参与规则匹配的预设内容构建规则与目标数据内容各自对应的非主键数据类型相同。所述预存置信度衰减策略用于实现对初始置信度的衰减操作，所述预存置信度衰减策略可以是衰减对应目标数据内容的初始置信度的一半，也可以是衰减对应目标数据内容的初始置信度的三分之一，还可以是将对应目标数据内容的初始置信度衰减固定置信度。以图5为例，在本实施例的一种实施方式中，所述预存置信度衰减策略为衰减对应目标数据内容的初始置信度的一半。

由此，本申请可通过执行上述子步骤S231～子步骤S234，根据目标数据内容本身特征对其初始置信度进行预处理操作，得到对应目标数据内容在所属业务数据子集内的实际适配的临时置信度，完成对所述目标业务数据集中涉及非主键数据类型的目标数据内容的临时置信度的预处理求解操作。

可选地，请参照图9，图9是图2中的步骤S240包括的子步骤的流程示意图。在本实施例中，所述步骤S240可以包括子步骤S241～子步骤S245，以结合已入库业务数据及待入库业务数据各自表现出的数据分布特征计算出每个目标数据内容在整个目标业务数据集中的数据置信度，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，确保数据置信度在同步更新作用下具有持续的可靠性。

子步骤S241，针对每个目标数据内容，筛查该目标数据内容在目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度。

子步骤S242，根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度。

其中，所述中间置信度在计算时是以同一目标数据内容在不同业务数据子集中的临时置信度作为权重，并以该目标数据内容在不同业务数据子集中的出现频次作为待加权数值进行加权求和运算得到的。

子步骤S243，对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度。

其中，所述目标数据内容所对应的目标主键内容即为记录有所述目标数据内容的业务数据包括的与业务主键类型对应的目标主键内容。

子步骤S244，将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度。

子步骤S245，按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在目标业务数据集中的数据置信度。

在本实施例中，当计算出某个目标数据内容的待输出置信度后，将按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，以确定出该目标数据内容在目标业务数据集中的满足所述预设约束条件的数据置信度。其中，所述按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在目标业务数据集中的数据置信度的步骤，可以包括：

将该目标数据内容的待输出置信度与所述预设约束条件所对应的置信度阈值进行比较；

若该目标数据内容的待输出置信度小于或等于所述置信度阈值，则直接将该目标数据内容的待输出置信度作为该目标数据内容的数据置信度；

若该目标数据内容的待输出置信度大于所述置信度阈值，则将所述预设约束条件所对应的预设置信度作为该目标数据内容的数据置信度。

在本实施例的一种实施方式中，所述预设约束条件所对应的置信度阈值采用1进行表示，所述预设约束条件所对应的预设置信度可采用小于所述置信度阈值的0.99进行表示。

由此，本申请可通过执行所述子步骤S241～子步骤S245，结合已入库业务数据及待入库业务数据各自表现出的数据分布特征计算出每个目标数据内容在整个目标业务数据集中的数据置信度，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，确保数据置信度在同步更新作用下具有持续的可靠性。

在本申请中，为确保所述计算机设备10能够通过所述数据置信度计算装置100执行上述数据置信度计算方法，本申请通过对所述数据置信度计算装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的数据置信度计算装置100的具体组成进行相应描述。

请参照图10，图10是本申请实施例提供的数据置信度计算装置100的组成示意图。在本申请实施例中，所述数据置信度计算装置100可以包括业务数据获取模块110、置信度初始化模块120、置信度预处理模块130及数据置信计算模块140。

业务数据获取模块110，用于获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集。

置信度初始化模块120，用于对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度。

置信度预处理模块130，用于根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度。

数据置信计算模块140，用于根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

可选地，请参照图11，图11是图10中的置信度预处理模块130的组成示意图。在本实施例中，所述置信度预处理模块130可以包括数据内容提取子模块131、预设规则匹配子模块132及临时置信输出子模块133。

数据内容提取子模块131，用于针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容。

预设规则匹配子模块132，用于将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配。

临时置信输出子模块133，用于若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度。

所述临时置信输出子模块133，还用于若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

可选地，请参照图12，图12是图10中的数据置信计算模块140的组成示意图。在本实施例中，所述数据置信计算模块140可以包括最大置信筛查子模块141、置信加权求和子模块142、置信除法运算子模块143、置信加法运算子模块144及置信约束输出子模块145。

最大置信筛查子模块141，用于针对每个目标数据内容，筛查该目标数据内容在所述目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度。

置信加权求和子模块142，用于根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度。

置信除法运算子模块143，用于对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度。

置信加法运算子模块144，用于将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度；

置信约束输出子模块145，用于按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度。

需要说明的是，本申请实施例所提供的数据置信度计算装置100，其基本原理及产生的技术效果与前述的数据置信度计算方法相同。为简要描述，本实施例部分未提及之处，可参考上述的针对数据置信度计算方法的描述内容。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，在本申请提供的数据置信度计算方法及装置、计算机设备和可读存储介质中，本申请在获取到包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集的目标业务数据集后，会对该目标业务数据集进行置信度初始化，得到该目标业务数据集中每条业务数据的初始置信度，并根据该目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度，而后根据目标业务数据集中与业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在目标业务数据集中的数据置信度，从而通过结合已入库业务数据及待入库业务数据各自的数据分布特征进行置信度计算，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度随着时间变动同步更新，提升数据置信度的可靠性。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应当以权利要求的保护范围为准。

Claims (10)

1.一种数据置信度计算方法，其特征在于，所述方法包括：

获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集；

对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度；

根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度；

根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度的步骤，包括：

针对所述目标业务数据集包括的每个业务数据子集，根据预先配置的数据来源与子集置信度之间的对应关系，确定该业务数据子集的目标子集置信度；

将所述目标子集置信度作为该业务数据子集中每条业务数据的初始置信度。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度的步骤，包括：

针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容；

将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配；

若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度；

若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度的步骤，包括：

针对每个目标数据内容，筛查该目标数据内容在所述目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度；

根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度；

对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度；

将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度；

按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度。

5.根据权利要求4所述的方法，其特征在于，所述按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度的步骤，包括：

将该目标数据内容的待输出置信度与所述预设约束条件所对应的置信度阈值进行比较；

若该目标数据内容的待输出置信度小于或等于所述置信度阈值，则直接将该目标数据内容的待输出置信度作为该目标数据内容的数据置信度；

若该目标数据内容的待输出置信度大于所述置信度阈值，则将所述预设约束条件所对应的预设置信度作为该目标数据内容的数据置信度。

6.一种数据置信度计算装置，其特征在于，所述装置包括：

业务数据获取模块，用于获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集；

置信度初始化模块，用于对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度；

置信度预处理模块，用于根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度；

数据置信计算模块，用于根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

7.根据权利要求6所述的装置，其特征在于，所述置信度预处理模块包括：

数据内容提取子模块，用于针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容；

预设规则匹配子模块，用于将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配；

临时置信输出子模块，用于若规则匹配成功，则直接将该业务数据的初始置信度作为该目标数据内容在该业务数据中的临时置信度；

所述临时置信输出子模块，还用于若规则匹配失败，则基于该业务数据的初始置信度按照预存置信度衰减策略进行置信度衰减，得到该目标数据内容在该业务数据中的临时置信度。

8.根据权利要求6或7所述的装置，其特征在于，所述数据置信计算模块包括：

最大置信筛查子模块，用于针对每个目标数据内容，筛查该目标数据内容在所述目标业务数据集包括的各业务数据子集中的临时置信度的最大值，得到该目标数据内容的第一置信度；

置信加权求和子模块，用于根据该目标数据内容在不同业务数据子集中的出现频次，对该目标数据内容在不同业务数据子集中的临时置信度进行加权求和，得到该目标数据内容的中间置信度；

置信除法运算子模块，用于对该目标数据内容的中间置信度和该目标数据内容所对应的目标主键内容的出现总频次进行除法运算，得到该目标数据内容的第二置信度；

置信加法运算子模块，用于将该目标数据内容的第一置信度及第二置信度进行加法运算，得到该目标数据内容的待输出置信度；

置信约束输出子模块，用于按照预设约束条件对该目标数据内容的待输出置信度进行置信度约束，得到该目标数据内容在所述目标业务数据集中的数据置信度。

9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以实现权利要求1-5中任意一项所述的数据置信度计算方法。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-5中任意一项所述的数据置信度计算方法。

Images