CN109582906B - 数据可靠度的确定方法、装置、设备和存储介质 - Google Patents

数据可靠度的确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109582906B
CN109582906B CN201811454431.XA CN201811454431A CN109582906B CN 109582906 B CN109582906 B CN 109582906B CN 201811454431 A CN201811454431 A CN 201811454431A CN 109582906 B CN109582906 B CN 109582906B
Authority
CN
China
Prior art keywords
data
reliability
user
user data
contents corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811454431.XA
Other languages
English (en)
Other versions
CN109582906A (zh
Inventor
张志远
陶劲
万月亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811454431.XA priority Critical patent/CN109582906B/zh
Publication of CN109582906A publication Critical patent/CN109582906A/zh
Application granted granted Critical
Publication of CN109582906B publication Critical patent/CN109582906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations

Abstract

本发明实施例公开了一种数据可靠度的确定方法、装置、设备和存储介质,该方法包括:获取来自两个或两个以上的数据源的用户数据,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。本发明实施例可以实现有效地计算互联网数据之间关联可靠度,提高关联可靠度计算的准确率。

Description

数据可靠度的确定方法、装置、设备和存储介质
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种数据可靠度的确定方法、装置、设备和存储介质。
背景技术
随着社会和科技的发展,越来越多的信息可以被记录下来,形成海量的社会信息的数据。但是对这些海量数据进行高效的分析和利用,在现阶段依然是一个难题,其中最为困难的是对数据之间的关联性进行计算存储。
社会信息的数据中包括用户身份信息,因此数据之间的关联性包括同一用户身份的不同数据之间的关联性和非同一用户身份的不同数据之间的关联性,其中同一用户身份的不同数据之间的关联性的准确度和可靠度非常重要。档案是对一个用户的刻画,包括一个用户身份的各种不同数据,若同一用户身份的各种数据能够全部正确关联起来,形成一个关联的数据组,便能将该用户的档案刻画的更清晰,能够产生巨大的数据使用价值。但是其前提是,数据的关联必须是有效的、正确的,否则错误的关联可能严重损害数据使用价值。档案虽然可靠度非常高,但是档案中的数据大多是线下数据,收集效率很低。而互联网上的档案,虽然数据量很高,但是由于其固有局限性,其与真实个人的关联可靠度较低,不能满足需求。现有技术中缺乏一种较为有效计算互联网数据之间关联可靠度的方法,进而不能保证数据的关联准确性。
发明内容
本发明实施例提供了一种数据可靠度的确定方法、装置、设备和存储介质,可以有效地计算互联网数据之间关联可靠度。
第一方面,本发明实施例提供了一种数据可靠度的确定方法,包括:
获取来自两个或两个以上的数据源的用户数据,所述用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户不同标识对应的数据内容之间的目标可靠度。
第二方面,本发明实施例还提供了一种数据可靠度的确定装置,该确定装置包括:
数据获取模块,用于获取来自两个或两个以上的数据源的用户数据,所述用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
可靠度计算模块,用于根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
可靠度合并模块,用于根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户不同标识对应的数据内容之间的目标可靠度。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的数据可靠度的确定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据可靠度的确定方法。
本发明实施例通过获取来自两个或两个以上的数据源的用户数据,根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度,并且根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户不同标识对应的数据内容之间的目标可靠度。本发明实施例通过计算多个数据源中相同的两个数据之间的关联可靠度,并且将多个数据源的可靠度合并得到最终的目标可靠度,可以实现有效地计算互联网数据之间关联可靠度,提高关联可靠度计算的准确率。
附图说明
图1为本发明实施例一中的数据可靠度的确定方法的流程图;
图2为本发明实施例一中的数据获取的示意图;
图3为本发明实施例一中的数据可靠度的确定方法的示意图;
图4为本发明实施例二中的数据可靠度的确定方法的流程图;
图5为本发明实施例三中的数据可靠度的确定装置的结构示意图;
图6为本发明实施例四中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的数据可靠度的确定方法的流程图,本实施例可适用于计算数据之间关联可靠度的情况,该方法可以由数据可靠度的确定装置执行,该装置可以采用软件和/或硬件的方式实现,例如,该装置可配置于设备中。
本实施例中的数据可靠度确定装置可以配置于智能设备中,智能设备的具体类型本实施例不作限定,例如智能设备可以为电脑或平板电脑等。如图2所示,图2为本发明实施例一中的数据获取的示意图,图中的智能设备为电脑,通过电脑获取来自不同数据源的数据,图中数据源为不同的网站,数据源分别为网站1、网站2和网站3等等。电脑获取到不同网站的数据之后,对数据之间关联性的可靠度进行计算。
如图1所示,本实施例中的方法具体可以包括:
S110、获取来自两个或两个以上的数据源的用户数据。
其中,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息。标识可以表示数据的类型,标识的具体类型本实施例中不作限定,例如标识可以为手机号或者身份证号等。本实施例中获取每个数据源中用户两个标识对应的数据内容。
用户属性信息为与用户不同标识对应的数据内容相关的参数,本实施例中用户数据属性信息可以包括用户数据的出现次数权重、用户数据的时间权重、用户数据的丰富程度权重、用户数据的规范程度权重、用户数据的类别参考值和用户数据的勾稽惩罚度等。其中,用户数据的时间表示用户数据产生时刻距离当前时刻的时间,用户数据的丰富程度表示用户不同标识对应的数据内容的字段类型以及字段数等,用户数据的规范程度表示用户不同标识对应的数据内容与该标识标准数据相比的规范程度,用户数据的类别参考值表示不同标识对应的数据内容的类别之间关联性的重要程度,用户数据的勾稽惩罚度表示当同一个数据源中出现两个相同标识对应的数据内容时引起冲突的惩罚系数。
针对同一数据,可以存在于多个数据来源,数据源即为数据的来源处,数据源可以为多个维度的,本实施例中对数据源的具体类型不作限定,例如数据源可以为线下数据或者互联网网站等。数据源属性信息为受数据源影响的参数,数据源属性信息可能会随着时间发生变化,本实施例中数据源属性信息包括数据源权重。
具体的,本实施例中可以通过内置在数据可靠度的确定装置中的数据获取程序或者数据获取算法获取来自两个或两个以上的数据源的用户数据。
S120、根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度。
用户数据中每个标识对应的数据可以通过档案进行存储,档案信息通常应当尽量丰富,档案与档案之间的关联性又称关系,计算关系时可以将档案信息一起进行计算,也可以在生成关系时添加一个描述该关系的可靠度,并将其作为关系的属性值。本实施例中采用的是可靠度来描述不同标识对应的数据内容之间的关联性。计算不同标识对应的数据内容之间的关联性,主要目的是分析哪些关联性可靠性高,哪些关联性可靠性低,将可靠性低的关联进行删除,进而需要建立可靠度参考标准,这个标准的制定与可靠度的计算需要随着关联性的类别变化而变化。
具体的,根据每一个数据源获取的用户数据中的数据源属性信息和用户数据属性信息通过可靠度计算模型可以确定该用户数据中不同标识对应的数据内容之间的可靠度。本实施例中的可靠度计算模型是基于回归分析实现的。此外也可以基于需要大量训练度的朴素贝叶斯模型实现,通过朴素贝叶斯模型实现使,将各个参数作为模型的输入进行训练,训练得到高准确度模型后,直接使用该模型。
其中,可靠度计算模型可以为用户数据中用户不同标识对应的数据内容之间的可靠度的公式,即用户数据中用户不同标识对应的数据内容之间的可靠度=(数据源权重+用户数据的出现次数权重×次数系数+用户数据的时间权重×时间系数+用户数据的丰富程度权重×丰富程度评估值+用户数据的规范程度权重×规范程度评估值)×用户数据的类别参考值×(1-用户数据的勾稽惩罚度)/5。
其中,次数系数可以根据用户数据出现次数和次数系数公式计算得到,本实施例中的次数系数公式表示为:M=logk(c+1),其中M表示次数系数,c表示用户数据出现次数,k表示一个定值,k的值可以根据数据源的不同而进行设置。本实施例中次数系数的值为0到1,当用户数据出现次数超过99次时,可以设置M的值为1,此时可以设置k为100。
时间系数可以根据用户数据产生时刻距离当前时刻的时间和时间系数公式计算得到,本实施例中的时间系数公式表示为:N=e-2a,其中N表示时间系数,a表示用户数据产生时刻距离当前时刻的时间与预设时间的比值,预设时间可以根据需要进行设置,本实施例中设置10年以后的数据不作参考,预设时间可以设置为10年。
丰富程度评估值可以根据用户数据中不同标识对应的数据内容中拥有的包含在设定字段集范围内的字段数以及不同字段的权重计算得到,具体的丰富程度评估值的计算方式本实施例中不作限定。例如若标识为A网站账号的数据内容中包括设代字段及范围内的所有字段,则该数据内容的丰富程度评估值为1。
规范程度评估值可以通过内置在数据可靠度的确定装置中的工具类程序或者算法得到,也可以根据数据内容的连续性或者含义等进行计算,具体的计算方式本实施例中不作限定。例如若标识为B网站账号的数据内容为毫无意义的字母数字的组合,则规范程度评价值较低,可以为0。
用户数据的类别参考值可以预先定义,数据源不同时,同样两个标识数据内容的类别参考值一般不同,例如数据源为运营商上报时,类别参考值比较高,数据源为互联网网站时,类别参考值比较低。
进一步的,通过一个示例对上述一个数据源中用户数据中用户不同标识对应的数据内容之间的可靠度计算进行说明。示例性的,获取数据源A的用户数据,用户数据中包括手机号和微信号这两种标识对应的数据内容,手机号的数据内容为M1,微信号的数据内容为W1,微信号和手机号的关联性(即关系)可以表示为R1A(M1,W1)。数据源A的权重为0.7,用户数据的出现次数权重为0.5,用户数据出现次数为2,次数系数为0.238,用户数据的时间权重为0.5,用户数据的时间为3个月,时间系数为0.95,用户数据的丰富程度权重为0.1,若M1和W1的信息较为丰富,例如W1包括昵称和姓名,丰富程度评估值为0.5,用户数据的规范程度权重为0.2,若M1和W1的信息较为规范,例如W1包括汉字或者英文单词等的组合,规范程度评估值为1,用户数据的类别参考值定义为0.7,若未发现勾稽冲突点,则用户数据的勾稽惩罚度为0。将上述参数代入可靠度计算模型中,得到的可靠度=(0.7+0.4×0.238+0.5×0.95+0.1×0.5+0.2×1)×0.7×1/5=0.2128。
S130、根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。
具体的,针对同一用户,将两个或两个以上数据源的用户数据中不同标识对应的数据内容之间的可靠度合并,可以得到该用户不同标识对应的数据内容之间的目标可靠度。该目标可靠度为考虑了多个数据源因素得到的可靠度,大大提高了计算关联性可靠度的准确率。
可选地,根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度,包括:
基于每一用户数据中不同标识对应的数据内容之间的可靠度及合并可靠度公式,确定所述用户不同标识对应的数据内容之间的目标可靠度;
所述合并可靠度公式表示为:Ki=1-(1-S1)×…×(1-Si),其中i≥2,i表示数据源的数量,Ki表示i个数据源的可靠度合并之后的目标可靠度,Si表示第i个数据源的可靠度。该目标可靠度高于每个数据源的可靠度,并且与合并顺序无关以及不超过1。
若计算得到两个数据源的可靠度分别为A和B,则合并之后的目标可靠度为K2=1-(1-A)×(1-B);若计算得到的四个数据源的可靠度分别为C、D、E和F,则合并之后的目标可靠度为K4=1-(1-C)×(1-D)×(1-E)×(1-F)。
示例性的,若数据源A的手机号的数据内容为M1,微信号的数据内容为W1,微信号和手机号的关联性可以表示为R1A(M1,W1),得到的可靠度为0.2128;若数据源B的手机号的数据内容为M1,微信号的数据内容为W1,微信号和手机号的关联性可以表示为R1B(M1,W1),得到的可靠度为0.0921,则目标可靠度为K2=1-(1-0.2128)×(1-0.0921)=0.2853。
进一步的,图3为本发明实施例一中的数据可靠度的确定方法的示意图。图3中对本实施例中的确定方法进行示例性的综合示意,针对同一用户,获取到来自数据源A和数据源B的用户数据A和用户数据B,每个用户数据中均包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息,将用户数据A和用户数据B代入可靠度计算模型中,分别得到可靠KA和可靠度KB,将可靠KA和可靠度KB代入合并可靠度公式进行合并,得到目标可靠度K=1-(1-KA)×(1-KB)。
本实施例通过获取来自两个或两个以上的数据源的用户数据,根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度,并且根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。本实施例通过计算多个数据源中相同的两个数据之间的关联可靠度,并且将多个数据源的可靠度合并得到最终的目标可靠度,可以实现有效地计算互联网数据之间关联可靠度,提高关联可靠度计算的准确率。
实施例二
图4为本发明实施例二中的数据可靠度的确定方法的流程图。本实施例在上述实施例的基础上,进一步优化了上述数据可靠度的确定方法。相应的,本实施例的方法具体包括:
S210、获取来自两个或两个以上的数据源的用户数据。
其中,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息。本实施例中用户数据属性信息可以包括用户数据的出现次数权重、用户数据的时间权重、用户数据的丰富程度权重、用户数据的规范程度权重、用户数据的类别参考值和用户数据的勾稽惩罚度等。本实施例中数据源属性信息包括数据源权重。
S220、根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度。
具体的,根据每一个数据源获取的用户数据中的数据源属性信息和用户数据属性信息通过可靠度计算模型可以确定该用户数据中不同标识对应的数据内容之间的可靠度。
其中,可靠度计算模型可以为用户数据中用户不同标识对应的数据内容之间的可靠度的公式,即用户数据中用户不同标识对应的数据内容之间的可靠度=(数据源权重+用户数据的出现次数权重×次数系数+用户数据的时间权重×时间系数+用户数据的丰富程度权重×丰富程度评估值+用户数据的规范程度权重×规范程度评估值)×用户数据的类别参考值×(1-用户数据的勾稽惩罚度)/5。
S230、根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。
可选地,根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度,包括:
基于每一用户数据中不同标识对应的数据内容之间的可靠度及合并可靠度公式,确定所述用户不同标识对应的数据内容之间的目标可靠度;
所述合并可靠度公式表示为:Ki=1-(1-S1)×…×(1-Si),其中i≥2,i表示数据源的数量,Ki表示i个数据源的可靠度合并之后的目标可靠度,Si表示第i个数据源的可靠度。该目标可靠度高于每个数据源的可靠度,并且与合并顺序无关以及不超过1。
S240、根据数量阈值、可靠度阈值以及用户不同标识对应的数据内容之间的可靠度优化用户数据。
其中,数量阈值和可靠度阈值可以根据需要进行设置。根据用户不同标识对应的数据内容的类别要求可以设置该数量阈值,例如两个不同标识为手机号和身份证号,若一个身份证号仅对应唯一的一个手机号,则可以设置手机号关联的手机号仅为一个,即该数量阈值为1。即使数据内容的类别对数量不限制,若数量过高,可能也属于关联性异常的数据,因此均需要设置数量阈值。可靠度阈值一般设置较低,例如设置为0.1。
具体的,针对一个用户中一个标识符对应的数据内容与多个标识符对应的数据内容具有关联性(即可靠度不为0)时,根据数量阈值、可靠度阈值以及用户不同标识对应的数据内容之间的可靠度,将在数量阈值外或者不满足可靠度阈值的目标可靠度对应的数据内容移动至不可靠数据集中,以实现对用户数据的优化。
示例性的,若针对同一个用户,手机号的数据内容M1和微信号的数据内容W1的目标可靠度为0.2853,手机号的数据内容M1和微信号的数据内容W2的目标可靠度为0.11,假设一个手机号只能对应一个微信号,则根据数量阈值1,将目标可靠度为0.11对应的微信号的数据内容W2移动至不可靠数据集中。
本实施例中的具体优化过程可以基于图计算的方式来实现,图计算工具一般采用“以顶点想(think like a vertex)”的思路去抽象数据处理的算法,由于数据内容是不断丰富的,为避免每次进行全量计算,可以将优化过的用户数据通过图数据库存储,存在新增数据时,进行比对计算或者利用图数据库的索引功能进行优化计算。
此外,不可靠数据集中的数据内容在特殊情况下可以提取加以使用,特殊情况例如涉及到触犯法律的数据等。
本实施例通过获取来自两个或两个以上的数据源的用户数据,根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度,并且根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。本实施例通过计算多个数据源中相同的两个数据之间的关联可靠度,并且将多个数据源的可靠度合并得到最终的目标可靠度,可以实现有效地计算互联网数据之间关联可靠度,提高关联可靠度计算的准确率;并且通过对用户数据的优化,进一步提高了关联可靠度的准确性。
实施例三
图5为本发明实施例三中的数据可靠度的确定装置的结构示意图,本实施例可适用于计算数据之间关联可靠度的情况。本发明实施例所提供的数据可靠度的确定装置可执行本发明任意实施例所提供的数据可靠度的确定方法,具备执行方法相应的功能模块和有益效果。该装置具体包括数据获取模块310、可靠度计算模块320和可靠度合并模块330,其中:
数据获取模块310,用于获取来自两个或两个以上的数据源的用户数据,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
可靠度计算模块320,用于根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
可靠度合并模块330,用于根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。
本发明实施例通过获取来自两个或两个以上的数据源的用户数据,根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度,并且根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。本发明实施例通过计算多个数据源中相同的两个数据之间的关联可靠度,并且将多个数据源的可靠度合并得到最终的目标可靠度,可以实现有效地计算互联网数据之间关联可靠度,提高关联可靠度计算的准确率。
可选地,该装置还包括:
优化模块,用于根据数量阈值、可靠度阈值以及用户不同标识对应的数据内容之间的可靠度优化用户数据。
可选地,数据源属性信息包括数据源权重,用户数据属性信息包括用户数据的出现次数权重、用户数据的时间权重、用户数据的丰富程度权重、用户数据的规范程度权重、用户数据的类别参考值和用户数据的勾稽惩罚度。
可选地,可靠度计算模块320具体用于:
用户数据中用户不同标识对应的数据内容之间的可靠度=(数据源权重+用户数据的出现次数权重×次数系数+用户数据的时间权重×时间系数+用户数据的丰富程度权重×丰富程度评估值+用户数据的规范程度权重×规范程度评估值)×用户数据的类别参考值×(1-用户数据的勾稽惩罚度)/5。
可选地,可靠度合并模块330具体用于:
基于每一用户数据中不同标识对应的数据内容之间的可靠度及合并可靠度公式,确定用户不同标识对应的数据内容之间的目标可靠度;
合并可靠度公式表示为:Ki=1-(1-S1)×…×(1-Si),其中i≥2,i表示数据源的数量,Ki表示i个数据源的可靠度合并之后的目标可靠度,Si表示第i个数据源的可靠度。
本发明实施例所提供的数据可靠度的确定装置可执行本发明任意实施例所提供的数据可靠度的确定方法,具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四中的设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备412的框图。图6显示的设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,设备412以通用设备的形式表现。设备412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该设备412交互的终端通信,和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器420通过总线418与设备412的其它模块通信。应当明白,尽管图中未示出,可以结合设备412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据可靠度的确定方法,该方法包括:
获取来自两个或两个以上的数据源的用户数据,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据可靠度的确定方法,该方法包括:
获取来自两个或两个以上的数据源的用户数据,用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定用户不同标识对应的数据内容之间的目标可靠度。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据可靠度的确定方法,其特征在于,包括:
获取来自两个或两个以上的数据源的用户数据,所述用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户多个数据源中不同标识对应的数据内容之间的目标可靠度。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据数量阈值、可靠度阈值以及所述用户不同标识对应的数据内容之间的可靠度优化所述用户数据。
3.根据权利要求1所述的方法,其特征在于,所述数据源属性信息包括数据源权重,所述用户数据属性信息包括用户数据的出现次数权重、用户数据的时间权重、用户数据的丰富程度权重、用户数据的规范程度权重、用户数据的类别参考值和用户数据的勾稽惩罚度。
4.根据权利要求3所述的方法,其特征在于,根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度,包括:
用户数据中用户不同标识对应的数据内容之间的可靠度=(数据源权重+用户数据的出现次数权重×次数系数+用户数据的时间权重×时间系数+用户数据的丰富程度权重×丰富程度评估值+用户数据的规范程度权重×规范程度评估值)×用户数据的类别参考值×(1-用户数据的勾稽惩罚度)/5。
5.根据权利要求1所述的方法,其特征在于,根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户不同标识对应的数据内容之间的目标可靠度,包括:
基于每一用户数据中不同标识对应的数据内容之间的可靠度及合并可靠度公式,确定所述用户不同标识对应的数据内容之间的目标可靠度;
所述合并可靠度公式表示为:Ki=1-(1-S1)×···×(1-Si),其中i≥2,i表示数据源的数量,Ki表示i个数据源的可靠度合并之后的目标可靠度,Si表示第i个数据源的可靠度。
6.一种数据可靠度的确定装置,其特征在于,包括:
数据获取模块,用于获取来自两个或两个以上的数据源的用户数据,所述用户数据包括用户不同标识对应的数据内容、数据源属性信息和用户数据属性信息;
可靠度计算模块,用于根据每一用户数据中的数据源属性信息和用户数据属性信息确定不同标识对应的数据内容之间的可靠度;
可靠度合并模块,用于根据每一用户数据中不同标识对应的数据内容之间的可靠度,确定所述用户多个数据源中不同标识对应的数据内容之间的目标可靠度。
7.根据权利要求6所述的确定装置,其特征在于,还包括:
优化模块,用于根据数量阈值、可靠度阈值以及所述用户不同标识对应的数据内容之间的可靠度优化所述用户数据。
8.根据权利要求6所述的确定装置,其特征在于,所述可靠度合并模块具体用于:
基于每一用户数据中不同标识对应的数据内容之间的可靠度及合并可靠度公式,确定所述用户不同标识对应的数据内容之间的目标可靠度;
所述合并可靠度公式表示为:Ki=1-(1-S1)×···×(1-Si),其中i≥2,i表示数据源的数量,Ki表示i个数据源的可靠度合并之后的目标可靠度,Si表示第i个数据源的可靠度。
9.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据可靠度的确定方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据可靠度的确定方法。
CN201811454431.XA 2018-11-30 2018-11-30 数据可靠度的确定方法、装置、设备和存储介质 Active CN109582906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811454431.XA CN109582906B (zh) 2018-11-30 2018-11-30 数据可靠度的确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811454431.XA CN109582906B (zh) 2018-11-30 2018-11-30 数据可靠度的确定方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109582906A CN109582906A (zh) 2019-04-05
CN109582906B true CN109582906B (zh) 2021-06-15

Family

ID=65925856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811454431.XA Active CN109582906B (zh) 2018-11-30 2018-11-30 数据可靠度的确定方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109582906B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708414B (zh) * 2019-08-30 2021-01-05 中国人民财产保险股份有限公司 一种电话号码的排序方法、装置及电子设备
CN111177146B (zh) * 2019-11-07 2023-08-08 腾讯科技(深圳)有限公司 数据分析的方法、装置及设备
CN111078959A (zh) * 2019-12-16 2020-04-28 北京明略软件系统有限公司 一种数据匹配方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958086A (zh) * 2017-12-18 2018-04-24 北京睿力科技有限公司 解决数据语义异构问题的多源异构数据库数据集成方法
CN108153793A (zh) * 2016-12-02 2018-06-12 航天星图科技(北京)有限公司 一种原始数据处理方法
CN108255788A (zh) * 2016-12-27 2018-07-06 方正国际软件(北京)有限公司 一种评估数据的可信度的方法及装置
US10078679B1 (en) * 2010-09-27 2018-09-18 Trulia, Llc Verifying the validity and status of data from disparate sources

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321047A (zh) * 2015-11-10 2016-02-10 中国电力科学研究院 一种调度计划类数据多维度校验方法
EP3859977A1 (en) * 2016-07-15 2021-08-04 Chippewa Data Control LLC Method of error correction
CN107526820A (zh) * 2017-08-29 2017-12-29 广东省技术经济研究发展中心 一种多源多库企业创新监测大数据标准数据库构建方法
CN108776697B (zh) * 2018-06-06 2020-06-09 南京大学 一种基于谓词的多源数据集清洗方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078679B1 (en) * 2010-09-27 2018-09-18 Trulia, Llc Verifying the validity and status of data from disparate sources
CN108153793A (zh) * 2016-12-02 2018-06-12 航天星图科技(北京)有限公司 一种原始数据处理方法
CN108255788A (zh) * 2016-12-27 2018-07-06 方正国际软件(北京)有限公司 一种评估数据的可信度的方法及装置
CN107958086A (zh) * 2017-12-18 2018-04-24 北京睿力科技有限公司 解决数据语义异构问题的多源异构数据库数据集成方法

Also Published As

Publication number Publication date
CN109582906A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
US20210224694A1 (en) Systems and Methods for Predictive Coding
CN111343161B (zh) 异常信息处理节点分析方法、装置、介质及电子设备
CN109582906B (zh) 数据可靠度的确定方法、装置、设备和存储介质
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
CN113590645A (zh) 搜索方法、装置、电子设备及存储介质
US20220019739A1 (en) Item Recall Method and System, Electronic Device and Readable Storage Medium
US20170091190A1 (en) Computer system programmed to identify common subsequences in logs
CN110990445B (zh) 一种数据处理方法、装置、设备和介质
CN112181835A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN110618999A (zh) 数据的查询方法及装置、计算机存储介质、电子设备
CN112559523A (zh) 数据探查方法、装置、电子设备以及存储介质
CN114925101A (zh) 数据处理方法、装置、存储介质及电子设备
CN111126422B (zh) 行业模型的建立及行业的确定方法、装置、设备及介质
CN111367813B (zh) 决策引擎自动化测试方法、装置、服务器及存储介质
WO2019071907A1 (zh) 基于操作页面识别帮助信息的方法及应用服务器
CN110874366A (zh) 数据处理、查询方法和装置
CN110175128B (zh) 一种相似代码案例获取方法、装置、设备和存储介质
CN111930891A (zh) 基于知识图谱的检索文本扩展方法及相关装置
CN117033309A (zh) 一种数据转换方法、装置、电子设备及可读存储介质
CN110874364A (zh) 一种查询语句处理方法、装置、设备及存储介质
CN113656391A (zh) 数据检测方法及装置、存储介质及电子设备
CN113792138A (zh) 报表生成方法、装置、电子设备及存储介质
CN114547231A (zh) 一种数据溯源的方法和系统
CN112214469A (zh) 路测数据处理方法、装置、服务器及存储介质
CN110647519B (zh) 对测试样本中的缺失属性值进行预测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190405

Assignee: NANJING UNARY INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: RUN TECHNOLOGIES Co.,Ltd. BEIJING

Contract record no.: X2022990000818

Denomination of invention: Determination method, device, equipment and storage medium of data reliability

Granted publication date: 20210615

License type: Common License

Record date: 20221013