CN110866000A - 数据质量评价方法、装置、电子设备及存储介质 - Google Patents
数据质量评价方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110866000A CN110866000A CN201911141656.4A CN201911141656A CN110866000A CN 110866000 A CN110866000 A CN 110866000A CN 201911141656 A CN201911141656 A CN 201911141656A CN 110866000 A CN110866000 A CN 110866000A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- data
- evaluated
- dimension
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Abstract
本申请公开了一种数据质量评价方法、装置、电子设备及存储介质,方法包括:将待评价数据的至少一个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表,采用优先级排序表中优先级最高的评价维度对待评价数据进行评价以得评价分数,并在评价分数满足预设条件从而在优先级最高的评价维度下待评价数据的质量合格时,将优先级排序表中优先级最高的评价维度删除,以得到新的优先级排序表以再次采用优先级排序表中优先级最高的评价维度对待评价数据进行评价,直至优先级排序表中不存在评价维度,或待评价数据在优先级最高的评价维度的评价分数不满足预设条件,解决了现有技术中对待评价数据的质量进行评价效率较低的问题。
Description
技术领域
本申请涉及数据质量评价领域,具体而言,涉及一种数据质量评价方法、装置、电子设备及存储介质。
背景技术
随着计算机科学技术的发展和社会的进步,对生产、生活中产生的数据进行数据质量评价,以从大量的数据中筛选出质量合格的数据并进行有效利用,能够有效提高生产力水平。在传统技术中,通过待评价数据所属领域的技术人员对待评价数据进行人为数据质量评价以确定待评价数据的质量是否合格,当待评价数据非常多时,对待评价数据进行人为数据质量评价的工作量巨大,需要耗费技术人员大量的精力,且容易出现错误。现有技术对传统技术中的数据质量评价方法进行了改良,能够根据预设规则自动对待评价数据进行数据质量评价,但当待评价数据涉及领域较多,每个领域分别对应不同的评价维度时,需要获得待评价数据在所有的评价维度下的评价分数,再对各评价维度下的评价分数进行综合分析,才能根据综合分析的结果来判断待评价数据是否质量合格,数据质量评价过程繁琐,因此,现有技术中存在对待评价数据的质量进行评价效率较低的问题。
发明内容
针对上述对待评价数据的质量进行评价效率较低的问题,本申请提供了一种数据质量评价方法、装置、电子设备及存储介质,解决了现有技术中存在的对待评价数据的质量进行评价效率较低的问题。
第一方面,本申请提供了一种数据质量评价方法,包括:
步骤a:获得待评价数据和所述待评价数据的至少一个个评价维度;
步骤b:将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表;
步骤c:采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数;
步骤d:当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将该优先级最高的评价维度从所述优先级排序表中删除,以得到新的优先级排序表,并返回执行步骤c,直至所述优先级排序表中不存在评价维度,或所述待评价数据在所述优先级最高的评价维度的评价分数不满足所述预设条件,以根据所述待评价数据在各评价维度下的质量合格情况确定所述待评价数据的质量是否合格。
根据本申请的实施例,优选地,在上述数据质量评价方法中,采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数的步骤包括:
获得所述待评价数据在所述优先级排序表中优先级最高的评价维度的每个评价规则的评价规则分数;
计算每个所述评价规则的评价规则分数分别与该评价规则的预设权重值的乘积,将该乘积作为该评价规则的规则权重评价分数;
将各所述评价规则的规则权重评价分数相加,以得到所述待评价数据在所述优先级最高的评价维度的评价分数。
根据本申请的实施例,优选地,在上述数据质量评价方法中,得到所述待评价数据在所述优先级最高的评价维度的每个评价规则的评价规则分数的步骤包括:
按照优先级最高的评价维度的多个评价规则的优先级从高到低的顺序,依次执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数。
根据本申请的实施例,优选地,在上述数据质量评价方法中,当所述优先级排序表中不存在评价维度时,确定在所有评价维度下所述待评价数据的质量合格,所述方法还包括:
将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数;
判断所述总评价分数是否满足预设总评价条件;
当所述待评价数据的总评价分数不满足所述预设总评价条件时,所述待评价数据的质量不合格。
根据本申请的实施例,优选地,在上述数据质量评价方法中,将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数的步骤包括:
计算每个所述评价维度的评价分数分别与该评价维度的预设权重值的乘积,将该乘积作为所述待评价数据在每个所述评价维度的权重评价分数;
将所述待评价数据的所有所述评价维度的权重评价分数相加,以得到所述待评价数据的总评价分数。
根据本申请的实施例,优选地,在上述数据质量评价方法中,所述方法还包括:
当所述待评价数据的总评价分数满足所述预设总评价条件时,确定所述待评价数据的质量合格;
根据预设质量等级评价规则对所述待评价数据总评价分数进行质量等级评价,以得到所述待评价数据的质量等级级别,其中,所述质量等级包括优秀等级、一般等级以及及格等级,且所述优秀等级的总评价分数高于所述一般等级的总评价分数,所述一般等级的总评价分数高于所述及格等级的总评价分数。
根据本申请的实施例,优选地,在上述数据质量评价方法中,所述方法还包括:
当所述待评价数据在所述优先级最高的评价维度的评价分数不满足所述预设条件时,确定所述待评价数据的质量不合格。
第二方面,本申请提供了一种数据质量评价装置,所述装置包括:
获得模块,用于获得待评价数据和所述待评价数据的至少一个个评价维度;
排序模块,用于将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表;
评分模块,用于采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数;
评价模块,用于当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将该优先级最高的评价维度从所述优先级排序表中删除,以得到新的优先级排序表。
第三方面,本申请提供了一种存储介质,该存储介质存储的计算机程序,可被一个或多个处理器执行,可用来实现上述第一方面中任意一项的数据质量评价方法。
第四方面,本申请提供了一种电子设备,包括存储器和处理器,所述存储器上存储有能够被所述处理器执行的存储介质,该存储介质被所述处理器执行时实现上述第一方面中任意一项的数据质量评价方法。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:本申请提供的一种数据质量评价方法、装置、电子设备及存储介质,根据获得待评价数据和所述待评价数据的至少一个个评价维度;将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表;采用优先级排序表中优先级最高的评价维度的评价规则,对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数,并将该评价分数和该评价分数的评价维度存储至数据库;当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将所述优先级排序表中的优先级最高的评价维度删除,以得到新的优先级排序表,并返回执行采用优先级排序表中优先级最高的评价维度的评价规则,对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数,并将该评价分数和该评价分数的评价维度存储至数据库的步骤,直至所述优先级排序表中不存在评价维度,或所述待评价数据在所述优先级最高的评价维度的评价分数不满足预设条件,解决了现有技术中存在的对待评价数据的质量进行评价效率较低的问题。
附图说明
通过结合附图阅读下文示例性实施例的详细描述可更好地理解本申请公开的范围。其中所包括的附图是:
图1为本申请实施例一提供的数据质量评价方法的流程图;
图2为本申请实施例二提供的数据质量评价方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例一
请参阅图1,本申请实施例提供了一种数据质量评价方法,该方法包括步骤S110至步骤S160。
步骤S110,获得待评价数据和所述待评价数据的至少一个个评价维度。
可以理解,所述待评价数据包括但不限于:用户发表的评论数据、用户的操作数据以及用户的调查问卷数据。在对所述待评价数据进行评价之前,需要先确认所述待评价数据对应的评价模型,所述评价模型中包括了用于对所述待评价数据进行质量评价的评价维度,不同类型的待评价数据的评价维度也各不相同,且一种类型的待评价数据可以对应多个评价维度,以从多个维度对该待评价数据进行数据质量评价。
步骤S120,将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表。
可以理解,根据所述待评价数据的多个评价维度对该待评价数据的质量的影响程度,为多个所述评价维度设置不同的优先级,并得到多个所述评价维度按照所述待评价数据对应的评价模型中的预设优先级从高到低的顺序进行排列而形成的优先级排序表。例如,在本实施例中,调查问卷数据的评价维度包括但不限于:重复度维度、完整性维度、及时性维度以及可信度维度,其中,完整性维度优先级高于及时性维度优先级,及时性维度优先级高于重复度维度优先级,重复度维度优先级高于可信度维度优先级。
步骤S130,采用优先级排序表中优先级最高的评价维度的评价规则,对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数。
将所述评价分数和所述评价分数的评价维度存储至数据库。
可以理解,所述评价维度的优先级越高,表明该评价维度对所述待评价数据的质量的影响越大,因此,在本实施例中,优先执行优先级排序表中优先级最高的评价维度的评价规则,以对所述待评价数据进行数据质量评价。
通过对所述评价维度的评价过程进行进一步细分,能够更加准确和全面地对所述待评价数据在该评价维度的质量进行评价,在本实施例中,采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数包括:获得所述待评价数据在所述优先级排序表中优先级最高的评价维度的每个评价规则的评价规则分数;计算每个所述评价规则的评价规则分数分别与该评价规则的预设权重值的乘积,将该乘积作为该评价规则的规则权重评价分数;将各所述评价规则的规则权重评价分数相加,以得到所述待评价数据在所述优先级最高的评价维度的评价分数。
可以理解,本实施例中的数据质量评价方法是一种定量的数据质量评价方法:通过执行每个评价维度中的各评价规则获取所述待评价数据的评价规则分数,各评价规则的重要程度不同,因此,需要按照每个评价规则的重要程度为每个评价规则设置预设权重值,且所有评价规则的权重值之和为1。
具体的,得到所述待评价数据在所述优先级最高的评价维度的每个评价规则的评价规则分数的方式可以是按照随机的先后顺序执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数;也可以是同时执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数;还可以是按照优先级最高的评价维度的多个评价规则的优先级从高到低的顺序,依次执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数。
优选的,在本实施例中,按照优先级最高的评价维度的多个评价规则的优先级从高到低的顺序,依次执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数。
步骤S140,判断所述待评价数据在所述优先级最高的评价维度的评价分数是否满足预设条件。
可以理解,判断所述待评价数据的评价分数是否满足预设条件可以是判断所述待评价数据的评价分数是否大于预设评价分数阈值,当所述待评价数据的评价分数大于所述预设评价分数阈值时,所述待评价数据的评价分数不满足预设条件;也可以是判断所述待评价数据的评价分数是否小于预设评价分数阈值,当所述待评价数据的评价分数小于所述预设评价分数阈值时,所述待评价数据的评价分数不满足预设条件。
当所述待评价数据在所述优先级最高的评价维度的评价分数不满足所述预设条件时,执行步骤S141和步骤S160。
步骤S141:确定所述待评价数据的质量不合格。
可以理解,当得到所述待评价数据的质量不合格的结论时,对所述待评价数据的数据质量评价过程结束,无需再采用优先级排序表中剩余的其他评价维度对所述待评价数据进行评价,从而可以有效节约数据质量评价时间,提高对所述待评价数据进行数据质量评价的效率,有效地解决了现有技术在对待评价数据进行数据质量评价时,需要对待评价数据的所有评价维度进行评价之后,才能判断待评价数据是否质量合格的方式存在的效率低的问题。
当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,执行步骤S142。
步骤S142:确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将所述优先级排序表中的优先级最高的评价维度删除,以得到新的优先级排序表。
可以理解,当所述待评价数据在所述优先级最高的评价维度下数据质量合格时,能够继续对所述待评价数据在优先级次高的评价维度下进行数据质量评价,因此,删除所述优先级排序表中的优先级最高的评价维度,以使所述优先级排序表中优先级次高的评价维度变为优先级最高的评价维度,从而得到新的优先级排序表。
在得到新的优先级排序表后,执行步骤S150。
步骤S150:判断所述优先级排序表中是否存在评价维度。
当所述优先级排序表中存在评价维度时,返回执行步骤S130。
可以理解,返回执行步骤S130是采用新的优先级排序表中优先级最高的评价维度的评价规则,对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数,并将该评价分数和该评价分数的评价维度存储至数据库。
当所述优先级排序表中不存在评价维度时,执行步骤S160。
步骤S160:采用评价维度对所述待评价数据的数据质量评价的过程结束。
应当说明的是,当所述优先级排序表中不存在评价维度时,表示已经采用了所述待评价数据的所有评价维度对所述待评价数据进行评价,且所述待评价数据在所有评价维度下均质量合格。
为进一步确保所述待评价数据的质量评价结果的准确性和完整性,在本实施例中,当确认在所有评价维度下所述待评价数据的质量合格,且所述优先级排序表中不存在评价维度时,将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数;判断所述总评价分数是否满足预设总评价条件;当所述待评价数据的总评价分数不满足所述预设总评价条件时,所述待评价数据的质量不合格。
具体的,在本实施例中,将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数的步骤包括:计算每个所述评价维度的评价分数分别与该评价维度的预设权重值的乘积,将该乘积作为所述待评价数据在每个所述评价维度的权重评价分数;将所述待评价数据的所有所述评价维度的权重评价分数相加,以得到所述待评价数据的总评价分数;其中,优先级高的评价维度的权重值大于优先级低的评价维度的权重值。
在本实施例中,当所述待评价数据的总评价分数满足所述预设总评价条件时,确定所述待评价数据的质量合格;根据预设质量等级评价规则对所述待评价数据总评价分数进行质量等级评价,以得到所述待评价数据的质量等级级别,其中,所述质量等级包括优秀等级、一般等级以及及格等级,且所述优秀等级的总评价分数高于所述一般等级的总评价分数,所述一般等级的总评价分数高于所述及格等级的总评价分数。
可以理解,当得到所述待评价数据的质量合格的结论时,可以根据实际需要对质量合格的所述待评价数据进行深入分析,从而按照预设的等级评价规则从合格的所述待评价数据中细分出优秀等级、一般等级以及及格等级的待评价数据,为所述待评价数据的有效利用提供良好的基础。
实施例二
请参阅图2,本申请实施例提供了一种数据质量评价方法,所述方法包括步骤S210至步骤S280。
步骤S210:获取用户评论数据。
可以理解,所述用户评论数据包括用户在对某一产品进行购买或其他相关操作后,对所述产品做出的反馈信息。
步骤S220:确认采用重复度维度和完整性维度对所述用户评论数据进行数据质量评价,并确认重复度维度的优先级高于完整性维度的优先级。
可以理解,所述用户评论数据对大众的潜在购买行为具有引导作用,对产品的生产商具有鞭策作用,因此,对用户评论数据进行数据质量评价,以筛选出质量合格的数据并进行有效利用具有重要意义。
在本实施例中,当对所述用户评论数据从多个评价维度进行数据质量评价时,需要确定各维度的优先级顺序,并优先采用优先级高的评价维度对所述用户评论数据进行评价。
步骤S230:执行重复度维度包括的评价规则,得到每个评价规则分别的评价分数,以计算出重复度维度下的评价分数。
可以理解,通过对所述重复度维度的评价过程进行进一步细分,能够更加准确和全面地对所述户评论数据在所述重复度维度的质量进行评价。
具体的,重复度维度包括的评价规则为:关键字重复度,语义重复度和时间重复度,通过执行重复度维度包括的评价规则,得到所述用户评论数据的关键字重复度的评价规则分数为U1,语义重复度的评价规则分数为U2,时间重复度的评价规则分数为U3。
应当说明的是,重复度维度包括的各评价规则的预设权重值分别为:关键字重复度的预设权重值为S1,语义重复度的预设权重值为S2,时间重复度的预设权重值为S3,且S1+S2+S3=1。根据重复度维度包括的每个评价规则分别的评价分数和每个评价规则分别的预设权重值,计算出重复度维度下的评价分数L1,具体的,L1=S1*U1+S2*U3+S3*U3。
步骤S240:判断重复度维度下的评价分数是否大于或等于重复度维度的评价分数阀值。
当重复度维度下的评价分数大于或等于重复度维度的评价分数阀值时,执行步骤S241。
步骤S241:确认所述用户评论的数据质量不合格,且不再执行完整性维度的评价规则。
可以理解,重复度维度的评价分数阀值为L,若L1>=L,则确认所述用户评论数据质量不合格,不再执行完整性维度的评价规则,从而可以有效地节约了数据质量评价的时间,提高了对所述用户评论数据进行数据质量评价的效率,有效地解决了现有技术在对所述用户评论数据进行数据质量评价时,需要对用户评论数据的所有评价维度进行评价之后,才能判断用户评论数据是否质量合格的方式存在的效率低的问题。
当重复度维度下的评价分数小于重复度维度的评价分数阀值时,执行步骤S250。
可以理解,当L1<L时,确认所述用户评论数据在重复度维度下的数据质量合格,执行步骤S250。
步骤S250:执行完整性维度包括的评价规则,得到每个评价规则分别的评价分数,以计算出完整性维度下的评价分数。
可以理解,通过对所述完整性维度的评价过程进行进一步细分,能够更加准确和全面地对所述户评论数据在所述完整性维度的质量进行评价。
具体的,完整性维度包括的评价规则为:语义完整性和格式完整性,通过执行完整性维度包括的评价规则,得到所述用户评论数据的语义完整性的评价规则分数为V1,格式完整性的评价规则分数为V2。
应当说明的是,完整性维度包括的各评价规则的预设权重值分别为:语义完整性的预设权重值为T1,格式完整性的预设权重值为T2,且T1+T2=1。根据完整性维度包括的每个评价规则分别的评价分数和每个评价规则分别的预设权重值,计算出完整性维度下的评价分数M1,具体的,M1=V1*T1+V2*T2。
步骤S260:判断完整性维度下的评价分数是否大于或等于完整性维度的评价分数阀值。
当完整性维度下的评价分数大于或等于完整性维度的评价分数阀值时,执行步骤S261。
可以理解,完整性维度的评价分数阀值为M,若M1>=M,则确认所述用户评论数据质量不合格。
步骤S261:确认所述用户评论的数据质量不合格。
当完整性维度下的评价分数小于完整性维度的评价分数阀值时,表示所述用户评论数据在重复度维度下的数据质量合格,且所述用户评论数据在完整性维度下的数据质量也合格,执行步骤S270。
可以理解,当M1<M时,确认所述用户评论数据在完整性维度下的数据质量合格,执行步骤S270。
步骤S270:判断重复度维度的评价分数与完整性维度的评价分数之和是否大于或等于总评价分数阀值。
可以理解,为进一步确保所述用户评论数据的质量评价结果的准确性,当完成对所述用户评论数据在所有评价维度下的数据质量评价之后,能够根据重复度维度的评价分数和完整性维度的评价分数,计算出用户评论数据的总评价分数N1,具体的,N1=L1+M1,判断N1与N的大小,若N1>=N,则确认所述用户评论数据质量不合格;反之则认定所述用户评论数据质量合格。
当重复度维度的评价分数与完整性维度的评价分数之和大于或等于总评价分数阀值时,执行步骤S271。
步骤S271:确认所述用户评论数据质量不合格。
当重复度维度的评价分数与完整性维度的评价分数之和小于总评价分数阀值时,执行步骤S280。
步骤S280:确认所述用户评论数据质量合格。
为了使所述用户评论数据的有效利用具有准确的依据,可以根据预设质量等级评价规则对所述用户评论数据总评价分数进行质量等级评价,以得到所述用户评论数据的质量等级级别,其中,所述质量等级包括优秀等级、一般等级以及及格等级,且所述优秀等级的总评价分数高于所述一般等级的总评价分数,所述一般等级的总评价分数高于所述及格等级的总评价分数。
实施例三
本申请实施例还提供了一种数据质量评价装置,所述装置包括:
获得模块,用于获得待评价数据和所述待评价数据的至少一个个评价维度。
由于获得模块和图1中步骤S110的实现原理类似,因而在此不作更多说明。
排序模块,用于将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表。
由于排序模块和图1中步骤S120的实现原理类似,因而在此不作更多说明。
评分模块,用于采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数。
由于评分模块和图1中步骤S130的实现原理类似,因而在此不作更多说明。
评价模块,用于当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将该优先级最高的评价维度从所述优先级排序表中删除,以得到新的优先级排序表。
由于评价模块和图1中步骤S140、步骤S142、步骤S150以及步骤S160的实现原理类似,因而在此不作更多说明。
实施例四
本申请实施例还提供了一种存储介质,该存储介质存储的计算机程序,可被一个或多个处理器执行,可用来实现如实施例一中所述的数据质量评价方法。其中,所述存储介质包括但不限于:闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,所述计算机程序被处理器执行时可以实现如实施例一或实施例二中所述的方法步骤,本实施例在此不再赘述。
实施例五
本申请实施例还提供了一种电子设备,包括存储器和处理器,所述存储器上存储有能够被所述处理器执行的存储介质,该存储介质被所述处理器执行时实现如实施例一或实施例二中所述的数据质量评价方法。
其中,处理器用于执行如实施例一或实施例二中的数据质量评价方法中的全部或部分步骤。存储器用于存储各种类型的数据,这些数据例如可以包括电子设备中的任何应用程序或方法的指令,以及应用程序相关的数据。
综上所述,本申请提供了一种数据质量评价方法、装置、电子设备及存储介质,所述方法通过将待评价数据的多个评价维度按照优先级从高到低的顺序进行排序,以得到优先级排序表,采用优先级排序表中优先级最高的评价维度对待评价数据进行评价以得评价分数,并在评价分数满足预设条件从而在优先级最高的评价维度下待评价数据的质量合格时,将优先级排序表中优先级最高的评价维度删除,以得到新的优先级排序表以再次采用优先级排序表中优先级最高的评价维度对待评价数据进行评价,直至优先级排序表中不存在评价维度,或待评价数据在优先级最高的评价维度的评价分数不满足预设条件。当数据在最高优先级的评价维度下质量不合格时,直接判定该数据质量不合格,而不需要采用剩余的低优先级的评价维度继续对所述待评价数据进行评价,能够快速判断出所述待评价数据的质量是否合格,从而解决了现有技术中存在的对待评价数据的质量进行评价效率较低的问题。
进一步的,当确认在所有评价维度下所述待评价数据的质量合格时,将所述待评价数据在每个评价维度分别的评价分数相加,以得到所述待评价数据的总评价分数,并判断所述总评价分数是否满足预设总评价条件,当所述待评价数据的总评价分数不满足预设总评价条件时,所述待评价数据的质量不合格,能够确保所述待评价数据的质量评价结果的准确性和完整性。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
虽然本申请所公开的实施方式如上,但所述的内容只是为了便于理解本申请而采用的实施方式,并非用以限定本申请。任何本申请所属技术领域内的技术人员,在不脱离本申请所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本申请的保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种数据质量评价方法,其特征在于,
步骤a:获得待评价数据和所述待评价数据的至少一个评价维度;
步骤b:将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表;
步骤c:采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数;
步骤d:当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将该优先级最高的评价维度从所述优先级排序表中删除,以得到新的优先级排序表,并返回执行步骤c,直至所述优先级排序表中不存在评价维度,或所述待评价数据在所述优先级最高的评价维度的评价分数不满足所述预设条件,以根据所述待评价数据在各评价维度下的质量合格情况确定所述待评价数据的质量是否合格。
2.根据权利要求1所述的数据质量评价方法,其特征在于,采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数的步骤包括:
获得所述待评价数据在所述优先级排序表中优先级最高的评价维度的每个评价规则的评价规则分数;
计算每个所述评价规则的评价规则分数分别与该评价规则的预设权重值的乘积,将该乘积作为该评价规则的规则权重评价分数;
将各所述评价规则的规则权重评价分数相加,以得到所述待评价数据在所述优先级最高的评价维度的评价分数。
3.根据权利要求2所述的数据质量评价方法,其特征在于,得到所述待评价数据在所述优先级最高的评价维度的每个评价规则的评价规则分数的步骤包括:
按照优先级最高的评价维度的多个评价规则的优先级从高到低的顺序,依次执行多个所述评价规则,以得到所述待评价数据在每个所述评价规则的评价规则分数。
4.根据权利要求1所述的数据质量评价方法,其特征在于,当所述优先级排序表中不存在评价维度时,确定在所有评价维度下所述待评价数据的质量合格,所述方法还包括:
将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数;
判断所述总评价分数是否满足预设总评价条件;
当所述待评价数据的总评价分数不满足所述预设总评价条件时,所述待评价数据的质量不合格。
5.根据权利要求4所述的数据质量评价方法,其特征在于,将所述待评价数据在每个评价维度的评价分数相加,以得到所述待评价数据的总评价分数的步骤包括:
计算每个所述评价维度的评价分数分别与该评价维度的预设权重值的乘积,将该乘积作为所述待评价数据在每个所述评价维度的权重评价分数;
将所述待评价数据的所有所述评价维度的权重评价分数相加,以得到所述待评价数据的总评价分数。
6.根据权利要求4所述的数据质量评价方法,其特征在于,所述方法还包括:
当所述待评价数据的总评价分数满足所述预设总评价条件时,确定所述待评价数据的质量合格;
根据预设质量等级评价规则对所述待评价数据总评价分数进行质量等级评价,以得到所述待评价数据的质量等级级别,其中,所述质量等级包括优秀等级、一般等级以及及格等级,且所述优秀等级的总评价分数高于所述一般等级的总评价分数,所述一般等级的总评价分数高于所述及格等级的总评价分数。
7.根据权利要求1所述的数据质量评价方法,其特征在于,所述方法还包括:
当所述待评价数据在所述优先级最高的评价维度的评价分数不满足所述预设条件时,确定所述待评价数据的质量不合格。
8.一种数据质量评价装置,其特征在于,所述装置包括:
获得模块,用于获得待评价数据和所述待评价数据的至少一个个评价维度;
排序模块,用于将所述待评价数据的多个评价维度按照预设优先级从高到低的顺序进行排序,以得到优先级排序表;
评分模块,用于采用优先级排序表中优先级最高的评价维度的评价规则对所述待评价数据进行评价,以得到所述待评价数据在所述优先级最高的评价维度的评价分数;
评价模块,用于当所述待评价数据在所述优先级最高的评价维度的评价分数满足预设条件时,确定在该优先级最高的评价维度下所述待评价数据的质量合格,并将该优先级最高的评价维度从所述优先级排序表中删除,以得到新的优先级排序表。
9.一种存储介质,其特征在于,该存储介质存储的计算机程序,可被一个或多个处理器执行,可用来实现如权利要求1至7中任意一项中的数据质量评价方法。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有能够被所述处理器执行的存储介质,该存储介质被所述处理器执行时实现如权利要求1至7中任意一项所述的数据质量评价方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911141656.4A CN110866000B (zh) | 2019-11-20 | 2019-11-20 | 数据质量评价方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911141656.4A CN110866000B (zh) | 2019-11-20 | 2019-11-20 | 数据质量评价方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866000A true CN110866000A (zh) | 2020-03-06 |
CN110866000B CN110866000B (zh) | 2022-04-08 |
Family
ID=69656042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911141656.4A Active CN110866000B (zh) | 2019-11-20 | 2019-11-20 | 数据质量评价方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866000B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231314A (zh) * | 2020-11-05 | 2021-01-15 | 深圳市丽湖软件有限公司 | 一种基于etl的质量数据评估方法 |
CN112418798A (zh) * | 2020-11-23 | 2021-02-26 | 平安普惠企业管理有限公司 | 信息审核方法、装置、电子设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609259A (zh) * | 2012-02-03 | 2012-07-25 | 中国人民解放军63928部队 | 一种基础软件平台体系结构设计与评价方法 |
CN103678905A (zh) * | 2013-12-09 | 2014-03-26 | 深圳先进技术研究院 | 基于轨迹数据的质量评估方法 |
WO2014089673A1 (en) * | 2012-12-11 | 2014-06-19 | Joseph Schmitt | System and method for automated trading of financial interests |
CN104021304A (zh) * | 2014-06-19 | 2014-09-03 | 山东大学 | 一种变压器在线监测装置安装优先级评估方法 |
CN105373848A (zh) * | 2015-10-20 | 2016-03-02 | 国家电网公司 | 基于粗糙集的荷-网-源互动协调控制方案的优先排序法 |
CN105574623A (zh) * | 2014-10-09 | 2016-05-11 | 普华讯光(北京)科技有限公司 | 一种应用于电力营销业务的三全一中心服务质量管控系统 |
CN106503879A (zh) * | 2016-09-20 | 2017-03-15 | 西南石油大学 | 海洋平台动设备的重要度评价方法和系统 |
CN107730115A (zh) * | 2017-10-17 | 2018-02-23 | 云南大学 | 一种基于ahp的多源位置轨迹数据的质量评估方法 |
CN108241913A (zh) * | 2016-12-23 | 2018-07-03 | 广东省科技基础条件平台中心 | 一种科技项目验收评价方法 |
CN108875790A (zh) * | 2018-05-24 | 2018-11-23 | 天津大学 | 一种主次特征优先级分类方法 |
CN109271653A (zh) * | 2018-07-13 | 2019-01-25 | 西安交通大学 | 一种基于形位公差与尺寸公差的机械零件选配方法 |
CN109615206A (zh) * | 2018-12-04 | 2019-04-12 | 大连理工大学 | 一种用于评价城市化进程中土壤生态服务功能的方法 |
CN109742788A (zh) * | 2018-12-18 | 2019-05-10 | 国网青海省电力公司电力科学研究院 | 一种新能源电站并网性能评价指标修正方法 |
CN109768886A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 网络规划评价方法及装置 |
CN110222129A (zh) * | 2019-06-17 | 2019-09-10 | 山东浪潮商用系统有限公司 | 一种基于关系型数据库的信用评价算法 |
CN113537781A (zh) * | 2021-07-19 | 2021-10-22 | 建信融通有限责任公司 | 一种移动端软件评价方法、装置、存储介质和设备 |
US20210365811A1 (en) * | 2018-06-25 | 2021-11-25 | Shan Dong University | Context information uncertainty elimination system and working method based on qox adaptive management |
-
2019
- 2019-11-20 CN CN201911141656.4A patent/CN110866000B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609259A (zh) * | 2012-02-03 | 2012-07-25 | 中国人民解放军63928部队 | 一种基础软件平台体系结构设计与评价方法 |
WO2014089673A1 (en) * | 2012-12-11 | 2014-06-19 | Joseph Schmitt | System and method for automated trading of financial interests |
CN103678905A (zh) * | 2013-12-09 | 2014-03-26 | 深圳先进技术研究院 | 基于轨迹数据的质量评估方法 |
CN104021304A (zh) * | 2014-06-19 | 2014-09-03 | 山东大学 | 一种变压器在线监测装置安装优先级评估方法 |
CN105574623A (zh) * | 2014-10-09 | 2016-05-11 | 普华讯光(北京)科技有限公司 | 一种应用于电力营销业务的三全一中心服务质量管控系统 |
CN105373848A (zh) * | 2015-10-20 | 2016-03-02 | 国家电网公司 | 基于粗糙集的荷-网-源互动协调控制方案的优先排序法 |
CN106503879A (zh) * | 2016-09-20 | 2017-03-15 | 西南石油大学 | 海洋平台动设备的重要度评价方法和系统 |
CN108241913A (zh) * | 2016-12-23 | 2018-07-03 | 广东省科技基础条件平台中心 | 一种科技项目验收评价方法 |
CN107730115A (zh) * | 2017-10-17 | 2018-02-23 | 云南大学 | 一种基于ahp的多源位置轨迹数据的质量评估方法 |
CN108875790A (zh) * | 2018-05-24 | 2018-11-23 | 天津大学 | 一种主次特征优先级分类方法 |
US20210365811A1 (en) * | 2018-06-25 | 2021-11-25 | Shan Dong University | Context information uncertainty elimination system and working method based on qox adaptive management |
CN109271653A (zh) * | 2018-07-13 | 2019-01-25 | 西安交通大学 | 一种基于形位公差与尺寸公差的机械零件选配方法 |
CN109615206A (zh) * | 2018-12-04 | 2019-04-12 | 大连理工大学 | 一种用于评价城市化进程中土壤生态服务功能的方法 |
CN109742788A (zh) * | 2018-12-18 | 2019-05-10 | 国网青海省电力公司电力科学研究院 | 一种新能源电站并网性能评价指标修正方法 |
CN109768886A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 网络规划评价方法及装置 |
CN110222129A (zh) * | 2019-06-17 | 2019-09-10 | 山东浪潮商用系统有限公司 | 一种基于关系型数据库的信用评价算法 |
CN113537781A (zh) * | 2021-07-19 | 2021-10-22 | 建信融通有限责任公司 | 一种移动端软件评价方法、装置、存储介质和设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231314A (zh) * | 2020-11-05 | 2021-01-15 | 深圳市丽湖软件有限公司 | 一种基于etl的质量数据评估方法 |
CN112418798A (zh) * | 2020-11-23 | 2021-02-26 | 平安普惠企业管理有限公司 | 信息审核方法、装置、电子设备及存储介质 |
WO2022105135A1 (zh) * | 2020-11-23 | 2022-05-27 | 平安普惠企业管理有限公司 | 信息审核方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110866000B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8942470B2 (en) | Sentiment classification using out of domain data | |
CN108829808B (zh) | 一种页面个性化排序方法、装置及电子设备 | |
CN108921569B (zh) | 一种确定用户投诉类型的方法及装置 | |
CN110489449B (zh) | 一种图表推荐方法、装置和电子设备 | |
CN109299258A (zh) | 一种舆情事件检测方法、装置及设备 | |
CN109685537B (zh) | 用户行为的分析方法、装置、介质和电子设备 | |
CN110866000B (zh) | 数据质量评价方法、装置、电子设备及存储介质 | |
CN110334356A (zh) | 文章质量的确定方法、文章筛选方法、以及相应的装置 | |
CN109389321B (zh) | 一种项目清单的分类方法及装置 | |
CN111160950A (zh) | 一种资源信息的处理、输出方法及装置 | |
CN115910325A (zh) | 用于认知任务测评的建模方法、认知任务测评方法及系统 | |
CN115794916A (zh) | 多源数据融合的数据处理方法、装置、设备和存储介质 | |
CN110929285B (zh) | 一种隐私数据的处理方法及装置 | |
CN109800933B (zh) | 风险评估方法及装置、存储介质、电子设备 | |
CN108595498B (zh) | 问题反馈方法及装置 | |
CN110544166A (zh) | 样本生成方法、装置及存储介质 | |
CN112783762B (zh) | 软件质量的评估方法、装置及服务器 | |
CN114676272A (zh) | 多媒体资源的信息处理方法、装置、设备及存储介质 | |
CN114547116A (zh) | 一种数据推送方法、装置、设备和介质 | |
CN114021716A (zh) | 一种模型训练的方法、系统及电子设备 | |
CN113255933A (zh) | 特征工程和图网络生成方法和装置、分布式系统 | |
CN113436023A (zh) | 基于区块链的理财产品推荐方法及装置 | |
CN112765448A (zh) | 一种用户标签挖掘方法、装置、服务器及存储介质 | |
CN111125185A (zh) | 数据处理方法、装置、介质及电子设备 | |
CN110413898B (zh) | 社交网络中的推荐方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |