CN109101539B - 业务数据质量评价方法、装置、存储介质及电子设备 - Google Patents
业务数据质量评价方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN109101539B CN109101539B CN201810699929.6A CN201810699929A CN109101539B CN 109101539 B CN109101539 B CN 109101539B CN 201810699929 A CN201810699929 A CN 201810699929A CN 109101539 B CN109101539 B CN 109101539B
- Authority
- CN
- China
- Prior art keywords
- data
- score
- uploading
- calculating
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种业务数据质量评价方法及装置,所述方法包括:获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、数据的上传内容;根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、所述数据的上传内容在多个评价维度上计算所述业务数据的质量分值;输出所述业务数据的质量分值;所述评价维度包括上传及时性、数据连续性、数据全面性、业务量准确性、数据完整性、数据规范性以及数据关联完整性;所述方法及装置通过对获取的业务数据进行全面分析评价,并根据分析结果获得针对该业务数据系统的数据质量分值,解决了业务数据的质量评判缺乏全面性的问题,有助于提升整体的数据质量。
Description
技术领域
本发明涉及数据处理领域,具体涉及一种业务数据质量评价方法及装置。
背景技术
随着信息化的加速发展,各行各业都进入了大数据的时代,各种业务数据系统每天都会产生大量的数据,数据类型的多样性也十分复杂,其中既包括结构化数据也包括非结构化数据、包括可量化数据也包括不可量化数据;而对于这样大体量的数据,一般使用分布式的处理系统进行数据的处理。在一个分布式的数据业务总体系统中,其分支的数据业务系统因信息化程度不同、系统提供商不同、操作人员规范不同,差异性会比较大,体现在业务数据的格式、完整程度、关联上均会出现不同程度的差别;业务数据的质量得不到保证使得接收各分支的业务数据的数据中心在实际应用中存在诸多不便,对于这些业务数据无法就某一具体参数评判其质量的好坏,这样的评价结果过于片面性,无法完全代表被评价的业务数据系统的上传业务数据质量,也无法根据此质量评判结果对对应的业务数据系统进行针对性反馈。
发明内容
为了解决背景技术存在的现有技术中对分支业务数据系统上传的业务数据的质量评判缺乏全面性的问题,本发明提供了一种业务数据质量评价方法及装置。
本公开提供一种业务数据质量评价方法,所述方法包括:
获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容;
根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值;
输出所述业务数据的质量分值。
进一步的,根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值,包括:
通过所述数据的上传时间计算数据上传及时性得分及数据连续性得分;
通过所述数据的上传范围计算数据全面性得分;
通过所述数据的上传业务量计算业务量准确性得分;
通过所述数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分;
根据所述数据上传及时性得分、所述数据连续性得分、所述数据全面性得分、所述业务量准确性得分、所述数据完整性得分、所述数据规范性得分、和/或所述数据关联完整性得分计算所述业务数据的质量分值。
进一步的,所述通过所述数据的上传时间计算数据上传及时性得分,包括:
对各业务数据的实际上传时间及其业务完结时间的差值进行汇总,得到总延迟时间;
通过计算所述总延迟时间与所述业务数据的总数量的比值,得到所述数据上传及时性得分;
通过预设的连续上传业务数据的天数与连续性得分的评分表,得到所述数据连续性得分。
进一步的,所述通过所述数据的上传范围计算数据全面性得分,包括:
计算可上传业务数据量与应上传业务数据量的比值,得到所述数据全面性得分。
进一步的,所述通过所述数据的上传业务量计算业务量准确性得分,包括:
根据提交的上传数据业务量信息与已上传的业务量信息的比值计算业务量偏差率,根据所述业务量偏差率以及预设的评分表得到业务量准确性得分。
进一步的,所述通过所述数据的上传内容计算数据完整性得分,包括:
计算各业务数据实际的非必填字段总和与应上传的非必填字段总和的比值以及实际的必填字段总和与应上传的必填字段总和的比值;
根据各比值及各自对应权重进行加权计算,得到数据完整性得分。
进一步的,所述通过所述数据的上传内容计算数据规范性得分,包括:
计算各业务数据实际的非值域字段符合预设规则总和与应上传且应符合预设规则的非值域字段总和的比值、实际的固定选择项值域字段符合预设规则总和与应上传且应符合预设规则的固定选择项值域字段总和的比值以及实际的其他项值域字段符合预设规则总和与应上传且应符合预设规则的其他项值域字段总和的比值;
根据各比值及各自对应权重进行加权计算,得到数据规范性得分。
进一步的,所述通过所述数据的上传内容计算数据关联完整性得分,包括:
确认在所述业务数据中存在可与主数据进行匹配的明细数据为可匹配明细数据;
计算可匹配明细数据数量与明细数据总数量的比值,得到所述数据关联完整性得分。
本公开提供一种业务数据的质量评价装置,所述装置包括:
数据获取模块,所述数据获取模块用于获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容。
质量分值计算模块,所述质量分值计算模块用于根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值。
质量分值输出模块,所述质量分值输出模块用于输出所述业务数据的质量分值。
进一步的,所述质量分值计算模块,用于通过所述数据的上传时间计算数据上传及时性得分及数据连续性得分。
所述质量分值计算模块,用于通过所述数据的上传范围计算数据全面性得分。
所述质量分值计算模块,用于通过所述数据的上传业务量计算业务量准确性得分。
所述质量分值计算模块,用于通过所述数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分;
所述质量分值计算模块根据所述数据上传及时性得分、所述数据连续性得分、所述数据全面性得分、所述业务量准确性得分、所述数据完整性得分、所述数据规范性得分、和/或所述数据关联完整性得分计算所述业务数据的质量分值。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述任一方法包括的步骤。
本公开还提供一种电子设备,包括:所述的计算机可读存储介质;以及一个或多个处理器,用于执行所述计算机可读存储介质中的程序。
上述方案的有益效果包括:给出了一种业务数据的质量评价方法及装置,所述方法及装置通过对业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量以及数据的上传内容在多维度上进行分析,对业务数据进行全面的分析评价;并根据分析结果通过权重计算获得针对该业务数据系统的全面的数据质量评价结果;解决了业务数据的质量评判缺乏全面性的问题。所述方法及装置通过将所述数据质量评价结果反馈至被评价业务数据系统,可有效协助该业务数据系统提升上传数据质量,同时对于多个提供业务数据的系统,通过数据质量评价结果的横向比较,有助于提升整体的数据质量。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为本发明具体实施方式的一种业务数据的质量评价方法的流程图;
图2为本发明具体实施方式的一种通过多维度得分对业务数据质量进行评价的方法的流程图;
图3为本发明具体实施方式的一种业务数据的质量评价装置的结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为本发明具体实施方式的一种业务数据质量评价方法的流程图;所述一种业务数据质量评价方法包括:
步骤110,获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容。
其中,数据的上传范围包括的数据信息有实际上传的业务数据量以及应上传的业务数据量;数据的上传业务量内包括的数据信息有数据上传业务量信息,即接收到的与业务信息一起上传的业务量统计信息;数据的上传内容包括数据中每个字段的填写情况,填写情况包括是否填写、填写的是否正确。
在本发明实施例中,执行主体数据中心接收并处理分布式处理系统中各个业务处理系统上传的各项数据。具体的,业务数据系统根据每条业务数据在时序上的特征确定针对每一条业务数据的上传方式,业务数据的上传方式包括产生数据即上传以及数据完结即上传。以医疗业务数据系统举例,针对不同的业务数据,其上传方式存在差别,诸如诊断数据,该类数据产生后即不会发生改变,根据此类数据特性,业务数据系统的上传方式为产生数据即上传;诸如住院费用结算数据,其产生后需要通过一段时间的费用消耗后再完成费用结算,根据此类数据的特性,业务数据系统的上传方式为数据完结即上传。
数据中心根据接收到每条业务数据的特征确定针对每一条业务数据的接收方式,接收方式包括覆盖接收以及增量接收。覆盖接收是指使用接收到的新的业务数据覆盖对应的原有业务数据作为待使用的业务数据,对于数据量大或历史数据之间关联性小的数据,预先设定为覆盖接收;增量接收是指将接收到的新的业务数据补充到原有的业务数据中获得的新的业务数据作为待使用的业务数据,对于数据量小或历史数据之间关联性大的数据,预先设定为增量接收。
另外,接收方式还包括先入先出覆盖接收,先入先出覆盖接收是指数据中心针对执行先入先出覆盖接收的多条业务数据的每一条设定固定时间段的存储空间,数据中心接收到新的业务数据时,在其对应的存储空间内通过先入先出的方式进行数据覆盖,完成数据覆盖后的存储空间内即为数据中心接收的新的业务数据。
步骤120,根据数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容计算业务数据的质量分值。
业务数据的质量分值,用于表示被评价的业务数据系统上传的数据的质量好坏;通过对数据的上传时间、数据的上传范围、数据的上传业务量以及数据的上传内容进行综合考量,通过预设的方法进行质量分值的计算。
步骤130,输出业务数据的质量分值。
在本实施例中,将业务数据的质量分值输出至数据中心进行保存,以供用户查验确认;将输出的质量分值以及各维度得分明细反馈至待评价业务数据系统(上传该批业务数据的系统),供该业务数据系统进行自我优化。
图1示出的业务数据质量评价方法,通过获取待评价业务处理系统上传的各项数据,对业务数据进行全面的分析评价,获得针对待评价业务处理系统的质量分值,即每个业务处理系统上传数据质量的评价结果;在进行分析评价时,综合考虑了数据的上传时间、数据的上传范围、数据的上传业务量以及数据的上传内容,使得输出的质量评价结果更为全面、更具参考性,有助于提升整体的数据质量。
图2为本发明具体实施方式的一种通过多维度得分对业务数据质量进行评价方法,所述方法包括:
步骤210,获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容。
步骤221,通过数据的上传时间计算数据上传及时性得分及数据连续性得分。
具体的,通过数据的上传时间计算数据上传及时性得分包括:对各业务数据的实际上传时间及其业务完结时间的差值进行汇总,得到总延迟时间;具体的,根据该业务数据系统上传的业务数据,获得每条业务数据实际上传时间;每条业务数据实际上传时间,可以为该条业务数据被数据中心接收的时间,或该条业务数据被业务数据系统实际执行上传动作的时间。通过计算总延迟时间与业务数据的总数量的比值,得到数据上传及时性得分。具体的,根据总延迟时间与业务数据的总数量的比值获得平均差异天数,并根据平均差异天数以及预设的评分规则获得数据上传及时性得分。平均差异天数的计算公式为预设的评分规则可以如下设置:
延迟天数=0天,得分100;
0<延迟天数<=1天,得分80;
1<延迟天数<=3天,得分60;
3<延迟天数<=5天,得分40;
5<延迟天数,得分20。
通过数据的上传时间计算数据连续性得分包括:
通过预设的连续上传业务数据的天数与连续性得分的评分表,得到数据连续性得分。如对历史数据进行补传,则认为被补充完整的历史数据是连续性上传的,其对应的连续性得分也相应的进行修改。天数与数据连续性得分的评分表可以如下设置:
连续上传1天,得分5;
连续上传2天,得分10;
连续上传3天,得分20;
连续上传4天,得分40;
连续上传5天,得分60;
连续上传6天,得分80;
连续上传7天及以上,得分100。
步骤222,通过数据的上传范围计算数据全面性得分。
具体的,通过数据的上传范围计算数据全面性得分包括:
计算可上传业务数据量与应上传业务数据量的比值,得到数据全面性得分。根据待评价业务数据系统的预设信息,获得该业务数据系统应上传业务数据量;预设信息可以为业务数据系统本地的数据统计信息,根据预设的规则,即可根据本地的数据统计信息及对应的上传方式和接收方式计算出该业务数据系统应上传的业务数据量。根据数据中心接收的业务数据,获得数据中心可获取业务数据量。
步骤223,通过数据的上传业务量计算业务量准确性得分。
具体的,通过数据的上传业务量计算业务量准确性得分包括:
根据提交的上传数据业务量信息与已上传的业务量信息的比值计算业务量偏差率,并根据业务量偏差率以及预设的评分表得到业务量准确性得分。业务量准确性评价是对于业务数据系统上传的数据以及其上传的统计信息是否一致进行的评估,其中的统计信息是由业务数据系统直接上传至数据中心,即该统计的动作由业务数据系统完成。偏差率与业务量准确性得分的评分配置表可以如下设置:
偏差率<=1%,得分100;
1%<偏差率<=20%,得分80;
20%<偏差率<=30%,得分60;
30%<偏差率<=50%,得分40;
50%<偏差率<=100%,得分20。
步骤224,通过数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分。
具体的,通过数据的上传内容计算数据完整性得分包括:
计算各业务数据实际的非必填字段总和与应上传的非必填字段总和的比值以及实际的必填字段总和与应上传的必填字段总和的比值;根据各比值及各自对应权重进行加权计算,得到数据完整性得分。数据完整性得分的计算公式为:
针对数据完整性得分的计算方法,以医疗数据业务系统举例:数据中心接到3条挂号记录,其中第一条记录“必填字段填写数”为2,第二条为3,第三条为5,那么总的“必填字段填写数和”就是10,而根据规则配置,挂号记录每行“必填字段数”是6,那么仅针对于必填字段(必填字段权重为1)的数据完整性得分为
通过数据的上传内容计算数据规范性得分包括:
将业务数据的每一个字段根据其数据属性划分为值域字段以及非值域字段,对业务数据的每一个字段是否符合预设规则进行校验;业务数据的每一条包含一个或多个字段,值域字段的填写包括多个固定选择项及其他,该字段需在固定选择项及其他中选择一项进行填写。其他项值域字段指该字段已填写,但该字段为其他,这与固定选择项值域字段所呈现的数据规范性水平的不同的,故应将其权重与固定选择项值域字段权重区分设置。举例说明如下:值域字段可以为性别字段,则性别字段的填写包括男、女以及其他。
合规性校验根据预设的规则完成,预设的规则可以包括:值域字段是否现在预设的固定选择项或其他、某个字段是否必填、代表日期的字段格式是否为日期格式、当字段A为某个值时字段B是否为空等等。
计算各业务数据实际的非值域字段符合预设规则总和与应上传且应符合预设规则的非值域字段总和的比值、实际的固定选择项值域字段符合预设规则总和与应上传且应符合预设规则的固定选择项值域字段总和的比值以及实际的其他项值域字段符合预设规则总和与应上传且应符合预设规则的其他项值域字段总和的比值;根据各比值及各自对应权重进行加权计算,得到数据规范性得分。数据规范性得分的计算公式为:
通过数据的上传内容计算数据关联完整性得分包括:
确认在业务数据中存在可与主数据进行匹配的明细数据为可匹配明细数据,提取业务数据中的所有明细数据。确认所有明细数据中的每一个在业务数据中是否存在与之匹配的主数据,获得可匹配明细数据数量。针对明细数据的匹配以医疗业务数据系统举例,明细数据可以为住院费用结算明细,与之相对应的主数据为住院费用结算;当业务数据中有明细数据时,其对应的主数据也应该存在。
计算可匹配明细数据数量与明细数据总数量的比值,得到数据关联完整性得分。
步骤230,根据数据上传及时性得分、数据连续性得分、数据全面性得分、业务量准确性得分、数据完整性得分、数据规范性得分、和/或数据关联完整性得分计算业务数据的质量分值。
计算业务数据的质量分值的方法包括对各个得分项设置权重,根据各项得分进行加权计算获得业务数据的质量分值。
步骤240,输出业务数据的质量分值。
图3为本发明具体实施方式的一种业务数据质量评价装置的结构图,如图3所示,装置包括:
数据获取模块310,数据获取模块310用于获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容。
数据获取模块310根据接收到每条业务数据的特征确定针对每一条业务数据的接收方式,接收方式包括覆盖接收以及增量接收;覆盖接收是指使用接收到的新的业务数据覆盖对应的原有业务数据作为待使用的业务数据;增量接收是指将接收到的新的业务数据补充到原有的业务数据中获得的新的业务数据作为待使用的业务数据。数据获取模块310根据接收到每条业务数据的附属信息确认其对应的上传方式,上传方式包括产生数据即上传以及数据完结即上传。
接收方式还包括先入先出覆盖接收,先入先出覆盖接收是指数据中心针对执行先入先出覆盖接收的多条业务数据的每一条设定固定时间段的存储空间,数据中心接收到新的业务数据时,再其对应的存储空间内通过先入先出的方式进行数据覆盖,完成数据覆盖后的存储空间内即为数据中心接收的新的业务数据。
质量分值计算模块320,质量分值计算模块320用于根据数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容计算业务数据的质量分值。
质量分值计算模块320用于通过数据的上传时间计算数据上传及时性得分及数据连续性得分。质量分值计算模块320用于对各业务数据的实际上传时间及其业务完结时间的差值进行汇总,得到总延迟时间;质量分值计算模块320用于通过计算总延迟时间与业务数据的总数量的比值,得到数据上传及时性得分。质量分值计算模块320用于通过预设的连续上传业务数据的天数与连续性得分的评分表,得到数据连续性得分。
质量分值计算模块320用于通过数据的上传范围计算数据全面性得分。质量分值计算模块320用于计算可上传业务数据量与应上传业务数据量的比值,得到数据全面性得分。
质量分值计算模块320用于通过数据的上传业务量计算业务量准确性得分;质量分值计算模块320用于根据提交的上传数据业务量信息与已上传的业务量信息的比值计算业务量偏差百分比,并根据业务量偏差百分比以及预设的评分表得到业务量准确性得分。
质量分值计算模块320用于通过数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分。
质量分值计算模块320用于计算各业务数据实际的非必填字段总和与应上传的非必填字段总和的比值以及实际的必填字段总和与应上传的必填字段总和的比值;质量分值计算模块320用于根据各比值及各自对应权重进行加权计算,得到数据完整性得分。
质量分值计算模块320用于计算各业务数据实际的非值域字段符合预设规则总和与应上传且应符合预设规则的非值域字段总和的比值、实际的固定选择项值域字段符合预设规则总和与应上传且应符合预设规则的固定选择项值域字段总和的比值以及实际的其他项值域字段符合预设规则总和与应上传且应符合预设规则的其他项值域字段总和的比值;质量分值计算模块320用于根据各比值及各自对应权重进行加权计算,得到数据规范性得分。
质量分值计算模块320用于确认在业务数据中存在可与主数据进行匹配的明细数据为可匹配明细数据;质量分值计算模块320用于计算可匹配明细数据数量与明细数据总数量的比值,得到数据关联完整性得分。
质量分值计算模块320根据数据上传及时性得分、数据连续性得分、数据全面性得分、业务量准确性得分、数据完整性得分、数据规范性得分、和/或数据关联完整性得分计算业务数据的质量分值。
质量分值输出模块330,质量分值输出模块330用于输出业务数据的质量分值;进一步的,质量分值输出模块330用于将输出的质量分值以及各维度得分明细反馈至待评价业务数据系统。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤,而并不用于限制各步骤之间的时间或逻辑的关系,除非文中有明确的限定,否则各个步骤之间的关系包括各种可能的情况。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如,在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本公开的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如,计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中,这些系统中的若干个可以是通过同一个硬件项来具体体现。
以上所述仅是本公开的具体实施方式,应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开精神的前提下,可以作出若干改进、修改、和变形,这些改进、修改、和变形都应视为落在本申请的保护范围内。
Claims (9)
1.一种业务数据的质量评价方法,其特征在于,所述方法包括:
获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容;其中,业务数据的上传方式包括产生数据即上传以及数据完结即上传;根据接收到每条业务数据的特征确定针对每一条业务数据的接收方式,接收方式包括覆盖接收、增量接收以及先入先出覆盖接收,先入先出覆盖接收是指数据中心针对执行先入先出覆盖接收的多条业务数据的每一条设定固定时间段的存储空间,数据中心接收到新的业务数据时,在其对应的存储空间内通过先入先出的方式进行数据覆盖,完成数据覆盖后的存储空间内即为数据中心接收的新的业务数据;
根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值;
输出所述业务数据的质量分值;
其中根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值,包括:
通过所述数据的上传时间计算数据上传及时性得分及数据连续性得分;
通过所述数据的上传范围计算数据全面性得分;
通过所述数据的上传业务量计算业务量准确性得分;
通过所述数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分;
根据所述数据上传及时性得分、所述数据连续性得分、所述数据全面性得分、所述业务量准确性得分、所述数据完整性得分、所述数据规范性得分、和/或所述数据关联完整性得分计算所述业务数据的质量分值。
2.根据权利要求1所述的方法,其特征在于,所述通过所述数据的上传时间计算数据上传及时性得分及数据连续性得分,包括:
对各业务数据的实际上传时间及其业务完结时间的差值进行汇总,得到总延迟时间;
通过计算所述总延迟时间与所述业务数据的总数量的比值,得到所述数据上传及时性得分;
通过预设的连续上传业务数据的天数与连续性得分的评分表,得到所述数据连续性得分。
3.根据权利要求1所述的方法,其特征在于,所述通过所述数据的上传范围计算数据全面性得分,包括:
计算可上传业务数据量与应上传业务数据量的比值,得到所述数据全面性得分。
4.根据权利要求1所述的方法,其特征在于,所述通过所述数据的上传业务量计算业务量准确性得分,包括:
根据提交的上传数据业务量信息与已上传的业务量信息的比值计算业务量偏差率;
根据所述业务量偏差率以及预设的评分表得到业务量准确性得分。
5.根据权利要求1所述的方法,其特征在于,所述通过所述数据的上传内容计算数据完整性得分,包括:
计算各业务数据实际的非必填字段总和与应上传的非必填字段总和的比值以及实际的必填字段总和与应上传的必填字段总和的比值;
根据各比值及各自对应权重进行加权计算,得到数据完整性得分。
6.根据权利要求1所述的方法,其特征在于,所述通过所述数据的上传内容计算数据规范性得分,包括:
计算各业务数据实际的非值域字段符合预设规则总和与应上传且应符合预设规则的非值域字段总和的比值、实际的固定选择项值域字段符合预设规则总和与应上传且应符合预设规则的固定选择项值域字段总和的比值以及实际的其他项值域字段符合预设规则总和与应上传且应符合预设规则的其他项值域字段总和的比值;
根据各比值及各自对应权重进行加权计算,得到数据规范性得分。
7.一种业务数据的质量评价装置,其特征在于,所述装置包括:
数据收集模块,所述数据收集模块用于获取业务数据上传完结后的数据的上传时间、数据的上传范围、数据的上传业务量、和/或数据的上传内容;其中,业务数据的上传方式包括产生数据即上传以及数据完结即上传;根据接收到每条业务数据的特征确定针对每一条业务数据的接收方式,接收方式包括覆盖接收、增量接收以及先入先出覆盖接收,先入先出覆盖接收是指数据中心针对执行先入先出覆盖接收的多条业务数据的每一条设定固定时间段的存储空间,数据中心接收到新的业务数据时,在其对应的存储空间内通过先入先出的方式进行数据覆盖,完成数据覆盖后的存储空间内即为数据中心接收的新的业务数据;
质量分值计算模块,所述质量分值计算模块用于根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值;其中根据所述数据的上传时间、所述数据的上传范围、所述数据的上传业务量、和/或所述数据的上传内容计算所述业务数据的质量分值,包括:
通过所述数据的上传时间计算数据上传及时性得分及数据连续性得分;
通过所述数据的上传范围计算数据全面性得分;
通过所述数据的上传业务量计算业务量准确性得分;
通过所述数据的上传内容计算数据完整性得分、数据规范性得分、数据关联完整性得分;
根据所述数据上传及时性得分、所述数据连续性得分、所述数据全面性得分、所述业务量准确性得分、所述数据完整性得分、所述数据规范性得分、和/或所述数据关联完整性得分计算所述业务数据的质量分值;
质量分值输出模块,所述质量分值输出模块用于输出所述业务数据的质量分值。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
9.一种电子设备,其特征在于,包括:权利要求8中所述的计算机可读存储介质;以及一个或多个处理器,用于执行所述计算机可读存储介质中的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810699929.6A CN109101539B (zh) | 2018-06-29 | 2018-06-29 | 业务数据质量评价方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810699929.6A CN109101539B (zh) | 2018-06-29 | 2018-06-29 | 业务数据质量评价方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109101539A CN109101539A (zh) | 2018-12-28 |
CN109101539B true CN109101539B (zh) | 2021-07-02 |
Family
ID=64845221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810699929.6A Active CN109101539B (zh) | 2018-06-29 | 2018-06-29 | 业务数据质量评价方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109101539B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427361A (zh) * | 2019-08-01 | 2019-11-08 | 万达信息股份有限公司 | 一种针对医疗数据的质量控制方法及系统 |
CN110648756A (zh) * | 2019-09-11 | 2020-01-03 | 北京亚信数据有限公司 | 一种确定医疗数据质量的方法、装置及计算设备 |
CN113127459B (zh) * | 2019-12-31 | 2023-08-29 | 贵州医渡云技术有限公司 | 一种数据治理的实现方法、装置、可读介质及电子设备 |
CN111241086B (zh) * | 2020-01-17 | 2021-08-31 | 甘肃省卫生健康统计信息中心(西北人口信息中心) | 一种基于医疗大数据的数据质量改进方法及系统 |
CN111369136A (zh) * | 2020-03-03 | 2020-07-03 | 山东浪潮通软信息科技有限公司 | 业务数据集质量评估方法及装置及计算机可读介质 |
CN112150038A (zh) * | 2020-10-16 | 2020-12-29 | 成都中科大旗软件股份有限公司 | 一种数据价值评估系统及评估方法 |
CN112506904B (zh) * | 2020-12-02 | 2024-05-07 | 深圳市酷开网络科技股份有限公司 | 数据质量评估方法、装置、终端设备以及存储介质 |
CN113506585A (zh) * | 2021-09-09 | 2021-10-15 | 深圳市一号互联科技有限公司 | 一种语音通话的质量评估方法及系统 |
CN115292302B (zh) * | 2022-10-08 | 2023-02-17 | 北京天健源达科技股份有限公司 | 数据质量分值的确定方法及系统 |
CN115392811A (zh) * | 2022-10-31 | 2022-11-25 | 成都飞机工业(集团)有限责任公司 | 一种主数据质量评价方法、装置、设备及存储介质 |
CN116719984B (zh) | 2023-08-10 | 2023-11-17 | 成都秦川物联网科技股份有限公司 | 一种智慧燃气数据管理方法、物联网系统和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081622A (zh) * | 2009-11-30 | 2011-06-01 | 中国移动通信集团贵州有限公司 | 评估系统健康度的方法及系统健康度评估装置 |
CN102163308A (zh) * | 2011-04-18 | 2011-08-24 | 中国科学院计算技术研究所 | 一种流程业务数据上传系统及上传方法 |
CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
-
2018
- 2018-06-29 CN CN201810699929.6A patent/CN109101539B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081622A (zh) * | 2009-11-30 | 2011-06-01 | 中国移动通信集团贵州有限公司 | 评估系统健康度的方法及系统健康度评估装置 |
CN102163308A (zh) * | 2011-04-18 | 2011-08-24 | 中国科学院计算技术研究所 | 一种流程业务数据上传系统及上传方法 |
CN106970953A (zh) * | 2017-03-10 | 2017-07-21 | 中国联合网络通信集团有限公司 | 基于大数据分析的网络建设管控方法及其平台 |
CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109101539A (zh) | 2018-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101539B (zh) | 业务数据质量评价方法、装置、存储介质及电子设备 | |
US10324989B2 (en) | Microblog-based event context acquiring method and system | |
CN108833458B (zh) | 一种应用推荐方法、装置、介质及设备 | |
WO2017113677A1 (zh) | 处理用户行为数据的方法和系统 | |
CN110046929B (zh) | 一种欺诈团伙识别方法、装置、可读存储介质及终端设备 | |
CN111459783B (zh) | 应用程序优化方法、装置、电子设备及存储介质 | |
CN107623862B (zh) | 多媒体信息推送控制方法、装置及服务器 | |
CN112650921B (zh) | 一种对象推荐方法、装置、设备及存储介质 | |
US10057155B2 (en) | Method and apparatus for determining automatic scanning action | |
CN110825977A (zh) | 一种数据推荐方法及相关设备 | |
CN109445768B (zh) | 数据库脚本生成方法、装置、计算机设备及存储介质 | |
CN110196941B (zh) | 一种资讯推荐方法、装置、服务器与存储介质 | |
CN111242318A (zh) | 基于异构特征库的业务模型训练方法及装置 | |
CN111967802A (zh) | 一种企业金融风险定量分析和预警方法、装置及设备 | |
CN110245684B (zh) | 数据处理方法、电子设备和介质 | |
CN114245185A (zh) | 视频推荐方法、模型训练方法、装置、电子设备及介质 | |
CN111783107B (zh) | 一种多源可信数据接入方法、装置及设备 | |
CN112711614A (zh) | 业务数据管理方法、装置 | |
CN110717653B (zh) | 风险识别方法及装置和电子设备 | |
CN113780666B (zh) | 一种缺失值的预测方法及装置、可读存储介质 | |
CN105589950B (zh) | 事件属性语句确定及基于事件属性语句预警方法和装置 | |
CN113962216A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
CN112788356A (zh) | 一种直播审核的方法、装置、服务器和存储介质 | |
CN110704482B (zh) | 全病种自动化核保方法、装置、计算机设备及存储介质 | |
Genta et al. | Consensus-Based Techniques for Range-Task Resolution in Crowdsourcing Systems. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |