CN117610546A - 元数据准确性检测方法、装置、设备、介质和程序产品 - Google Patents
元数据准确性检测方法、装置、设备、介质和程序产品 Download PDFInfo
- Publication number
- CN117610546A CN117610546A CN202311775004.2A CN202311775004A CN117610546A CN 117610546 A CN117610546 A CN 117610546A CN 202311775004 A CN202311775004 A CN 202311775004A CN 117610546 A CN117610546 A CN 117610546A
- Authority
- CN
- China
- Prior art keywords
- detection
- detected
- data
- item
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 364
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 16
- 238000007689 inspection Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种元数据准确性检测方法、装置、设备、介质和程序产品。其中方法包括:根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;接收通过所述可视化界面,对所述待检数据项的检测项目和/或所述检测项目对应的检测参数进行设置的操作,根据所述操作生成对应的检测规则;根据所述检测规则,对待检元数据包括的所述待检数据项进行检测;其中,所述检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
Description
技术领域
本申请实施例涉及数据检测技术领域,尤其涉及一种元数据准确性检测方法、装置、设备、介质和程序产品。
背景技术
元数据(Metadata)是描述其它信息资源或数据的数据,用于说明其它信息资源或数据的特征、内容和来源。电子档案的元数据记录了其原始状态信息,有利于保证电子档案的真实性,所以元数据的真实性检测是电子档案管理中必不可少的一项关键操作。在元数据的真实性检测中,元数据准确性检测是其主要组成部分,通过元数据准确性检测,可以有效保障电子文件归档以及电子档案移交、接收和长期保存过程的真实性。相关技术中在进行元数据真实性检测时,通常是根据固定的检测参数检测元数据的准确性,无法针对元数据的数据项进行调整,使用的灵活性较差,难以适应元数据中数据项较为复杂的情况。
发明内容
有鉴于此,本申请实施例提供一种元数据准确性检测方法、装置、设备、介质和程序产品,以至少部分解决上述问题。
根据本申请实施例的第一方面,提供了一种元数据准确性检测方法,包括:根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;接收通过所述可视化界面,对所述待检数据项的检测项目和/或所述检测项目对应的检测参数进行设置的操作,根据所述操作生成对应的检测规则;根据所述检测规则,对待检元数据包括的所述待检数据项进行检测;其中,所述检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
在一种可能的实现方式中,所述数据类型和格式检测的检测参数包括目标数据类型和目标数据格式;若所述待检数据项的检测项目包括所述数据类型和格式检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:检测所述待检数据项的数据类型和格式是否符合所述目标数据类型和所述目标数据格式,若符合,则判定此项数据类型和格式检测的检测结果为通过;其中,所述目标数据类型为以下之一:字符、整数、小数、百分比、布尔、年份、月份、日期和时间、日期、时间。
在一种可能的实现方式中,若所述待检数据项的检测项目包括所述值域符合度检测,则所述方法还包括:根据所述检测参数包括的所述目标数据类型,确定所述待检数据项的值域类型,以便于对所述值域符合度检测的所述检测参数进行设置;和/或,若所述待检数据项的检测项目包括所述数据值合理性检测,则所述方法还包括:根据所述检测参数包括的所述目标数据类型,确定所述待检数据项的合理值的类型,以便于对所述数据值合理性检测的检测参数进行设置。
在一种可能的实现方式中,若所述待检数据项的数据类型为数值或时期、且所述待检数据项的检测项目包括所述值域符合度检测,则所述对所述检测项目对应的检测参数进行设置的操作包括:设置至少一个第一范围值和所述第一范围值对应的比较逻辑,以便于通过所述第一范围值、和所述第一范围值对应的所述比较逻辑,设置所述待检数据项的检测参数包括的目标值域;和/或,若所述待检数据项的数据类型为数值或时期、且所述待检数据项的检测项目包括所述数据值合理性检测,则所述对所述检测项目对应的检测参数进行设置的操作包括:设置至少一个第二范围值和所述第二范围值对应的所述比较逻辑,以便于通过所述第二范围值、和所述第二范围值对应的所述比较逻辑,设置所述待检数据项的检测参数包括的目标合理值范围;其中,所述比较逻辑至少包括以下之一:介于、未介于、等于、不等于、大于、小于、大于或等于、小于或等于。
在一种可能的实现方式中,若所述待检数据项的检测项目包括所述数据重复性检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:检测所述待检数据项的值与存储的所述待检数据项历史值是否存在重复,若不存在重复,则判定此项数据重复性检测的结果为通过。
在一种可能的实现方式中,所述特殊字符检测的检测参数包括目标特殊字符,若所述待检数据项的检测项目包括所述特殊字符检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:检测待检数据项是否包含所述目标特殊字符,若该元数据不包含任意一个所述目标特殊字符,则判定此项特殊字符检测的检测结果为通过。
根据本申请实施例的第二方面,提供了一种元数据准确性检测装置,包括:展示模块,根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;接收模块,接收通过所述可视化界面,对所述待检数据项的检测项目和/或所述检测项目对应的检测参数进行设置的操作,根据所述操作生成对应的检测规则;检测模块,根据所述检测规则,对待检元数据包括的所述待检数据项进行检测;其中,所述检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
根据本申请实施例的第三方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上述方法对应的操作。
根据本申请实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的方法。
根据本申请实施例的第五方面,提供了一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如上所述的元数据准确性检测方法。
本申请实施例中,可根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面,通过该可视化界面,接收对待检数据项的检测项目和/或检测项目对应的检测参数进行设置的操作,并根据接收到的操作生成对应的检测规则,根据检测规则,对待检元数据包括的待检数据项进行检,可以通过可视化界面,提供对待检数据项和待测数据线的检测参数进行调整的交互通道,使得用户能够根据需求,针对元数据的待检数据项的检测参数进行适应性调整,获得对应的检测规则,灵活性较高,从而能够更好地适应元数据中数据项较为复杂的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本申请可选实施例提供的一种元数据准确性检测方法的步骤流程图;
图2是本申请可选实施例提供的一种元数据准确性检测方法的交互界面示意图;
图3是本申请可选实施例提供的一种元数据准确性检测方法的可视化界面示意图;
图4是本申请可选实施例提供的一种元数据准确性检测装置的结构框图;
图5是本申请可选实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
根据本申请实施例的第一方面,提供一种用于检测元数据准确性的元数据准确性检测方法,以解决上述问题。
下面参照附图对本申请实施例提供的元数据准确性检测方法进行详细说明。
如图1所示,本申请实施例提供一种元数据准确性检测方法,包括:
S101:根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面。
待检数据项为元数据中待检测的数据项,例如图2示出的会计凭证元数据包括的待检数据项“凭证号”、“凭证日期”等。本申请实施例中可通过交互界面接收用户选择待检数据项设置的操作,生成对应的设置指令,根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面。例如,在一些可选的实施例中,可通过图2所示的交互界面,接收用户点击其中各待检数据项条目最右侧“设置”选项的操作,生成对应设置指令,根据该设置指令,展示用于对该待检数据项进行设置的可视化界面,例如图3所示的用于对待检数据项“凭证号”设置的可视化界面。
S102:接收通过可视化界面,对待检数据项的检测项目和/或检测项目对应的检测参数进行设置的操作,根据操作生成对应的检测规则。
例如图3所示,可视化界面可以包括对待检数据项的检测项目、和检测项目对应的检测参数进行设置的选项,从而可以通过可视化界面的各选项,接收用户对待检数据项的检测项目、和检测项目对应的检测参数进行设置的操作。接收到对待检数据项的检测项目、和/或检测项目对应的检测参数进行设置的操作后,可以按照该操作对待检数据项的检测项目、和/或检测项目对应的检测参数进行相应的设置,设置完成后便可根据待检数据项的检测项目和对应的检测参数生成对应的检测规则。示例性地,检测参数可以包括图3所示的“数据类型”、“限定以下值域”和“排除以下特殊字符”等。
S103:根据检测规则,对待检元数据包括的待检数据项进行检测。
其中,检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
数据重复性检测为检测待检数据项的值是否与已存储的数据存在重复。数据类型和格式检测为检测待检数据项的数据类型和数据格式,是否符合对应的检测参数,该检测参数可以包括设置的目标数据类型和目标数据格式。数据长度检测为检测待检数据项的数据长度,是否符合对应的检测参数,该检测参数可以包括数据长度范围。值域符合度检测为检测待检数据项的数据值域,是否符合对应的检测参数,该检测参数可以包括目标值域。数据值合理性检测为检测待检数据项的值,是否符合对应的检测参数,该检测参数可以包括目标合理值范围。特殊字符检测为检测待检数据项,是否包含对应的检测参数包含的目标特殊字符。本申请实施例可通过数据重复性检测、数据类型和格式检测、数据长度检测、值域符合度检测、数据值合理性检测、特殊字符检测等检测项目,对元数据进行全方位的检测,从而更全面客观地检测元数据的准确性。
本申请实施例中,可根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面,通过该可视化界面,接收对待检数据项的检测项目和/或检测项目对应的检测参数进行设置的操作,并根据接收到的操作生成对应的检测规则,根据检测规则,对待检元数据包括的待检数据项进行检,可以通过可视化界面,提供对待检数据项和待测数据线的检测参数进行调整的交互通道,使得用户能够根据需求,针对元数据的待检数据项的检测参数进行适应性调整,获得对应的检测规则,灵活性较高,从而能够更好地适应元数据中数据项较为复杂的情况。
在一些可选的实施例中,若待检数据项的检测项目包括数据重复性检测,即在对待检数据项进行设置时启用了数据重复性检测,则对待检元数据包括的待检数据项进行检测,包括:检测待检数据项的值与存储的待检数据项历史值是否存在重复,若不存在重复,则判定此项数据重复性检测的结果为通过。
启用数据重复性检测后,可自动检测待检数据项的值,并获取数据库中存储的该待检数据项历史值,检查待检数据项与存储的该待检数据项历史值是否重复。若不存在重复,即待检数据项的值为唯一的值,则判定此项数据重复性检测的结果为通过;若存在重复,则判定此项数据重复性检测的结果为未通过。
在对元数据包括的待检数据项的检测项目和检测参数进行设置时,可根据实际需要启用某待检数据项的数据重复性检测,例如可启用“凭证号”、“档案号”、“文件号”等待检数据项的数据重复性检测。
本申请实施例中,可通过针对待检数据项启用数据重复性检测,在对待检元数据的待检数据项进行检测时,检测待检数据项的值与存储的待检数据项历史值是否存在重复,以判断元数据是否为重复数据,从而实现元数据的重复性检测,有利于减少数据冗余,节约数据库的存储空间。
在一些可选的实施例中,若待检数据项的检测项目包括数据长度检测,即在对待检数据项进行设置时启用了数据长度检测,则对待检元数据包括的待检数据项进行检测,包括:检测待检数据项的数据长度是否符合数据长度检测的检测参数,该检测参数可以为数据长度限值,如数字数量。若待检数据项的数据长度在该数据长度限值之内,则判定此项特殊字符检测的检测结果为通过;若待检数据项的数据长度不在该数据长度限值之内,则判定此项特殊字符检测的检测结果为未通过。
具体地,可通过设置一个或多个范围值和范围值的比较逻辑,设置数据长度限值,比较逻辑可以至少包括以下之一:介于、未介于、等于、不等于、大于、小于、大于或等于、小于或等于。例如,待检数据项为数值时,可以设置范围值为“30位数字”和“50位数字”,可以设置数据长度限值为“介于30位数字和50位数字”。一组范围值和比较逻辑的组合,即可设定出一个长度范围,对于设置了多组范围值和比较逻辑组合的情况,数据长度检测的检测参数还可以用于设置满足“全部”范围值和比较逻辑的组合为通过数据长度检测,或者满足“任意”一组范围值和比较逻辑的组合为通过数据长度检测。
本申请实施例中,可以基于范围值和比较逻辑设置数据长度检测的检测参数,可以使用户更灵活地对数据长度检测的检测参数进行设置,从而能够更好地满足用户的需求。
在一些可选的实施例中,数据类型和格式检测的检测参数包括目标数据类型和目标数据格式。若待检数据项的检测项目包括数据类型和格式检测,即在对待检数据项进行设置时启用了数据类型和格式检测,则对待检元数据包括的待检数据项进行检测,包括:检测待检数据项的数据类型和格式,是否符合目标数据类型和目标数据格式。若符合,则判定此项数据类型和格式检测的检测结果为通过;其中,数据类型和格式检测的检测参数包括数据类型和数据格式;目标数据类型可以为以下之一:字符、整数、小数、百分比、布尔(包括“是”和“否”)、年份、月份、日期和时间、日期、时间。
启用了数据类型和格式检测后,可自动检测元数据内待检数据项的数据类型和格式是否符合设置的检测参数包括的目标数据类型和目标数据格式。若符合,则判定此项数据类型和格式检测的检测结果为通过;若不符合,则判定此项数据类型和格式检测的检测结果为未通过。
示例性地,本申请实施例可以检测的目标数据类型包括:字符、整数、小数、百分比、布尔、年份、月份、日期和时间、日期、时间。其中,针对小数、百分比,目标数据格式可以包括小数点后的位数,即小数位数,使对应的检测参数包括小数位数,以便于检测数据类型为小数、百分比的待检数据项,是否符合检测参数包括的小数位数。应该理解,目标数据格式包括的小数位数应为正整数。
针对年份、月份、日期和时间、日期、时间等时期类型的数据类型,本申请实施例可提供表1所列举的数据格式供选择,以便于年份、月份、日期和时间、日期、时间等数据类型的目标数据格式设置。作为一种可行的实现方式,若目标数据格式包括以下多种数据格式,则可在待检数据项的目标数据格式符合该多种数据格式中的任一种时,判定该待检数据项通过数据格式检测。
表1:年份、月份、日期和时间、日期、时间等数据类型的数据格式表
本申请实施例中,可通过针对待检数据项启用数据类型和格式检测,在对待检元数据的待检数据项进行检测时,检测待检数据项的数据类型和格式是否符合对应的检测参数包括的目标数据类型和目标数据格式,以判断待检数据项的格式是否符合要求,从而为数据的准确性判断提供重要依据。另外,本申请实施例可检测的数据类型包括:字符、整数、小数、百分比、布尔、年份、月份、日期和时间、日期、时间等,从而可以对多种数据类型的待检数据项进行数据类型和格式检测,使得本申请实施例提供的方法具有较好的适用性。
作为一种可行的实现方式,在对数据类型和格式检测对应检测参数进行设置,且该检测参数包括的数据类型设置完成的同时,值域符合度检测、数据值合理性检测、特殊字符检测的检测参数,可以随数据类型的变化而自动变化,例如数据类型由字符变为整数时,值域符合度检测的检测参数可变为数值区间。
在一些可选的实施例中,若待检数据项的检测项目包括值域符合度检测,即在对待检数据项进行设置时启用了数据类型和格式检测,则本实施例提供的方法还包括:根据检测参数包括的目标数据类型,确定待检数据项的值域类型,以便于对值域符合度检测的检测参数进行设置。
示例性地,在检测参数包括的目标数据类型为日期时,可以确定出待检数据项的值域类型也为日期,从而可以在对值域符合度检测的检测参数进行设置时,展示设置“日期”的选项,以便于对值域符合度检测的检测参数进行设置。
本申请实施例中,在待检数据项的检测项目包括值域符合度检测时,可以根据检测参数包括的目标数据类型,确定待检数据项的值域类型,能够便于对值域符合度检测的检测参数进行设置,从而提高设置检测参数的效率。
在一些可选的实施例中,若待检数据项的检测项目包括数据值合理性检测,即在对待检数据项进行设置时启用了数据值合理性检测,则本实施例提供的方法还包括:根据检测参数包括的目标数据类型,确定待检数据项的合理值的类型,以便于对数据值合理性检测的检测参数进行设置。
示例性地,在检测参数包括的目标数据类型为日期时,可以确定出待检数据项的合理值的类型也为日期,从而可以在对数据值合理性检测的检测参数进行设置时,展示设置“日期”的选项,以便于对数据值合理性检测的检测参数进行设置。
本申请实施例中,在待检数据项的检测项目包括数据值合理性检测时,可以根据检测参数包括的目标数据类型,确定待检数据项的合理值的类型,能够便于对数据值合理性检测的检测参数进行设置,从而提高设置检测参数的效率。
在一些可选的实施例中,若待检数据项的数据类型为数值或时期、且待检数据项的检测项目包括值域符合度检测,则对检测项目对应的检测参数进行设置的操作包括:设置至少一个第一范围值和第一范围值对应的比较逻辑,以便于通过第一范围值、和第一范围值对应的比较逻辑,设置待检数据项的检测参数限定的目标值域。与上面的实施例相似,此处的比较逻辑可以至少包括以下之一:介于、未介于、等于、不等于、大于、小于、大于或等于、小于或等于。
数据类型中,数值包括整数、小数、百分比等,时期包括年份、月份、日期和时间、日期、时间等。作为一种可选的实现方式,值域符合度检测的检测参数可以包括目标值域,与上面的数据长度限值相似,当待检数据项的数据类型为数值或时期时,可通过设置一个或多个第一范围值和第一范围值的比较逻辑可对目标值域进行设置。
本申请实施例中,可以基于范围值和比较逻辑设置数据长度检测的检测参数,可以使用户更灵活地对值域符合度检测的检测参数进行设置,从而能够更好地满足用户的需求。
若待检数据项的检测项目包括值域符合度检测,即针即在对待检数据项进行设置时启用了值域符合度检测,则可以自动检测待检数据项是否符合设置的目标值域。此时,对待检元数据包括的待检数据项进行检测,包括:检测待检数据项的值是否在检测参数包括的目标值域内。若待检数据项的值在该目标值域内,则判定此项值域符合度检测的结果为通过。若待检数据项的值不在该目标值域内,则判定此项值域符合度检测的结果为未通过。
另外,本申请实施例中,值域符合度检测的检测参数的设置方式可以随数据类型的不同而变化。示例性地,各种数据类型的待检数据项的目标值域设置方式可参照下面的实施例:
当待检数据项的数据类型为字符时,可以采用枚举法设置该待检数据项的值域范围,例如,若待检数据项为“密级”,则该待检数据项的目标值域可以为:“绝密、机密、秘密、限制、公开”。
当待检数据项的数据类型为整数、小数和百分比等数值时,可通过设置一个或多个第一范围值和第一范围值的比较逻辑可对目标值域进行设置。对于设置了多组第一范围值和比较逻辑组合的情况,还可以通过值域符合度检测的检测参数,设置满足“全部”的第一范围值和比较逻辑的组合为通过值域符合度检测,或满足“任意”一组第一范围值和比较逻辑的组合为通过值域符合度检测。
当待检数据项的数据类为布尔时,目标值域即为“是”和“否”组成的值域。
当待检数据项的数据类型为年份、月份、日期和时间、日期、时间等时期时,可通过参照上面表1中年份、月份、日期和时间等各自对应的数据格式,设置一个或多个第一范围值和第一范围值的比较逻辑,从而对目标值域进行设置。例如,待检数据项的数据类型为“年份”时,可设置第一范围值为“2020年”和“2023年”、目标值域为“介于2020年和2023年”;待检数据项的数据类型为“日期和时间”时,可设置第一范围值为“2020-1-1 12:00:00”和“2023-1-1 12:00:00”、目标值域为“介于2020-1-1 12:00:00和2023-1-1 12:00:00”等。
在一些可选的实施例中,若待检数据项的数据类型为数值或时期、且待检数据项的检测项目包括数据值合理性检测,则对检测项目对应的检测参数进行设置的操作包括:设置至少一个第二范围值和第二范围值对应的比较逻辑,以便于通过第二范围值、和第二范围值对应的比较逻辑,设置待检数据项的检测参数包括的目标合理值范围。
作为一种可选的实现方式,数据值合理性检测的检测参数可以包括目标合理值范围,与上面的数据长度限值或值域符合度检测相似,当待检数据项的数据类型为数值或时期时,可通过设置一个或多个第二范围值和第二范围值的比较逻辑可对目标合理值范围进行设置。
本申请实施例中,可以基于第二范围值和比较逻辑设置数据值合理性检测的检测参数,可以使用户更灵活地对数据值合理性检测的检测参数进行设置,从而能够更好地满足用户的需求。
若待检数据项的检测项目包括数据值合理性检测,即针即在对待检数据项进行设置时启用了数据值合理性检测,则可以自动待检数据项是否满足设置的目标合理值范围。此时,对待检元数据包括的待检数据项进行检测,包括:检测待检数据项的值是否在检测参数包括的目标合理值范围内。若待检数据项的值在该目标合理值范围内,则判定此项数据值合理性检测的结果为通过。若待检数据项的值不在该目标值域内,则判定此项数据值合理性检测的结果为未通过。
另外,本申请实施例中,数据值合理性检测的检测参数的设置方式可以随数据类型的不同而变化。示例性地,各种数据类型的待检数据项的目标合理值范围设置方式可参照下面的实施例:
当待检数据项的数据类型为字符时,可设置一个或多个需要排除的关键词,已通过排除法设定目标合理值范围。若该待检数据项不包含任意一个设置的关键词,则可判定该待检数据项通过值域符合度检测检测。
当待检数据项的数据类型为整数、小数和百分比等数值时,可通过设置一个或多个第二范围值和第二范围值的比较逻辑可对目标合理值范围进行设置。对于设置了多组第二范围值和比较逻辑组合的情况,还可以通过目标合理值范围的检测参数,设置满足“全部”的第二范围值和比较逻辑的组合为通过数据值合理性检测,或满足“任意”一组第二范围值和比较逻辑的组合为通过数据值合理性检测。
当待检数据项的数据类为布尔时,目标合理值范围包括“是”和“否”。
当待检数据项的数据类型为年份、月份、日期和时间、日期、时间等时期时,可通过参照上面表1中年份、月份、日期和时间等各自对应的数据格式,设置一个或多个第二范围值和对应的比较逻辑,从而对目标合理值范围进行设置。例如,待检数据项的数据类型为“年份”时,可设置第二范围值为“2020年”和“2023年”、目标合理值范围为“介于2020年和2023年”;待检数据项的数据类型为“日期和时间”时,可设置第二范围值为“2020-1-1 12:00:00”和“2023-1-1 12:00:00”、目标合理值范围为“介于2020-1-112:00:00和2023-1-112:00:00”;待检数据项的数据类型为“时间”时,可设置第二范围值为08:00:00和17:00:00、目标合理值范围为“介于08:00:00和17:00:00”等。
在一些可选的实施例中,特殊字符检测的检测参数包括目标特殊字符,例如图3中所示的特殊字符。若待检数据项的检测项目包括特殊字符检测,即在对待检数据项进行设置时启用了特殊字符检测,则对待检元数据包括的待检数据项进行检测,包括:检测待检数据项是否包含目标特殊字符,若该元数据不包含任意一个目标特殊字符,则判定此项特殊字符检测的检测结果为通过。
启用了特殊字符检测后,可自动检测元数据内待检数据项的是否包括目标特殊字符。若待检数据项不包含任意一个设置的目标特殊字符,则判定此项特殊字符检测的检测结果为通过;若待检数据项包含某个目标特殊字符,则判定此项特殊字符检测的检测结果为未通过。
本申请实施例中,可通过针对待检数据项启用特殊字符检测,在对待检元数据的待检数据项进行检测时,检测待检数据项是否包含目标特殊字符,以判断元数据是否包含特殊字符,从而实现元数据的特殊字符检测,有利于根据是否包含特殊字符对元数据准确性进行评估。
根据本申请实施例的第二方面,如图4所示,提供一种用于检测元数据准确性的元数据准确性检测装置,包括:
展示模块401,根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;
接收模块402,接收通过可视化界面,对待检数据项的检测项目和/或检测项目对应的检测参数进行设置的操作,根据操作生成对应的检测规则;
检测模块403,根据检测规则,对待检元数据包括的待检数据项进行检测;
其中,检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
本实施例的商品编码确定系统与前述元数据准确性检测方法的实施例基于相同的发明构思,用于实现前述多个方法实施例中相应的元数据准确性检测方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的商品编码确定系统中的各个单元的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
参照图5,示出了根据本申请又一实施例的一种电子设备的结构示意图,本申请具体实施例并不对电子设备的具体实现做限定。
如图5所示,该电子设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它电子设备或服务器进行通信。
处理器502,用于执行程序510,具体可以执行上述绿色空间规划方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510可包括多条计算机指令,程序510具体可以通过多条计算机指令使得处理器502执行前述多个方法实施例中任一实施例所描述的元数据准确性检测方法对应的操作。
程序510中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述,并具有相应的有益效果,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本申请实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于:只读光盘(Compact Disc Read-Only Memory,CD-ROM)、随机存储器(RandomAccess Memory,RAM)、软盘、硬盘或磁光盘等。
本申请实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令指示计算设备执行上述多个方法实施例中的任一元数据准确性检测方法对应的操作。
此外,需要说明的是,本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于执行的操作数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要指出,根据实施的需要,可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit,ASIC)或现场可编辑门阵列(Field Programmable Gate Array,FPGA))的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,随机存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的方法。此外,当通用计算机访问用于实现在此示出的方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例,而并非对本申请实施例的限制,有关技术领域的普通技术人员,在不脱离本申请实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请实施例的范畴,本申请实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种元数据准确性检测方法,其特征在于,包括:
根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;
接收通过所述可视化界面,对所述待检数据项的检测项目和/或所述检测项目对应的检测参数进行设置的操作,根据所述操作生成对应的检测规则;
根据所述检测规则,对待检元数据包括的所述待检数据项进行检测;
其中,所述检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
2.根据权利要求1所述的方法,其特征在于,所述数据类型和格式检测的检测参数包括目标数据类型和目标数据格式;
若所述待检数据项的检测项目包括所述数据类型和格式检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:
检测所述待检数据项的数据类型和格式是否符合所述目标数据类型和所述目标数据格式,若符合,则判定此项数据类型和格式检测的检测结果为通过;
其中,所述目标数据类型为以下之一:字符、整数、小数、百分比、布尔、年份、月份、日期和时间、日期、时间。
3.根据权利要求2所述的方法,其特征在于,若所述待检数据项的检测项目包括所述值域符合度检测,则所述方法还包括:根据所述检测参数包括的所述目标数据类型,确定所述待检数据项的值域类型,以便于对所述值域符合度检测的所述检测参数进行设置;和/或,
若所述待检数据项的检测项目包括所述数据值合理性检测,则所述方法还包括:根据所述检测参数包括的所述目标数据类型,确定所述待检数据项的合理值的类型,以便于对所述数据值合理性检测的检测参数进行设置。
4.根据权利要求3所述的方法,其特征在于,若所述待检数据项的数据类型为数值或时期、且所述待检数据项的检测项目包括所述值域符合度检测,则所述对所述检测项目对应的检测参数进行设置的操作包括:设置至少一个第一范围值和所述第一范围值对应的比较逻辑,以便于通过所述第一范围值、和所述第一范围值对应的所述比较逻辑,设置所述待检数据项的检测参数包括的目标值域;和/或,
若所述待检数据项的数据类型为数值或时期、且所述待检数据项的检测项目包括所述数据值合理性检测,则所述对所述检测项目对应的检测参数进行设置的操作包括:设置至少一个第二范围值和所述第二范围值对应的所述比较逻辑,以便于通过所述第二范围值、和所述第二范围值对应的所述比较逻辑,设置所述待检数据项的检测参数包括的目标合理值范围;
其中,所述比较逻辑至少包括以下之一:介于、未介于、等于、不等于、大于、小于、大于或等于、小于或等于。
5.根据权利要求1所述的方法,其特征在于,若所述待检数据项的检测项目包括所述数据重复性检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:
检测所述待检数据项的值与存储的所述待检数据项历史值是否存在重复,若不存在重复,则判定此项数据重复性检测的结果为通过。
6.根据权利要求1所述的方法,其特征在于,所述特殊字符检测的检测参数包括目标特殊字符,若所述待检数据项的检测项目包括所述特殊字符检测,则所述对待检元数据包括的所述待检数据项进行检测,包括:
检测待检数据项是否包含所述目标特殊字符,若该元数据不包含任意一个所述目标特殊字符,则判定此项特殊字符检测的检测结果为通过。
7.一种元数据准确性检测装置,其特征在于,包括:
展示模块,根据设置指令,展示用于对元数据的待检数据项进行设置的可视化界面;
接收模块,接收通过所述可视化界面,对所述待检数据项的检测项目和/或所述检测项目对应的检测参数进行设置的操作,根据所述操作生成对应的检测规则;
检测模块,根据所述检测规则,对待检元数据包括的所述待检数据项进行检测;
其中,所述检测项目包括数据重复性检测、数据长度检测、数据类型和格式检测、值域符合度检测、数据值合理性检测、特殊字符检测。
8.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6中任一所述的方法。
9.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如权利要求1-6中任一项所述的元数据准确性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775004.2A CN117610546A (zh) | 2023-12-21 | 2023-12-21 | 元数据准确性检测方法、装置、设备、介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775004.2A CN117610546A (zh) | 2023-12-21 | 2023-12-21 | 元数据准确性检测方法、装置、设备、介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117610546A true CN117610546A (zh) | 2024-02-27 |
Family
ID=89954674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311775004.2A Pending CN117610546A (zh) | 2023-12-21 | 2023-12-21 | 元数据准确性检测方法、装置、设备、介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117610546A (zh) |
-
2023
- 2023-12-21 CN CN202311775004.2A patent/CN117610546A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2906475C (en) | Method and apparatus for substitution scheme for anonymizing personally identifiable information | |
CN108009435B (zh) | 数据脱敏方法、装置及存储介质 | |
EP1053527A1 (en) | Mapping compliance information into useable format | |
CN107784063B (zh) | 算法的生成方法及终端设备 | |
TW201426593A (zh) | 資訊校驗的方法及裝置 | |
CN106161095B (zh) | 数据泄露的预警方法及装置 | |
CN112765673A (zh) | 一种敏感数据统计方法及相关装置 | |
CN110019762B (zh) | 一种问题定位方法、存储介质和服务器 | |
US11314797B2 (en) | Data de-identification apparatus and method | |
CN113010791A (zh) | 搜索结果展示处理方法、装置及计算机可读存储介质 | |
CN110380952B (zh) | 邮件收发方法及装置 | |
CN112819305A (zh) | 业务指标分析方法、装置、设备及存储介质 | |
CN114676231A (zh) | 一种目标信息检测方法、设备和介质 | |
CN117235790A (zh) | 打印信息脱敏方法、装置、电子设备及存储介质 | |
CN112199483A (zh) | 信息录入辅助方法、装置、电子设备及存储介质 | |
US20210165907A1 (en) | Systems and methods for intelligent and quick masking | |
CN117610546A (zh) | 元数据准确性检测方法、装置、设备、介质和程序产品 | |
CN110728585A (zh) | 核保方法、装置、设备及存储介质 | |
CN116089962A (zh) | 一种高性能的Iast外部检测方法、装置、电子设备及介质 | |
CN113282837B (zh) | 事件分析方法、装置、计算机设备及存储介质 | |
CN113609407B (zh) | 地区一致性校验方法和装置 | |
US20170032484A1 (en) | Systems, devices, and methods for detecting firearm straw purchases | |
CN110009386B (zh) | 用户分类方法、装置、计算机设备及存储介质 | |
CN113626387A (zh) | 一种任务数据的导出方法、装置、电子设备及存储介质 | |
CN112764974B (zh) | 信息资产在线管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |