CN115878466A - 数据合规性检测方法、装置、设备、存储介质及程序 - Google Patents
数据合规性检测方法、装置、设备、存储介质及程序 Download PDFInfo
- Publication number
- CN115878466A CN115878466A CN202211558473.4A CN202211558473A CN115878466A CN 115878466 A CN115878466 A CN 115878466A CN 202211558473 A CN202211558473 A CN 202211558473A CN 115878466 A CN115878466 A CN 115878466A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- field name
- compliance
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据合规性检测方法、装置、设备、存储介质及程序。该方法包括:获取待检查数据文件,待检查数据文件包括待存入交易数据库的数据文件;对待检查数据文件进行解析,获得其中的字段名;将字段名与获取的数据规范文件中的数据项数据进行匹配;在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名;为不合规字段名添加违规警告提示。根据本申请实施例可以对待存入交易数据库的数据文件的字段名进行合规性检查,以避免存入交易数据库的字段名不合规,从而降低数据复制故障率及提高数据质量。
Description
技术领域
本申请属于程序开发技术领域,尤其涉及一种数据合规性检测方法、装置、设备、存储介质及程序。
背景技术
在程序开发过程中,前台在开发时往往会将业务过程、结果数据存储在交易数据库,并且需要通过相关数据作业将交易数据库的数据复制到数据仓库供业务部门查看。为保证数据复制的可配置性,要求交易数据库中的字段名与数据仓库中的字段名一致,同时为保证数据质量,技术部门建立了统一的数据项字典,以此要求前台在开发存库功能时,存入数据库的数据的字段名必须符合数据项规范。
目前在使用开源IDE(Integrated Drive Electronics,电子集成驱动器)开发过程中,往往存在存入交易数据库中的数据字段名不符合数据项规范的情况,导致数据复制作业失败,增加了数据使用的困难。
发明内容
本申请实施例提供一种数据合规性检测方法、装置、设备、存储介质及程序,可以对待存入交易数据库的数据文件的字段名进行合规性检查,以避免存入交易数据库的字段名不合规,从而降低数据复制故障率及提高数据质量。
第一方面,本申请实施例提供一种数据合规性检测方法,该方法包括:
获取待检查数据文件,待检查数据文件包括待存入交易数据库的数据文件;
对待检查数据文件进行解析,获得其中的字段名;
将字段名与获取的数据规范文件中的数据项数据进行匹配;
在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名;
为不合规字段名添加违规警告提示。
第二方面,本申请实施例提供了一种数据合规性检查装置,该装置包括:
待检测文件获取模块,用于获取待检查数据文件,待检查数据文件包括待存入交易数据库的数据文件;
解析模块,用于对待检查数据文件进行解析,获得其中的字段名;
匹配模块,用于将字段名与获取的数据规范文件中的数据项数据进行匹配;
不合规确定模块,用于在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名;
添加提示模块,用于为不合规字段名添加违规警告提示。
第三方面,本申请实施例提供了一种电子设备,该设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面任意一项所述的数据合规性检测方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面任意一项所述的数据合规性检测方法。
第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如第一方面任意一项所述的数据合规性检测方法。
本申请实施例的数据合规性检测方法、装置、设备、存储介质及程序,获取待检查数据文件,其中待检查数据文件可以是待存入交易数据库的数据文件,对待检查数据文件进行解析,获得其中的字段名,将字段名与获取的数据规范文件中的数据项数据进行匹配,在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名,为不合规字段名添加违规警告提示。根据本申请实施例,可以在将数据文件存储交易数据库之前基于数据规范文件对数据文件中的字段名进行合规性检测,并为不合规字段名添加违规警告提示,如此,用户可以基于违规警告提示对其中的不合规字段名进行修改,从而保证存入交易数据库中的数据文件的字段名均合规。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据合规性检测方法的流程示意图;
图2是S101具体实现方式的流程示意图;
图3是S102具体实现方式的流程示意图;
图4是本申请实施例提供的一种数据规范文件获取方法的流程示意图;
图5是S105具体实现方式的流程示意图;
图6是本申请实施例提供的另一种数据合规性检测方法的流程示意图;
图7是本申请实施例提供的一种不合规字段名替换方法的流程示意图;
图8是本申请实施例提供的一种数据合规性检测系统的结构示意图;
图9是本申请实施例提供的一种数据合规性检测界面的示意图;
图10是本申请实施例提供的一种数据合规性检测装置的结构示意图;
图11是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
在编程语言开发过程中,前台开发往往会将业务过程及结果数据存储在交易数据库,并且需要通过相关数据作业将数据从交易数据库复制到数据仓库供业务部门查看。为了保证数据复制的可配置性,要求交易数据库中的字段名与数据仓库中的字段名一致,同时为保证数据质量,技术部门建立了统一的数据项字典,以此要求前台在开发存库功能时,即将业务过程、结果数据等存储到交易数据库中时,存入数据库数据的字段名必须符合数据项字段规范,即要求结构化查询语言(Structured Query Language,SQL)中的字段名及相关属性必须符合数据项字段规范。
目前,在使用开源IDE(Integrated Drive Electronics,电子集成驱动器)开发过程中,由于缺少对存储到交易数据库中的SQL语句中数据字段是否符合数据项字典规范的检查,导致交易数据库字段名与数据仓库字段名不一致,从而导致数据复制作业失败,或是数据仓库字段与交易数据库字段一致,但是不符合数据规范,增加了数据使用的困难。
为了解决现有技术问题,本申请实施例提供了一种数据合规性检测方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的数据合规性检测方法进行介绍。
图1示出了本申请实施例提供的一种数据合规性检测方法的流程示意图。如图1所示,该方法具体包括如下步骤:
S101、获取待检查数据文件;
S102、对待检查数据文件进行解析,获得其中的字段名;
S103、将字段名与获取的数据规范文件中的数据项数据进行匹配;
S104、在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名;
S105、为不合规字段名添加违规警告提示。
由此,根据本申请实施例提供的一种数据合规性检测方法,在将数据文件存储交易数据库之前基于数据规范文件对数据文件中的字段名进行合规性检测,并为不合规字段名添加违规警告提示,如此,用户可以基于违规警告提示对其中的不合规字段名进行修改,从而保证存入交易数据库中的数据文件的字段名均合规。
在一些实施例中,在S101中,待检查数据文件包括待存入交易数据库的数据文件,交易数据库(Transactional Database,TDB)是指实时的,面向应用的数据库,响应及时性要求很高,只关注最近一段时间的数据库,又称事务数据库。
作为一种示例,如图2所示,上述S101具体包括如下步骤:
S201、在监听到文件保存事件的情况下,获取待保存数据文件;
S202、将待保存数据文件的保存路径与预先配置的扫描文件路径进行比较;
S203、在确定待保存数据文件的保存路径与扫描文件路径一致的情况下,将待保存数据文件作为待检查数据文件。
在一些实施例中,事件监听器在监听到文件保存事件的情况下,首先获取待保存数据文件,由于并非是对所有需要保存的文件都进行数据合规性检测,而是针对扫描文件路径下的文件进行数据合规性检验,所以需要将待保存数据文件的保存路径与预先配置的扫描文件路径进行比较,在待保存数据文件的保存路径与扫描文件路径一致的情况下,将待保存数据文件作为待检查数据文件,进一步进行数据合规性检测,若待保存数据文件的保存路径与扫描文件路径不一致,则直接对待保存数据文件进行保存,无需进行数据合规性检测。
由此,本申请实施例所提供的数据合规性检测方法在确定待保存数据文件的保存路径与扫描文件路径一致的情况下,将待保存数据文件作为待检查数据文件,进而对待检查数据文件进行数据合规性检查。所以,本申请实施例所提供的数据合规性检测方法是有针对性的进行检查,用户可以根据实际需求设置需要进行合规性检查的扫描文件路径,如此便可以实现对存入扫描文件路径中数据文件的针对性检查,保证存入扫描文件路径中的数据文件的字段名均是合规的。
在一些实施例中,在S102中,数据合规性检测主要是通过检测待检查数据文件中的字段名是否合规,所以在获取待检查数据文件之后,需要对待检查数据文件进行解析,得到待检查数据文件中的字段名。如图3所示,上述S102可以包括如下步骤:
S301、确定待检测数据文件的文件类型;
S302、获取与文件类型对应的文件解析策略;
S303、基于文件解析策略提取待检测数据文件中的字段名。
在一些实施例中,在S301中,可以基于待检测数据文件的扩展名确定待检测数据文件的文件类型,通常数据文件的文件类型可以包括XML(EXtensible Markup Language,可扩展标记语言)格式,其扩展名为.xml,java格式,其扩展名为.java,文本格式文件类型,其扩展名包括txt、doc、docx、rtf、pdf等。
在一些实施例中,在S302中,由于数据文件的文件类型是利用扩展名来区分的,不同的扩展名代表不同类型的文件,不同类型的文件由相应的程序关联执行,所以不同文件类型对应不同的文件解析策略。通过不同的文件解析策略对不同类型的文件进行解析,得到对应待检测数据文件的字段名。
由此,可以预设多种文件类型各自对应的文件解析策略,在确定出待检测数据文件的文件类型后,可以从预设的多种文件解析策略中查找与待检测数据文件的文件类型对应的文件解析策略,然后利用查找到的文件解析策略对待检测数据文件进行解析,从而得到待检测数据文件的字段名,以便基于字段名进行数据合规性检测。
在一些实施例中,在S103中,数据规范文件中的数据项数据包含合规的字段名,在获取到待检查数据文件中的字段名后,将待检查数据文件中的字段名与获取的数据规范文件中的数据项数据进行匹配,以确定待检查数据文件中的字段名是否为合规字段名。
作为一种示例,如图4所示,在S103之前,需要先获取数据规范文件,具体可以包括如下步骤:
S401、基于预先配置的数据项文件地址,从数据项文件地址中读取预先存储的数据项数据;
S402、将数据项数据写入数据文件,获得数据规范文件。
在一些实施例中,在进行数据合规性检测之前,可以由用户预先配置数据项源文件地址,该地址中存储了预设设置的数据项数据,数据项数据可以由用户根据实际需求进行配置。从数据项源文件地址中读取预先存储的数据项数据并将其写入数据文件,从而获得数据规范文件,以便将待检查数据文件的字段名与获取的数据规范文件中的数据项数据进行匹配,从而确定字段名是否为合规字段名。
在一些实施例中,在S104中,在将待检查数据文件的字段名与数据规范文件中的数据项数据进行匹配之后,若数据规范文件中有与字段名相匹配的数据项数据,则确定字段名为合规字段名,若数据规范文件中没有与字段名相匹配的数据项数据,则确定字段名为不合规字段名。
在一些实施例中,在S105中,在确定字段名为不合规字段名的情况下,为不合规字段名添加违规警告提示。
作为一种示例,如图5所示,上述S105可以包括如下步骤:
S501、确定不合规字段名在待检查数据文件中的位置;
S502、在位置周围添加违规警告图标。
在为不合规字段名添加违规警告提示,首先需要确定不合规字段名在待检查数据文件中的位置,示例性地,在该位置周围添加违规警告可以是在该位置下方添加提示线,例如波浪线、双横线等线型,提示线颜色可自由设置,或者也可以在该位置四周显示矩形框,矩形框的颜色也可以自由设置,又或者可以对该位置字段名与其他位置的字段名进行颜色区分。
由此,为不合规字段名添加违规警告提示,不仅能够起到明显的警示作用,而且方便用户进行不合规字段名的排查。
图6示出了本申请实施例提供的另一种数据合规性检测方法。如图6所示,在上述实施例提供的数据合规性检测方法的基础上,在S105之后,该方法还可以包括如下步骤:
S601、在确定字段名为不合规字段名的情况下,查找数据项数据中与不合规字段名相似的字段名;
S602、在确定满足不合规原因显示条件的情况下,显示与不合规字段名相似的字段名。
在一些实施例中,在S601中,可以通过计算数据项数据中各字段名与不合规字段名的相似度,将相似度大于相似度阈值的字段名作为与不合规字段名相似的字段名。示例性地,可以采用文本相似度算法计算相似度,例如杰卡德相似系数、余弦相似度、Levenshtein算法等。其中,杰卡德相似系数是将数据项数据中字段名与不合规字段名的交集个数作为分子,二者的并集个数作为分母,从而利用比值结果表征数据项数据中各字段名与不合规字段名的相似度。Levenshtein算法是计算最小编辑距离的算法,例如数据项数据中的字段名strA长度为n,不合规字段名strB长度为m,特别地,如果n=0,则最小编辑距离为m,如果m=0,则最小编辑距离为n,然后构造一个(m+1)*(n+1)的矩阵A,并初始化矩阵的第一行和第一列分别为0-n,0-m,循环遍历strA和strB,如果staA[i]=strB[j],则cost=0,反之cost=1,判断A[j-1][i]+1、A[j][i-1]+1、A[j-1][i-1]+cost的最小值,并将最小值赋值给,以此,循环结束后,矩阵的最后一个元素就是最小编辑距离,以最小编辑距离表征字段名的相似度。
进一步的,在显示与不合规字段名相似的字段名之前,可以通过下述方式确定是否满足不合规原因显示条件:
在显示器中显示待检测数据文件,在待检查数据文件显示的情况下,检测鼠标光标的位置,在确定鼠标光标移动到违规警告提示位置处时,确定满足不合规原因显示条件。
作为一种示例,在违规警告提示为不合规字段名所在位置下面显示的红色下划线的情况下,在鼠标光标没有悬停在该下划线处的情况下,就只显示下划线,在鼠标光标移动到该下划线处时,将会进一步显示与该不合规字段名相似的字段名。
作为一种示例,在显示与不合规字段名相似的字段名时,可以采用弹窗的方式,例如可以在不合规字段名所在位置周围显示弹窗,弹窗中包括与不合规字段名相似的字段名对应的选择项。
进一步的,在确定满足不合规原因显示条件的情况下,还可以根据不合规字段名的匹配结果来确定当前字段名具体缺少哪些内容、可能导致字段名不合规的存在条件及相关原因等,如此,用户可结合经验或者实际情况进行不合规原因分析,进而解决不合规问题。
在一些实施例中,在S602之后,在显示与不合规字段名相似的字段名的情况下,用户还可以选择合适的字段名对不合规字段名进行替换。作为一种示例,如图7所示,若要将不合规字段名进行替换,具体包括如下步骤:
S701、接收用户对显示的相似字段名中任一字段名的选取操作;
S702、将不合规字段名替换为选取操作所选取的字段名。
示例性地,当接收到用户对显示的相似字段名中任一字段名的选取操作时,提示用户选取合适的字段名进行替换。由此,不仅能进行数据合规性检测,还能在检测出不合规字段名后,通过替换字段名的操作使得待检测数据文件中的字段名为合规字段名,方便,快捷。
本申请实施例还提供了一种可以实现上述任意实施例所述的数据合规性检测方法的数据合规性检测系统,参见图8,图8示出了本申请实施例提供的一种数据合规性检测系统的结构示意图。
如图8所示,该数据合规性检测系统可以包括数据层和数据项检查层,其中,数据层负责数据合规性检测系统的配置数据与数据项数据的管理,包括系统配置数据的存储与读取,以及数据项文件内容写入数据规范文件、数据规范文件内容读取并加载;数据项检查层负责监听用户事件,在编辑配置目录代码文件及监听到文件保存事件时执行数据项合规检查。
作为一种示例,结合图9所示的数据合规性检测界面,系统配置数据可以包括是否开启检查、数据项源文件地址和扫描文件路径。其中,“是否开启检查”表示是否需要对扫描文件路径下的文件进行数据合规性检测;“数据项源文件地址”表示存储数据项数据的地址,可以从该地址中获取数据项数据,进而获取的数据项数据写入数据文件,便可以得到数据规范文件;“扫描文件路径”表示对于该路径下的文件,在保存时进行数据合规性检测,对于不在该路径下的文件则不需要检测。
示例性地,在数据合规性检测系统启动时,数据层将自动加载系统配置数据及数据规范文件内容,并提供系统配置管理页及数据项数据刷新按钮。其中,通过系统配置管理页的确定键保存系统配置数据,在点击数据项数据刷新按钮后,数据合规性检测系统会通过在系统配置管理页中配置的数据项源文件地址读取文件,并写入到数据规范文件中,数据规范文件中存储有数据项数据,用于检查待检查文件中的字段名是否合规,并且数据项数据为用户根据实际需求所设置的合规数据,其中包括字段名。
在数据合规性检测系统启动之后,保存事件监听器将会自动保持在后台运行,首先判断当前最前端代码编辑窗口需要保存的文件的路径是否与系统配置中扫描文件路径一致,在一致的情况下继续进行下一步,若不一致则直接进行保存,不进行数据合规性检测。然后通过不同文件解析策略获取待检测数据文件中的字段名,并与数据规范文件中的数据项数据进行比较,若存在不合规字段,则在不合规字段所在位置添加违规警告图标,并且当鼠标光标移动到违规警告提示位置处时显示不合规原因,若不存在不合规字段则直接进行保存。
由此,本申请实施例提供的数据合规性检测系统,通过数据层和数据项检查层的协调配合,在将数据文件存储交易数据库之前基于数据规范文件对数据文件中的字段名进行合规性检测,以此保证了存入交易数据库的数据文件的字段名均为合规字段名。
需要说明的是,上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。本领域技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题同样适用。
基于相同的发明构思,本申请还提供了一种数据合规性检测装置,具体结合图10进行详细说明。
图10示出了本申请实施例提供的一种数据合规性检测装置的结构示意图。如图10所示,该数据合规性检测装置1000可以包括:
待检测文件获取模块1001,用于获取待检查数据文件,待检查数据文件包括待存入交易数据库的数据文件;
解析模块1002,用于对待检查数据文件进行解析,获得其中的字段名;
匹配模块1003,用于将字段名与获取的数据规范文件中的数据项数据进行匹配;
不合规确定模块1004,用于在数据规范文件中没有与字段名相匹配的数据项数据的情况下,确定字段名为不合规字段名;
添加提示模块1005,用于为不合规字段名添加违规警告提示。
由此,根据本申请实施例提供的一种数据合规性检查装置,可以在将数据文件存储交易数据库之前基于数据规范文件对数据文件中的字段名进行合规性检测,并为不合规字段名添加违规警告提示,如此,用户可以基于违规警告提示对其中的不合规字段名进行修改,从而保证存入交易数据库中的数据文件的字段名均合规。
在一些实施例中,为了获取待检查数据文件,上述待检测文件获取模块1001可以包括以下单元:
获取单元,用于在监听到文件保存事件的情况下,获取待保存数据文件;
比较单元,用于将待保存数据文件的保存路径与预先配置的扫描文件路径进行比较;
确定单元,用于在确定待保存数据文件的保存路径与扫描文件路径一致的情况下,将待保存数据文件作为待检查数据文件。
在一些实施例中,为了获取待检测数据文件中的字段名,上述解析模块1002可以包括以下单元:
确定单元,用于确定待检测数据文件的文件类型;
获取单元,用于获取与文件类型对应的文件解析策略;
提取单元,用于基于文件解析策略提取待检测数据文件中的字段名。
在一些实施例中,为了确定以及提醒不合规字段名的位置,上述添加提示模块1005可以包括以下单元:
确定单元,用于确定不合规字段名在待检查数据文件中的位置;
添加单元,用于在位置周围添加违规警告图标。
在一些实施例中,为了获取数据规范文件,上述数据合规性检测装置1000可以包括以下子模块:
读取子模块,用于基于预先配置的数据项文件地址,从数据项文件地址中读取预先存储的数据项数据;
获取子模块,用于将数据项数据写入数据文件,获得数据规范文件。
在一些实施例中,为了获取数据规范文件,上述数据合规性检测装置1000可以包括以下子模块:
查找子模块,用于在确定字段名为不合规字段名的情况下,查找数据项数据中与不合规字段名相似的字段名;
显示子模块,用于在确定满足不合规原因显示条件的情况下,显示与不合规字段名相似的字段名。
在一些实施例中,为了将不合规的字段名替换为选取的字段名以及确定不合规的原因,上述显示子模块还可以包括以下单元:
接收单元,用于接收用户对显示的与不合规字段名相似的字段名中任一字段名的选取操作;
替换单元,用于将不合规字段名替换为选取操作所选取的字段名;
确定单元,用于在待检查数据文件显示的情况下,在确定鼠标光标移动到违规警告提示位置处时,确定满足不合规原因显示条件。
图11示出了本申请实施例提供的一种电子设备的硬件结构示意图。
该电子设备1100可以包括处理器1101以及存储有计算机程序指令的存储器1102。
具体地,上述处理器1101可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1102可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器1102可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器1102可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器1102可在综合网关容灾设备的内部或外部。在特定实施例中,存储器1102是非易失性固态存储器。存储器1102可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器1102包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可执行上述实施例中的任意一种数据合规性检测方法所描述的操作。
处理器1101通过读取并执行存储器1102中存储的计算机程序指令,以实现上述实施例中的任意一种数据合规性检测方法。
在一个示例中,电子设备1100还可包括通信接口1103和总线1104。其中,如图11所示,处理器1101、存储器1102、通信接口1103通过总线1104连接并完成相互间的通信。
通信接口1103,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线1104包括硬件、软件或两者,将电子设备1100的部件彼此耦接在一起。举例来说而非限制,总线1104可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线1104可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的数据合规性检测方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据合规性检测方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (12)
1.一种数据合规性检测方法,其特征在于,包括:
获取待检查数据文件,所述待检查数据文件包括待存入交易数据库的数据文件;
对所述待检查数据文件进行解析,获得其中的字段名;
将所述字段名与获取的数据规范文件中的数据项数据进行匹配;
在所述数据规范文件中没有与所述字段名相匹配的数据项数据的情况下,确定所述字段名为不合规字段名;
为所述不合规字段名添加违规警告提示。
2.根据权利要求1所述的方法,其特征在于,所述获取待检查数据文件,包括:
在监听到文件保存事件的情况下,获取待保存数据文件;
将所述待保存数据文件的保存路径与预先配置的扫描文件路径进行比较;
在确定所述待保存数据文件的保存路径与所述扫描文件路径一致的情况下,将所述待保存数据文件作为待检查数据文件。
3.根据权利要求1所述的方法,其特征在于,所述将所述字段名与获取的数据规范文件中的数据项规范进行匹配之前,所述方法还包括:
基于预先配置的数据项文件地址,从所述数据项文件地址中读取预先存储的数据项数据;
将所述数据项数据写入数据文件,获得数据规范文件。
4.根据权利要求1所述的方法,其特征在于,所述对所述待检查数据文件进行解析,获得其中的字段名,包括:
确定所述待检测数据文件的文件类型;
获取与所述文件类型对应的文件解析策略;
基于所述文件解析策略提取所述待检测数据文件中的字段名。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述字段名为不合规字段名的情况下,查找所述数据项数据中与所述不合规字段名相似的字段名;
在确定满足不合规原因显示条件的情况下,显示与所述不合规字段名相似的字段名。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
接收用户对显示的与所述不合规字段名相似的字段名中任一字段名的选取操作;
将所述不合规字段名替换为所述选取操作所选取的字段名。
7.根据权利要求5所述的方法,其特征在于,所述显示与所述不合规字段名相似的字段名之前,所述方法还包括:
在所述待检查数据文件显示的情况下,在确定鼠标光标移动到所述违规警告提示位置处时,确定满足不合规原因显示条件。
8.根据权利要求1所述的方法,其特征在于,所述为所述不合规字段名添加违规警告提示,包括:
确定所述不合规字段名在所述待检查数据文件中的位置;
在所述位置周围添加违规警告图标。
9.一种数据合规性检查装置,其特征在于,包括:
待检测文件获取模块,用于获取待检查数据文件,所述待检查数据文件包括待存入交易数据库的数据文件;
解析模块,用于对所述待检查数据文件进行解析,获得其中的字段名;
匹配模块,用于将所述字段名与获取的数据规范文件中的数据项数据进行匹配;
不合规确定模块,用于在所述数据规范文件中没有与所述字段名相匹配的数据项数据的情况下,确定所述字段名为不合规字段名;
添加提示模块,用于为所述不合规字段名添加违规警告提示。
10.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的数据合规性检测方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的数据合规性检测方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-8任意一项所述的数据合规性检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211558473.4A CN115878466A (zh) | 2022-12-06 | 2022-12-06 | 数据合规性检测方法、装置、设备、存储介质及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211558473.4A CN115878466A (zh) | 2022-12-06 | 2022-12-06 | 数据合规性检测方法、装置、设备、存储介质及程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115878466A true CN115878466A (zh) | 2023-03-31 |
Family
ID=85766165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211558473.4A Pending CN115878466A (zh) | 2022-12-06 | 2022-12-06 | 数据合规性检测方法、装置、设备、存储介质及程序 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115878466A (zh) |
-
2022
- 2022-12-06 CN CN202211558473.4A patent/CN115878466A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8166348B1 (en) | Method of debugging a software system | |
CN110688307B (zh) | JavaScript代码检测方法、装置、设备和存储介质 | |
US9256512B1 (en) | Quality analysis for embedded software code | |
CN110866258B (zh) | 快速定位漏洞方法、电子装置及存储介质 | |
CN110389941B (zh) | 数据库校验方法、装置、设备及存储介质 | |
CN109271315B (zh) | 脚本代码检测方法、装置、计算机设备及存储介质 | |
CN112612756A (zh) | 异常文件的修复方法、装置、设备及存储介质 | |
US20120078925A1 (en) | Searching within log files | |
CN112905378B (zh) | 崩溃信息解析方法、装置、电子设备和可读存储介质 | |
WO2019071899A1 (zh) | 电子装置、车辆数据导入方法及存储介质 | |
US20180046712A1 (en) | Artificial intelligence content detection system | |
CN115878466A (zh) | 数据合规性检测方法、装置、设备、存储介质及程序 | |
CN115794638A (zh) | 基于代码变更分析引擎的测试方法、系统及计算机设备 | |
CN116245076A (zh) | Drc测试版图库的自动构造方法及drc方法、系统、可读存储介质 | |
JP2016057715A (ja) | 図形式プログラム解析装置 | |
CN113672512A (zh) | 代码检查规则生成方法、代码检查方法、装置、介质 | |
US11119761B2 (en) | Identifying implicit dependencies between code artifacts | |
CN113673214A (zh) | 信息清单的对齐方法、装置、存储介质和电子设备 | |
US9251253B2 (en) | Expeditious citation indexing | |
CN112698883A (zh) | 一种配置数据处理方法、装置、终端和存储介质 | |
CN113138974A (zh) | 数据库合规检测的方法和装置 | |
CN111914531A (zh) | 超链接状态确定方法、装置、电子设备和可读存储介质 | |
CN111914522A (zh) | 无效超链接修复方法、装置、电子设备和可读存储介质 | |
CN112307195A (zh) | 一种专利信息展示方法、装置、设备及存储介质 | |
CN111581950A (zh) | 同义名称词的确定方法和同义名称词的知识库的建立方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |