CN112163412A - 数据校验方法、装置、电子设备及存储介质 - Google Patents

数据校验方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112163412A
CN112163412A CN202011059588.XA CN202011059588A CN112163412A CN 112163412 A CN112163412 A CN 112163412A CN 202011059588 A CN202011059588 A CN 202011059588A CN 112163412 A CN112163412 A CN 112163412A
Authority
CN
China
Prior art keywords
data
verification
strategy
determining
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011059588.XA
Other languages
English (en)
Other versions
CN112163412B (zh
Inventor
邓东海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanheng Zhanchuang Shenzhen Development Partnership LP
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202011059588.XA priority Critical patent/CN112163412B/zh
Publication of CN112163412A publication Critical patent/CN112163412A/zh
Application granted granted Critical
Publication of CN112163412B publication Critical patent/CN112163412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/226Validation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本申请涉及数据处理技术领域,提供一种数据校验方法、装置、电子设备及存储介质,可应用于智慧政务、智慧医院系统等场景。所述方法包括:根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;解析所述目标文件,获得解析数据;确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。本发明能提高数据校验效率。

Description

数据校验方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据校验方法、装置、电子设备及存储介质。
背景技术
目前,随着计算机技术的发展,电子支付的普及等,越来越多的电子数据需要进行核对工作,比如交易数据、账单数据等。在实践中发现,电子数据的核对校验过程比较繁琐,校验效率也低。
因此,如何提高数据校验效率是一个需要解决的技术问题。
发明内容
鉴于以上内容,有必要提供一种数据校验方法、装置、电子设备及存储介质,能够提高数据校验效率。
本发明的第一方面提供一种数据校验方法,所述数据校验方法包括:
根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;
解析所述目标文件,获得解析数据;
确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;
根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;
若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
在一种可能的实现方式中,所述根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果包括:
按照预设顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据;
针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据;
若所述校验策略为全字段校验,根据所述全字段校验策略,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致;
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据。
在一种可能的实现方式中,所述数据校验方法还包括:
若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值;
判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致;
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据。
在一种可能的实现方式中,所述确定与所述数据量对应的校验策略包括:
判断所述数据量是否大于预设数据量阈值;
若所述数据量大于预设数据量阈值,将行信息校验策略确定为所述与所述数据量对应的校验策略;或
若所述数据量小于或等于预设数据量阈值,将全字段校验策略确定为所述与所述数据量对应的校验策略。
在一种可能的实现方式中,所述解析所述目标文件,获得解析数据包括:
解压所述目标文件,获得解压文件;
根据预设的密钥,解密所述解压文件,获得解密文件;
读取所述解密文件,获得所述解析数据。
在一种可能的实现方式中,所述数据校验方法还包括:
若所述解析数据存在异常数据,生成告警信息;
将所述告警信息发送至预设终端。
在一种可能的实现方式中,所述解析数据存储在数据库中,所述解析所述目标文件,获得解析数据之后,所述数据校验方法还包括:
当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句;
执行所述查询语句,从所述解析数据中进行数据查询。
本发明的第二方面提供一种数据校验装置,所述数据校验装置包括:
获取模块,用于根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;
解析模块,用于解析所述目标文件,获得解析数据;
确定模块,用于确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;
校验模块,用于根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;
生成模块,用于若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
本发明的第三方面提供一种电子设备,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据校验方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的数据校验方法。
由以上技术方案,本发明中,可以在确保数据安全的情况下,获取并解析指定文件,获得解析数据,在数据量少的情况下通过全字段校验策略进行数据校验,在数据量多的情况下,使用行信息校验策略来进行数据校验,虽然多了行信息的运算过程,但节省了对全部字段进行比较的过程,在数据量多的情况下能够提高数据校验的效率。
附图说明
图1是本发明公开的一种数据校验方法的较佳实施例的流程图。
图2是本发明公开的一种数据校验装置的较佳实施例的功能模块图。
图3是本发明实现数据校验方法的较佳实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明实施例的数据校验方法应用在电子设备中,也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中,由服务器和电子设备共同执行。网络包括但不限于:广域网、城域网或局域网。
其中,服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol,简称FTP)服务,也可以叫服务器。从狭义范围上讲,服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中,所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1,图1是本发明公开的一种数据校验方法的较佳实施例的流程图。其中,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。其中,所述数据校验方法的执行主体可以是电子设备。
S11、根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件。
其中,所述预设的多个文件可以是指存储在指定的文件服务器上的文件,为了节省存储空间,这些文件可以是被压缩了的文件,同时,为了确保数据的安全性,这些文件可以是被加密了的。
其中,所述安全文件传送协议(Secure File Transfer Protocol,SFTP)是一种数据流连接,提供文件访问、传输和管理功能的网络传输协议,可以用来安全传输文件。
本发明实施例中,可以根据文件日期信息,从所述多个文件中确定指定日期的目标文件,并通过安全文件传送协议下载来获得所述目标文件。
S12、解析所述目标文件,获得解析数据。
本发明实施例中,需要经过一定的解析步骤,才能获取到所述目标文件中的数据,即所述解析数据。
具体的,所述解析所述目标文件,获得解析数据包括:
解压所述目标文件,获得解压文件;
根据预设的密钥,解密所述解压文件,获得解密文件;
读取所述解密文件,获得所述解析数据。
在该可选的实施方式中,获取到所述目标文件后,可以先解压所述目标文件,获得没有被压缩的原文件,即所述解压文件,然后使用预设的密钥,解密所述解压文件,获得可以直接读取的解密文件,读取所述解密文件上的数据,获得所述解析数据。
S13、确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略。
具体的,所述确定与所述数据量对应的校验策略包括:
判断所述数据量是否大于预设数据量阈值;
若所述数据量大于预设数据量阈值,将行信息校验策略确定为所述与所述数据量对应的校验策略;或
若所述数据量小于或等于预设数据量阈值,将全字段校验策略确定为所述与所述数据量对应的校验策略。
在该可选实施方式中,可以配置一个预设数据量阈值,若所述数据量小于或等于预设数据量阈值,确定所述解析数据的数据量比较少,可以选择全字段校验策略对每行数据的每隔字段进行校验;若所述数据量大于预设数据量阈值,确定所述解析数据的数据量比较多,如果选择全字段校验策略对每行数据的每隔字段进行校验,由于数据量较多,校验的时长会比较长,因此,可以选择行信息校验策略对每行数据进行必要信息的校验,不需要校验所有字段,提高了校验效率。
S14、根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果。
具体的,所述根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果包括:
按照预设顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据;
针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据;
若所述校验策略为全字段校验,根据所述全字段校验策略,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致;
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据。
在该可选的实施方式中,可以按照预设的顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据,比如所述解析数据是A公司发来的流水账单数据,所述校验数据是B公司的流水账单数据,需要这两份流水账单数据一致,才能进行结算,可以对这两份流水账单数据进行预设顺序的排序,比如按照时间顺序排序,如果这两份流水账单数据一致,那么在相同排序位置的数据应该是一致的。本实施方式中,针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据,每行所述第一排序数据与对应的比对数据处于同一个排序位置,若所述校验策略为全字段校验,需要进行逐条数据的全字段比较,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致,若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据,或者,若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据,在数据量少的情况下,进行全字段比较,可以确保较快的校验效率的同时,节省了其它比较方法需要用到的运算资源。
作为一种可选的实施方式,所述方法还包括:
若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值;
判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致;
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据。
其中,所述MD5信息摘要算法(MD5 Message-Digest Algorithm)是一种密码散列函数,可以产生出一个128位的散列值,用于确保信息传输完整一致,不同数据产生的散列值是不同的,相同数据产生的散列值是相同的。
在该可选的实施方式中,若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值,判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致,若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据,或者,若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据,通过比较两份数据的散列值来确定这两份数据是否一致,对于大量数据而言,不需要进行全字段的比较,节省出来的比较时间是大于进行散列值运算的时间的,比较的速度较快,因此,对于大量数据的校验,通过行信息校验策略,能够提高校验效率。
S15、若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
本发明实施例中,若所述校验结果为所述解析数据不存在异常数据,可以根据所述解析数据,生成数据报表,并输出所述数据报表,可选的,可以将所述数据报表通过邮件等方式发送至预设终端。
作为一种可选的实施方式,所述方法还包括:
若所述解析数据存在异常数据,生成告警信息;
将所述告警信息发送至预设终端。
在该可选的实施方式中,如果所述解析数据存在异常数据,则可以根据所述异常数据,生成告警信息,所述告警信息指示有哪些异常数据,以提示相关人员进行异常排查,可以将所述告警信息以邮件的形式发送至指定邮箱,也可以将所述告警信息发送至预设终端。
作为一种可选的实施方式,所述解析数据存储在数据库中,所述解析所述目标文件,获得解析数据之后,所述方法还包括:
当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句;
执行所述查询语句,从所述解析数据中进行数据查询。
在该可选的实施方式中,可以预先对数据查询、更新等操作进行配置,当接收到相关指令后,将相关指令所携带的变量参数以及预设的配置信息,组装成对应数据操作语句,进行数据操作,当当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句,执行所述查询语句,从所述解析数据中进行数据查询。
在图1所描述的方法流程中,可以在确保数据安全的情况下,获取并解析指定文件,获得解析数据,在数据量少的情况下通过全字段校验策略进行数据校验,在数据量多的情况下,使用行信息校验策略来进行数据校验,虽然多了行信息的运算过程,但节省了对全部字段进行比较的过程,在数据量多的情况下能够提高数据校验的效率。
图2是本发明公开的一种数据校验装置的较佳实施例的功能模块图。
请参见图2,所述数据校验装置20可运行于电子设备中。所述数据校验装置20可以包括多个由程序代码段所组成的功能模块。所述数据校验装置20中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图1所描述的数据校验方法中的部分或全部步骤。
本实施例中,所述数据校验装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:获取模块201、解析模块202、确定模块203、校验模块204及生成模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。
获取模块201,用于根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件。
其中,所述预设的多个文件可以是指存储在指定的文件服务器上的文件,为了节省存储空间,这些文件可以是被压缩了的文件,同时,为了确保数据的安全性,这些文件可以是被加密了的。
其中,所述安全文件传送协议(Secure File Transfer Protocol,SFTP)是一种数据流连接,提供文件访问、传输和管理功能的网络传输协议,可以用来安全传输文件。
本发明实施例中,可以根据文件日期信息,从所述多个文件中确定指定日期的目标文件,并通过安全文件传送协议下载来获得所述目标文件。
解析模块202,用于解析所述目标文件,获得解析数据。
本发明实施例中,需要经过一定的解析步骤,才能获取到所述目标文件中的数据,即所述解析数据。
确定模块203,用于确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略。
校验模块204,用于根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果。
生成模块205,用于若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
本发明实施例中,若所述校验结果为所述解析数据不存在异常数据,可以根据所述解析数据,生成数据报表,并输出所述数据报表,可选的,可以将所述数据报表通过邮件等方式发送至预设终端。
作为一种可选的实施方式,所述校验模块204根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果的方式具体为:
按照预设顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据;
针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据;
若所述校验策略为全字段校验,根据所述全字段校验策略,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致;
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据。
在该可选的实施方式中,可以按照预设的顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据,比如所述解析数据是A公司发来的流水账单数据,所述校验数据是B公司的流水账单数据,需要这两份流水账单数据一致,才能进行结算,可以对这两份流水账单数据进行预设顺序的排序,比如按照时间顺序排序,如果这两份流水账单数据一致,那么在相同排序位置的数据应该是一致的。本实施方式中,针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据,每行所述第一排序数据与对应的比对数据处于同一个排序位置,若所述校验策略为全字段校验,需要进行逐条数据的全字段比较,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致,若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据,或者,若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据,在数据量少的情况下,进行全字段比较,可以确保较快的校验效率的同时,节省了其它比较方法需要用到的运算资源。
作为一种可选的实施方式,所述校验模块204根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果的方式还包括:
若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值;
判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致;
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据。
其中,所述MD5信息摘要算法(MD5 Message-Digest Algorithm)是一种密码散列函数,可以产生出一个128位的散列值,用于确保信息传输完整一致,不同数据产生的散列值是不同的,相同数据产生的散列值是相同的。
在该可选的实施方式中,若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值,判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致,若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据,或者,若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据,通过比较两份数据的散列值来确定这两份数据是否一致,对于大量数据而言,不需要进行全字段的比较,节省出来的比较时间是大于进行散列值运算的时间的,比较的速度较快,因此,对于大量数据的校验,通过行信息校验策略,能够提高校验效率。
作为一种可选的实施方式,所述确定模块203确定与所述数据量对应的校验策略的方式具体为:
判断所述数据量是否大于预设数据量阈值;
若所述数据量大于预设数据量阈值,将行信息校验策略确定为所述与所述数据量对应的校验策略;或
若所述数据量小于或等于预设数据量阈值,将全字段校验策略确定为所述与所述数据量对应的校验策略。
在该可选实施方式中,可以配置一个预设数据量阈值,若所述数据量小于或等于预设数据量阈值,确定所述解析数据的数据量比较少,可以选择全字段校验策略对每行数据的每隔字段进行校验;若所述数据量大于预设数据量阈值,确定所述解析数据的数据量比较多,如果选择全字段校验策略对每行数据的每隔字段进行校验,由于数据量较多,校验的时长会比较长,因此,可以选择行信息校验策略对每行数据进行必要信息的校验,不需要校验所有字段,提高了校验效率。
作为一种可选的实施方式,所述解析模块202解析所述目标文件,获得解析数据的方式具体为:
解压所述目标文件,获得解压文件;
根据预设的密钥,解密所述解压文件,获得解密文件;
读取所述解密文件,获得所述解析数据。
在该可选的实施方式中,获取到所述目标文件后,可以先解压所述目标文件,获得没有被压缩的原文件,即所述解压文件,然后使用预设的密钥,解密所述解压文件,获得可以直接读取的解密文件,读取所述解密文件上的数据,获得所述解析数据。
作为一种可选的实施方式,所述生成模块205,还用于若所述解析数据存在异常数据,生成告警信息;
所述数据校验装置20还包括:
发送模块,用于将所述告警信息发送至预设终端。
在该可选的实施方式中,如果所述解析数据存在异常数据,则可以根据所述异常数据,生成告警信息,所述告警信息指示有哪些异常数据,以提示相关人员进行异常排查,可以将所述告警信息以邮件的形式发送至指定邮箱,也可以将所述告警信息发送至预设终端。
作为一种可选的实施方式,所述解析数据存储在数据库中,所述生成模块205,还用于所述解析模块202解析所述目标文件,获得解析数据之后,当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句;
所述数据校验装置20还包括:
执行模块,用于执行所述查询语句,从所述解析数据中进行数据查询。
在该可选的实施方式中,可以预先对数据查询、更新等操作进行配置,当接收到相关指令后,将相关指令所携带的变量参数以及预设的配置信息,组装成对应数据操作语句,进行数据操作,当当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句,执行所述查询语句,从所述解析数据中进行数据查询。
在图2所描述的数据校验装置20中,可以在确保数据安全的情况下,获取并解析指定文件,获得解析数据,在数据量少的情况下通过全字段校验策略进行数据校验,在数据量多的情况下,使用行信息校验策略来进行数据校验,虽然多了行信息的运算过程,但节省了对全部字段进行比较的过程,在数据量多的情况下能够提高数据校验的效率。
如图3所示,图3是本发明实现数据校验方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解,图3所示的示意图仅仅是所述电子设备3的示例,并不构成对所述电子设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(InternetProtocol Television,IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等,所述处理器32是所述电子设备3的控制中心,利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元,所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元,以及调用存储在存储器31内的数据,实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备3的使用所创建的数据等。此外,存储器31可以包括易失性和非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1,所述电子设备3中的所述存储器31存储多个指令以实现一种数据校验方法,所述处理器32可执行所述多个指令从而实现:
根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;
解析所述目标文件,获得解析数据;
确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;
根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;
若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
具体地,所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在图3所描述的电子设备3中,可以在确保数据安全的情况下,获取并解析指定文件,获得解析数据,在数据量少的情况下通过全字段校验策略进行数据校验,在数据量多的情况下,使用行信息校验策略来进行数据校验,虽然多了行信息的运算过程,但节省了对全部字段进行比较的过程,在数据量多的情况下能够提高数据校验的效率。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存储器(RAM,Random Access Memory)等。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据校验方法,其特征在于,所述数据校验方法包括:
根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;
解析所述目标文件,获得解析数据;
确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;
根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;
若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
2.根据权利要求1所述的数据校验方法,其特征在于,所述根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果包括:
按照预设顺序,对每行所述解析数据进行排序,获得第一排序数据,以及对每行所述校验数据进行排序,获得第二排序数据;
针对每行所述第一排序数据,将与所述第一排序数据处于相同排序位置的第二排序数据确定为比对数据;
若所述校验策略为全字段校验,根据所述全字段校验策略,判断每行所述第一排序数据的所有字段与对应的比对数据的所有字段是否均一致;
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若所述第一排序数据的所有字段与对应的所述比对数据的所有字段不均一致,确定所述校验结果为所述解析数据存在异常数据。
3.根据权利要求2所述的数据校验方法,其特征在于,所述数据校验方法还包括:
若所述校验策略不为全字段校验且所述校验策略为行信息校验策略,根据行信息校验策略,使用MD5信息摘要算法,确定所述第一排序数据的第一散列值,以及确定所述比对数据的第二散列值;
判断每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值是否均一致;
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值均一致,确定所述校验结果为所述解析数据不存在异常数据;或
若每行所述第一排序数据的第一散列值与对应的所述比对数据的第二散列值不均一致,确定所述校验结果为所述解析数据存在异常数据。
4.根据权利要求1所述的数据校验方法,其特征在于,所述确定与所述数据量对应的校验策略包括:
判断所述数据量是否大于预设数据量阈值;
若所述数据量大于预设数据量阈值,将行信息校验策略确定为所述与所述数据量对应的校验策略;或
若所述数据量小于或等于预设数据量阈值,将全字段校验策略确定为所述与所述数据量对应的校验策略。
5.根据权利要求1至4中任一项所述的数据校验方法,其特征在于,所述解析所述目标文件,获得解析数据包括:
解压所述目标文件,获得解压文件;
根据预设的密钥,解密所述解压文件,获得解密文件;
读取所述解密文件,获得所述解析数据。
6.根据权利要求1至4中任一项所述的数据校验方法,其特征在于,所述数据校验方法还包括:
若所述解析数据存在异常数据,生成告警信息;
将所述告警信息发送至预设终端。
7.根据权利要求1至4中任一项所述的数据校验方法,其特征在于,所述解析数据存储在数据库中,所述解析所述目标文件,获得解析数据之后,所述数据校验方法还包括:
当接收到查询指令时,根据所述查询指令所携带的查询条件以及预设的查询配置,生成查询语句;
执行所述查询语句,从所述解析数据中进行数据查询。
8.一种数据校验装置,其特征在于,所述数据校验装置包括:
获取模块,用于根据文件日期信息,使用安全文件传送协议从预设的多个文件中获取目标文件;
解析模块,用于解析所述目标文件,获得解析数据;
确定模块,用于确定所述解析数据的数据量,以及确定与所述数据量对应的校验策略,其中,所述校验策略为全字段校验策略或行信息校验策略;
校验模块,用于根据所述校验策略以及预设的校验数据,对所述解析数据进行数据校验,获得校验结果;
生成模块,用于若所述校验结果为所述解析数据不存在异常数据,根据所述解析数据,生成数据报表。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据校验方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的数据校验方法。
CN202011059588.XA 2020-09-30 2020-09-30 数据校验方法、装置、电子设备及存储介质 Active CN112163412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059588.XA CN112163412B (zh) 2020-09-30 2020-09-30 数据校验方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059588.XA CN112163412B (zh) 2020-09-30 2020-09-30 数据校验方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112163412A true CN112163412A (zh) 2021-01-01
CN112163412B CN112163412B (zh) 2024-02-09

Family

ID=73862304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059588.XA Active CN112163412B (zh) 2020-09-30 2020-09-30 数据校验方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112163412B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034266A (zh) * 2021-03-26 2021-06-25 上海孚厘科技有限公司 一种电子流水数据的管理方法
CN113379523A (zh) * 2021-06-10 2021-09-10 北京京东振世信息技术有限公司 账单生成方法、装置、介质及电子设备
CN113452507A (zh) * 2021-08-27 2021-09-28 创新科技术有限公司 一种数据的一致性测试方法及装置
CN114844705A (zh) * 2022-05-06 2022-08-02 珠海格力电器股份有限公司 一种通讯数据处理方法、系统、通讯设备及用电设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689579A (en) * 1996-01-17 1997-11-18 J.D. Carreker And Associates, Inc. Rule-based circuit, method and system for performing item level reconciliation
KR20010090297A (ko) * 2000-03-24 2001-10-18 강상훈 보안 정책 시스템
US20120293505A1 (en) * 2004-08-31 2012-11-22 Meadow William D Three dimensional image data models
CN107770213A (zh) * 2016-08-18 2018-03-06 中兴通讯股份有限公司 数据处理方法、装置、服务器及终端
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置
US20190199533A1 (en) * 2017-12-21 2019-06-27 Paypal, Inc. Data network path integrity verification
CN110348975A (zh) * 2019-05-24 2019-10-18 深圳壹账通智能科技有限公司 报关单信息校验方法及装置、电子设备和存储介质
CN110471665A (zh) * 2019-06-28 2019-11-19 平安科技(深圳)有限公司 脚本文件校验方法、装置、服务器及存储介质
CN111666564A (zh) * 2020-05-14 2020-09-15 平安科技(深圳)有限公司 应用程序安全启动方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689579A (en) * 1996-01-17 1997-11-18 J.D. Carreker And Associates, Inc. Rule-based circuit, method and system for performing item level reconciliation
KR20010090297A (ko) * 2000-03-24 2001-10-18 강상훈 보안 정책 시스템
US20120293505A1 (en) * 2004-08-31 2012-11-22 Meadow William D Three dimensional image data models
CN107770213A (zh) * 2016-08-18 2018-03-06 中兴通讯股份有限公司 数据处理方法、装置、服务器及终端
US20190199533A1 (en) * 2017-12-21 2019-06-27 Paypal, Inc. Data network path integrity verification
CN109492436A (zh) * 2018-11-29 2019-03-19 深圳市网心科技有限公司 一种文件校验方法及相关装置
CN110348975A (zh) * 2019-05-24 2019-10-18 深圳壹账通智能科技有限公司 报关单信息校验方法及装置、电子设备和存储介质
CN110471665A (zh) * 2019-06-28 2019-11-19 平安科技(深圳)有限公司 脚本文件校验方法、装置、服务器及存储介质
CN111666564A (zh) * 2020-05-14 2020-09-15 平安科技(深圳)有限公司 应用程序安全启动方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034266A (zh) * 2021-03-26 2021-06-25 上海孚厘科技有限公司 一种电子流水数据的管理方法
CN113379523A (zh) * 2021-06-10 2021-09-10 北京京东振世信息技术有限公司 账单生成方法、装置、介质及电子设备
CN113452507A (zh) * 2021-08-27 2021-09-28 创新科技术有限公司 一种数据的一致性测试方法及装置
CN114844705A (zh) * 2022-05-06 2022-08-02 珠海格力电器股份有限公司 一种通讯数据处理方法、系统、通讯设备及用电设备
CN114844705B (zh) * 2022-05-06 2023-05-19 珠海格力电器股份有限公司 一种通讯数据处理方法、系统、通讯设备及用电设备

Also Published As

Publication number Publication date
CN112163412B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN112163412B (zh) 数据校验方法、装置、电子设备及存储介质
CN108734028B (zh) 基于区块链的数据管理方法、区块链节点及存储介质
WO2021082757A1 (zh) 一种基于区块链系统的数据处理方法及装置
US11563560B2 (en) Blockchain-based data evidence storage method and apparatus
CN110543545A (zh) 基于区块链的档案管理方法、装置及存储介质
CN111694589B (zh) 升级包生成方法、装置、服务器及计算机可读存储介质
CN112527420A (zh) 接口数据流转处理方法、装置、计算机设备及介质
CN111611249A (zh) 数据管理方法、装置、设备及存储介质
CN109902493B (zh) 脚本的下发方法及服务器
CN114826553A (zh) 一种群签名和同态加密的云存储数据安全保护方法及装置
CN114201781A (zh) 基于区块链的存证验证方法、装置、计算机设备及介质
CN111931214A (zh) 数据处理方法、装置、服务器及存储介质
CN111817859A (zh) 基于零知识证明的数据共享方法、装置、设备及存储介质
CN111832018A (zh) 病毒检测方法、装置、计算机装置及存储介质
CN109413099B (zh) 基于证书的混合云加密通信方法、装置以及电子设备
CN112667638B (zh) 动态报表生成方法、装置、终端设备及可读存储介质
CN113177193A (zh) 水印添加方法、校验方法及终端设备
CN110443072B (zh) 数据签名方法、数据校验方法、装置及存储介质
CN116993523A (zh) 配置化对账方法、装置、设备及存储介质
CN111814045A (zh) 数据查询方法、装置、电子设备及存储介质
CN107947935B (zh) 一种报文的签名方法、系统及终端设备
CN114298699B (zh) 非同质化通证的生成方法、获取方法及装置
US20220345292A1 (en) Method and device for encryption of video stream, communication equipment, and storage medium
CN113051622B (zh) 索引构建方法、装置、设备和存储介质
CN114614972A (zh) 数据对齐方法、系统、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240105

Address after: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen LIAN intellectual property service center

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd.

Effective date of registration: 20240105

Address after: 518000, Building I, Block 402, Gaozheng Garden, Gaozheng Haojing Garden, Guangming Street, Guangming New District, Shenzhen, Guangdong Province

Applicant after: Cao Xing

Applicant after: Lin Yuling

Address before: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen LIAN intellectual property service center

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240116

Address after: W402, Shenzhen Hong Kong industry university research base, 015 Gaoxin South 7th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Shanheng Zhanchuang (Shenzhen) Development Partnership (L.P.)

Address before: 518000, Building I, Block 402, Gaozheng Garden, Gaozheng Haojing Garden, Guangming Street, Guangming New District, Shenzhen, Guangdong Province

Applicant before: Cao Xing

Applicant before: Lin Yuling

GR01 Patent grant
GR01 Patent grant