CN110109900A - 数据稽核方法、系统、电子设备及可读存储介质 - Google Patents

数据稽核方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110109900A
CN110109900A CN201810081225.2A CN201810081225A CN110109900A CN 110109900 A CN110109900 A CN 110109900A CN 201810081225 A CN201810081225 A CN 201810081225A CN 110109900 A CN110109900 A CN 110109900A
Authority
CN
China
Prior art keywords
data
check
tables
achievement
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810081225.2A
Other languages
English (en)
Inventor
张才静
罗翔
周奇博
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810081225.2A priority Critical patent/CN110109900A/zh
Publication of CN110109900A publication Critical patent/CN110109900A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Abstract

本公开提供了一种数据稽核方法,包括:获取用于稽核指定的目标数据的稽核任务;根据所述目标数据,确定一个或多个稽核策略;基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及存储和/或展示所述稽核结果。

Description

数据稽核方法、系统、电子设备及可读存储介质
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据稽核方法、系统、电子设备及可读存储介质。
背景技术
大数据的时代已经来临,数据成为重要的信息资产,因此对数据的稽核尤为重要。目前,通过从各个平台获取数据,并对数据中的元素进行加工形成指标数据,然后利用数据处理模型对指标数据处理,输出处理后的数据,对处理后的数据稽核,一般采用量级策略对处理后的数据进行稽核。在实现本发明构思的过程中,发明人发现现有技术中至少存在如下问题:现有技术仅仅采用量级策略对从数据处理模型输出的数据稽核,往往数据的问题无法发现,造成数据的准确性与及时性无法保障。
发明内容
有鉴于此,本公开提供了一种数据稽核方法、系统、电子设备及可读存储介质。
本公开的一个方面提供了一种数据稽核方法,包括:获取用于稽核指定的目标数据的稽核任务;根据所述目标数据,确定一个或多个稽核策略;基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及存储和/或展示所述稽核结果。
根据本公开的实施例,所述根据所述目标数据,确定稽核策略包括:根据所述目标数据,确定稽核策略标识;以及根据所述稽核策略标识,调用稽核策略。
根据本公开的实施例,所述目标数据包括数据表或指标数据中的至少一种。
根据本公开的实施例,在所述目标数据包括数据表的情况下,所述稽核策略包括以下至少一种:检查所述数据表是否为空表;检查所述数据表的数据量级是否在阀值范围内;或者检查所述数据表中数据的时间信息,判断数据是否存在异常。
根据本公开的实施例,在所述目标数据包括指标数据的情况下,所述稽核策略包括以下至少一种:按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;按特定规则筛选所述指标数据,判断命中所述特定规则的指标数据的数量是否在阀值范围内;通过所述指标数据的百分位数和/或极值,判断所述指标数据的统计分布情况是否符合预定条件;或者通过所述指标数据的同比和/或环比数据,判断所述指标数据的时间分布情况是否符合预定条件。
根据本公开的实施例,在所述目标数据为数据表的情况下,所述方法还包括:在所述数据表的稽核结果为正常的情况下,触发用于稽核所述数据表中的指标数据的稽核任务。
根据本公开的实施例,所述方法还包括在执行完针对目标数据的特定任务后,触发用于稽核所述目标数据的稽核任务。
本公开的另一个方面提供了一种数据稽核系统,包括:获取模块,获取用于稽核指定的目标数据的稽核任务;确定模块,用于根据所述目标数据,确定一个或多个稽核策略;执行模块,用于基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及存储和/或展示模块,用于存储和/或展示所述稽核结果。
根据本公开的实施例,确定模块包括:第一确定子模块,用于根据所述目标数据,确定稽核策略标识;以及调用模块,用于根据所述稽核策略标识,调用稽核策略。
根据本公开的实施例,所述目标数据包括数据表或指标数据中的至少一种。
根据本公开的实施例,在所述目标数据包括数据表的情况下,所述稽核策略包括以下至少一种:检查所述数据表是否为空表;检查所述数据表的数据量级是否在阀值范围内;或者检查所述数据表中数据的时间信息,判断数据是否存在异常。
根据本公开的实施例,在所述目标数据包括指标数据的情况下,所述稽核策略包括以下至少一种:按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;按特定规则筛选所述指标数据,判断命中所述特定规则的指标数据的数量是否在阀值范围内;通过所述指标数据的百分位数和/或极值,判断所述指标数据的统计分布情况是否符合预定条件;或者通过所述指标数据的同比和/或环比数据,判断所述指标数据的时间分布情况是否符合预定条件。
根据本公开的实施例,在所述目标数据为数据表的情况下,所述系统还包括:第一触发模块,用于在所述数据表的稽核结果为正常的情况下,触发用于稽核所述数据表中的指标数据的稽核任务。
根据本公开的实施例,所述系统还包括:第二触发模块,用于在执行完针对目标数据的特定任务后,触发用于稽核所述目标数据的稽核任务。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;以及一个或多个存储器,存储有可执行指令,所述指令在被处理器执行时,使得处理器执行时用于实现如上所述的方法。
本公开的另一方面提供了一种可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,可以至少部分地解决了采用量级策略对从数据处理模型输出的数据稽核,往往数据的问题无法发现,造成数据的准确性与及时性无法保障的问题,并因此可以实现采用不同策略对获取数据稽核,使得稽核结果更加准确、及时。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据稽核方法的系统架构;
图2示意性示出了根据本公开实施例的数据稽核方法的流程图;
图3示意性示出了根据本公开另一实施例的数据稽核方法的流程图;
图4示意性示出了根据本公开另一实施例的数据稽核方法的流程图;
图5示意性示出了根据本公开另一实施例的数据稽核方法的流程图;
图6示意性示出了根据本公开实施例的数据稽核系统的框图;
图7示意性示出了根据本公开另一实施例的数据稽核系统的框图;
图8示意性示出了根据本公开另一实施例的数据稽核系统的框图;以及
图9示意性示出了根据本公开实施例的适于实现电子设备的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思,除非上下文另外明确指出。此外,在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种数据稽核方法,包括:获取用于稽核指定的目标数据的稽核任务;根据所述目标数据,确定一个或多个稽核策略;基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及存储和/或展示所述稽核结果。
图1示意性示出了根据本公开实施例的数据稽核方法的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括服务器101、服务器102、……、服务器N和网络103。网络103用以在服务器101和服务器102、……、服务器N之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
服务器101通过网络103与服务器102、……、服务器N交互,以接收或发送数据等。根据本公开的实施例,服务器101可以是用于获取各个平台的数据,以及对获取数据稽核的服务器。服务器102、……、服务器N可以是各种产生数据的平台。例如,购物平台、聊天平台、社区平台、新闻平台等等。
根据本公开的实施例,服务器101可以从各个平台获取用于稽核指定的目标数据的稽核任务,然后根据各个平台的目标数据,确定出一个或多个稽核策略,并基于所确定的稽核策略,执行稽核任务。
需要说明的是,本公开实施例所提供的数据稽核方法一般可以由服务器101执行。相应地,本公开实施例所提供的数据稽核系统一般可以设置于服务器101中。
应该理解,图1中的服务器和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据稽核方法的流程图。
如图2所示,该方法包括操作S210~操作S240。
在操作S210,获取用于稽核指定的目标数据的稽核任务。
根据本公开的实施例,目标数据包括数据表或指标数据中的至少一种。其中,指标数据可以是数据表中的一个或多个元素。例如,数据表可以是关于用户账号的数据表,在这种情况下,指标数据可以指该数据表中用户账号的数量(例如,用户账号的数量为4983)。
根据本公开的实施例,该方法可以对数据表进行稽核,也可以对指标数据进行稽核,通过这两种方式对目标数据进行稽核,使得获得稽核结果更有参考价值,这样在评估目标数据的风险时准确性更高。
在操作S220,根据目标数据,确定一个或多个稽核策略。
根据本公开的实施例,在目标数据包括数据表的情况下,根据数据表确定的稽核策略可以包括以下至少一种:检查所述数据表是否为空表;检查数据表的数据量级是否在阀值范围内;或者检查数据表中数据的时间信息,判断数据是否存在异常。
根据本公开的实施例,在目标数据包括指标数据的情况下,根据指标数据确定的稽核策略可以包括以下至少一种:按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;按特定规则筛选所述指标数据,判断命中特定规则的指标数据的数量是否在阀值范围内;通过指标数据的百分位数和/或极值,判断指标数据的统计分布情况是否符合预定条件;或者通过指标数据的同比和/或环比数据,判断指标数据的时间分布情况是否符合预定条件。
以此方式根据数据表和/或指标数据可以确定出与数据表和/或指标数据相对应的不同稽核策略,这样可以采用与数据表对应的不同稽核策略执行数据表的稽核任务,在获得数据表的稽核结果都为正常时,可以继续采用与指标数据对应的不同稽核策略执行指标数据的稽核任务,这样可以至少部分地解决了现有技术采用单一的稽核策略(例如,量级策略)对从数据处理模型输出的数据稽核的问题,使得获得的稽核结果更有保障。
在操作S230,基于稽核策略,执行稽核任务,获得稽核结果。
根据本公开的实施例,在目标数据包括数据表的情况下,采用与数据表对应的不同稽核策略执行数据表的稽核任务。
当稽核策略为检查该数据表是否为空表时,具体地,可以是检测数据表中是否有数据,如果没有数据记录为该数据表异常,反之如果有数据记录为该数据表正常,并将记录的结果写入与该稽核策略对应的日志中。
当稽核策略为检查所述数据表的数据量级是否在阀值范围内,具体地,可以检测数据表中数据的量级在一段时间内的波动,例如,一周的数据表中的数据量级为10万、10.5万、10万、20万、11万、10.7万、11.1万,服务器设置的阀值范围10万~12万。显然,数据表中的数据量级为20万时,已经超过阀值的上限,记录为异常。将其他的数据表中的量级记录为正常,并将记录的结果写入与该稽核策略对应的日志中。
当稽核策略为检查所述数据表中数据的时间信息,判断数据是否存在异常,具体地,可以检测数据表到达服务器记录的时间,例如,服务器设置的是每天上午8:00~10:00为从各个平台获取数据的时间,但是经检测发现数据表到达的时间为下午14:00,将该数据表记录为异常,将在8:00~10:00到达的数据表记录为正常,并将记录的结果写入与该稽核策略对应的日志中。
根据本公开的实施例,当对数据表的稽核结果都显示为正常时,可以采用与指标数据对应的稽核策略执行指标数据的稽核任务。
当稽核策略为按预设方式,判断与该预设方式对应的分布值的偏差度是否在阀值范围内(例如,稽核策略可以是按哈希取模的方式,判断哈希分布值的偏差度是否在阀值范围内)时,例如,指标数据可以是用户账号(pin)、加密的手机号等等,下面以指标数据为用户账号为例,通过对用户账号哈希取模(例如,模为256)后,可以检测哈希分布值对应的用户账号记录数,例如,哈希值为0、1、10、100、101、111、116、117、118、119时分别对应的用户账号记录数为4983、5073、5058、5122、4897、10231、8、11、15、39,与用户账号记录数4983、5073、5058、5122、4897、10231、8、11、15、39对应的哈希分布值的偏差度分别为0.0207、0.0391、0.036、0.0491、0.0031、1.0956、-0.9984、-0.9977、-0.9969、-0.992。例如,服务器设置哈希值的偏差度的阀值范围为-0.15~0.15,显然,哈希值为111、116、117、118、119时,用户账号的记录数异常,并且通过哈希值的偏差度可以发现指标数据在哈希值为111、116、117、118、119当天的用户账号记录数为异常,,并将记录的结果写入与该稽核策略对应的日志中。具体如表1所示。
表1
其中,哈希分布值的偏差度可以是用于描述用户账号记录数的实际值与在一个周期的用户账号记录数的平均值的偏移程度,若其在上下限阀值之间波动表示正常,反之异常,上下限阀值可以根据一个周期的用户账号记录数的平均值、标准差和预设的系数计算得到。具体如下面公式所示:
偏差度=(实际值-周期平均值)/周期平均值
下限阀值=平均值-标准差*下限系数
上限阀值=平均值+标准差*上限系数
当稽核策略为按特定规则筛选所述指标数据,判断命中所述特定规则的指标数据的数量是否在阀值范围内,例如,服务器设定特定规则为该指标数据的枚举,该特定规则可以是订单规则识别数据,每个特定规则具有一个枚举值,即规则编号ID。服务器可以根据与获取指标数据的时间较近的时间段识别的订单数据计算阀值的范围。例如,订单规则识别数据的枚举值为22068,即规则编号ID为22068,通过该规则命中的订单数量为3143338,而与该规则对应的阀值的范围为111281~114189,显然通过该规则命中的订单数量已经超过了上限阀值,将其记录为异常。具体如表2所示:
表2
当稽核策略为通过指标数据的百分位数和/或极值,判断所述指标数据的统计分布情况是否符合预定条件时,例如,指标数据可以为每天下单数量在0~10单的用户数量,10个用户一天的下单数量分别为2、4、5、1、7、8、10,5、8、6。服务器设定每天用户的下单量超过5单的用户数量大于等于35%为满足预定条件,显然上述一天中10个用户的下单数量已经有70%的用户超过了5单,即该指标数据的统计分布情况符合预定条件,记录为正常。
当稽核策略为通过指标数据的同比和/或环比数据,判断所述指标数据的时间分布情况是否符合预定条件是,例如,指标数据可以为在某时刻用户注册账号的数量,例如,在2016年12月22日用户注册账号的数量为5万,在2016年11月22日用户注册账号的数量为4.5万,在2017年12月22日用户注册账号的数量为10万。服务器设定用户账号注册的数量的同比和/或环比数量在4~9万为预定条件,显然在2017年12月22日用户注册账号的数量为10万的时不符合预定条件,记录为异常。
在操作S240,存储和/或展示稽核结果。
根据本公开的实施例,可以将上述通过与数据表对应的稽核策略执行稽核任务获得的稽核结果存储在与该数据表对应的日志中,也可以对其进行展示。
根据本公开的实施例,可以将上述通过与指标数据对应的稽核策略执行稽核任务获得的稽核结果存储在与该指标数据对应的日志中,也可以对其进行展示,例如,如表1和表2所示。
该方法通过一个或多个稽核策略执行用于稽核指定的目标数据的稽核任务,使得以此方式获得的稽核结果准确性高,并且该方法可以采用多个稽核策略执行目标数据的稽核任务,从而至少部分地解决了现有技术采用单一的策略(例如,量级策略)对从数据处理模型输出的数据稽核的问题,以及该方法是对目标数据稽核,而现有技术是对从数据处理模型输出的数据稽核,因此采用该方法可以及时的发现数据的问题。
图3示意性示出了根据本公开另一实施例的数据稽核方法的流程图。
如图3所示,该方法中的操作S220具体可以包括操作S2201和操作S2202。
在操作S2201,根据目标数据,确定稽核策略标识。
在操作S2202,根据稽核策略标识,调用稽核策略。
根据本公开的实施例,服务器可以根据目标数据确定出稽核策略标识,该稽核策略标识与一个或多个稽核策略相对应。例如,根据目标数据确定出三个稽核策略,与三个稽核策略对应的稽核策略标识可以是1、2、3,这样服务器就可以基于稽核策略标识快速的从策略库中调用出稽核策略。
图4示意性示出了根据本公开另一实施例的数据稽核方法的流程图。
如图4所示,在目标数据为数据表的情况下,除了图2实施例描述的操作S210~操作S240之外,该方法还包括操作S410。
在操作S410,在数据表的稽核结果为正常的情况下,触发用于稽核数据表中的指标数据的稽核任务。
根据本公开的实施例,在数据表的稽核结果为正常的情况下,可以对触发用于稽核数据表中的指标数据的稽核任务。在这种情况下,可以根据数据表中的指标数据确定出一个或多个稽核策略,并采用确定出的稽核策略执行与指标数据对应的稽核任务。
该方法不仅对数据表稽核,还对数据表中的指标数据稽核,这样在对该数据表风险评估时,可以降低评估的误差,提高了风险评估结果的准确性。
图5示意性示出了根据本公开另一实施例的数据稽核方法的流程图。
如图5所示,除了图2实施例描述的操作S210~操作S240之外,该方法还包括操作S510。
在操作S510,在执行完针对目标数据的特定任务后,触发用于稽核目标数据的稽核任务。
该方法可以在获取目标数据之后执行该目标数据的稽核任务,当服务器输出的稽核结果为正常时,可以将目标数据发送到数据处理模型执行特定任务,例如,对该目标数据进行分类、聚类等等。在这种情况下,该方法还可以对通过数据处理模型处理后的目标数据稽核,而现有技术仅仅是对从数据处理模型输出的数据稽核,而并没有在获取目标数据之后对其进行稽核,这样可以至少部分地解决稽核时间滞后的问题,提高了目标数据的稽核结果的及时性。具体的稽核流程与图2~图4描述的方法流程相同或相似,在此不再赘述。
图6示意性示出了根据本公开实施例的数据稽核系统的框图。
如图6所示,系统600包括获取模块610、确定模块620、执行模块630和存储和/或展示模块640。
获取模块610,获取用于稽核指定的目标数据的稽核任务。
根据本公开的实施例,目标数据包括数据表或指标数据中的至少一种。其中,指标数据可以是数据表中的一个或多个元素。例如,数据表可以是关于用户账号的数据表,在这种情况下,指标数据可以指该数据表中用户账号的记录数(例如,记录数为4983)。
确定模块620,用于根据目标数据,确定一个或多个稽核策略。
根据本公开的实施例,在目标数据包括数据表的情况下,根据数据表确定的稽核策略可以包括以下至少一种:检查所述数据表是否为空表;检查数据表的数据量级是否在阀值范围内;或者检查数据表中数据的时间信息,判断数据是否存在异常。
根据本公开的实施例,在目标数据包括指标数据的情况下,根据指标数据确定的稽核策略可以包括以下至少一种:按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;按特定规则筛选所述指标数据,判断命中特定规则的指标数据的数量是否在阀值范围内;通过指标数据的百分位数和/或极值,判断指标数据的统计分布情况是否符合预定条件;或者通过指标数据的同比和/或环比数据,判断指标数据的时间分布情况是否符合预定条件。
执行模块630,用于基于稽核策略,执行该稽核任务,获得稽核结果。
存储和/或展示模块640,用于存储和/或展示所述稽核结果。
根据本公开实施例,系统600可以用于实现参考图2描述的方法流程。
图7示意性示出了根据本公开另一实施例的数据稽核系统的框图。
如图7所示,系统600中的确定模块620可以包括第一确定子模块6201和调用模块6202。
第一确定子模块6201,用于根据目标数据,确定稽核策略标识。
调用模块6202,用于根据稽核策略标识,调用稽核策略。
根据本公开实施例,确定模块620可以用于实现参考图3描述的方法流程。
图8示意性示出了根据本公开另一实施例的数据稽核系统的框图。
如图8所示,除了参考图6描述的获取模块610、确定模块620、执行模块630和存储和/或展示模块640之外,系统800还包括第一触发模块810和第二触发模块820。
第一触发模块810,用于在所述数据表的稽核结果为正常的情况下,触发用于稽核所述数据表中的指标数据的稽核任务。
第二触发模块820,用于在执行完针对目标数据的特定任务后,触发用于稽核所述目标数据的稽核任务。
根据本公开实施例,系统800可以用于实现参考图4和图5描述的方法流程。
可以理解的是,获取模块610、确定模块620、第一确定子模块6201、调用模块6202、执行模块630、存储和/或展示模块640、第一触发模块810、以及第二触发模块820可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,获取模块610、确定模块620、第一确定子模块6201、调用模块6202、执行模块630、存储和/或展示模块640、第一触发模块810、以及第二触发模块820中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,获取模块610、确定模块620、第一确定子模块6201、调用模块6202、执行模块630、存储和/或展示模块640、第一触发模块810、以及第二触发模块820中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图9示意性示出了根据本公开实施例的适于实现电子设备的计算机系统的方框图。图9示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,根据本公开实施例的计算机系统900包括处理器901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以包括用于执行参考图2~图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中,存储有系统900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行以上参考图2~图5描述的数据稽核方法的各种操作。需要注意,所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2~图5描述的数据稽核方法的各种操作。
根据本公开的实施例,系统900还可以包括输入/输出(I/O)接口905,输入/输出(I/O)接口905也连接至总线904。系统900还可以包括连接至I/O接口905的以下部件中的一项或多项:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行:获取用于稽核指定的目标数据的稽核任务;根据所述目标数据,确定一个或多个稽核策略;基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及存储和/或展示所述稽核结果。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种数据稽核方法,包括:
获取用于稽核指定的目标数据的稽核任务;
根据所述目标数据,确定一个或多个稽核策略;
基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及
存储和/或展示所述稽核结果。
2.根据权利要求1所述的方法,其中,所述根据所述目标数据,确定稽核策略包括:
根据所述目标数据,确定稽核策略标识;以及
根据所述稽核策略标识,调用稽核策略。
3.根据权利要求1所述的方法,其中,所述目标数据包括数据表或指标数据中的至少一种。
4.根据权利要求3所述的方法,其中,在所述目标数据包括数据表的情况下,所述稽核策略包括以下至少一种:
检查所述数据表是否为空表;
检查所述数据表的数据量级是否在阀值范围内;或者
检查所述数据表中数据的时间信息,判断数据是否存在异常。
5.根据权利要求3所述的方法,其中,在所述目标数据包括指标数据的情况下,所述稽核策略包括以下至少一种:
按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;
按特定规则筛选所述指标数据,判断命中所述特定规则的指标数据的数量是否在阀值范围内;
通过所述指标数据的百分位数和/或极值,判断所述指标数据的统计分布情况是否符合预定条件;或者
通过所述指标数据的同比和/或环比数据,判断所述指标数据的时间分布情况是否符合预定条件。
6.根据权利要求3所述的方法,其中,在所述目标数据为数据表的情况下,所述方法还包括:
在所述数据表的稽核结果为正常的情况下,触发用于稽核所述数据表中的指标数据的稽核任务。
7.根据权利要求1所述的方法,还包括:
在执行完针对目标数据的特定任务后,触发用于稽核所述目标数据的稽核任务。
8.一种数据稽核系统,包括:
获取模块,获取用于稽核指定的目标数据的稽核任务;
确定模块,用于根据所述目标数据,确定一个或多个稽核策略;
执行模块,用于基于所述稽核策略,执行所述稽核任务,获得稽核结果;以及
存储和/或展示模块,用于存储和/或展示所述稽核结果。
9.根据权利要求8所述的系统,其中,确定模块包括:
第一确定子模块,用于根据所述目标数据,确定稽核策略标识;以及
调用模块,用于根据所述稽核策略标识,调用稽核策略。
10.根据权利要求8所述的系统,其中,所述目标数据包括数据表或指标数据中的至少一种。
11.根据权利要求10所述的系统,其中,在所述目标数据包括数据表的情况下,所述稽核策略包括以下至少一种:
检查所述数据表是否为空表;
检查所述数据表的数据量级是否在阀值范围内;或者
检查所述数据表中数据的时间信息,判断数据是否存在异常。
12.根据权利要求10所述的系统,其中,在所述目标数据包括指标数据的情况下,所述稽核策略包括以下至少一种:
按预设方式,判断与所述预设方式对应的分布值的偏差度是否在阀值范围内;
按特定规则筛选所述指标数据,判断命中所述特定规则的指标数据的数量是否在阀值范围内;
通过所述指标数据的百分位数和/或极值,判断所述指标数据的统计分布情况是否符合预定条件;或者
通过所述指标数据的同比和/或环比数据,判断所述指标数据的时间分布情况是否符合预定条件。
13.根据权利要求10所述的系统,其中,在所述目标数据为数据表的情况下,所述系统还包括:
第一触发模块,用于在所述数据表的稽核结果为正常的情况下,触发用于稽核所述数据表中的指标数据的稽核任务。
14.根据权利要求8所述的系统,还包括:
第二触发模块,用于在执行完针对目标数据的特定任务后,触发用于稽核所述目标数据的稽核任务。
15.一种电子设备,包括:
一个或多个处理器;以及
一个或多个存储器,存储有可执行指令,所述指令在被处理器执行时,使得处理器执行根据权利要求1~7中任意一项所述的方法。
16.一种可读存储介质,其上存储有用于执行根据权利要求1~7中任意一项所述的方法的指令。
CN201810081225.2A 2018-01-26 2018-01-26 数据稽核方法、系统、电子设备及可读存储介质 Pending CN110109900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810081225.2A CN110109900A (zh) 2018-01-26 2018-01-26 数据稽核方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810081225.2A CN110109900A (zh) 2018-01-26 2018-01-26 数据稽核方法、系统、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110109900A true CN110109900A (zh) 2019-08-09

Family

ID=67483190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810081225.2A Pending CN110109900A (zh) 2018-01-26 2018-01-26 数据稽核方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110109900A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639478A (zh) * 2020-06-05 2020-09-08 远光软件股份有限公司 一种基于excel文档的数据自动稽核方法及系统
CN111666287A (zh) * 2020-06-01 2020-09-15 北京思特奇信息技术股份有限公司 一种基于区块链的数据稽核方法
CN113010502A (zh) * 2019-12-19 2021-06-22 阿里巴巴集团控股有限公司 数据质量稽核方法、装置、设备和存储介质
CN113743749A (zh) * 2021-08-20 2021-12-03 泰康保险集团股份有限公司 医疗机构的检查方法、装置及电子设备
CN114880312A (zh) * 2022-05-17 2022-08-09 三峡高科信息技术有限责任公司 一种可柔性设置的应用系统业务数据稽核方法
CN115545682A (zh) * 2022-12-05 2022-12-30 深圳迅策科技有限公司 一种报表稽核方法及计算设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373245A (ja) * 2001-06-14 2002-12-26 Nec Soft Ltd 監査支援システム,方法,およびプログラム
CN103209429A (zh) * 2012-01-13 2013-07-17 卓望数码技术(深圳)有限公司 一种移动通信业务的数据稽核方法和系统
CN103473672A (zh) * 2013-09-30 2013-12-25 国家电网公司 企业级数据中心的元数据质量稽核系统、方法及平台
CN103606038A (zh) * 2013-11-06 2014-02-26 远光软件股份有限公司 基于企业整体业务流程体系的在线稽核方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373245A (ja) * 2001-06-14 2002-12-26 Nec Soft Ltd 監査支援システム,方法,およびプログラム
CN103209429A (zh) * 2012-01-13 2013-07-17 卓望数码技术(深圳)有限公司 一种移动通信业务的数据稽核方法和系统
CN103473672A (zh) * 2013-09-30 2013-12-25 国家电网公司 企业级数据中心的元数据质量稽核系统、方法及平台
CN103606038A (zh) * 2013-11-06 2014-02-26 远光软件股份有限公司 基于企业整体业务流程体系的在线稽核方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010502A (zh) * 2019-12-19 2021-06-22 阿里巴巴集团控股有限公司 数据质量稽核方法、装置、设备和存储介质
CN113010502B (zh) * 2019-12-19 2023-12-26 阿里巴巴集团控股有限公司 数据质量稽核方法、装置、设备和存储介质
CN111666287A (zh) * 2020-06-01 2020-09-15 北京思特奇信息技术股份有限公司 一种基于区块链的数据稽核方法
CN111639478A (zh) * 2020-06-05 2020-09-08 远光软件股份有限公司 一种基于excel文档的数据自动稽核方法及系统
CN111639478B (zh) * 2020-06-05 2023-09-29 远光软件股份有限公司 一种基于excel文档的数据自动稽核方法及系统
CN113743749A (zh) * 2021-08-20 2021-12-03 泰康保险集团股份有限公司 医疗机构的检查方法、装置及电子设备
CN114880312A (zh) * 2022-05-17 2022-08-09 三峡高科信息技术有限责任公司 一种可柔性设置的应用系统业务数据稽核方法
CN114880312B (zh) * 2022-05-17 2023-02-28 三峡高科信息技术有限责任公司 一种可柔性设置的应用系统业务数据稽核方法
CN115545682A (zh) * 2022-12-05 2022-12-30 深圳迅策科技有限公司 一种报表稽核方法及计算设备

Similar Documents

Publication Publication Date Title
CN110109900A (zh) 数据稽核方法、系统、电子设备及可读存储介质
KR102209737B1 (ko) 검증, 감사 가능한, 그리고 불변의 입력을 스마트 계약에 제공하는 방법 및 시스템
US9760668B2 (en) Automating system on a chip customized design integration, specification, and verification through a single, integrated service
US11169903B2 (en) Risk-based software validation and change control
US20110088007A1 (en) Ball grid array and card skew matching optimization
CN110222775A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110223124A (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN110378660A (zh) 库存处理方法、装置、电子设备和计算机可读存储介质
CN108038378A (zh) 云端检测函数被恶意修改的方法、终端设备及存储介质
CN110321242A (zh) 数据处理方法和装置
CN110083501A (zh) 接口调用计数方法和装置
CN107562941A (zh) 数据处理方法及其系统
CN109634866A (zh) 数据测试方法、装置、介质及电子设备
CN110362589A (zh) 基于系统定制化开关的资信查询方法、装置、电子设备
CN111612616A (zh) 区块链账户评估方法、装置、终端设备及计算机可读介质
US20220082620A1 (en) Secure and configurable test interace for an intellectual property (ip) block in a system on a chip (soc)
CN110109764A (zh) 延时任务创建方法、装置、介质和电子设备
CN110134601A (zh) 一种软件压测覆盖率测量方法、系统、介质和电子设备
CN109670028A (zh) 在线文档中表格检索方法及装置
CN109492831A (zh) 营销路径的推荐方法、装置、介质及电子设备
CN109726086A (zh) 测试服务器性能的方法和装置
CN110472190A (zh) 填充有序序列的方法和装置
CN109474884A (zh) 数据处理方法及其系统
CN112732542A (zh) 信息处理方法、信息处理装置及终端设备
CN109977982A (zh) 用户分类方法、系统、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination