CN114168682A - 一种数据稽核方法、装置、设备及存储介质 - Google Patents
一种数据稽核方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114168682A CN114168682A CN202111476997.4A CN202111476997A CN114168682A CN 114168682 A CN114168682 A CN 114168682A CN 202111476997 A CN202111476997 A CN 202111476997A CN 114168682 A CN114168682 A CN 114168682A
- Authority
- CN
- China
- Prior art keywords
- data
- auditing
- information
- memory database
- target service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种数据稽核方法、装置、电子设备及存储介质,涉及计算机信息管理系统领域。具体实现方案为:获取目标业务系统在原始数据库的数据信息;将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。本公开可以提高目标业务系统中对于数据稽核的效果。
Description
技术领域
本发明涉及计算机信息管理系统领域,尤其涉及一种数据稽核方法、装置、设备及存储介质。
背景技术
现如今,业务系统中的数据储存于数据库中,数据库中存储的数据量随着系统功能的增加也变得越来越大,在使用这些数据以及对业务系统中的这些数据进行监测时,需要对这些数据进行数据稽核。
在现有技术中,通常使用人工数据稽核的方式对业务系统中的数据进行稽核运算,或者是以数据信息复制至业务系统数据库中的方式再对数据信息进行稽核运算,这样的方法会导致整个业务系统中对于数据稽核的效果较差。
发明内容
本公开提供了一种数据稽核方法、装置、设备及存储介质,以解决业务系统对于数据稽核效果较差的问题。
根据本公开的一方面,提供了一种数据稽核方法,包括:
获取目标业务系统在原始数据库的数据信息;
将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;
采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
根据本公开的另一方面,提供了一种数据稽核装置,包括:
获取模块,用于获取目标业务系统在原始数据库的数据信息;
复制模块,用于将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;
处理模块,用于采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开提供的数据稽核方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开提供的数据稽核方法。
本公开中,通过先获取目标业务系统在原始数据库中的数据信息,并将此数据信息实时复制至新添的内存数据库中,以目标业务系统为基础生成每个业务系统匹配的稽核模型,再将数据信息作为输入通过稽核模型的稽核运算得到数据稽核的结果,这样可以实现多个目标业务系统的数据稽核并依据稽核结果进行目标业务系统的调整,从而提高了目标业务系统对于数据稽核的效果。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开提供的一种数据稽核方法的流程图;
图2是本公开提供的一种数据稽核系统的结构图;
图3是本公开提供的一种数据稽核方法中数据复制方法的结构图;
图4是本公开提供的一种数据稽核方法中数据复制方法的结构图;
图5是本公开提供的一种数据稽核方法中数据同步方法的结构图;
图6是本公开提供的一种数据稽核方法中购货业务中稽核模型的流程图;
图7是本公开提供的一种数据稽核装置的结构图;
图8本公开提供的一种数据稽核装置的结构图;
图9本公开提供的一种数据稽核装置的结构图;
图10公开提供的一种数据稽核装置的结构图;
图11公开提供的一种数据稽核装置的结构图;
图12公开提供的一种数据稽核装置的结构图;
图13是实现本公开实施例的数据稽核方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
请参见图1,图1是本公开提供的一种数据稽核方法的流程图,如图1所示,包括以下步骤:
步骤S101、获取目标业务系统在原始数据库的数据信息。
上述目标业务系统配置有上述原始数据库,上述目标业务系统与上述原始数据库进行连接,上述原始数据库用于存储上述目标业务系统中的数据,当上述目标业务系统执行任务时,任务产生的数据信息可以是保存至上述原始数据库中,即产生的数据信息可以是上述数据信息。
上述目标业务系统可以是如下至少一种业务系统:客户关系管理系统、项目管理系统、合同系统、主数据系统、商业合作系统和财务系统等。
数据稽核系统可以是通过采集器获取上述目标业务系统中的上述数据信息,例如:用户操作合同系统输入签订合同的相关信息,该数据信息存储至上述原始数据库中,数据稽核系统通过采集器获取到合同系统中关于签订合同的相关数据信息。
步骤S102、将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息。
数据稽核系统可以是通过采集器将新增于原始数据库中的信息复制至新增加的内存数据库之中,例如:数据稽核系统获取到来自合同系统中关于签订合同的相关数据信息,数据稽核系统中的采集器将获取的数据信息实时复制至新增加的内存数据库之中。上述内存数据库与上述原始数据库为互相独立的数据库,在将上述数据信息复制至上述内存数据之前,上述内存数据库中不包括上述目标业务系统中的数据信息。
需要说明的是,上述采集器为上述内存数据库中的应用,即上述采集器为上述内存数据库中采集并复制数据信息的工具。
步骤S103、采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
上述预设稽核模型可以是根据各个目标业务构建,获取不同上述目标业务系统中稽核逻辑在上述内存数据库中的预设稽核规则,从而根据预设的稽核规则构建对应上述目标业务系统的稽核模型,例如:获取客户关系管理系统中逻辑规则在内存数据库中的预设稽核规则,根据此规则生成对应客户关系管理系统的稽核模型;获取项目管理系统中逻辑规则在内存数据库中的预设稽核规则,根据此规则生成对应项目管理系统的稽核模型;获取合同系统中逻辑规则在内存数据库中的预设稽核规则,根据此规则生成对应合同系统的稽核模型。
上述稽核结果是以上述数据信息作为输入,通过上述对应业务系统的稽核模型逻辑运算得到的结果,用户可以是依据上述稽核结果展示的异常数据找到对应上述业务系统中产生错误的环节,例如:在目标业务系统为合同系统时,在合同系统中缺少了签订合同的环节,数据信息为缺少合同签订的相关信息,通过合同系统对应的稽核模型生成异常数据,用户可根据异常数据得到在合同系统中缺少了签订合同的环节。
本公开中,通过上述步骤获取目标业务系统在原始数据库中的数据信息,并将此数据信息实时复制到新添的内存数据库中,在此内存数据库中以数据信息作为输入通过对应稽核模型的稽核计算得到最后的数据稽核结果,数据稽核结果用于向用户反馈在目标业务系统中出现异常的数据以及对应的环节,用户也可以是从数据稽核结果中得到分析结果,分析结果用于管理目标业务系统。另外,当多个目标业务系统在原始数据库中产生数据信息,数据稽核系统可以同时对这些数据信息进行数据稽核,从而得到对应业务系统的稽核结果。通过本方法可以进行多个目标业务系统实时的数据稽核,从而提高目标业务系统的稽核效果。
作为一种可选的实施方式,请参见图2,图2为数据稽核系统的结构图,如图所示,数据库为存储目标业务系统的原始数据库,其中,原始数据库可以是包括关系型数据库管理系统(MySQL)以及关系型数据库管理系统(Oracle),另外,采集器和运算器都为上述内存数据库中的运用,采集器用于对上述数据信息进行采集和复制,运算器用于对上述数据信息进行稽核运算。
另外,运算器可以是包括有系统校验规则、人工校验规则和内存数据库储存。
作为一种可选的实施方式,所述获取目标业务系统在原始数据库的数据信息,包括:检测到所述目标业务系统连接的所述原始数据库发生数据变动的情况下,向所述目标业务系统连接的所述原始数据库发送数据收集信息,获取所述目标业务系统响应所述数据收集信息提供的所述数据信息。
数据稽核系统检测上述原始数据库中的数据发生变动时便向上述原始数据库发送数据收集信息,上述目标业务系统接收数据收集信息并向数据稽核系统提供上述数据信息。数据稽核系统可以是实时检测在上述原始数据库中的数据变动,另外,也可以是实时检测多个上述目标业务系统在上述原始数据库中的数据变动。
该实施方案中,数据稽核系统通过向上述原始数据库发送数据收集信息,并获取上述目标业务系统响应上述数据收集信息提供的所述数据信息,完成对多个目标业务系统的实时数据收集,从而提高目标业务系统的稽核效果。
作为一种可选的实施方式,请参见图3,上述数据稽核系统对于上述数据信息的复制可以是基于关系型数据库管理系统(MySQL)完成,如图所示,基于关系型数据库管理系统(MySQL),通过关系型数据库管理系统(MySQL)中二进制格式日志文件(Mysql Binlog)实时数据流,将上述数据信息实时复制到上述内存数据库中,完成上述数据信息的实时数据同步。
作为一种可选的实施方式,请参见图4,上述数据稽核系统对于上述数据信息的复制可以是基于关系型数据库管理系统(Oracle),通过SLT进行数据复制,再通过客户端在源系统中创建日志表格和触发器的方式获取数据。
作为一种可选的实施方式,所述将所述数据信息复制至内存数据库,包括:将所述数据信息同步连接至不同的实例,并为每个实例维护一个事件消息队列,其中,所述目标业务系统中所述数据信息对应的功能数据连接至相匹配的单一实例,所述单一实例的集合形成事件消息队列,所述功能数据包括所述目标业务系统中的功能信息,所述事件消息队列的处理优先级低于所述目标业务系统在所述原始数据库中数据处理的优先级。
上述数据信息同步连接至不同的实例可以是数据信息同步服务端连接至不同的实例,其中,上述实例是基于数据库中的实例,例如:上述数据信息同步服务端连接至不同的关系型数据库管理系统(MySQL)实例。
另外,上述目标业务系统中的上述数据信息以单一的功能数据形式匹配连接至单一的实例中,上述功能数据可以是上述目标业务系统中的执行过程信息,例如:在合同系统为目标业务系统时,在将数据信息复制至内存数据库的过程中,合同系统中的用户信息以及合同内容信息都可作为单一的功能数据信息。
另外,将上述数据信息通知连接至不同实例后,为每个实例维护一个事件消息队列,其中,上述时间消息队列的处理优先级低于所述目标业务系统在上述原始数据库中数据处理的优先级,即数据稽核过程不影响各个目标业务系统主功能的正常运行。
请参见图5,图5为上述数据信息同步服务端负责连接至不同关系型数据库管理系统(MySQL)实例的一个实施方案,即将上述数据信息同步的方案设计。
该实施方案中,通过将上述数据信息同步服务端负责连接至不同的数据库实例,并为每个实例维护一个事件消息队列,当上述数据信息分别连接至匹配对应的单一实例后,上述数据信息即完成了从上述原始数据库到上述内存数据库的复制过程,该实施例提供了将上述数据信息从上述原始数据库复制至上述内存数据库的方法,另一方面不影响上述目标业务系统主功能的正常运行,从而提高了上述目标业务系统对于上述数据的稽核效果。
作为一种可选的实施方式,所述将所述数据信息复制至内存数据库之后,所述方法还包括:对每个所述实例配置心跳机制,所述心跳机制用于定期检测所述内存数据库的信息更新数据,其中,所述信息更新数据包括计算所述内存数据库中的所述数据信息;通过所述内存数据库接收所述心跳机制的所述信息更新数据,根据所述信息更新数据生成判断结果,所述判断结果用于确认所述内存数据库与所述目标业务系统之间的链路是否通顺。
上述心跳机制配置于上述单个的实例之中,上述心跳机制用于定期检测上述内存数据库中的信息更新数据,其中,用户可以设定时间间隔检测上述信息更新数据,例如:用户可以设定配置于实例中心跳机制的时间间隔为1分钟,即每过1分钟,心跳机制检测一次上述内存数据库中的信息更新数据,其中,上述信息更新数据包括计算上述内存数据库中的上述数据信息。
另外,可以是在每个实例中配置一个备用关系型数据库管理系统(MySQL),定期更新辅助表的心跳机制检测上述内存数据库的存活,上述心跳机制可以是对每个被抽取的表插入一条心跳数据并保存发送时间的机制,在抽表格的同时,心跳表也被抽取并跟随整套流程,即收到心跳表时表示在复制采集过程中的链路是可行的,需要说明的是,上述心跳机制可以是在无数据信息时检测稽核数据系统在采集复制过程的链路是否通路。
上述心跳机制的结果包括数据稽核系统接收到了心跳数据和数据稽核系统没有接收到心跳数据,当数据稽核系统接收到了心跳数据表示在采集复制的过程中链路为通,当数据稽核系统没有接收到心跳数据则表示在采集复制的过程中出现了故障,进一步表示有数据信息没有成功复制到内存数据库之中。
该实施方案中,通过配置上述心跳机制的方式对数据稽核系统采集复制数据信息进行检测,提高了在无数据信息时对数据稽核系统进行采集复制发生故障的判断,提高了对目标业务系统的稽核效率,进而提高了目标业务系统对于数据的稽核效果。
作为一种可选的实施方式,采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,包括:在将所述数据信息复制至内存数据库之前,获取所述目标业务系统的稽核逻辑并生成对应在所述内存数据库中的所述预设稽核规则;依据所述预设稽核规则生成稽核模型;以所述数据信息作为输入通过所述稽核模型进行逻辑运算得到所述数据稽核结果,所述数据稽核结果包括异常数据和分析结果。
上述预设稽核模型可以是根据上述目标业务系统的业务稽核逻辑为基础而构建,首先获取上述目标业务系统的稽核逻辑并生成对应在上述内存数据库中的上述预设稽核规则,并根据此规则生成稽核模型,其中,不同的目标业务系统有不同的稽核逻辑,因此单个目标业务系统对应一个稽核模型,以上述数据信息作为输入通过上述对应的稽核模型进行逻辑运算得到数据稽核结果。
上述稽核结果包括异常数据和分析结果,异常数据包括在稽核数据系统中出现错误的数据,即不符合预设稽核规则的数据,分析结果用于向用户提供稽核过程,用户可以是根据此分析结果对目标业务系统进行改进调整。
以上述稽核模型中的集中审核自动校验为例,例如:将集中审核设计独立于生产流程的分级稽核体系,通过实时同步各系统中集中审核所需信息进行批量或逐单自动稽核并反馈原因,减轻用户人工审核的工作,并提高集中操作审核效率,进而提高了目标业务系统对于数据的稽核效果。
以上述稽核模型中的销售订单批量绑定资源稽核为例,例如:销售订单编制和起租时无法判断客户关系管理系统中的产品与资源系统中对应站址的机房资源规格是否匹配,因而可能出现销售品类型错误引发费用争议,实际操作过程中无法对订单进行批量绑定并查询资源相符情况,通过调用实时稽核服务进行校验,协助用户批量操作并完成相符性检查,降低事后发现导致一系列变更的风险。
以上述稽核模型中的退租订单在途业务稽核为例,例如:客户经理发起因拆站或其他原因导致的订单退租时,由于物业系统和销售系统间缺乏数据交互,导致操作人员无法及时掌握该订单是否还有相关服务及费用是否完成调整,一旦单方面退租,将导致该站址收支不匹配,因此利用稽核模型实时同步物业系统及销售系统数据并校验订单对应站址相关的在途服务和费用信息,可以实时提醒客户经理协调发起相关业务办结或转移。
请参见图6,以上述稽核模型中的采购到付款流程中三类关键单据稽核为例,例如:物资采购入库时入库单和采购订单无比对,付款时结算单和采购订单也无比对,不验证项目状态和付款比例,操作人员在工程项目付款时无验证,易造成实物管理和支付的风险。通过调用实时稽核服务实时检查采购订单和入库单、采购订单和结算单以及付款比例的相符性,实时提醒操作者及时修正。
该实施方案中,通过获取所述目标业务系统的稽核逻辑并生成对应在所述内存数据库中的所述预设稽核规则并依据所述预设稽核规则生成稽核模型,再以所述数据信息作为输入通过所述稽核模型进行逻辑运算得到所述数据稽核结果,为用户对于目标业务系统的管理和维护提供了数据信息,进而提高了目标业务系统对于数据的稽核效果。
作为一种可选的实施方式,采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果之后,所述方法还包括:依据所述数据稽核结果对异常业务数据进行拦截;统计异常数据拦截信息总和并计算拦截率;将所述拦截率与第一警告阈值进行对比,当数据稽核过程中异常数据拦截率达到所述第一警告阈值时生成警示信息,所述警示信息用于调度处理所述异常业务数据。
其中,将基于上述内存数据库中计算的实时稽核能力嵌入到各个目标业务系统对应的业务流程之中,在对异常业务数据进行拦截提示的同时,统计异常数据拦截比率,形成业务流程或是业务点的警示信息,另外,预先设定上述第一警告阈值,当拦截率达到上述第一警告阈值时会向用户发送上述警示信息,用户可以是根据上述警示信息对上述目标业务系统进行调度处理,以及对上述目标业务系统中的异常业务数据进行处理。
该实施方案中,通过预先设定号第一警告阈值的方式对数据稽核过程中的异常数据进行阻拦,生成的警示信息可以帮助用户对目标业务系统中的异常业务数据进行调度处理,从而提高了目标业务系统对于数据的稽核效果。
请参见图7,图7是本公开提供的一种数据稽核装置,如图7所示,数据稽核装置700包括:
获取模块701,用于获取目标业务系统在原始数据库的数据信息;
复制模块702,用于将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;
处理模块703,用于采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
可选的,如图8所示,所述获取模块701包括:
第一获取单元7011,用于检测到所述目标业务系统连接的所述原始数据库发生数据变动的情况下,向所述目标业务系统连接的所述原始数据库发送数据收集信息,获取所述目标业务系统响应所述数据收集信息提供的所述数据信息。
可选的,如图9所示,所述复制模块702包括:
连接单元7021,用于将所述数据信息同步连接至不同的实例,并为每个实例维护一个事件消息队列,其中,所述目标业务系统中所述数据信息对应的功能数据连接至相匹配的单一实例,所述单一实例的集合形成事件消息队列,所述功能数据包括所述目标业务系统中的功能信息,所述事件消息队列的处理优先级低于所述目标业务系统在所述原始数据库中数据处理的优先级。
可选的,如图10所示,所述装置还包括:
配置模块704,用于对每个所述实例配置心跳机制,所述心跳机制用于定期检测所述内存数据库的信息更新数据,其中,所述信息更新数据包括计算所述内存数据库中的所述数据信息;通过所述内存数据库接收所述心跳机制的所述信息更新数据,根据所述信息更新数据生成判断结果,所述判断结果用于确认所述内存数据库与所述目标业务系统之间的链路是否通顺。
可选的,如图11所示,所述处理模块703包括:
生成单元7031,用于在将所述数据信息复制至内存数据库之前,获取所述目标业务系统的稽核逻辑并生成对应在所述内存数据库中的所述预设稽核规则;依据所述预设稽核规则生成稽核模型;以所述数据信息作为输入通过所述稽核模型进行逻辑运算得到所述数据稽核结果,所述数据稽核结果包括异常数据和分析结果。
可选的,如图12所示,所述装置还包括:
警示模块705,用于依据所述数据稽核结果对异常业务数据进行拦截;统计异常数据拦截信息总和并计算拦截率;将所述拦截率与第一警告阈值进行对比,当数据稽核过程中异常数据拦截率达到所述第一警告阈值时生成警示信息,所述警示信息用于调度处理所述异常业务数据。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示,设备1300包括计算单元1301,其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序,来执行各种适当的动作和处理。在RAM 1303中,还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305,包括:输入单元1306,例如键盘、鼠标等;输出单元1307,例如各种类型的显示器、扬声器等;存储单元1308,例如磁盘、光盘等;以及通信单元1309,例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理,例如数据稽核方法。例如,在一些实施例中,数据稽核方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1308。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时,可以执行上文描述的数据稽核方法的一个或多个步骤。备选地,在其他实施例中,计算单元1301可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据稽核方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种数据稽核方法,其特征在于,包括:
获取目标业务系统在原始数据库的数据信息;
将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;
采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
2.根据权利要求1所述的数据稽核方法,其特征在于,所述获取目标业务系统在原始数据库的数据信息,包括:
检测到所述目标业务系统连接的所述原始数据库发生数据变动的情况下,向所述目标业务系统连接的所述原始数据库发送数据收集信息,获取所述目标业务系统响应所述数据收集信息提供的所述数据信息。
3.根据权利要求1所述的数据稽核方法,其特征在于,所述将所述数据信息复制至内存数据库,包括:
将所述数据信息同步连接至不同的实例,并为每个实例维护一个事件消息队列,其中,所述目标业务系统中所述数据信息对应的功能数据连接至相匹配的单一实例,所述单一实例的集合形成事件消息队列,所述功能数据包括所述目标业务系统中的功能信息,所述事件消息队列的处理优先级低于所述目标业务系统在所述原始数据库中数据处理的优先级。
4.根据权利要求3所述的数据稽核方法,其特征在于,所述将所述数据信息复制至内存数据库之后,所述方法还包括:
对每个所述实例配置心跳机制,所述心跳机制用于定期检测所述内存数据库的信息更新数据,其中,所述信息更新数据包括计算所述内存数据库中的所述数据信息;
通过所述内存数据库接收所述心跳机制的所述信息更新数据,根据所述信息更新数据生成判断结果,所述判断结果用于确认所述内存数据库与所述目标业务系统之间的链路是否通顺。
5.根据权利要求1所述的数据稽核方法,其特征在于,采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,包括:
在将所述数据信息复制至内存数据库之前,获取所述目标业务系统的稽核逻辑并生成对应在所述内存数据库中的所述预设稽核规则;
依据所述预设稽核规则生成稽核模型;
以所述数据信息作为输入通过所述稽核模型进行逻辑运算得到所述数据稽核结果,所述数据稽核结果包括异常数据和分析结果。
6.根据权利要求5所述的数据稽核方法,其特征在于,采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果之后,所述方法还包括:
依据所述数据稽核结果对异常业务数据进行拦截;
统计异常数据拦截信息总和并计算拦截率;
将所述拦截率与第一警告阈值进行对比,当数据稽核过程中异常数据拦截率达到所述第一警告阈值时生成警示信息,所述警示信息用于调度处理所述异常业务数据。
7.一种数据稽核装置,其特征在于,包括:
获取模块,用于获取目标业务系统在原始数据库的数据信息;
复制模块,用于将所述数据信息复制至内存数据库,其中,在将所述数据信息复制至内存数据库之前,所述内存数据库中不包括所述目标业务系统的数据信息;
处理模块,用于采用预设稽核模型对所述内存数据库中的所述数据信息进行数据稽核得到数据稽核结果,所述数据稽核结果用于展示所述数据信息中的异常数据以及分析结果。
8.根据权利7所述的数据稽核装置,其特征在于,所述获取模块包括:
获取单元,用于检测到所述目标业务系统连接的所述原始数据库发生数据变动的情况下,向所述目标业务系统连接的所述原始数据库发送数据收集信息,获取所述目标业务系统响应所述数据收集信息提供的所述数据信息。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111476997.4A CN114168682A (zh) | 2021-12-06 | 2021-12-06 | 一种数据稽核方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111476997.4A CN114168682A (zh) | 2021-12-06 | 2021-12-06 | 一种数据稽核方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168682A true CN114168682A (zh) | 2022-03-11 |
Family
ID=80483359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111476997.4A Pending CN114168682A (zh) | 2021-12-06 | 2021-12-06 | 一种数据稽核方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168682A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880312A (zh) * | 2022-05-17 | 2022-08-09 | 三峡高科信息技术有限责任公司 | 一种可柔性设置的应用系统业务数据稽核方法 |
CN115544045A (zh) * | 2022-11-23 | 2022-12-30 | 云账户技术(天津)有限公司 | 一种行业表述的获取方法及装置 |
-
2021
- 2021-12-06 CN CN202111476997.4A patent/CN114168682A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880312A (zh) * | 2022-05-17 | 2022-08-09 | 三峡高科信息技术有限责任公司 | 一种可柔性设置的应用系统业务数据稽核方法 |
CN114880312B (zh) * | 2022-05-17 | 2023-02-28 | 三峡高科信息技术有限责任公司 | 一种可柔性设置的应用系统业务数据稽核方法 |
CN115544045A (zh) * | 2022-11-23 | 2022-12-30 | 云账户技术(天津)有限公司 | 一种行业表述的获取方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019006654A1 (zh) | 金融自助设备维修派单生成方法、手持终端及电子设备 | |
CN114168682A (zh) | 一种数据稽核方法、装置、设备及存储介质 | |
US9633094B2 (en) | Data load process | |
US20160294651A1 (en) | Method, apparatus, and computer program product for monitoring an electronic data exchange | |
CN115907616A (zh) | 物资采购系统、方法、电子设备及存储介质 | |
CN116303385A (zh) | 一种数据稽核方法、装置、电子设备及存储介质 | |
CN103440460A (zh) | 一种应用系统变更验证方法及验证系统 | |
CN114448802A (zh) | 网关配置方法、装置、电子设备及存储介质 | |
CN115964021A (zh) | 一种需求发布方法、装置、电子设备及存储介质 | |
CN111738728A (zh) | 交易补偿方法及装置 | |
CN114841678B (zh) | 岗位数据交换方法、数据交换系统,服务器及存储介质 | |
CN115421728A (zh) | 一种业务代码生成方法、装置、电子设备及存储介质 | |
CN110503477B (zh) | 订单的毛利异常原因的分析方法、系统、设备和存储介质 | |
CN107909460B (zh) | 头寸同步方法、设备、数据中心及存储介质 | |
CN115082179A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
TW201610907A (zh) | 電信訂單異質化資料同步轉換的方法 | |
CN112561368B (zh) | 一种oa审批系统的可视化业绩计算方法及装置 | |
CN114666321B (zh) | 一种监管报送数据处理方法、装置、设备、介质及产品 | |
CN117611341A (zh) | 资产目录调整方法、装置、电子设备及存储介质 | |
CN115796751A (zh) | 一种物料清单的处理方法、装置、电子设备及存储介质 | |
CN115496583A (zh) | 异步账务数据处理方法、装置、设备及存储介质 | |
CN114490678A (zh) | 异常账务数据的处理方法、装置、设备及介质 | |
CN114756398A (zh) | 一种数据处理方法、装置、设备及介质 | |
CN113821575A (zh) | 数据检核方法、装置、设备及计算机存储介质 | |
CN113722344A (zh) | 数据生产方法、装置、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |