CN110427387A - 一种数据一致性检测方法及装置 - Google Patents
一种数据一致性检测方法及装置 Download PDFInfo
- Publication number
- CN110427387A CN110427387A CN201910738841.5A CN201910738841A CN110427387A CN 110427387 A CN110427387 A CN 110427387A CN 201910738841 A CN201910738841 A CN 201910738841A CN 110427387 A CN110427387 A CN 110427387A
- Authority
- CN
- China
- Prior art keywords
- event
- data
- business
- rule
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Abstract
本发明提供了一种数据一致性检测方法及装置,通过实时采集业务事件数据,对业务事件数据进行筛选重组,并基于业务事件数据对应的事件类型构建出对应的事件信息。再基于对应的业务规则,对构建出的事件信息进行数据一致性检测。基于事件类型和对应的业务规则,对业务事件进行实时的一致性检测,实现了业务事件的事中审计,在用户发现问题之前,检测出数据一致性的问题,确保了业务系统的稳定性。并且,利用脚本规则的方式,实现对各个业务中心的业务数据的检测。每个上线业务事件都能形成一对一的监控与检测,形成一个规范化、标准化的业务上线、订正流程。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种数据一致性检测方法及装置。
背景技术
随着计算机技术的发展,业务事务不再由一个大事务一次完成,取而代之的是由多个微服务组合完成。这样就偶尔会出现远程服务调用失败、数据库访问失败、MQ消息发送失败等一系列问题,从而导致丢失数据或各服务中心数据不一致。
各大服务业务领域竞争日趋激烈,为客户提供稳定、可靠的业务服务越来越重要,面对这些业务数据不一致的问题,业务服务的稳定性、可靠性保障就显得至关重要。因此,本领域亟需一种方案能够在业务处理过程中,实时检测到业务处理数据不一致的问题。
发明内容
本发明实施例提供了一种数据一致性检测方法及装置,实现了业务数据的实时一致性检测,提高了业务系统的稳定性。
一方面,提供了一种数据一致性检测方法,所述方法包括:
实时采集各业务中心的业务事件数据;
根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
另一方面,提供了一种数据一致性检测装置,包括:
数据采集模块,用于实时采集各业务中心的业务事件数据;
事件构建模块,用于根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
规则获取模块,用于根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
数据检测模块,用于利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
又一方面,提供了一种数据一致性检测处理设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例中的数据一致性检测方法。
又一方面,提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述实施例中的数据一致性检测方法。
又一方面,提供了一种数据一致性检测系统,包括:数据采集装置、事件构造装置、规则获取装置、规则运行装置、结果存储装置、数据修订装置、数据报警装置,其中:
所述数据采集装置用于通过消息中间件实时采集各个业务中心的业务事件数据;
所述事件构造装置用于从数据采集装置中实时获取业务事件数据,根据事件类型、数据状态构建业务事件;
所述规则获取装置用于获取所述业务事件的检测业务规则;
所述规则运行装置用于根据所述检测业务规则对所述业务事件进行检测,并与预期结果进行比对,获得事件检测结果;
所述结果存储装置用于将所述事件检测结果持久化保存;
所述事件修订装置用于对在所述业务事件的检测结果不符合预设要求时,对所述业务事件进行修订,修正事务一致性;
所述事件报警装置用于对业务事件检测不一致且修订失败时进行报警。
在本发明实施例中提供了一种数据一致性检测方法、装置、处理设备、计算机存储介质、系统,通过实时采集业务事件数据,对业务事件数据进行筛选重组,并基于业务事件数据对应的事件类型构建出对应的事件信息。再基于对应的业务规则,对构建出的事件信息进行数据一致性检测。基于事件类型和对应的业务规则,对业务事件进行实时的一致性检测,实现了业务事件的事中审计,在用户发现问题之前,检测出数据一致性的问题,确保了业务系统的稳定性。并且,利用脚本规则的方式,实现对各个业务中心的业务数据的检测。每个上线业务事件都能形成一对一的监控与检测,形成一个规范化、标准化的业务上线、订正流程。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本说明书一个实施例中数据一致性检测方法的流程示意图;
图2是本说明书一个实施例中转账事件中业务规则获取框架示意图;
图3是本说明书一些实施例中数据一致性检测系统的结构示意图;
图4是本说明书一个实施例中数据一致性检测装置的结构示意图;
图5是本说明书实施例中数据一致性检测服务器的硬件结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
随着互联网技术的发展,业务类型越来越多,业务的处理流程也越来越复杂,随争日趋激烈,为客户提供稳定、可靠的业务服务越来越重要。但是,业务服务通常由多个环节组成,例如:银行转账服务,转账过程中一方的账户金额增加,一方的账户金额减少,付款金额、收款金额、转账明细需要一致,才能确保转账业务准确完成。若业务服务处理过程中,出现远程服务调用失败或数据库访问失败等情况,可能会导致数据不一致,进一步导致业务处理失败等情况的发生。
在这样的业务背景下,本说明书实施例,采用规范与标准化业务规则,解决服务化越来越急迫的业务一致性问题。同时,不局限于交易类业务事务,也适用于对业务稳定性要求比较高的领域。目标是在每个上线业务都能形成一对一的监控与检测,形成一个规范化、标准化的业务上线、订正流程。
本说明书中数据一致性检测方法可以应用在包括不同数据库的系统中如:银行系统,可以作为业务系统的事中审计平台,对业务数据进行一致性实时检测,达到业务事务事中风险监控的目的。
本说明书中数据一致性检测方法可以应用在客户端或服务器中,客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)、智能车载设备等电子设备。
具体地,图1是本说明书一个实施例中数据一致性检测方法的流程示意图,如图1所示,该方法可以包括以下步骤:
步骤102、实时采集各业务中心的业务事件数据。
在具体的实时过程中,可以对各个业务中心进行实时监测,实时采集各个业务中心的业务事件数据。其中,业务中心可以表示处理各个业务事件的终端或服务器或节点等,一个业务事件的处理过程可能需要多个业务中心配合。例如:用户A请求从自己的中国银行账户转账1000元到用户B的中国工商银行账户,这笔转账业务在处理过程中可能需要中国银行的转账业务的业务中心、中国工商银行的转账业务的业务中心共同操作完成。
此外,业务事件数据可以表示不同业务事件处理过程对应的数据信息,如:从数据来源的角度业务事件数据可以包括交易日志信息、MQ(一种持久化保存的数据)信息、DB(数据库)信息、各服务中心信息等业务事件数据。可以通过对不同数据存储设备进行监控,以实时采集到各个业务事件的处理数据,还可以通过监控不同业务事件处理终端来获取业务事件数据,本说明书实施例不作具体限定。
步骤104、根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息。
在具体的实施过程中,可以根据业务事件对应的不同的事件类型预先设置不同事件类型对应的事件构建规则,事件构建规则中可以包括不同类型的事件一致性检测所需的数据格式以及数据内容等。再基于事件构建规则,根据各个业务事件数据对应的事件类型,对业务事件数据进行筛选。筛选出符合预先设置的事件构建规则,适合事件审计的数据格式,将筛选出的数据进行数据重组,构建出对应的事件信息。其中,事件类型可以包括转账事件、贷款申请事件、产品日志事件、明细核对事件等。事件信息的构建可以理解为对采集到的业务事件数据的筛选和重组,构造出符合业务数据审计需要的事件数据的格式,构建出的事件信息可以包括事件审计必须的信息,如:转账事件可以包括付款人转账金额、收款人收款金额、转账明细信息等。
步骤106、根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则。
在具体的实施过程中,不同类型的事件对应有不同的业务规则,业务规则可以理解为业务事件处理需要满足的条件,条件满足则业务事件可以正常处理完成。例如:用户A请求从自己的中国银行账户转账1000元到用户B的中国工商银行账户,用户A的中国银行账户的付款金额需要与用户B的中国工商银行账户收款金额相同,转账明细需要与用户A的中国银行账户以及用户B的中国工商银行账户的金额变动一致,满足以上条件该笔转账业务才能准确完成。构建出事件信息后,可以根据事件信息对应的事件类型和事件状态,从业务规则库中获取对应的业务规则。其中,事件类型可以参考上述实施例的记载,事件状态可以表示业务事件的处理状态,具体可以包括成功、失败、未知。不同的事件状态可以对应有不同的业务规则,例如:上述转账事件,若事件成功,则业务规则应该包括付款金额、收款金额、转账明细均一致,若事件失败,则业务规则可能包括付款金额、收款金额、转账明细至少一项不一致。不同事件类型、事件状态的业务规则均可以预先存储在业务规则库中。
本说明书实施例预先可以对不同的事件按照类型进行分类,每一大类事件还可以包括不同的小类以及不同的事件状态,不同大类和小类的事件类型对应有不同的业务规则。在获取业务规则时可以根据构建的事件信息对应的事件类型大类以及事件状态小类等,获取到对应的业务规则。
图2是本说明书一个实施例中转账事件中业务规则获取框架示意图,如图2所示,事件的不同处理节点或业务中心对应有不同的业务规则,可以基于事件类型和事件状态获取到不同处理节点对应的业务骨子额。如图2所示,对于转账事件,付款人付款和收款人收款分别对应有各自的规则。
步骤108、利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
在具体的实施过程中,获取到事件信息对应的业务规则后,可以利用业务规则对事件信息进行一致性检测,如:上述实施例中的转账事件,可以检测付款金额、收款金额、转账明细是否一致,以确定转账事件的数据是否一致,获得检测结果。
本说明书一些实施例中,可以将检测结果保存在文件和数据库中。其中,保存在数据库中可以认为一中计算机软件存储方式,保存在文件中可以理解为一种非软件存储的数据存储方式。保存的检测结果可以供后续工作人员进行系统维护、升级等使用。本说明书实施例将检测结果同时保存在文件和数据库中,避免因其中一种存储方式被破坏导致数据丢失,提高了数据存储的安全性。同时,本说明书一些实施例中,还可以保存数据一致性检测过程的操作日志,以便后续核验。
本说明书实施例提供的数据一致性检测方法,通过实时采集业务事件数据,对业务事件数据进行筛选重组,并基于业务事件数据对应的事件类型构建出对应的事件信息。再基于对应的业务规则,对构建出的事件信息进行数据一致性检测。基于事件类型和对应的业务规则,对业务事件进行实时的一致性检测,实现了业务事件的事中审计,在用户发现问题之前,检测出数据一致性的问题,确保了业务系统的稳定性。并且,利用脚本规则的方式,实现对各个业务中心的业务数据的检测。每个上线业务事件都能形成一对一的监控与检测,形成一个规范化、标准化的业务上线、订正流程。
在上述实施例的基础上,本说明书一些实施例中,所述利用所述业务规则对所述事件信息进行业务规则的一致性检测,包括:
利用过滤规则对所述事件信息进行过滤;
若所述事件信息过滤通过,则执行所述事件信息对应的业务规则,获得对应的执行结果;
将所述执行结果与所述业务规则中的预期结果进行比对,获得所述检测结果。
在具体的实施过程中,本说明书实施例在对构建的事件信息进行一致性检测之前,可以利用预先设定的过滤规则,对构建的事件信息进行过滤,确定该事件信息是否需要进行一致性检测。过滤规则可以表示对事件信息进行筛选的条件,即本说明书实施例可以不对所有的事件信息进行一致性检测,以避免给业务系统造成过大的数据处理压力。过滤规则的具体内容可以根据实际需要进行设置,例如:可以设定事件涉及的资源(如:金额)大于预设阈值的才能进行一致性检测,或针对指定的用户群进行一致性检测,或针对指定的事件类型进行一致性检测等,本说明书实施例不限定过滤规则的具体内容。
利用过滤规则对构建的事件信息进行过滤,若事件信息过滤通过,则说明该事件信息需要进行数据的一致性检测。执行获取到的事件信息对应的业务规则对事件信息进行检测,获得对应的执行结果。将执行结果与该业务规则中对应的预期结果进行比对,可以获得该事件信息的检测结果。
例如:事件信息为转账事件,运行转账事件对应的业务规则执行该笔转账事件,可以获得该笔转账事件的付款金额、收款金额、转账明细是否一致作为执行结果。转账事件的业务规则中的预期结果为付款金额、收款金额、转账明细均一致,将执行结果与预期结果比对,若执行结果中的付款金额、收款金额、转账明细不一致,则可以认为该笔转账事件的数据不一致。
本说明书实施例,利用过滤规则对事件信息做初步的检测筛选,对于安全性要求不高的事件可以不必进行数据的一致性检测,以提高系统的数据处理效率,降低系统压力。
在上述实施例的基础上,本说明书一些实施例中,所述方法还包括:
若所述事件信息过滤通过,则根据预先设置的检测采样率,确定所述事件信息是否进行业务规则的一致性检测,若是,则执行所述事件信息对应的业务规则,获得对应的执行结果。
在具体的实施过程中,在事件信息过滤通过后,还可以基于预先设置的检测采样率,对事件信息进行进一步的检测筛选。检测采样率可以表示需要进行一致性检测的事件的占总的事件信息的比例,例如:若检测采样率为50%,则可以认为100件事件信息中需要检测50件。可以根据检测采样率,结合已经检测的事件信息的概率,确定当前的事件信息是否需要进行一致性检测。例如:若检测采样率为50%,当前已经检测的事件信息占总的事件信息的40%,则可以认为当前的事件信息需要进行一致性检测。
利用检测采样率确定出当前的事件信息需要进行检测后,可以根据上述实施例的记载,利用事件信息对应的业务规则对该事件信息进行一致性检测。
本说明书实施例,利用过滤规则以及检测采样率对事件信息进行双重筛选,筛选出符合一致性检测条件的事件信息。以提高系统的数据处理效率,降低系统压力,避免因业务规则不断的增长,降低数据检测效率。
在上述实施例的基础上,本说明书一些实施例中,所述方法还可以包括:
若所述检测结果不符合预设要求,则根据所述事件信息对应的事件类型、事件状态、所述检测结果,获取对应的修订规则;
根据所述修订规则对所述事件信息进行修订。
在具体的实施过程中,若基于业务规则的数据一致性检测结果不符合预设要求,则可以根据事件信息对应的事件类型、事件状态以及检测结果,获取对应的修订规则。利用修订规则对事件信息进行修订,以使得事件信息符合业务规则的要求,确保数据的一致性。其中,修订规则可以由业务人员根据不同的事件类型、事件状态预先设置,本说明书实施例不作具体限定。修订规则主要可以包括两种:数据补偿、数据回退,例如:上述转账事件中,若检测结果确定缺少转账明细数据,则可以选择补充明细数据或将明细数据回退,当作明细数据没有发生。可以将修订后的事件信息保存到数据库和文件中。
本说明书实施例,在确定事件信息有问题后,可以采用对应的修订规则对事件信息进行修订,以使事件信息符合业务规则,能够继续完成对应的业务,实现了业务数据的及时检测和修正,提高了业务系统的稳定性。
在上述实施例的基础上,本说明书一些实施例中,所述方法还包括:
若所述检测结果不符合预设要求,则通过短信和/或邮件进行报警。
在具体的实施过程中,事件信息通过业务规则检测后,若检测结果是不一致,可以通过短信报警和/或邮件报警,通知技术人员,进行业务事件的处理。若事件信息检测结果不一致后,对该事件信息进行了修订,则在修订失败后,也可以通过短信报警和/或邮件报警。
本说明书实施例,在事件检测结果不符合要求后,通过短信或邮件及时通知技术人员进行处理,实现了业务事件的实时监测,确保业务事件出现问题后能够及时得到处理,提高用户体验。
图3是本说明书一些实施例中数据一致性检测系统的结构示意图,如图3所示,本说明书实施例中,数据一致性检测系统可以包括数据采集装置1、事件构造装置2、规则获取装置3、规则运行装置4、结果存储装置5、数据修订装置6、数据报警装置7,各装置或单元之间相互协作,共同实现业务数据一致性检测及事务事中风险监控功能。其中:
数据采集装置1:实现数据采集服务器对事件数据的实时采集,事件数据主要包括交易日志信息、MQ信息、DB信息、各服务中心信息等业务事件数据。
事件构造装置2:根据数据采集装置1中的事件数据,实现不同事件类型数据的事件构造,事件类型包括转账事件、贷款申请事件、产品日志事件、明细核对事件等。
规则获取装置3:通过事件构造装置2中事件的类型、状态,从业务规则引擎库中获取对应的业务规则。
规则运行装置4:针对事件构造装置2中业务事件,执行规则获取装置3中获取的业务规则。需要注意的是,不是所有的事件都需要与业务规则引擎库中所有的业务规则进行比对,否则将会因为业务规则的增长,给业务规则检测带来性能影响。在执行业务规则前,可以先运行过滤规则,过滤通过后,再根据检测采样率,决定当前业务事件是否要运行业务规则检测。执行业务规则检测后,将执行结果与业务规则中预期结果进行比对,获得检测结果。
结果存储装置5:对于规则运行装置4中的输出的检测结果,保存在文件和数据库中,同时记录操作日志。
数据修订装置6:如果在结果存储装置5中业务事件执行结果与预期结果不一致,可以根据业务事件类型、事件状态、业务规则检测结果获取数据修订规则,执行数据修订规则,并将执行结果保存到结果存储装置5。需要注意的是,并不是所有业务事件都有数据修订规则,有些业务事件并不能通过数据修订进行修复,必须通过技术员处理。
数据报警装置7:业务事件通过业务规则检测后,若检测结果不一致且数据修订结果是失败,可以通过数据报警装置7完成短信报警和邮件报警,通知技术人员,进行业务事件的处理。
本说明书实施例提供的数据一致性检测系统,各个装置通过相互组合,实现了对业务脏数据或错误逻辑的实时检测及修订、报警。具体来说,数据采集装置1相对独立,通过消息中间件实时采集所有业务中心业务事件消息(比如客户转账事件、客户贷款申请事件等),是整个系统的存储中介。事件构造装置2负责从数据存储装置1中实时获取事件消息,根据事件类型、数据状态构建事件。规则获取装置3负责获取业务事件的检测业务规则,规则运行装置4是整个系统的核心装置,负责根据业务规则对业务事件进行检测,并与预期结果进行比对。结果存储装置5负责将事件检测结果持久化保存,事件修订装置6负责对业务事件在需要时进行修订,修正事务一致性。事件报警装置7负责对业务事件检测不一致且修订失败情况的报警处理,通过技术人员及时处理。
本说明书实施例,高实时性地检测业务数据一致性或错误逻辑,第一时间发现并通知技术人员。灵活、便捷地接入各种业务规则,通过脚本规则的方式,让各服务中心快速接入事中审计平台即数据一致性检测系统。整合订正工具,形成标准化、规范化业务数据订正流程。、业务上线的实时检测及监控,很方便地进行校验。通过实时采集业务事件数据、动态完成任务编排,极大地提高了数据批量处理效率,有效地缩减了整体批量作业的时间窗。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
基于上述所述的数据一致性检测方法,本说明书一个或多个实施例还提供一种数据一致性检测方法装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图4是本说明书一个实施例中数据一致性检测装置的结构示意图,如图4所示,本说明书实施例中一种数据一致性检测装置可以包括:数据采集模块41、事件构建模块42、规则获取模块43、数据检测模块44,其中:
数据采集模块41,可以用于实时采集各业务中心的业务事件数据;
事件构建模块42,可以用于根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
规则获取模块43,可以用于根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
数据检测模块44,可以用于利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
本说明书实施例提供的数据一致性检测装置,通过实时采集业务事件数据,对业务事件数据进行筛选重组,并基于业务事件数据对应的事件类型构建出对应的事件信息。再基于对应的业务规则,对构建出的事件信息进行数据一致性检测。基于事件类型和对应的业务规则,对业务事件进行实时的一致性检测,实现了业务事件的事中审计,在用户发现问题之前,检测出数据一致性的问题,确保了业务系统的稳定性。并且,利用脚本规则的方式,实现对各个业务中心的业务数据的检测。每个上线业务事件都能形成一对一的监控与检测,形成一个规范化、标准化的业务上线、订正流程。
需要说明的,上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书实施例还提供一种数据一致性检测处理设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例的数据一致性检测方法,所述方法包括:
实时采集各业务中心的业务事件数据;
根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
需要说明的,上述所述的终端设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
在上述实施例的基础上,本说明书一个实施例中还可以提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述实施例中数据一致性检测方法,所述方法包括:
实时采集各业务中心的业务事件数据;
根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
需要说明的,上述所述的计算机可读存储介质根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书提供的系统可以为单独的数据一致性检测系统,也可以应用在多种数据分析处理系统中。所述系统可以包括上述实施例中任意一个数据一致性检测装置。所述的系统可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图5是本说明书实施例中数据一致性检测服务器的硬件结构框图。如图5所示,服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解,图5所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图5中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图5所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的风险防控方法对应的程序指令/模块,处理器100通过运行存储在存储器200内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。
本说明书实施例提供的上述风险防控方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、处理设备、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照对应方法实施例的描述,在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。
Claims (10)
1.一种数据一致性检测方法,其特征在于,所述方法包括:
实时采集各业务中心的业务事件数据;
根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
2.根据权利要求1所述的方法,其特征在于,所述利用所述业务规则对所述事件信息进行业务规则的一致性检测,包括:
利用过滤规则对所述事件信息进行过滤;
若所述事件信息过滤通过,则执行所述事件信息对应的业务规则,获得对应的执行结果;
将所述执行结果与所述业务规则中的预期结果进行比对,获得所述检测结果。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述事件信息过滤通过,则根据预先设置的检测采样率,确定所述事件信息是否进行业务规则的一致性检测,若是,则执行所述事件信息对应的业务规则,获得对应的执行结果。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述检测结果不符合预设要求,则根据所述事件信息对应的事件类型、事件状态、所述检测结果,获取对应的修订规则;
根据所述修订规则对所述事件信息进行修订。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述检测结果不符合预设要求,则通过短信和/或邮件进行报警。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述检测结果保存在文件和数据库中。
7.一种数据一致性检测装置,其特征在于,包括:
数据采集模块,用于实时采集各业务中心的业务事件数据;
事件构建模块,用于根据所述业务事件数据对应的事件类型,对所述业务事件数据进行筛选和重组,构建出对应的事件信息;
规则获取模块,用于根据所述事件信息的事件类型和事件状态,从业务规则库中获取对应的业务规则;
数据检测模块,用于利用所述业务规则对所述事件信息进行业务规则的一致性检测,获得检测结果。
8.一种数据一致性检测处理设备,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-6任一项所述方法的步骤。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,所述指令被执行时实现权利要求1-6任一项所述方法的步骤。
10.一种数据一致性检测系统,其特征在于,包括:数据采集装置、事件构造装置、规则获取装置、规则运行装置、结果存储装置、数据修订装置、数据报警装置,其中:
所述数据采集装置用于通过消息中间件实时采集各个业务中心的业务事件数据;
所述事件构造装置用于从数据采集装置中实时获取业务事件数据,根据事件类型、数据状态构建业务事件;
所述规则获取装置用于获取所述业务事件的检测业务规则;
所述规则运行装置用于根据所述检测业务规则对所述业务事件进行检测,并与预期结果进行比对,获得事件检测结果;
所述结果存储装置用于将所述事件检测结果持久化保存;
所述事件修订装置用于对在所述业务事件的检测结果不符合预设要求时,对所述业务事件进行修订,修正事务一致性;
所述事件报警装置用于对业务事件检测不一致且修订失败时进行报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910738841.5A CN110427387A (zh) | 2019-08-12 | 2019-08-12 | 一种数据一致性检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910738841.5A CN110427387A (zh) | 2019-08-12 | 2019-08-12 | 一种数据一致性检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110427387A true CN110427387A (zh) | 2019-11-08 |
Family
ID=68415369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910738841.5A Pending CN110427387A (zh) | 2019-08-12 | 2019-08-12 | 一种数据一致性检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427387A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274255A (zh) * | 2020-01-20 | 2020-06-12 | 拉扎斯网络科技(上海)有限公司 | 业务数据监控方法及系统、监控架构、设备、存储介质 |
CN112463807A (zh) * | 2020-11-20 | 2021-03-09 | 广东电网有限责任公司 | 一种数据处理方法、装置、服务器及存储介质 |
CN114022279A (zh) * | 2021-11-05 | 2022-02-08 | 税友软件集团股份有限公司 | 一种业务数据纠错方法、装置、设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140025646A1 (en) * | 2011-03-28 | 2014-01-23 | Telefonaktiebolaget L M Ericsson (Publ) | Data management in a data virtualization environment |
CN104766151A (zh) * | 2014-12-29 | 2015-07-08 | 国家电网公司 | 一种用于电力交易数据仓库的质量管控方法及其管控系统 |
CN107644077A (zh) * | 2017-09-19 | 2018-01-30 | 杭州贝购科技有限公司 | 数据一致性监控方法、计算机设备和存储介质 |
-
2019
- 2019-08-12 CN CN201910738841.5A patent/CN110427387A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140025646A1 (en) * | 2011-03-28 | 2014-01-23 | Telefonaktiebolaget L M Ericsson (Publ) | Data management in a data virtualization environment |
CN104766151A (zh) * | 2014-12-29 | 2015-07-08 | 国家电网公司 | 一种用于电力交易数据仓库的质量管控方法及其管控系统 |
CN107644077A (zh) * | 2017-09-19 | 2018-01-30 | 杭州贝购科技有限公司 | 数据一致性监控方法、计算机设备和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274255A (zh) * | 2020-01-20 | 2020-06-12 | 拉扎斯网络科技(上海)有限公司 | 业务数据监控方法及系统、监控架构、设备、存储介质 |
CN112463807A (zh) * | 2020-11-20 | 2021-03-09 | 广东电网有限责任公司 | 一种数据处理方法、装置、服务器及存储介质 |
CN114022279A (zh) * | 2021-11-05 | 2022-02-08 | 税友软件集团股份有限公司 | 一种业务数据纠错方法、装置、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427387A (zh) | 一种数据一致性检测方法及装置 | |
CN110472809A (zh) | 计算环境技术问题的根本原因和预测分析 | |
CN108681667A (zh) | 一种设备型号识别方法、装置及处理设备 | |
KR20210019564A (ko) | 운영 유지 시스템 및 방법 | |
CN107810500A (zh) | 数据质量分析 | |
CN104376365A (zh) | 一种基于关联规则挖掘的信息系统运行规则库的构造方法 | |
CN110046073A (zh) | 一种日志采集方法及装置、设备、存储介质 | |
CN105930226B (zh) | 一种数据处理方法及装置 | |
CN110399533A (zh) | 资金流向查询方法及装置 | |
CN107992415A (zh) | 一种交易系统的故障定位和分析方法及相关服务器 | |
CN107145429A (zh) | 一种日志分析方法及系统 | |
CN110442628A (zh) | 一种数据监控方法、系统和计算机设备 | |
US10372572B1 (en) | Prediction model testing framework | |
CN110458412A (zh) | 风险监控数据的生成方法和装置 | |
CN106878038A (zh) | 一种通信网络中故障定位方法及装置 | |
CN111339933A (zh) | 基于深度学习的变电站安全监控方法及装置 | |
CN110187992A (zh) | 故障分析方法及装置 | |
CN106709026A (zh) | 数据处理方法及系统 | |
CN106292584A (zh) | 一种基于模块化的控制单元的柔性制造系统 | |
CN109242067A (zh) | 一种医用纱布监控方法及装置 | |
CN105573984B (zh) | 社会经济指标的识别方法及装置 | |
CN116136801B (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
CN110533406A (zh) | 一种支付调用方法、装置及系统 | |
CN106203954A (zh) | 一种支持业务流程构建、测试及运行的智能装置及方法 | |
CN110162521A (zh) | 一种支付系统交易数据处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |