CN111476664A - 一直基于实时数据流的风险感知和风险预测方法 - Google Patents

Abstract

本发明涉及数据处理技术领域。提供了一直基于实时数据流的风险感知和风险预测方法，其主旨在于于克服传统风险监控采用主动式监控，监测任务频率太高会过多占用信息系统的计算资源，监测任务评率过低则风险感知的时效性达不到要求。其主要方案为：步骤1：实时同步信息系统数据库的归档日志，至目标服务器，解析目标服务器中的归档日志，形成反应数据库数据变动情况的实时数据流；步骤2：消费实时数据流中的数据，判断数据流中是否有涉及风险计算模型的数据，并将风险计算模型所需要的数据选出，得到变动数据；步骤3：根据实时数据流中的数据中得到的变动数据，选择相应的计算模型进行风险感知和风险预测。

Description

一直基于实时数据流的风险感知和风险预测方法

技术领域

本申请提案运用于信息系统的风险感知和风险预测，特别是针对于时效性要求高的信息系统。采用数据驱动方法，形成了被动式的监控模式。降低了信息系统的计算消耗、提升了风险感知和风险预测时效性。

背景技术

传统技术架构

传统的风险监控体系，一般采用主动式的监控模式，以定时任务的方式从信息系统捕获风险，并进行风险预测。这种方式一般是部署一个定时任务，定时执行数据扫描，通过扫描结果查看自上次扫描至本次扫描时间段内是否有相关风险数据。

传统技术架构面临的问题

采用传统技术架构的风险监控系统，一般都运用主动监控模式，这种监控模式由监测方主动向被监测的信息系统发起监测任务，存在一个弊端，监测任务频率太高会过多占用信息系统的计算资源，监测任务评率过低则风险感知的时效性达不到要求，所以一般都是在资源和时效性之间找一个折中点。

发明内容

本发明的目的在于克服传统风险监控采用主动式监控，监测任务频率太高会过多占用信息系统的计算资源，监测任务评率过低则风险感知的时效性达不到要求。

一直基于实时数据流的风险感知和风险预测方法，包括以下步骤:

步骤1：实时同步信息系统数据库的归档日志，至目标服务器，解析目标服务器中的归档日志，形成反应数据库数据变动情况的实时数据流；

步骤2：消费实时数据流中的数据，判断数据流中是否有涉及风险计算模型的数据，并将风险计算模型所需要的数据选出，得到变动数据；

步骤3：根据实时数据流中的数据中得到的变动数据，选择相应的计算模型进行风险感知和风险预测。

在上述技术方案基础上，进一步的，步骤1具体包括以下步骤：

步骤1.1：利用数据文件实时同步工具将信息系统数据库中的归档日志，同步至目标服务器，得到归档日志副本；

步骤1.2：利用归档日志实时解析工具实时解析归档日志副本，得到数据库变动数据对应的数据表的表名，对应数据表变更前的数据值和变更后的数据值，然后将含有表名、变更前的数据值和变更后的数据值的数据形成实时数据流。

在上述技术方案基础上，进一步的，步骤2具体包括以下步骤：

步骤2.1：分析风险模型，得到风险模型关联的表清单；

根据风险计算模型所需要的输入数据信息，建立风险模型关联的表清单，表清单记录了风险模型所需要的输入信息对应的数据库名及数据下对应的表名；

步骤2.2：消费实时数据流中的数据，匹配预先分析好的表清单，得到风险模型所需要的变动数据。

在上述技术方案基础上，进一步的，步骤3具体包括以下步骤：

步骤3.1：将变动数据，传入相应的风险模型进行计算，得到风险监测结果和分析预测结果；

步骤3.2：将得到的结果值和风险模型的预定的阈值进行比较，输出风险预测结果。

因为本发明采用上述技术方案，因此具备以下有意效果;

1、时同步信息系统数据库的归档日志至目标服务器，将风险模型计算代价转移，降低信息系统计算资源消耗；

2、消费实时数据流中的数据，匹配预先分析好的表清单，匹配上以后再进行风险模型计算。意味着每一次计算资源调用都是由基础数据变动作为驱动，相比传统模式降低了无效的计算次数。

附图说明

图1为实时数据流示意图。

具体实施方式

一直基于实时数据流的风险感知和风险预测方法，包括以下步骤:

步骤1：实时同步信息系统数据库的归档日志，至目标服务器，解析目标服务器中的归档日志，形成反应数据库数据变动情况的实时数据流；

步骤2：消费实时数据流中的数据，判断数据流中是否有涉及风险计算模型的数据，并将风险计算模型所需要的数据选出，得到变动数据；

步骤3：根据实时数据流中的数据中得到的变动数据，选择相应的计算模型进行风险感知和风险预测。

在上述技术方案基础上，进一步的，步骤1具体包括以下步骤：

步骤1.1：利用数据文件实时同步工具将信息系统数据库中的归档日志，同步至目标服务器，得到归档日志副本；

例如客户在银行做了一笔存款交易，相应的信息系统会在后台数据库中记录这笔交易的相关数据信息，数据信息会记录到数据库DB-A的表Tab-2中。根据数据库的设计原理，数据库同时会记录在归档日志中记录数据库DB-A的表Tab-2，变更前的数据值和变更后的数据值，但是这个归档日志有特殊的编码规则，是无法直接读取的。

步骤1.2：利用归档日志实时解析工具实时解析归档日志副本，得到数据库变动数据对应的数据表的表名，对应数据表变更前的数据值和变更后的数据值，然后将含有表名、变更前的数据值和变更后的数据值的数据形成实时数据流。

例如随着信息系统运行，不断会有交易信息存入数据库，同时引起归档日志信息变动。利用专业的归档日志解析工具用于解析归档日志，将每一次的数据变动都放入数据流中，数据流中就会有一个数据队列，示例如图1。

在上述技术方案基础上，进一步的，步骤2具体包括以下步骤：

步骤2.1：分析风险模型，得到风险模型关联的表清单；

根据风险计算模型所需要的输入数据信息，建立风险模型关联的表清单，表清单记录了风险模型所需要的输入信息对应的数据库名及数据下对应的表名；

例如一个客户交易风险模型，需要用到客户信息、历史交易信息、行为历史信息等数据，这些数据存放在信息系统数据库中，对应的数据库为DB-A，对应的数据库表分别为Tab-1、Tab-2、Tab-3，那么就会得到一个对应关系：

DB-A——Tab-1

DB-A——Tab-2

DB-A——Tab-3；

步骤2.2：消费实时数据流中的数据，匹配预先分析好的表清单，得到风险模型所需要的变动数据。

例如根据上述例子中的模型和表对应清单、数据流进行匹配，得到如下结果，数据流的6次数据变动都是DB-A的Tab-2表的，那么就会匹配上客户交易风险模型。

在上述技术方案基础上，进一步的，步骤3具体包括以下步骤：

步骤3.1：将变动数据，传入相应的风险模型进行计算，得到风险监测结果和分析预测结果；

例如根据上述例子将数据流的6次数据变动值，即col1：{before：m；after：n}都带入客户交易风险模型计算公式进行计算，得到一个结果值X。

步骤3.2：将得到的结果值和风险模型的预定的阈值进行比较，输出风险预测结果。

比如客户风险交易模型预定义的阈值范围为D至E，如果D<X<E，那么就认为交易存在有风险；如果X<D或者X>E，那么就认为交易没有风险。

Claims (4)

1.一直基于实时数据流的风险感知和风险预测方法，其特征在于:

步骤1：实时同步信息系统数据库的归档日志，至目标服务器，解析目标服务器中的归档日志，形成反应数据库数据变动情况的实时数据流；

步骤2：消费实时数据流中的数据，判断数据流中是否有涉及风险计算模型的数据，并将风险计算模型所需要的数据选出，得到变动数据；

步骤3：根据实时数据流中的数据中得到的变动数据，选择相应的计算模型进行风险感知和风险预测。

2.根据权利要求1所述的一直基于实时数据流的风险感知和风险预测方法，其特征在于:

步骤1.1：利用数据文件实时同步工具将信息系统数据库中的归档日志，同步至目标服务器，得到归档日志副本；

步骤1.2：利用归档日志实时解析工具实时解析归档日志副本，得到数据库变动数据对应的数据表的表名，对应数据表变更前的数据值和变更后的数据值，然后将含有表名、变更前的数据值和变更后的数据值的数据形成实时数据流。

3.根据权利要求1所述的一直基于实时数据流的风险感知和风险预测方法，其特征在于:

步骤2.1：分析风险模型，得到风险模型关联的表清单；

根据风险计算模型所需要的输入数据信息，建立风险模型关联的表清单，表清单记录了风险模型所需要的输入信息对应的数据库名及数据下对应的表名；

步骤2.2：消费实时数据流中的数据，匹配预先分析好的表清单，得到风险模型所需要的变动数据。

4.根据权利要求1所述的一直基于实时数据流的风险感知和风险预测方法，其特征在于:

步骤3.1：将变动数据，传入相应的风险模型进行计算，得到风险监测结果和分析预测结果；

步骤3.2：将得到的结果值和风险模型的预定的阈值进行比较，输出风险预测结果。

Images