发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种通过云平台进行财务数据行为筛选工作方法。
为了实现本发明的上述目的,本发明提供了一种通过云平台进行财务数据行为筛选工作方法,包括:
S1,在实时查询校验提取后,设置异常数据的判断区间,在判断区间之中形成标准化数据;
S2,对标准化数据进行偏离度分析,分析之后通过筛选模型对异常数据进行筛选操作,并对筛选之后的异常数据进行特征评分。
优选的,所述S1包括:
S1-1,对异常数据划分判断区间,计算异常数据相似度,从而生成判断区间,将异常数据通过比例缩放计算进行标准化处理,异常大量资金转入快速分散转出的交易数据ui的转换值为u′i,异常大量分散资金转入快速集中转出的交易数据vi的转换值为v′i,异常时间点交易数据xi的转换值为x′i、异常相同数额交易数据yi的转换值为y′i、异常超限额交易数据zi的转换值为z′k;
将转换后的交易异常数据与时间和日期变量一起代入判断模型,在统计的任一时间和日期内计算异常数据的判断值:
其中,B(t,d)为异常数据在任一时间t和日期d的判断值;f(u′i;t,d)为一个异常大量资金转入快速分散转出的交易数据的时间和日期的判断值;f(v′i;t,d)为一个异常大量分散资金转入快速集中转出的交易数据的时间和日期的判断值;f(x′i;t,d)为一个异常时间点交易数据的时间和日期的判断值;f(y′i;t,d)为一个异常相同数额交易数据的时间和日期的判断值;f(z′i;t,d)为一个异常超限额交易数据的判断值;i最大为60是为了保证一分钟内每一秒的异常数据都进行实时监控判断。
优选的,所述S1包括:
S1-2,计算每一个异常数据在时间和日期上的实际和判断值的差值,通过残差平方和对离散的异常数据进行线性曲线拟合过程,从而对异常数据的风险趋势进行判断,
其中,W为每个异常数据的残差平方和;B0(t,d)为每个异常数据在该时间和日期的实际值;B(t,d)为每个异常数据在该时间和日期的判断值;M为统计的时间最大的时刻或者日期的最多天数。
优选的,所述S1还包括:
S1-3,然后计算异常数据的偏离度
其中,F为计算常数,通过调节系数λ进行调节,由于W增大,故取的计算常数F较大;通过增加异常数据准确获取值Hj,对全部N个异常数据准确获取值累加之后进行特征值e的偏离收敛,β为特征阈值。
优选的,所述S2包括:
S2-1,异常数据偏离度分析后,通过先验概率分布在异常数据中进行统计信息计算;计算异常数据先验条件概率分布,设置第一异常数据集合C与第二异常数据集合E的内部属性,其中第一异常数据集合包括u
i和v
i,第二异常数据集合包括x
i、y
i和z
i,通过定义异常数据的时间类属性G和日期类属性I,在概率分布条件下分别计算条件概率
和
计算得到:
其中
表示第一异常数据集合
和时间类属性G和日期类属性I联合概率分布,遍历第一异常数据集合
和时间类属性G的全部值得到其条件概率分布
以及第一异常数据集合
和日期类属性I的全部值得到其条件概率分布
时间类属性条件概率Q(G),日期类属性条件概率Q(I);
然后计算:
其中
表示第二异常数据集合
和时间类属性G和日期类属性I联合概率分布,遍历第二异常数据集合
和时间类属性G的全部值得到其条件概率分布
以及第二异常数据集合
和日期类属性I的全部值得到其条件概率分布
优选的,所述S2包括:
S2-2,第一异常数据集合C中每个异常数据节点与第二异常数据集合E中每个异常数据节点时间属性和日期属性的条件信息联合概率分布值如下;
选取异常数据的类属性J放入大数据平台中;将第一异常数据集合C中和第二异常数据集合E的内部属性以类属性J为父节点,构造朴素贝叶斯网络。
优选的,所述S2还包括:
S2-3,将第一异常数据集合C中和第二异常数据集合E中的节点逐个放入贝叶斯网络中;若第一异常数据集合C中
则将
放入网络作为其父节点;若第二异常数据集合E中
则将
放入网络作为其父节点;从而得到用于异常数据等级筛选排序的贝叶斯网络;
优选的,所述S2包括:
S2-4,计算类属性J的概率质量函数
得到异常数据中属性值最突出的概率分布;
其中
表示J关联的所有第一异常数据集合C中和第二异常数据集合E节点的条件概率的乘积;由大数据平台对财务异常数据根据概率分布的情况,向贝叶斯网络中第一异常数据集合C中和第二异常数据集合E的各个属性节点赋值;轮流将异常数据的基本属性代入贝叶斯网络中通过概率质量函数;按照计算数值从大到小的顺序对异常数据排列。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
通过海量数据的学习过程,通过神经网络学习算法,提取出相对准确的异常交易行为,并通过云平台进行同步传输,从而筛选匹配后进行远程展示,实现了大数据环境下的数据异常提取和风险预警,提高了工作效率,并能够在海量财务数据管理过程中提高数据的预判性和可读性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
如图1和2所示,本发明公开一种通过云平台进行财务数据行为筛选工作方法,包括如下步骤:
S1,通过云端数据库获取财务数据,对财务数据中的异常数据进行登录,然后开始初步查询,查询过程中对无效数据进行实时查询校验提取;
S2,在实时查询校验提取后,设置异常数据的判断区间,在判断区间之中形成标准化数据;
S3,对标准化数据进行偏离度分析,分析之后通过筛选模型对异常数据进行筛选操作,并对筛选之后的异常数据进行特征评分,
S4,经过特征评分之后,财务数据中异常数据的风险度通过综合风险判断模型进行判断输出。
所述S1包括:
S1-1,在云端数据库中调取财务数据,在财务数据中获取异常数据,异常数据提取过程通过初步查询过程进行数据均衡来动态请求云端数据库的财务数据,采用动态配置的方式,设置异常数据的获取阈值,根据不同财务数据的安全控制机制和权限管理要求提取不同的异常数据进行登录操作,
S1-2,在初步查询过程中,云端数据库对财务数据认证、功能访问权限信息存储在本地数据库中,进行统一财务数据认证、功能权限控制;对于财务数据对异常数据进行逻辑隔离,存放在独立数据库中;财务数据登录过程中验证用户身份并根据财务数据中异常数据访问权限信息构造该用户有权访问的异常数据集合,通过云端数据库的身份认证过程进行认证访问;如果访问失败,则返回异常数据访问失败信息;如果访问成功,则登录成功;建立用户与系统动态分配的应用服务器实例独立的通道,
S1-3,异常数据的访问和使用过程为,在根据多个异常数据,形成异常数据关系节点,查找PaaS平台资源进行转换为树结点,生成异常数据树结点列表,将空的异常数据结点集作为当前结点集,对当前的异常数据树结点集进行遍历操作,从而判断当前遍历操作的结点集的异常数据父资源信息列表是否等于预置的异常数据根结点信息列表,若等于预置的异常数据根结点信息列表,则当前遍历操作的结点集为当前异常数据权限树的根结点,若不等于预置的异常数据根结点信息列表,继续遍历异常数据标识等于当前遍历操作的结点的父资源信息列表的资源,将该资源标记为当前遍历操作的结点的异常数据父结点,
S1-4对于异常数据结点是否等于当前遍历到的结点的父资源信息列表,判断当前树结点列表是否遍历完毕;若遍历完毕检测异常数据父结点信息列表,若未遍历完毕,则将当前异常数据父结点信息列表作为当前树结点的根节点,标记递归构建异常数据业务查询树;将异常数据某一节点上分配的多个异常数据查询请求,重新分配给异常数据某一计算节点并备份,以使得所述某一计算节点和所述备份计算节点中的每一个仅被分配一个子查询;
通过结点树方式进行异常数据的查询过程,起到初步判定异常数据的作用,如果进一步进行数据提取还需要将数据进行深层次挖掘。
所述S2包括:
S2-1,经过查询校验之后,对异常数据划分判断区间,计算异常数据相似度,从而生成判断区间,将异常数据通过比例缩放计算进行标准化处理,异常大量资金转入快速分散转出的交易数据ui的转换值为u′i,异常大量分散资金转入快速集中转出的交易数据vi的转换值为v′i,异常时间点交易数据xi的转换值为x′i、异常相同数额交易数据yi的转换值为y′i、异常超限额交易数据zi的转换值为z′k;
将转换后的交易异常数据与时间和日期变量一起代入判断模型,在统计的任一时间和日期内计算异常数据的判断值:
其中,B(t,d)为异常数据在任一时间t和日期d的判断值;f(u′i;t,d)为一个异常大量资金转入快速分散转出的交易数据的时间和日期的判断值;f(v′i;t,d)为一个异常大量分散资金转入快速集中转出的交易数据的时间和日期的判断值;f(x′i;t,d)为一个异常时间点交易数据的时间和日期的判断值;f(y′i;t,d)为一个异常相同数额交易数据的时间和日期的判断值;f(z′i;t,d)为一个异常超限额交易数据的判断值;i最大为60是为了保证一分钟内每一秒的异常数据都进行实时监控判断;
S2-2,计算每一个异常数据在时间和日期上的实际和判断值的差值,通过残差平方和对离散的异常数据进行线性曲线拟合过程,从而对异常数据的风险趋势进行判断,
其中,W为每个异常数据的残差平方和;B0(t,d)为每个异常数据在该时间和日期的实际值;B(t,d)为每个异常数据在该时间和日期的判断值;M为统计的时间最大的时刻或者日期的最多天数;
S2-3,然后计算异常数据的偏离度
其中,F为计算常数,通过调节系数λ进行调节,由于W增大,故取的计算常数F较大;通过增加异常数据准确获取值Hj,对全部N个异常数据准确获取值累加之后进行特征值e的偏离收敛,β为特征阈值。
所述S3包括:
S3-1,异常数据偏离度分析后,通过先验概率分布在异常数据中进行统计信息计算;计算异常数据先验条件概率分布,设置第一异常数据集合C与第二异常数据集合E的内部属性,其中第一异常数据集合包括u
i和v
i,第二异常数据集合包括x
i、y
i和z
i,通过定义异常数据的时间类属性G和日期类属性I,在概率分布条件下分别计算条件概率
和
计算得到:
其中
表示第一异常数据集合
和时间类属性G和日期类属性I联合概率分布,遍历第一异常数据集合
和时间类属性G的全部值得到其条件概率分布
以及第一异常数据集合
和日期类属性I的全部值得到其条件概率分布
时间类属性条件概率Q(G),日期类属性条件概率Q(I);
然后计算:
其中
表示第二异常数据集合
和时间类属性G和日期类属性I联合概率分布,遍历第二异常数据集合
和时间类属性G的全部值得到其条件概率分布
以及第二异常数据集合
和日期类属性I的全部值得到其条件概率分布
S3-2,第一异常数据集合C中每个异常数据节点与第二异常数据集合E中每个异常数据节点时间属性和日期属性的条件信息联合概率分布值如下;
选取异常数据的类属性J放入大数据平台中;将第一异常数据集合C中和第二异常数据集合E的内部属性以类属性J为父节点,构造朴素贝叶斯网络;
S3-3,将第一异常数据集合C中和第二异常数据集合E中的节点逐个放入贝叶斯网络中;若第一异常数据集合C中
则将
放入网络作为其父节点;若第二异常数据集合E中
则将
放入网络作为其父节点;从而得到用于异常数据等级筛选排序的贝叶斯网络;
S3-4,计算类属性J的概率质量函数
得到异常数据中属性值最突出的概率分布;
其中
表示J关联的所有第一异常数据集合C中和第二异常数据集合E节点的条件概率的乘积;由大数据平台对财务异常数据根据概率分布的情况,向贝叶斯网络中第一异常数据集合C中和第二异常数据集合E的各个属性节点赋值;轮流将异常数据的基本属性代入贝叶斯网络中通过概率质量函数;按照计算数值从大到小的顺序对异常数据排列。
所述S4包括:
S4-1,结合风险度权重计算,对异常大量资金转入快速分散转出的交易数据ui进行计算:
其中,T
total为总基准时间;
为异常大量资金转入快速分散转出的交易数据权重的动态变化分量;V
total为总基准日期,U为交易数据检测时刻分量;K为交易数据检测日期分量;
S4-2,对异常大量分散资金转入快速集中转出的交易数据vi计算风险度权重,
其中,
为异常大量分散资金转入快速集中转出的交易数据v
i权重的动态变化分量;
S4-3,对异常时间点交易数据xi计算风险度权重,
S4-4,对异常相同数额交易数据yi计算风险度权重,
S4-5,对异常超限额交易数据zi计算风险度权重,
S4-6,综合风险判断模型的定义:
其中,
为异常大量资金转入快速分散转出的交易数据预测值;
为异常大量资金转入快速分散转出的交易数据的判断阈值,
为异常大量分散资金转入快速集中转出的交易数据预测值;
为异常大量分散资金转入快速集中转出的交易数据的判断阈值,
为异常时间点交易数据预测值;
为异常时间点交易数据的判断阈值,
为异常相同数额交易数据预测值;
为异常相同数额交易数据的判断阈值,
为异常超限额交易数据预测值;
为异常超限额交易数据的判断阈值,ε为判断校正系数。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。