CN112487053B - 海量财务数据异常控制提取工作方法 - Google Patents

海量财务数据异常控制提取工作方法 Download PDF

Info

Publication number
CN112487053B
CN112487053B CN202011360671.0A CN202011360671A CN112487053B CN 112487053 B CN112487053 B CN 112487053B CN 202011360671 A CN202011360671 A CN 202011360671A CN 112487053 B CN112487053 B CN 112487053B
Authority
CN
China
Prior art keywords
data
abnormal
abnormal data
node
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011360671.0A
Other languages
English (en)
Other versions
CN112487053A (zh
Inventor
卿赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caishu (Shijiazhuang) Network Technology Co.,Ltd.
Original Assignee
Chongqing Medical and Pharmaceutical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Medical and Pharmaceutical College filed Critical Chongqing Medical and Pharmaceutical College
Priority to CN202011360671.0A priority Critical patent/CN112487053B/zh
Publication of CN112487053A publication Critical patent/CN112487053A/zh
Application granted granted Critical
Publication of CN112487053B publication Critical patent/CN112487053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Technology Law (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)

Abstract

本发明提出了一种海量财务数据异常控制提取工作方法，包括如下步骤：S1，通过云端数据库获取财务数据，对财务数据中的异常数据进行登录，然后开始初步查询，查询过程中对无效数据进行实时查询校验提取；S2，在实时查询校验提取后，设置异常数据的判断区间，在判断区间之中形成标准化数据。

Description

海量财务数据异常控制提取工作方法
技术领域
本发明涉及大数据分析领域，尤其涉及一种海量财务数据异常控制提取工作方法。
背景技术
随着信息化、智能化的迅猛发展，在财务数据管理过程中，由于交易次数的增加，形成了难以计数的交易历史数据，对于交易历史数据中有多少是合规操作或者正常的交易行为，对于财务数据管理者来说通过传统的查验方式已经不能满足当前社会日益变化，日趋复杂的异常交易行为。
尤其在学校，政府机关或者大型连锁企业，其交易总额和交易次数更是难以计数，通过传统的计算机累积方式或者统计学原理并不能快速准确的获取包含交易风险的交易行为，而且即使用到了一些提取算法，其对异常财务数据的把控和查验过程并不准确。这就亟需本领域技术人员解决相应的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种海量财务数据异常控制提取工作方法。
为了实现本发明的上述目的，本发明提供了一种海量财务数据异常控制提取工作方法，包括：
S1，通过云端数据库获取财务数据，对财务数据中的异常数据进行登录，然后开始初步查询，查询过程中对无效数据进行实时查询校验提取；
S2，在实时查询校验提取后，设置异常数据的判断区间，在判断区间之中形成标准化数据。
优选的，所述S1包括：
S1-1，在云端数据库中调取财务数据，在财务数据中获取异常数据，异常数据提取过程通过初步查询过程进行数据均衡来动态请求云端数据库的财务数据，采用动态配置的方式，设置异常数据的获取阈值，根据不同财务数据的安全控制机制和权限管理要求提取不同的异常数据进行登录操作。
优选的，所述S1包括：
S1-2，在初步查询过程中，云端数据库对财务数据认证、功能访问权限信息存储在本地数据库中，进行统一财务数据认证、功能权限控制；对于财务数据对异常数据进行逻辑隔离，存放在独立数据库中；财务数据登录过程中验证用户身份并根据财务数据中异常数据访问权限信息构造该用户有权访问的异常数据集合，通过云端数据库的身份认证过程进行认证访问；如果访问失败，则返回异常数据访问失败信息；如果访问成功，则登录成功；建立用户与系统动态分配的应用服务器实例独立的通道。
优选的，所述S1还包括：
S1-3，异常数据的访问和使用过程为，在根据多个异常数据，形成异常数据关系节点，查找PaaS平台资源进行转换为树结点，生成异常数据树结点列表，将空的异常数据结点集作为当前结点集，对当前的异常数据树结点集进行遍历操作，从而判断当前遍历操作的结点集的异常数据父资源信息列表是否等于预置的异常数据根结点信息列表，若等于预置的异常数据根结点信息列表，则当前遍历操作的结点集为当前异常数据权限树的根结点，若不等于预置的异常数据根结点信息列表，继续遍历异常数据标识等于当前遍历操作的结点的父资源信息列表的资源，将该资源标记为当前遍历操作的结点的异常数据父结点。
优选的，所述S1还包括：
S1-4对于异常数据结点是否等于当前遍历到的结点的父资源信息列表，判断当前树结点列表是否遍历完毕；若遍历完毕检测异常数据父结点信息列表，若未遍历完毕，则将当前异常数据父结点信息列表作为当前树结点的根节点，标记递归构建异常数据业务查询树；将异常数据某一节点上分配的多个异常数据查询请求，重新分配给异常数据某一计算节点并备份，以使得所述某一计算节点和所述备份计算节点中的每一个仅被分配一个子查询。
优选的，所述S2还包括：
S2-1，经过查询校验之后，对异常数据划分判断区间，计算异常数据相似度，从而生成判断区间，将异常数据通过比例缩放计算进行标准化处理，异常大量资金转入快速分散转出的交易数据ui的转换值为u′i，异常大量分散资金转入快速集中转出的交易数据vi的转换值为v′i，异常时间点交易数据xi的转换值为x′i、异常相同数额交易数据yi的转换值为y′i、异常超限额交易数据zi的转换值为z′k。
优选的，所述S2还包括：
将转换后的交易异常数据与时间和日期变量一起代入判断模型，在统计的任一时间和日期内计算异常数据的判断值：
Figure BDA0002803831400000031
其中，B(t,d)为异常数据在任一时间t和日期d的判断值；f(u′i；t,d)为一个异常大量资金转入快速分散转出的交易数据的时间和日期的判断值；f(v′i；t,d)为一个异常大量分散资金转入快速集中转出的交易数据的时间和日期的判断值；f(x′i；t,d)为一个异常时间点交易数据的时间和日期的判断值；f(y′i；t,d)为一个异常相同数额交易数据的时间和日期的判断值；f(z′i；t,d)为一个异常超限额交易数据的判断值；i最大为60是为了保证一分钟内每一秒的异常数据都进行实时监控判断。
优选的，所述S2还包括：
S2-2，计算每一个异常数据在时间和日期上的实际和判断值的差值，通过残差平方和对离散的异常数据进行线性曲线拟合过程，从而对异常数据的风险趋势进行判断，
Figure BDA0002803831400000041
其中，W为每个异常数据的残差平方和；B0(t,d)为每个异常数据在该时间和日期的实际值；B(t,d)为每个异常数据在该时间和日期的判断值；M为统计的时间最大的时刻或者日期的最多天数。
优选的，所述S2还包括：
S2-3，然后计算异常数据的偏离度
Figure BDA0002803831400000042
其中，F为计算常数，通过调节系数λ进行调节，由于W增大，故取的计算常数F较大；通过增加异常数据准确获取值Hj，对全部N个异常数据准确获取值累加之后进行特征值e的偏离收敛，β为特征阈值。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
通过海量数据的学习过程，通过神经网络学习算法，提取出相对准确的异常交易行为，并通过云平台进行同步传输，从而筛选匹配后进行远程展示，实现了大数据环境下的数据异常提取和风险预警，提高了工作效率，并能够在海量财务数据管理过程中提高数据的预判性和可读性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明总体示意图；
图2是本发明工作流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1和2所示，所示，本发明公开一种海量财务数据异常控制提取工作方法，包括如下步骤：
S1，通过云端数据库获取财务数据，对财务数据中的异常数据进行登录，然后开始初步查询，查询过程中对无效数据进行实时查询校验提取；
S2，在实时查询校验提取后，设置异常数据的判断区间，在判断区间之中形成标准化数据；
S3，对标准化数据进行偏离度分析，分析之后通过筛选模型对异常数据进行筛选操作，并对筛选之后的异常数据进行特征评分，
S4，经过特征评分之后，财务数据中异常数据的风险度通过综合风险判断模型进行判断输出。
所述S1包括：
S1-1，在云端数据库中调取财务数据，在财务数据中获取异常数据，异常数据提取过程通过初步查询过程进行数据均衡来动态请求云端数据库的财务数据，采用动态配置的方式，设置异常数据的获取阈值，根据不同财务数据的安全控制机制和权限管理要求提取不同的异常数据进行登录操作，
S1-2，在初步查询过程中，云端数据库对财务数据认证、功能访问权限信息存储在本地数据库中，进行统一财务数据认证、功能权限控制；对于财务数据对异常数据进行逻辑隔离，存放在独立数据库中；财务数据登录过程中验证用户身份并根据财务数据中异常数据访问权限信息构造该用户有权访问的异常数据集合，通过云端数据库的身份认证过程进行认证访问；如果访问失败，则返回异常数据访问失败信息；如果访问成功，则登录成功；建立用户与系统动态分配的应用服务器实例独立的通道，
S1-3，异常数据的访问和使用过程为，在根据多个异常数据，形成异常数据关系节点，查找PaaS平台资源进行转换为树结点，生成异常数据树结点列表，将空的异常数据结点集作为当前结点集，对当前的异常数据树结点集进行遍历操作，从而判断当前遍历操作的结点集的异常数据父资源信息列表是否等于预置的异常数据根结点信息列表，若等于预置的异常数据根结点信息列表，则当前遍历操作的结点集为当前异常数据权限树的根结点，若不等于预置的异常数据根结点信息列表，继续遍历异常数据标识等于当前遍历操作的结点的父资源信息列表的资源，将该资源标记为当前遍历操作的结点的异常数据父结点，
S1-4对于异常数据结点是否等于当前遍历到的结点的父资源信息列表，判断当前树结点列表是否遍历完毕；若遍历完毕检测异常数据父结点信息列表，若未遍历完毕，则将当前异常数据父结点信息列表作为当前树结点的根节点，标记递归构建异常数据业务查询树；将异常数据某一节点上分配的多个异常数据查询请求，重新分配给异常数据某一计算节点并备份，以使得所述某一计算节点和所述备份计算节点中的每一个仅被分配一个子查询；
通过结点树方式进行异常数据的查询过程，起到初步判定异常数据的作用，如果进一步进行数据提取还需要将数据进行深层次挖掘。
所述S2包括：
S2-1，经过查询校验之后，对异常数据划分判断区间，计算异常数据相似度，从而生成判断区间，将异常数据通过比例缩放计算进行标准化处理，异常大量资金转入快速分散转出的交易数据ui的转换值为u′i，异常大量分散资金转入快速集中转出的交易数据vi的转换值为v′i，异常时间点交易数据xi的转换值为x′i、异常相同数额交易数据yi的转换值为y′i、异常超限额交易数据zi的转换值为z′k；
将转换后的交易异常数据与时间和日期变量一起代入判断模型，在统计的任一时间和日期内计算异常数据的判断值：
Figure BDA0002803831400000071
其中，B(t,d)为异常数据在任一时间t和日期d的判断值；f(u′i；t,d)为一个异常大量资金转入快速分散转出的交易数据的时间和日期的判断值；f(v′i；t,d)为一个异常大量分散资金转入快速集中转出的交易数据的时间和日期的判断值；f(x′i；t,d)为一个异常时间点交易数据的时间和日期的判断值；f(y′i；t,d)为一个异常相同数额交易数据的时间和日期的判断值；f(z′i；t,d)为一个异常超限额交易数据的判断值；i最大为60是为了保证一分钟内每一秒的异常数据都进行实时监控判断；
S2-2，计算每一个异常数据在时间和日期上的实际和判断值的差值，通过残差平方和对离散的异常数据进行线性曲线拟合过程，从而对异常数据的风险趋势进行判断，
Figure BDA0002803831400000072
其中，W为每个异常数据的残差平方和；B0(t,d)为每个异常数据在该时间和日期的实际值；B(t,d)为每个异常数据在该时间和日期的判断值；M为统计的时间最大的时刻或者日期的最多天数；
S2-3，然后计算异常数据的偏离度
Figure BDA0002803831400000073
其中，F为计算常数，通过调节系数λ进行调节，由于W增大，故取的计算常数F较大；通过增加异常数据准确获取值Hj，对全部N个异常数据准确获取值累加之后进行特征值e的偏离收敛，β为特征阈值。
所述S3包括：
S3-1，异常数据偏离度分析后，通过先验概率分布在异常数据中进行统计信息计算；计算异常数据先验条件概率分布，设置第一异常数据集合C与第二异常数据集合E的内部属性，其中第一异常数据集合包括ui和vi，第二异常数据集合包括xi、yi和zi，通过定义异常数据的时间类属性G和日期类属性I，在概率分布条件下分别计算条件概率
Figure BDA00028038314000000817
和
Figure BDA00028038314000000818
计算得到：
Figure BDA0002803831400000081
继续推导得到，
Figure BDA0002803831400000082
其中
Figure BDA0002803831400000083
表示第一异常数据集合
Figure BDA0002803831400000084
和时间类属性G和日期类属性I联合概率分布，遍历第一异常数据集合
Figure BDA0002803831400000085
和时间类属性G的全部值得到其条件概率分布
Figure BDA0002803831400000086
以及第一异常数据集合
Figure BDA0002803831400000087
和日期类属性I的全部值得到其条件概率分布
Figure BDA0002803831400000088
时间类属性条件概率Q(G)，日期类属性条件概率Q(I)；
然后计算：
Figure BDA0002803831400000089
继续推导得到，
Figure BDA00028038314000000810
其中
Figure BDA00028038314000000811
表示第二异常数据集合
Figure BDA00028038314000000812
和时间类属性G和日期类属性I联合概率分布，遍历第二异常数据集合
Figure BDA00028038314000000813
和时间类属性G的全部值得到其条件概率分布
Figure BDA00028038314000000814
以及第二异常数据集合
Figure BDA00028038314000000815
和日期类属性I的全部值得到其条件概率分布
Figure BDA00028038314000000816
S3-2，第一异常数据集合C中每个异常数据节点与第二异常数据集合E中美个异常数据节点时间属性和日期属性的条件信息联合概率分布值如下；
Figure BDA0002803831400000091
选取异常数据的类属性J放入大数据平台中；将第一异常数据集合C中和第二异常数据集合E的内部属性以类属性J为父节点，构造朴素贝叶斯网络；
S3-3，将第一异常数据集合C中和第二异常数据集合E中的节点逐个放入贝叶斯网络中；若第一异常数据集合C中
Figure BDA0002803831400000092
则将
Figure BDA0002803831400000093
放入网络作为其父节点；；若第二异常数据集合E中
Figure BDA0002803831400000094
则将
Figure BDA0002803831400000095
放入网络作为其父节点；从而得到用于异常数据等级筛选排序的贝叶斯网络；
S3-4，计算类属性J的概率质量函数
Figure BDA0002803831400000096
得到异常数据中属性值最突出的概率分布；
Figure BDA0002803831400000097
其中
Figure BDA0002803831400000098
表示J关联的所有第一异常数据集合C中和第二异常数据集合E节点的条件概率的乘积；由大数据平台对财务异常数据根据概率分布的情况，向贝叶斯网络中第一异常数据集合C中和第二异常数据集合E的各个属性节点赋值；轮流将异常数据的基本属性代入贝叶斯网络中通过概率质量函数；按照计算数值从大到小的顺序对异常数据排列。
所述S4包括：
S4-1，结合风险度权重计算，对异常大量资金转入快速分散转出的交易数据ui进行计算：
Figure BDA0002803831400000099
其中，Ttotal为总基准时间；pui为异常大量资金转入快速分散转出的交易数据权重的动态变化分量；Vtotal为总基准日期，U为交易数据检测时刻分量；K为交易数据检测日期分量；
S4-2，对异常大量分散资金转入快速集中转出的交易数据vi计算风险度权重，
Figure BDA0002803831400000101
其中，
Figure BDA0002803831400000102
为异常大量分散资金转入快速集中转出的交易数据vi权重的动态变化分量；
S4-3，对异常时间点交易数据xi计算风险度权重，
Figure BDA0002803831400000103
其中，
Figure BDA0002803831400000104
为异常时间点交易数据xi的动态变化分量；
S4-4，对异常相同数额交易数据yi计算风险度权重，
Figure BDA0002803831400000105
其中，
Figure BDA0002803831400000106
为异常相同数额交易数据yi的动态变化分量；
S4-5，对异常超限额交易数据zi计算风险度权重，
Figure BDA0002803831400000107
综合风险判断模型的定义：
Figure BDA0002803831400000108
其中，
Figure BDA0002803831400000109
为异常大量资金转入快速分散转出的交易数据预测值；
Figure BDA00028038314000001010
为异常大量资金转入快速分散转出的交易数据的判断阈值，
Figure BDA00028038314000001011
为异常大量分散资金转入快速集中转出的交易数据预测值；
Figure BDA0002803831400000111
为异常大量分散资金转入快速集中转出的交易数据的判断阈值，
Figure BDA0002803831400000112
为异常时间点交易数据预测值；
Figure BDA0002803831400000113
为异常时间点交易数据的判断阈值，
Figure BDA0002803831400000114
为异常相同数额交易数据预测值；
Figure BDA0002803831400000115
为异常相同数额交易数据的判断阈值，
Figure BDA0002803831400000116
为异常超限额交易数据预测值；
Figure BDA0002803831400000117
为异常超限额交易数据的判断阈值，ε为判断校正系数。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种海量财务数据异常控制提取工作方法，其特征在于，包括：
S1，通过云端数据库获取财务数据，对财务数据中的异常数据进行登录，然后开始初步查询，查询过程中对无效数据进行实时查询校验提取；
其中异常数据进行登录过程为：在云端数据库中调取财务数据，在财务数据中获取异常数据，异常数据提取过程通过初步查询过程进行数据均衡来动态请求云端数据库的财务数据，采用动态配置的方式，设置异常数据的获取阈值，根据不同财务数据的安全控制机制和权限管理要求提取不同的异常数据进行登录操作；
S2，在实时查询校验提取后，设置异常数据的判断区间，在判断区间之中形成标准化数据；
所述S2包括：
S2-1，经过查询校验之后，计算异常数据相似度，从而生成判断区间，将异常数据通过比例缩放计算进行标准化处理，异常大量资金转入快速分散转出的交易数据ui的转换值为u′i，异常大量分散资金转入快速集中转出的交易数据vi的转换值为v′i，异常时间点交易数据xi的转换值为x′i、异常相同数额交易数据yi的转换值为y′i、异常超限额交易数据zi的转换值为z′k；
将转换后的交易异常数据与时间和日期变量一起代入判断模型，在统计的任一时间和日期内计算异常数据的判断值：
Figure FDA0003620761700000011
其中，B(t,d)为异常数据在任一时间t和日期d的判断值；f(u′i；t,d)为一个异常大量资金转入快速分散转出的交易数据的时间和日期的判断值；f(v′i；t,d)为一个异常大量分散资金转入快速集中转出的交易数据的时间和日期的判断值；f(x′i；t,d)为一个异常时间点交易数据的时间和日期的判断值；f(y′i；t,d)为一个异常相同数额交易数据的时间和日期的判断值；f(z′i；t,d)为一个异常超限额交易数据的判断值；i最大为60是为了保证一分钟内每一秒的异常数据都进行实时监控判断。
2.根据权利要求1所述的海量财务数据异常控制提取工作方法，其特征在于，所述S1包括：
S1-2，在初步查询过程中，云端数据库对财务数据认证、功能访问权限信息存储在本地数据库中，进行统一财务数据认证、功能权限控制；对于财务数据对异常数据进行逻辑隔离，存放在独立数据库中；财务数据登录过程中验证用户身份并根据财务数据中异常数据访问权限信息构造该用户有权访问的异常数据集合，通过云端数据库的身份认证过程进行认证访问；如果访问失败，则返回异常数据访问失败信息；如果访问成功，则登录成功；建立用户与系统动态分配的应用服务器实例独立的通道。
3.根据权利要求1所述的海量财务数据异常控制提取工作方法，其特征在于，所述S1还包括：
S1-3，异常数据的访问和使用过程为，在根据多个异常数据，形成异常数据关系节点，查找PaaS平台资源进行转换为树结点，生成异常数据树结点列表，将空的异常数据结点集作为当前结点集，对当前的异常数据树结点集进行遍历操作，从而判断当前遍历操作的结点集的异常数据父资源信息列表是否等于预置的异常数据根结点信息列表，若等于预置的异常数据根结点信息列表，则当前遍历操作的结点集为当前异常数据权限树的根结点，若不等于预置的异常数据根结点信息列表，继续遍历异常数据标识等于当前遍历操作的结点的父资源信息列表的资源，将该资源标记为当前遍历操作的结点的异常数据父结点。
4.根据权利要求1所述的海量财务数据异常控制提取工作方法，其特征在于，所述S1还包括：
S1-4对于异常数据结点是否等于当前遍历到的结点的父资源信息列表，判断当前树结点列表是否遍历完毕；若遍历完毕检测异常数据父结点信息列表，若未遍历完毕，则将当前异常数据父结点信息列表作为当前树结点的根节点，标记递归构建异常数据业务查询树；将异常数据某一节点上分配的多个异常数据查询请求，重新分配给异常数据某一计算节点并备份，以使得所述某一计算节点和所述异常数据节点中的每一个仅被分配一个子查询。
5.根据权利要求1所述的海量财务数据异常控制提取工作方法，其特征在于，所述S2还包括：
S2-2，计算每一个异常数据在时间和日期上的实际和判断值的差值，通过残差平方和对离散的异常数据进行线性曲线拟合过程，从而对异常数据的风险趋势进行判断，
Figure FDA0003620761700000031
其中，W为每个异常数据的残差平方和；B0(t,d)为每个异常数据在该时间和日期的实际值；B(t,d)为每个异常数据在该时间和日期的判断值；M为统计的时间最大的时刻或者日期的最多天数。
6.根据权利要求5所述的海量财务数据异常控制提取工作方法，其特征在于，所述S2还包括：
S2-3，然后计算异常数据的偏离度
Figure FDA0003620761700000032
其中，F为计算常数，通过调节系数λ进行调节，由于W增大，故取的计算常数F较大；通过增加异常数据准确获取值Hj，对全部N个异常数据准确获取值累加之后进行特征值e的偏离收敛，β为特征阈值。
CN202011360671.0A 2020-11-27 2020-11-27 海量财务数据异常控制提取工作方法 Active CN112487053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011360671.0A CN112487053B (zh) 2020-11-27 2020-11-27 海量财务数据异常控制提取工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011360671.0A CN112487053B (zh) 2020-11-27 2020-11-27 海量财务数据异常控制提取工作方法

Publications (2)

Publication Number Publication Date
CN112487053A CN112487053A (zh) 2021-03-12
CN112487053B true CN112487053B (zh) 2022-07-08

Family

ID=74936480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011360671.0A Active CN112487053B (zh) 2020-11-27 2020-11-27 海量财务数据异常控制提取工作方法

Country Status (1)

Country Link
CN (1) CN112487053B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997684A (zh) * 2022-06-16 2022-09-02 上海起策教育科技有限公司 一种财务数据安全管理系统
CN117114911B (zh) * 2023-10-25 2024-01-30 北京中企导航技术服务有限公司 一种财务报表自动统计结算方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984713B (zh) * 2014-05-07 2017-05-31 珠海横琴跨境说网络科技有限公司 一种基于云计算的财务数据查询方法
CN103984600B (zh) * 2014-05-07 2017-06-06 福建今日特价网络有限公司 一种基于云计算的财务数据处理方法
CN108229902A (zh) * 2016-12-14 2018-06-29 中山市得高行知识产权中心（有限合伙） 一种基于智能云台服务的财务档案信息录入系统
US9942117B1 (en) * 2017-01-24 2018-04-10 Adobe Systems Incorporated Metric anomaly detection in a digital medium environment
CN107609081A (zh) * 2017-08-29 2018-01-19 河南职业技术学院 一种财务资料审计管理系统
CN108122114A (zh) * 2017-12-25 2018-06-05 同济大学 针对异常重复交易欺诈检测方法、系统、介质及设备
CN108537544B (zh) * 2018-04-04 2020-06-23 中南大学 一种交易系统实时监控方法及其监控系统
CN108595667B (zh) * 2018-04-28 2020-06-09 广东电网有限责任公司 一种网络异常数据的关联性分析方法
US11132697B2 (en) * 2018-06-15 2021-09-28 Wells Fargo Bank, N.A. Risk detection of false customer information
CN109559218A (zh) * 2018-11-07 2019-04-02 北京先进数通信息技术股份公司 一种异常交易的确定方法、装置及存储介质
CN110334535A (zh) * 2019-04-28 2019-10-15 中航凯迪恩机场工程有限公司 一种财务管理控制系统
CN110276620A (zh) * 2019-06-28 2019-09-24 深圳前海微众银行股份有限公司 一种确定异常交易的方法及装置
CN110490720A (zh) * 2019-07-08 2019-11-22 深圳壹账通智能科技有限公司 财务数据分析预警方法、装置、计算机设备和存储介质
CN110458678B (zh) * 2019-08-08 2022-06-07 潍坊工程职业学院 一种基于hadoop校验的财务数据校验方法和系统
CN110516953A (zh) * 2019-08-22 2019-11-29 合肥深度财务管理咨询有限公司 一种基于云平台的企业财务收支分析系统
CN111612040B (zh) * 2020-04-24 2024-04-30 平安直通咨询有限公司上海分公司 基于孤立森林算法的财务数据异常检测方法及相关装置
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN111882415A (zh) * 2020-07-24 2020-11-03 未鲲(上海)科技服务有限公司 一种质量检测模型的训练方法和相关装置
CN111626860B (zh) * 2020-07-24 2020-11-20 成都寻道数财科技有限公司 结合历史和实时财务数据判断高频交易的系统及方法

Also Published As

Publication number Publication date
CN112487053A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112445844B (zh) 大数据平台财务数据管理控制系统
WO2021184630A1 (zh) 基于知识图谱定位排污对象的方法及相关设备
CN111737101B (zh) 基于大数据的用户行为监测方法、装置、设备及介质
US11842301B1 (en) Methods for monitoring distributed energy storage safety and internet of things systems thereof
CN111815132A (zh) 一种电力监控系统网络安全管理信息发布方法及系统
CN112487053B (zh) 海量财务数据异常控制提取工作方法
AU2022204116A1 (en) Verification method for electrical grid measurement data
CN108074022A (zh) 一种基于集中运维的硬件资源分析与评估方法
CN115409395B (zh) 一种水利施工工程的质量验收检查方法及系统
CN112016828A (zh) 基于流式大数据的工业设备健康管理云平台架构
CN117172556B (zh) 一种桥梁工程的施工风险预警方法与系统
Välja et al. A requirements based approach for automating enterprise it architecture modeling using multiple data sources
US11422992B2 (en) Auto reinforced anomaly detection
Ishankhodjayev et al. Optimization of information processes of multilevel intelligent systems
CN110011990A (zh) 内网安全威胁智能分析方法
CN109241190A (zh) 电力大数据混合计算架构
CN112966162A (zh) 一种基于数据仓库与中间件的科技资源集成方法及装置
CN112463853B (zh) 通过云平台进行财务数据行为筛选工作方法
Al-Zou’bi et al. Systematic statistical approach to populate missing performance data in pavement management systems
CN109446278A (zh) 一种基于区块链的大数据管理平台系统
Zhao et al. Hadoop-based power grid data quality verification and monitoring method
CN112288317A (zh) 一种基于多源异构数据治理的工业大数据分析平台和方法
Feijoo-Martinez et al. Event analysis on power communication networks with big data for maintenance forms
KR102352658B1 (ko) 건설 사업 정보 관리 시스템 및 이의 제어 방법
WO2021143463A1 (zh) 数据清洗方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240319

Address after: Room 1302, Building E, Zhongchu Plaza, No. 198 Zhonghua North Street, Dongjiao Street, Xinhua District, Shijiazhuang City, Hebei Province, 050000

Patentee after: Caishu (Shijiazhuang) Network Technology Co.,Ltd.

Country or region after: Zhong Guo

Address before: 401331 No. 82 Middle Road, University Town, Shapingba District, Chongqing

Patentee before: CHONGQING MEDICAL AND PHARMACEUTICAL College

Country or region before: Zhong Guo

TR01 Transfer of patent right