CN105631047A - 一种分层级联的数据处理方法及系统 - Google Patents

一种分层级联的数据处理方法及系统 Download PDF

Info

Publication number
CN105631047A
CN105631047A CN201610089698.8A CN201610089698A CN105631047A CN 105631047 A CN105631047 A CN 105631047A CN 201610089698 A CN201610089698 A CN 201610089698A CN 105631047 A CN105631047 A CN 105631047A
Authority
CN
China
Prior art keywords
relation
model
entity
basic data
high level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610089698.8A
Other languages
English (en)
Inventor
陈俊清
黄克捷
沈晓敏
徐琳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201610089698.8A priority Critical patent/CN105631047A/zh
Publication of CN105631047A publication Critical patent/CN105631047A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities

Abstract

本发明提供了一种分层级联的数据处理方法及系统。所述方法包括：接收来自不同应用的源数据，并对源数据进行处理，生成基础数据-属性关系表；获取预存的特征-属性关系，并根据基础数据-属性关系表以及基础数据中的实体字段，生成实体-特征关系表并进行存储；获取预存的模型-特征关系，并根据实体-特征关系表，生成实体-模型关系表并进行存储；获取预存的高级模型-模型关系，并根据实体-模型关系表，生成实体-高级模型关系表并进行存储；查找实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据。

Description

一种分层级联的数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种分层级联的数据处理方法及系统。
背景技术
近年来，随着中国金融市场的持续拓展，各类金融产品应运而生，给金融风险控制带来了巨大挑战。金融企业为了加强金融风险的监管，对反洗钱、业务运营风险、信用卡风险等多个风险发生领域进行严密监控。然而，各领域之间的关系十分复杂并且多变，为了使风险监控能够实现全领域覆盖，整个风险监控的体系就变得非常庞大，而且逻辑结构复杂；此外，涉及监控的数据量呈指数级增长，导致批量处理数据时间越来越长，并且数据所占用的存储空间也越来越多。
一般地，金融企业根据具体的金融风险需求，设计各种监控模型来实现对数据的监控处理。如图1所示，传统的模型监控处理方法是先接收所有的源数据，然后直接对每个监控模型进行独立计算，并将计算结果分别存储到临时结果表；基于临时结果表中的数据作统一处理，获取命中模型的目标数据，以及所监控的实体与模型之间的关系集。
在上述处理方式中，各个模型的临时结果表占用了大量的存储空间，而且CPU需耗费大量I/O时间去访问这些结果表中的数据；此外，各个模型之间即便有公共的特征计算，也是多次重复处理。因而，现有基于传统的模型监控处理方法难于满足时效性与灵活性，存在以下几个方面的不足：
(1)每个模型都是独立进行计算，没有对模型中的公共特征计算结果进行共享，引发数据重复计算，造成系统资源的浪费，并使得系统处理效率不高；
(2)特征与模型、模型与高级模型之间的关系缺乏灵活的配置，不利于模型的调整和优化，无法做到快速响应风险的变化。
发明内容
本发明的目的是为了解决传统监控模型中处理效率低，数据重复处理，冗余存储以及信息不共享，扩展性差的问题，提出了一种分层级联的数据处理方法及系统。
为了达到上述目的，本发明实施例提供一种分层级联的数据处理方法，包括：接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据。
进一步地，在一实施例中，所述接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表，包括：采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
进一步地，在一实施例中，获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储，包括：获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关系；接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，生成实体-特征关系表并进行存储。
进一步地，在一实施例中，获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储，包括：获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
进一步地，在一实施例中，获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储，包括：获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行存储。
进一步地，在一实施例中，查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体，包括：查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；所述实体-模型关系表中数值为1的，即为符合模型标准的实体；所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
进一步地，在一实施例中，根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据，包括：对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据；对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
为了达到上述目的，本发明实施例还提供一种分层级联的数据处理系统，包括：基础数据预处理装置，用于接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；特征层处理装置，用于获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；模型层处理装置，用于获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；高级模型层处理装置，用于获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；目标数据获取装置，用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；以及根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据；数据存储装置，用于存储所述基础数据-属性关系表、特征-属性关系表、模型-特征关系表、高级模型-模型关系表、实体-特征关系表、实体-模型关系表以及实体-高级模型关系表。
进一步地，在一实施例中，所述基础数据预处理装置包括：基础数据采集单元，用于采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；基础数据分类单元，用于将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；基础数据标识单元，用于将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
进一步地，在一实施例中，所述特征层处理装置包括：特征逻辑计算单元，用于获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关系；实体-特征矩阵构建单元，用于接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，生成实体-特征关系表并进行存储。
进一步地，在一实施例中，所述模型层处理装置包括：模型逻辑计算单元，用于获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；实体-模型矩阵构建单元，用于接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
进一步地，在一实施例中，所述高级模型层处理装置包括：高级模型逻辑计算单元，用于获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；实体-高级模型矩阵构建单元，用于接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行存储。
进一步地，在一实施例中，所述目标数据获取装置包括：特征目标数据获取单元，用于对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据；模型目标数据获取单元，用于对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；高级模型数据获取单元，用于对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
进一步地，在一实施例中，所述目标数据获取装置还用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；所述实体-模型关系表中数值为1的，即为符合模型标准的实体；所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
本发明实施例的分层级联的数据处理方法及系统，可以实现统一管理特征、模型和高级模型，充分共享信息，实现特征、模型与高级模型之间的关系矩阵构建、计算和存储，根据该关系矩阵能够迅速查询到目标数据，无需单独保留命中每个模型的目标数据，节省了存储空间和CPU处理时间，保证了数据处理的时效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为传统的模型监控处理方法的流程示意图；
图2为本发明实施例提供的一种分层级联的数据处理系统的结构示意图；
图3为本发明实施例的基础数据预处理装置1的结构示意图；
图4为本发明实施例的特征层处理装置2的结构示意图；
图5为本发明实施例的模型层处理装置3的结构示意图；
图6为本发明实施例的高级模型层处理装置4的结构示意图；
图7为本发明实施例的目标数据获取装置5的结构示意图；
图8为本发明实施例的数据存储装置6的结构示意图；
图9为本发明实施例的分层级联的数据处理方法的方法流程图；
图10本发明一具体实施例的分层级联的数据处理方法的方法流程图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在本发明中，需要理解的是，所涉及的术语如下：
实体——指的是监控对象，例如：客户、账号、卡号；
基础数据——指的是反映所有实体行为或状态的数据集，用于最终获取符合监控要求的目标数据；
属性——指的是实体可识别的一种行为或状态。例如：按交易渠道划分的柜面交易、网银交易；按实体特征区分的新开户客户，高风险客户；
特征——指的是单一的原子型判断规则，针对同一时间序列的源数据进行计算，例如：10日内同一客户的网银交易超过10万；
模型——指的是符合不同特征的判断规则，针对同一时间序列上的特征进行计算，例如：20日内同一客户同时满足特征A和特征B；
高级模型——指的是符合不同模型特征的判断规则，针对同一时间序列上的模型进行计算，例如：20日内同一客户同时满足模型A和模型B；
关系矩阵——二维关系的表现形式，若两个层级间的元素有关联，则对应的数值为1；若无关联，则对应的数值为0；
关系表——二维关系在存储器中表现为关系表形式，在本发明中，关系表与关系的表述可以认为是相同的。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
本发明提供了一种分层级联的数据处理方法及系统，主要针对监控模型的复杂体系在结构逻辑上进行分层为：高级模型-模型-特征的层次结构；它先将高级模型分解为多个模型之间的组合关系，又将每个模型进一步分解为多个特征的组合关系。若模型之间存在公共的特征计算，则可以共享计算结果，避免数据重复计算；同样地，若高级模型之间存在公共的模型计算，那么也可以直接共享计算结果，这样大大提高了系统资源的利用率和处理效率。此外，高级模型-模型-特征的各层次之间关系分别表示为关系矩阵；若需调整和优化模型体系，只需配置特征与模型、模型与高级模型之间的关系矩阵，从而快速构建出新的监控模型，以响应风险的快速变化；同时，通过关系矩阵之间的运算，可直接获取到非相邻层级之间的关系，从而找到符合各层级相应的目标数据。
图2为本发明实施例提供的一种分层级联的数据处理系统的结构示意图。如图2所示，本实施例的数据处理系统包括：基础数据预处理装置1、特征层处理装置2、模型层处理装置3、高级模型层处理装置4、目标数据获取装置5和数据存储装置6。
其中，基础数据预处理装置1，用于接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；
特征层处理装置2，用于获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；
模型层处理装置3，用于获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；
高级模型层处理装置4，用于获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；
目标数据获取装置5，用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；以及根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据；
数据存储装置6，用于存储所述基础数据-属性关系表、特征-属性关系表、模型-特征关系表、高级模型-模型关系表、实体-特征关系表、实体-模型关系表以及实体-高级模型关系表。
基础数据预处理装置1负责接收源系统的各种数据，对这些不同格式的数据作统一格式的处理，从数据存储装置6读取属性分类参数表(例如表1)，按照属性筛选条件对每条数据进行分类。同时为每条数据增加属性列字段(例如表2)，采用布尔变量的方式，为每条数据标记属性值。若符合某个属性的筛选条件，则该属性列的数据值为1，否则为0。处理完成后，将数据存储在数据存储装置6，同时传送给特征层处理装置2。
表1属性分类参数表
属性 属性描述 筛选条件
属性1 柜面交易 交易渠道字段＝001
属性2 ATM现金交易 交易渠道字段＝002and现金转账标志＝1
…
属性m 新开户 开户日期<20130801
表2基础数据与属性关系表
基础数据 属性1 属性2 .... 属性m
基础数据1 1 0 1
基础数据2 0 1 1
…
基础数据n 1 0 0
特征层处理装置2负责接收基础数据预处理装置1传送来的预处理后的基础数据，获取到了基础数据与属性关系(例如表2)，并读取数据存储装置6的特征与属性关系(该关系是定义特征与属性之间的关联关系)，将这两个关系作关系矩阵运算，获得基础数据与特征关系(例如表3)，再将这些数据按照基础数据中的实体字段进行归集(一般地，基础数据中包含了实体字段，例如，帐号)，最终得到了实体与特征的关系(其结构如表4所示)，将它存储在数据存储装置6，并传送给模型层处理装置3。
表3基础数据与特征关系表
表4实体与特征关系表
实体 特征1 特征2 … 特征m
实体1 1 1 0
实体2 0 0 0
…
实体k 0 0 1
在本发明中，各层级的元素之间的关联关系使用关系矩阵来表示。例如，若将基础数据、特征分别看作两个不同的层次，那么上述的基础数据与特征关系可表示为基础数据-特征关系矩阵。一般性，假设第i层有n个元素：Xi＝{x1,x2,…,xn}，第i+1层有m个元素：Yi+1＝{y1,y2,…,ym}，那么第i层与第i+1层之间的元素关系可表示为关系矩阵：
R i , i + 1 = r 11 r 12 ... r 1 m r 21 r 22 ... r 2 m . . . . . . . . . . . . r n 1 r n 2 ... r n m ;
在该矩阵中，假设元素x1与y2之间有关联，那么r12为1，否则为0。
而对于非相邻层级之间的元素关系，可以通过关系矩阵的运算而获得。假设需要获取第i层与第i+2层之间的元素关系，可通过关系矩阵运算，获得Ri,i+2＝Ri,i+1οRi+1,i+2；那么对于任意的第i层与第j层之间的元素关系，其计算表达式为Ri,j＝Ri,i+1οRi+1,i+2ο…οRj-1,j。例如，基础数据-特征关系矩阵就是通过基础数据-属性关系矩阵和特征-属性关系矩阵的运算而获得。
在本实施例中，“ο”是合成运算符号，合成运算是对关系的二元运算，它能够由两个关系生成一个新的关系，并可以以此类推。例如，如果R1是关系“是…的兄弟”，R2是关系“是…的祖父”，那么R1οR2是关系“是…的叔伯”。
在本发明实施例中，R1表示基础数据-属性关系矩阵，也就是所有的基础数据与各个不同属性之间的关系：如果某一条基础数据与某个属性有相关性，那么在基础数据-属性关系矩阵的对应位置上为1；否则为0；R2表示属性-特征关系矩阵，也就是所有的属性与各个不同特征之间的关系：如果某一个属性与某个特征有相关性，那么在属性-特征关系矩阵的对应位置上为1；否则为0；R1οR2表示基础数据-特征关系矩阵；就是通过基础数据-属性关系矩阵和属性-特征关系矩阵的合成运算而获得。
模型层处理装置3负责接收特征层处理装置2传送来的实体与特征关系，并读取数据存储装置6的模型与特征关系，通过对这两个关系的运算，获得实体与模型关系(如表5所示)，将它保存在数据存储装置6，并传送给高级模型层处理装置4。
表5实体与模型关系表
实体 模型1 模型2 … 模型p
实体1 0 1 0
实体2 0 0 0
…
实体k 0 0 1
高级模型层处理装置4负责接收模型层处理装置3传送来的实体与模型关系，并读取数据存储装置6的高级模型与模型关系，通过对这两个关系作关系矩阵运算，获得实体与高级模型关系(如表6所示)，将它保存在数据存储装置6，并传送给目标数据获取装置5。
表6实体与高级模型关系表
实体 高级模型1 高级模型2 … 高级模型q
实体1 0 0 0
实体2 0 0 0
…
实体k 0 0 1
目标数据获取装置5负责获取命中特征、模型、高级模型各个标准的所有实体以及相关的基础数据，并显示这些数据信息。
目标数据获取装置5接收从高级模型层处理装置4传送的实体与高级模型关系，访问数据存储装置6，获取实体与模型关系、实体与特征关系，对于这三个关系中的数值为1，即为分别符合特征、模型、高级模型各个标准的实体，并显示该数据；目标数据获取装置5访问数据存储装置6，获取高级模型与模型关系、模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这四个关系作关系矩阵运算，得到高级模型与基础数据关系，对于该关系中数值为1，即为符合高级模型标准的基础数据；目标数据获取装置5访问数据存储装置6，获取模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这三个关系作关系矩阵运算，得到模型与基础数据关系，对于该关系中数值为1，即为符合模型标准的基础数据；目标数据获取装置5访问数据存储装置6，获取特征与属性关系、基础数据(即，基础数据与属性关系)，对这两个关系作关系矩阵运算，得到特征与基础数据关系，对于该关系中数值为1，即为符合特征标准的基础数据。
数据存储装置6与基础数据预处理装置1、特征层处理装置2、模型层处理装置3、高级模型层处理装置4、目标数据获取装置5相连接，该装置存储从基础数据预处理装置1传送来的存储基础数据(包含基础数据与属性关系)、从特征层处理装置2传送来的实体与特征关系、从模型层处理装置3传送来的实体与模型关系、从高级模型层处理装置4传送来的实体与高级模型关系，还存储了特征与属性关系、模型与特征关系、高级模型与模型关系；该装置将这些关系提供给目标数据获取装置5。
图3为本发明实施例的基础数据预处理装置1的结构示意图，该装置包括基础数据采集单元101、基础数据分类单元102和基础数据标识单元103。
基础数据采集单元101与基础数据分类单元102相连接，该单元的功能是负责采集各上游应用系统中与监控模型相关的不同格式的数据，并对这些数据作统一格式处理；
基础数据分类单元102与基础数据标识单元103相连接，该单元的功能是将基础数据采集单元101处理后的数据增加各个属性字段，并按照实体的属性进行分类；
基础数据标识单元103的功能是接收到基础数据分类单元102分类后的数据，并按不同类别进行属性标识，如果符合某个属性，则标识为1，否则为0，最终构建出基础数据与属性关系(如表1所示)，并将该关系传送给特征处理层装置2以及存储在数据存储装置6。
图4是特征层处理装置2的结构示意图，该装置包括特征逻辑计算单元201和实体-特征构建单元202。
特征逻辑计算单元201与实体-特征构建单元202相连接，该单元的功能是接收基础数据预处理装置1的基础数据与属性关系，访问数据存储装置6，获取特征与属性关系，将这两个关系进行关系矩阵运算，得到基础数据与特征关系；
实体-特征矩阵构建单元202的功能是接收基础数据与特征关系，并以该基础数据中的实体字段(例如，信用卡交易数据中一般有卡号字段)为条件进行归集，得到实体与特征关系，并将该关系传送给模型处理层装置3以及存储在数据存储装置6。
图5是模型层处理装置3的结构示意图，该装置包括模型逻辑计算单元301和实体-模型矩阵构建单元302。
模型逻辑计算单元301与实体-模型矩阵构建单元302相连接，该单元的功能是用于获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；
实体-模型矩阵构建单元302的功能是接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表，并将该关系传送给高级模型处理层装置4以及存储在数据存储装置6。
图6是高级模型层处理装置4的结构示意图，该装置包括高级模型逻辑计算单元401和实体-高级模型矩阵构建单元402。
高级模型逻辑计算单元401与实体-高级模型矩阵构建单元402相连接，该单元的功能是用于获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；
实体-模型矩阵构建单元402的功能是接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表，并将该关系存储在数据存储装置6。
图7是目标数据获取装置5的结构示意图，该装置包括特征目标数据获取单元501、模型目标数据获取单元502和高级模型目标数据获取单元503。
特征目标数据获取单元501访问数据存储装置6，获取特征与属性关系、基础数据(即，基础数据与属性关系)，对这两个关系作关系矩阵运算，得到特征与基础数据关系，对于该关系中数值为1，即为符合特征标准的基础数据。
模型目标数据获取单元502访问数据存储装置6，获取模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这三个关系作关系矩阵运算，得到模型与基础数据关系，对于该关系中数值为1，即为符合模型标准的基础数据。
高级模型目标数据获取单元503访问数据存储装置6，获取高级模型与模型关系、模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这四个关系作关系矩阵运算，得到高级模型与基础数据关系，对于该关系中数值为1，即为符合高级模型标准的基础数据。
所述目标数据获取装置5还用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表。其中，所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；所述实体-模型关系表中数值为1的，即为符合模型标准的实体；所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
图8是数据存储装置6的结构示意图，该装置包括基础数据存储单元601、实体-特征矩阵存储单元602、实体-模型矩阵存储单元603、实体-高级模型矩阵存储单元604、特征-属性矩阵存储单元605、模型-特征矩阵存储单元606、高级模型-模型矩阵存储单元607。
基础数据存储单元601存储基础数据预处理装置1所处理的基础数据(包含基础数据与属性关系)，并为目标数据获取装置5提供数据。
实体-特征矩阵存储单元602存储特征处理层装置2所处理的实体与特征关系，为目标数据获取装置5提供该关系。
实体-模型矩阵存储单元603存储模型处理层装置3所处理的实体与模型关系，为目标数据获取装置5提供该关系。
实体-高级模型矩阵存储单元604存储高级模型处理层装置4所处理的实体与高级模型关系，为目标数据获取装置5提供该关系。
特征-属性矩阵存储单元605为特征处理层装置2和目标数据获取装置5提供特征与属性关系。
模型-特征矩阵存储单元606为模型处理层装置3和目标数据获取装置5提供模型与特征关系。
高级模型-模型矩阵存储单元607为高级模型处理层装置4和目标数据获取装置5提供高级模型与模型关系。
在本发明中，所涉及到的关系矩阵的定义及其运算，如下表7所示：
表7
图9为本发明实施例的分层级联的数据处理方法的方法流程图。如图9所示，本实施例的数据处理方法包括：
步骤S101，接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；
步骤S102，获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；
步骤S103，获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；
步骤S104，获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；
步骤S105，查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；
步骤S106，根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据。
在所述步骤S101中，所述接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表，包括：采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
在所述步骤S102中，获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储，包括：获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关系；接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，生成实体-特征关系表并进行存储。
在所述步骤S103中，获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储，包括：获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
在所述步骤S104中，获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储，包括：获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行存储。
在所述步骤S105中，查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体，包括：查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；所述实体-模型关系表中数值为1的，即为符合模型标准的实体；所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
在所述步骤S106中，根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据，包括：对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据；对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
图10本发明一具体实施例的分层级联的数据处理方法的方法流程图。如图10所示，本实施例的数据处理方法包括：
步骤S1：基础数据预处理装置1的基础数据接收单元101接收来自上游不同应用系统的源数据，并对这些数据进行统一格式化处理后存放于基础数据表；
步骤S2：基础数据分类单元102对基础数据增加了属性字段，并按照实体的属性进行分类；基础数据标识单元103将分类后的数据按不同类别进行属性标识，如果符合某个属性，则标识为1，否则为0，最终构建出基础数据与属性关系，并将该关系传送给特征处理层装置2的特征逻辑计算单元201以及存储在数据存储装置6的基础数据存储单元601。
步骤S3：特征层处理装置2接收基础数据预处理装置1传送的基础数据与属性关系，访问数据存储装置6的特征-属性存储单元605，获得特征与属性关系，特征逻辑计算单元201按特征与属性关系，对基础数据按对应属性筛选后，再按实体字段(例如：客户号字段)进行归集计算，符合特征标准的标识1，否则为0，得到实体与单一特征之间的关系；实体-特征矩阵构建单元202以实体与单一特征之间的关系为基数，按实体进行归集，得到实体与特征关系，并将该关系传送给模型处理层装置3以及存储在数据存储装置6的实体-特征矩阵存储单元602。
步骤S4：模型层处理装置3接收特征层处理装置2传送的实体与特征关系，访问数据存储装置6的模型-特征矩阵配置单元603，获得模型与特征关系，对这两个关系进行关系矩阵运算，得到实体与模型关系，并将该关系传送给高级模型处理层装置4以及存储在数据存储装置6的实体-模型矩阵存储单元603。
步骤S5：高级模型层处理装置4接收模型层处理装置3传送的实体与模型关系，访问数据存储装置6的高级模型-模型矩阵配置单元604，获得高级模型与模型关系，对这两个关系进行关系矩阵运算，得到实体与高级模型关系，并将该关系传送给目标数据获取装置5以及存储在数据存储装置6的实体-高级模型矩阵存储单元604。
步骤S6：目标数据获取装置5接收高级模型层处理装置4的实体与高级模型关系，访问数据存储装置6的实体-特征矩阵存储单元602，获得实体与特征关系，访问数据存储装置6的实体-模型矩阵存储单元603，获得实体与模型关系，查找这三个关系中的数值为1，那么就获取到符合特征、模型、高级模型各个标准的实体。
步骤S7：目标数据获取装置5访问数据存储装置6的高级模型-模型矩阵存储单元607、模型-特征矩阵存储单元606、特征-属性矩阵存储单元605、基础数据存储单元601，分别获取高级模型与模型关系、模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这四个关系作关系矩阵运算，得到高级模型与基础数据关系，查找该关系中数值为1，即为符合高级模型标准的基础数据；
步骤S8：目标数据获取装置5访问数据存储装置6的模型-特征矩阵存储单元606、特征-属性矩阵存储单元605、基础数据存储单元601，分别获取模型与特征关系、特征与属性关系、基础数据(即，基础数据与属性关系)，对这三个关系作关系矩阵运算，得到模型与基础数据关系，查找该关系中数值为1，即为符合模型标准的基础数据；
步骤S9：目标数据获取装置5访问数据存储装置6的特征-属性矩阵存储单元605、基础数据存储单元601，分别获取特征与属性关系、基础数据(即，基础数据与属性关系)，对这两个关系作关系矩阵运算，得到特征与基础数据关系，查找该关系中数值为1，即为符合特征标准的基础数据。
步骤S10：展示出所获得的目标数据。
与传统的模型监控数据技术相比，本发明基于分层级联的模型监控数据处理方法，具有以下优势：
(1)支持部署逻辑复杂的监控模型，本发明通过分层技术，使得模型的逻辑清晰；而且分层的结构易于逻辑扩展，例如，在本发明中的高级模型层处理装置，可以应付未来复杂的风险场景；
(2)将模型进行逻辑拆分，可以共享公共特征的计算，避免重复处理，提高了数据处理效率；
(3)各个特征之间逻辑计算是独立的，可以采用并发处理方式，使得CPU执行时间与特征的个数无关，从而进一步提高执行效率；
(4)如果需要增加新的特征，只需在数据存储装置的特征-属性矩阵存储单元中增加；对于模型和高级模型也同样可以实现灵活配置。
表8给出了传统处理与分层级联处理方法之间的效果比较，从表8中可以看出，分层级联处理方法在临时存储空间上和数据处理时间上都具有明显的优势。
表8传统处理与分层级联处理方法之间的比较
综上所述，本发明实施例的分层级联的数据处理方法及系统，可以实现统一管理特征、模型和高级模型，充分共享信息，实现特征、模型与高级模型之间的关系矩阵构建、计算和存储，根据该关系矩阵能够迅速查询到目标数据，无需单独保留命中每个模型的目标数据，节省了存储空间和CPU处理时间，保证了数据处理的时效性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种分层级联的数据处理方法，其特征在于，所述方法包括：
接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；
获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；
获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；
获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；
查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；
根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表，包括：
采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；
将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；
将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
3.根据权利要求2所述的数据处理方法，其特征在于，获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储，包括：
获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关系；
接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，生成实体-特征关系表并进行存储。
4.根据权利要求3所述的数据处理方法，其特征在于，获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储，包括：
获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；
接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
5.根据权利要求4所述的数据处理方法，其特征在于，获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储，包括：
获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；
接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行存储。
6.根据权利要求5所述的数据处理方法，其特征在于，查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体，包括：
查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，
所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；
所述实体-模型关系表中数值为1的，即为符合模型标准的实体；
所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
7.根据权利要求5所述的数据处理方法，其特征在于，根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据，包括：
对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据；
对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；
对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
8.一种分层级联的数据处理系统，其特征在于，所述系统包括：
基础数据预处理装置，用于接收来自不同应用的源数据，并对所述源数据进行处理，生成基础数据-属性关系表并进行存储；
特征层处理装置，用于获取预存的特征-属性关系，并根据所述基础数据-属性关系表以及所述基础数据中的实体字段，生成实体-特征关系表并进行存储；
模型层处理装置，用于获取预存的模型-特征关系，并根据所述实体-特征关系表，生成实体-模型关系表并进行存储；
高级模型层处理装置，用于获取预存的高级模型-模型关系，并根据所述实体-模型关系表，生成实体-高级模型关系表并进行存储；
目标数据获取装置，用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表，分别得到符合高级模型标准、模型标准、特征标准的实体；以及根据所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系，通过关系矩阵计算，得到符合高级模型标准、模型标准、特征标准的基础数据；
数据存储装置，用于存储所述基础数据-属性关系表、特征-属性关系表、模型-特征关系表、高级模型-模型关系表、实体-特征关系表、实体-模型关系表以及实体-高级模型关系表。
9.根据权利要求8所述的数据处理系统，其特征在于，所述基础数据预处理装置包括：
基础数据采集单元，用于采集来自不同应用的不同格式的源数据，对所述源数据进行统一格式的处理；
基础数据分类单元，用于将进行格式处理后的数据增加各个属性字段，按照实体的属性进行分类；
基础数据标识单元，用于将分类后的数据按照不同类型进行属性标识，构建所述基础数据-属性关系表。
10.根据权利要求9所述的数据处理系统，其特征在于，所述特征层处理装置包括：
特征逻辑计算单元，用于获取预存的特征-属性关系，与所述基础数据-属性关系进行关系矩阵运算，得到基础数据-特征关系；
实体-特征矩阵构建单元，用于接收所述基础数据-特征关系，以所述基础数据中的实体字段为条件进行归集，生成实体-特征关系表并进行存储。
11.根据权利要求10所述的数据处理系统，其特征在于，所述模型层处理装置包括：
模型逻辑计算单元，用于获取预存的模型-特征关系，与所述基础数据-特征关系进行关系矩阵运算，得到基础数据-模型关系；
实体-模型矩阵构建单元，用于接收所述基础数据-模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-模型关系表并进行存储。
12.根据权利要求11所述的数据处理系统，其特征在于，所述高级模型层处理装置包括：
高级模型逻辑计算单元，用于获取预存的高级模型-模型关系，与所述基础数据-模型关系进行关系矩阵运算，得到基础数据-高级模型关系；
实体-高级模型矩阵构建单元，用于接收所述基础数据-高级模型关系，以所述基础数据中的实体字段为条件进行归集，生成实体-高级模型关系表并进行存储。
13.根据权利要求12所述的数据处理系统，其特征在于，所述目标数据获取装置包括：
特征目标数据获取单元，用于对所述基础数据-属性关系、特征-属性关系进行关系矩阵运算，得到特征-基础数据关系，该关系中数值为1的，即为符合特征标准的基础数据；
模型目标数据获取单元，用于对所述基础数据-属性关系表、特征-属性关系、模型-特征关系进行关系矩阵运算，得到模型-基础数据关系，该关系中数值为1的，即为符合模型标准的基础数据；
高级模型数据获取单元，用于对所述基础数据-属性关系表、特征-属性关系、模型-特征关系以及高级模型-模型关系进行关系矩阵运算，得到高级模型-基础数据关系，该关系中数值为1的，即为符合高级模型标准的基础数据。
14.根据权利要求12所述的数据处理系统，其特征在于，所述目标数据获取装置还用于查找所述实体-高级模型关系表、实体-模型关系表、实体-特征关系表；其中，
所述实体-高级模型关系表中数值为1的，即为符合高级模型标准的实体；
所述实体-模型关系表中数值为1的，即为符合模型标准的实体；
所述实体-特征关系表中数值为1的，即为符合特征标准的实体。
CN201610089698.8A 2016-02-17 2016-02-17 一种分层级联的数据处理方法及系统 Pending CN105631047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610089698.8A CN105631047A (zh) 2016-02-17 2016-02-17 一种分层级联的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610089698.8A CN105631047A (zh) 2016-02-17 2016-02-17 一种分层级联的数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN105631047A true CN105631047A (zh) 2016-06-01

Family

ID=56045979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610089698.8A Pending CN105631047A (zh) 2016-02-17 2016-02-17 一种分层级联的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN105631047A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544992A (zh) * 2016-06-27 2018-01-05 阿里巴巴集团控股有限公司 数据分析的方法和装置
CN109002544A (zh) * 2018-07-25 2018-12-14 北京金堤科技有限公司 一种数据处理方法、装置和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022305A2 (en) * 1999-09-23 2001-03-29 Sungard Software, Inc. A financial risk and exposure management system
CN102521412B (zh) * 2011-12-28 2013-04-24 用友软件股份有限公司 数据关联装置和数据关联方法
CN104268173A (zh) * 2014-09-15 2015-01-07 中国工商银行股份有限公司 集中式数据监控方法、装置及系统
CN104732344A (zh) * 2015-03-18 2015-06-24 浪潮通信信息系统有限公司 一种资源数据核查系统及方法
CN105045869A (zh) * 2015-07-14 2015-11-11 国家信息中心 基于多数据中心的自然资源地理空间数据组织方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022305A2 (en) * 1999-09-23 2001-03-29 Sungard Software, Inc. A financial risk and exposure management system
CN102521412B (zh) * 2011-12-28 2013-04-24 用友软件股份有限公司 数据关联装置和数据关联方法
CN104268173A (zh) * 2014-09-15 2015-01-07 中国工商银行股份有限公司 集中式数据监控方法、装置及系统
CN104732344A (zh) * 2015-03-18 2015-06-24 浪潮通信信息系统有限公司 一种资源数据核查系统及方法
CN105045869A (zh) * 2015-07-14 2015-11-11 国家信息中心 基于多数据中心的自然资源地理空间数据组织方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于筑国: "《离散数学》", 30 June 2011 *
汤国安等: "《地理信息系统教程》", 30 April 2007 *
钱雪忠等: "《数据库原理及应用》", 30 April 2015 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544992A (zh) * 2016-06-27 2018-01-05 阿里巴巴集团控股有限公司 数据分析的方法和装置
CN109002544A (zh) * 2018-07-25 2018-12-14 北京金堤科技有限公司 一种数据处理方法、装置和计算机可读介质
CN109002544B (zh) * 2018-07-25 2020-11-06 北京金堤科技有限公司 一种数据处理方法、装置和计算机可读介质

Similar Documents

Publication Publication Date Title
CN103748579B (zh) 在映射化简框架中处理数据
US10452625B2 (en) Data lineage analysis
CN104112026B (zh) 一种短信文本分类方法及系统
CN106897322A (zh) 一种数据库和文件系统的访问方法和装置
CN106663037A (zh) 特征处理权衡管理
CN106575246A (zh) 机器学习服务
He et al. Parallel implementation of classification algorithms based on MapReduce
CN101799808A (zh) 一种数据处理方法及其系统
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
CN105117442B (zh) 一种基于概率的大数据查询方法
CN104685499A (zh) 过滤/投影操作的硬件实现
CN107408114A (zh) 基于事务访问模式识别联结关系
CN103336791A (zh) 基于Hadoop的粗糙集快速属性约简方法
CN103577455A (zh) 用于数据库聚集操作的数据处理方法和系统
CN106407226B (zh) 一种数据处理方法、备份服务器及存储系统
CN107977504A (zh) 一种非对称堆芯燃料管理计算方法、装置及终端设备
CN105631047A (zh) 一种分层级联的数据处理方法及系统
CN110442647A (zh) 数据一致性同步方法、装置及计算机可读存储介质
CN104239520B (zh) 一种基于历史信息的hdfs数据块放置策略
CN109542657A (zh) 系统异常的处理方法及服务器
CN103207804A (zh) 基于集群作业日志的MapReduce负载模拟方法
CN108920110A (zh) 一种基于内存计算模式的并行处理大数据存储系统及方法
CN116860311A (zh) 脚本分析方法、装置、计算机设备及存储介质
US8229946B1 (en) Business rules application parallel processing system
CN109165325A (zh) 用于切分图数据的方法、装置、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601

RJ01 Rejection of invention patent application after publication