CN202838322U - 并行数据处理系统 - Google Patents

Abstract

本实用新型公开了一种并行数据处理系统。该系统包括：终端，与主控器相连接，通过该终端能够输入信用风险计量所需参数，以及开始计量信用风险的请求数据；主控器，与终端连接，其根据从终端接收的所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理；并行处理控制器，与主控器连接，其判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理器；并行处理器，与并行处理控制器连接，通过并行处理器来计算违约损失计量。利用本实用新型的系统能够提高系统工作效率。

Description

并行数据处理系统

技术领域

本实用新型涉及数据处理技术领域，具体涉及一种并行数据处理系统。 

背景技术

随着经济的发展，银行的业务无论是种类和还是数量都在急剧增加，使得银行的各种数据处理系统都面临巨大的挑战，有些系统急需进行改进以适应处理海量数据的需求。 

例如，传统的信用风险计量数据处理系统包括数据存储装置、各类计量用数据生成单元、串行处理单元、各类计量处理单元和终端装置。 

该系统的特点是采用莫顿理论设计的违约模型，并使用蒙特卡罗模拟法计量组合经济资本，其计量方法是将信贷组合划分成若干个统计分池，然后根据统计分池的违约风险敞口、违约损失率、违约概率、客户数、信用等级、分池类型等信息，以及行业相关性(包括行业间相关性和行业内相关性)，计量出信贷组合所需占用的经济资本。 

蒙特卡罗模拟法又称计算机随机模拟法，是以概率和统计理论方法为基础的一种计算方法，它将所求解的问题同一定的概率模型相联系，用计算机实现统计模拟或抽样，以获得问题的近似解。该方法是一种随机模拟方法，要得到较为准确的结果必须进行非常多次的抽样模拟计算，对于上述信贷组合经济资本计量，如果要得到一个可信的结果，至少要进行上百万次甚至上千万次的模拟，计算量非常大。 

因此，目前的信用风险计量数据处理系统的处理速度很慢，效率很低，既浪费了系统资源，长时间的计算使得获得计算结果太长，时效性很差。 

实用新型内容

为了克服现有技术的上述缺陷，本实用新型提供一种并行数据处理系统，通过在系统中设置多个抽样、排序器，运用针对于信用风险组合管理 问题设计的排序方法和策略，利用多进程、多CPU并行执行，从而减少计算时间，提高时效性。 

本实用新型提供了一种并行数据处理系统，该系统包括：终端(3)，与主控器相连接，通过该终端能够输入信用风险计量所需参数，以及开始计量信用风险的请求数据； 

主控器(10)，与终端(3)连接，其根据从终端(3)接收的所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理；并行处理控制器(12)，与主控器(10)连接，其判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理器(20)；并行处理器(20)，与并行处理控制器连接，通过并行处理器来计算违约损失计量。 

优选地，该系统还包括：存储器(1)，与主控器连接，通过存储器来存储数据；行业相关性系数生成器(11)，与主控器(10)和存储器(1)连接，其生成计算池的池内相关性系数；其中，如果比较结果为系统当前CPU和内存使用百分比小于CPU使用百分比上限以及内存使用百分比上限，则主控器(10)调用行业相关性系数生成器(11)执行相应处理，并行处理器(20)根据所述池内相关性系数以及存储器(1)中存储的相关参数计算违约损失计量。 

优选地，并行处理控制器(12)从存储器(1)中读取并行任务的并发个数N，如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求，则根据实际资源情况，计算当前系统CPU和内存的空闲资源最大能满足的并发数，将资源平均分配给相应个数的并行处理器(20)，调用其开始并行处理。 

优选地，并行处理器(20)中按如下规则分配任务：假设总的抽样次数为Cases次，总的统计池数为m，当前系统资源允许n个并行处理器(20)同时执行并行处理，则系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理器(20)上去完成，每个并行处理器，一旦接收到并行处理控制器(12)的调用请求，并获得相应系统资源后，则开始进行违约损失计量。 

优选地，上述系统还包括：归并处理器(13)，用于生成信贷组合的最终预期信用损失；经济资本计量处理器(14)，用于生成组合的经济资本，并将其存入存储器(1)中。 

优选地，并行处理器(20)进一步包括：控制器(200)，用于当接收到并行处理控制器(12)的并行调用请求以及抽样次数Cases后，调用行业系统性收益随机数生成处理器(201)，并传递抽样次数Cases给随机数生成处理器(201)；随机数生成处理器(201)，用于为n个行业随机抽样生成这n个行业的系统性收益随机数；条件违约概率生成处理器(202)，用于根据行业内的相关系数，在各行业的系统性收益给定的情况下，计算各行业在各个信用等级下的条件违约概率；分池违约损失模拟处理器(203)，将每个计算池按照信用评级个数分成相应个数的统计池，按照统计分池的类型及客户数多少，对于每个统计分池计算每次模拟的违约损失；分池违约损失加总处理器(204)，负责从存储器(1)中读取每个统计池的条件违约概率，对其进行累加，得到整个信贷组合的违约损失。 

利用本实用新型的并行数据处理系统，大大提高了信用风险组合管理计量经济资本的处理速度和效率，节省了系统资源，缩短了处理时间，能很好满足风险组合管理计量经济资本的要求。其中，计量组合经济资本的时间可成倍缩短，时效性大大提高。例如：对于使用如下软硬件环境的计算系统： 

完成一次包含100万次模拟的经济资本计量，在没有使用本实用新型的情况下需耗时约16.5小时；使用本实用新型的系统后，在配置8个并行器的情况下耗时仅约2.5小时。 

附图说明

图1为传统的信用风险计量数据处理系统结构图； 

图2为本实用新型并行数据处理系统结构图； 

图3为本实用新型并行处理器结构图。 

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本实用新型进一步详细说明。 

在介绍本实用新型的技术方案之前，首先了解以下术语的含义。 

违约风险敞口(EAD)：EAD是违约风险敞口(Exposure at default)的简称。当客户未违约时，表内业务的EAD等于资产账面价值，表外业务的EAD通过信用转换系数(credit conversion factor，CCF)进行转换，客户违约时，EAD等于债项融资余额。 

违约损失率(LGD)：LGD是违约损失率(Loss given default)的简称，违约损失率度量的是借款人违约后贷款损失金额占违约风险敞口的比例。 

违约概率(PD)：PD是违约概率(Probability of default)的简称，指未来一段时间内借款人发生违约的可能性，与信用评级相关。 

预期信用损失：预期信用损失即为平均信用损失，投资组合的价值必须能够弥补预期信用损失。银行预期信用损失的大小取决于违约概率、违约损失率、违约后信用风险敞口。 

信用风险经济资本：在银行目标评级所代表的置信水平下预期信用损失以上的信用风险损失部分。 

集中度风险：由于对单一债务人或相关的一群债务人的风险暴露过大而使资产组合额外承担的风险。 

图2为本实用新型并行数据处理系统结构图。 

本实用新型的并行数据处理系统主要运用针对于信用风险组合管理问题设计的排序方法和策略，采用了多进程、多CPU并行执行的技术手段，实现了减少运算时间，提高时效性的技术效果。 

参照图2，该数据处理系统包括存储器1、并行数据处理器2和终端3。并行数据处理器2与存储器1和终端3相连接。其中并行数据处理器2包括：主控单元10、行业相关性系数生成器11、并行处理控制单元12、归并处理单元13、经济资本计量处理单元14和并行处理单元20。 

存储器1基于Teradata数据库，存储了一系列股票、GDP、工业增加 值等用于计算的历史市场数据、评级系统的数据以及在整个计量过程中所产生的数据，存储器1可以是Teradata服务器或者普通PC。 

并行数据处理器2，该装置根据用户设定的并行数，多任务并行计算违约损失。该装置可以是PC或者服务器等。 

并行数据处理器2包括：主控器10、行业相关性系数生成器11、违约损失计量并行处理控制器12、违约损失归并处理器13、经济资本计量处理器14和违约损失计量并行处理器20。 

主控器10负责整个装置内部的控制和调度。当接收到终端3的启动数据请求后，该器查询当时的CPU和内存使用状况，并从存储器1读取CPU使用的百分比上限、内存使用的百分比上限，同时查看整个系统的空闲资源的使用情况，如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限，则调用行业相关性系数生成器11开始执行。反之，则等待资源满足CPU和内存使用百分比要求再提交任务。当行业相关性系数生成器11执行完毕后，顺序调用违约损失计量并行处理控制器12、违约损失归并处理器13、经济资本计量处理器14。 

行业相关性系数生成器11从存储器1读取股票市场数据或GDP市场数据或工业增加值市场数据，以一个计算池代表一个行业类型，计算两两计算池间的相关性系数，得到计算池间相关性系数。并且按如下步骤生成计算池内相关性系数： 

1)对于“计算池”i，记第z个市场数据项在t时刻的数据为value(i，z，t)。计算“计算池”i的第z个市场数据项在t时刻的数值指数 

$V(i,z,t)=\ln \left(\frac{\mathrm{value}(i,z,t)}{\mathrm{value}(i,z,t-1)}\right)$

2)计算t时刻“计算池”i的行业指数V(i，t) 

$V(i,t)=\frac{1}{s_i}\underset{z=1}{\overset{s_i}{\mathrm{\Σ}}}\ln \left(\frac{\mathrm{value}(i,z,t)}{\mathrm{value}(i,z,t-1)}\right)$

s_i表示数据项数目。 

3)计算时间序列{V(i，t)}与{V(i，z，t)}的相关性系数为ρ(i，z) 

$\mathrm{\ρ}(i,z)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}(V(i,t)-\stackrel{\‾}{V}\left(i\right))\·(V(i,z,t)-\stackrel{\‾}{V}(i,z))}{\sqrt{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(V(i,t)-\stackrel{\‾}{V}\left(i\right))}^2}\·\sqrt{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{(V(i,z,t)-\stackrel{\‾}{V}(i,z))}^2}}$

其中，T是时间序列{V(i，t)}中元素的个数，

是时间序列{V(i，t)}的均值，

是时间序列{V(i，z，t)}的均值。 

4)生成“计算池”i的池内相关性系数ρ_i

${\mathrm{\ρ}}_i=\frac{1}{s_i}\underset{z=1}{\overset{s_i}{\mathrm{\Σ}}}\mathrm{\ρ}(i,z)$

计算完成后，将每个计算池i的池内相关性系数ρ_i写入存储器1中。 

并行处理控制器12从存储器1中读取并行任务的并发个数N，并查看当时的CPU和内存状况，判断当时的CPU和内存空闲状况是否可以满足并行任务的个数需求，如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限，则将资源平均分配给N个并行处理器20，调用并行处理器20开始进行并行处理；如果不满足，则根据实际资源情况，计算当前系统CPU和内存的空闲资源最大能满足的并发数，将资源平均分配给相应个数的违约损失计量并行处理器20，调用其开始并行处理。 

并行处理器20中任务的分配按如下规则：假设总的抽样次数为Cases次，总的统计池数为m，当时系统资源允许n个并行处理器20同时并行。由于信用风险组合管理模型中的抽样是相互独立的，所以系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理器20上去完成，即每个并行器完成m个行业的Cases/n次抽样及相关操作。 

并行处理器20负责违约损失计量的主要计算。根据用户参数的设定， 会有多个该器并行处理。对于其中的每个并行处理器器而言，一旦接收到并行处理控制器12的调用请求，并获得相应系统资源后，则开始进行违约损失计量，图3是对并行处理器20的内部介绍。 

归并处理器13从存储器1中读取n个并行处理器20排序所获得的前n(Cases·tol+1)个违约损失、n个均值(即预期信用损失)，对n(Cases·tol+1)个违约损失从小到大排序，取第Cases·(1-tol)个值，其中tol为风险容忍度，从存储器1中读取；对n个均值累加再除以n，求得信贷组合的最终预期信用损失。并将结果存入存储器1。 

经济资本计量处理器14从存储器1读取组合的模拟违约损失、风险容忍度后，将风险容忍度对应的分位数减去均值得到组合的经济资本，并将结果存入存储器1中。 

终端3，负责和用户进行交互。用户通过该装置输入信用风险计量所需要的参数数据，在本实用新型中，信用风险计量优选为违约损失计量，该参数数据包括股票的市场数据、GDP的市场数据、工业增加值的市场数据、计算池对应的EAD、LGD、违约概率、计算池客户信息、客户个数、计算池属性、并行任务的并发个数、CPU使用的百分比上限、内存使用的百分比上限、抽样次数，并输入开始计量风险的请求数据。终端3将用户输入的参数存入存储器1，并将启动请求数据传送给并行数据处理器2的器主控器10。当计量结束时，该装置接收到器主控器10任务执行完毕的信息，从存储器1读取计算结果，将计算结果输出给用户进行查看。该终端3可以是PC或者移动终端等。 

图3为本实用新型并行处理器20的结构图。 

并行处理器20进一步包括：控制器200、随机数生成处理器201、条件违约概率生成处理器202、分池违约损失模拟处理器203、分池违约损失加总处理器204和排序与求均值处理器205。 

控制器200用于当接收到并行处理控制器12的并行调用请求以及相关数据，即抽样次数Cases后，负责调用行业系统性收益随机数生成处理器201，并传递抽样次数Cases给随机数处理器201，当器201执行完毕后，顺序调用条件违约概率生成处理器202、分池违约损失模拟处理器203、分池违约损失加总处理器204。当分池违约损失加总处理器204计算完成后，将信息传递给并行处理控制器12。 

随机数生成处理器201接收到控制器200的调用请求以及抽样次数Cases后，负责从存储器1中读取用户输入的行业个数n，以及这n个行业的相关性系数矩阵ρ。经过系统随机抽样生成这n个行业的系统性收益随机数。 

对每个行业进行编号，将第i个行业与第j个行业的行业间相关系数记为ρ_ij，这n个行业的相关系数矩阵形式为： 

$\mathrm{\ρ}=\left[\begin{array}{cccc}{\mathrm{\ρ}}_{11}& {\mathrm{\ρ}}_{12}& ...& {\mathrm{\ρ}}_{1n}\\ {\mathrm{\ρ}}_{21}& {\mathrm{\ρ}}_{22}& ...& {\mathrm{\ρ}}_{2n}\\ ...& ...& ...& ...\\ {\mathrm{\ρ}}_{n1}& {\mathrm{\ρ}}_{n2}& ...& {\mathrm{\ρ}}_{\mathrm{nn}}\end{array}\right]$

将第i个行业的系统性收益记为a_i。根据模型假设，[a₁，...，a_n]^T是满足均值为[0，...，0]^T，标准差为[1，...，1]^T，相关系数矩阵为ρ的多元正态分布随机向量。 

将n、Cases、ρ、[0，...，0]^T、[1，...，1]^T作为输入数据，随机抽样Cases次，得到这n个行业的Cases个系统性收益随机数a_1，k，...，a_n，k，其中k＝1，2，...，Cases，a_i，k表示第i个行业第k次抽样得到的系统性收益随机数。并将a_1，k，...，a_n，k存入存储器1中。 

条件违约概率生成处理器202根据行业内的相关系数，在各行业的系 统性收益给定的情况下，计算各行业在各个信用等级下的条件违约概率。 

从存储器1中读取第i个行业的行业内相关系数r_i，第i个行业第k次抽样得到的系统性收益随机数a_i，k，从存储器1中读取信用评级q的违约概率记为PD_q。对i＝1，...，n，k＝1，...，Cases，计算第i个行业第k次抽样对应于各信用评级的条件违约概率

$R_{i,q}=r_i\×\sqrt{\frac{1-\exp (-50\×{\mathrm{PD}}_q)}{2\×[1-\exp (-50)]}+[1-\frac{1-\exp (-50\×{\mathrm{PD}}_q)}{1-\exp (-50)}]}$

$P_{i,q}^k=\mathrm{\Φ}\left(\frac{{\mathrm{\Φ}}^{-1}\left({\mathrm{PD}}_q\right)-R_{i,q}\×a_{i,k}}{\sqrt{1-R_{i,q}^2}}\right)$

其中Φ是标准正态分布函数，Φ^-1是标准正态分布反函数。 

并将

存入存储器1中，其中i＝1...n，k＝1...Cases，q＝1...t。 

分池违约损失模拟处理器203将每个计算池按照信用评级个数分成相应个数的统计池，按照统计分池的类型及客户数多少，对于每个统计分池计算每次模拟的违约损失。 

对于统计分池j，从存储器1中读取违约风险敞口EAD_j，违约概率LGD_j，客户数θ_j，信用等级q_j，所属行业的编号Num_j。 

对每个统计分池计算每次模拟的违约损失包括以下三种情况： 

第一种情况，从存储器1读取j拆分前的计算池属性即为统计池j的属性，若统计池j的属性为大敞口统计分池，则按如下方法计算第k次模拟的违约损失

i)产生服从[0，1]均匀分布的随机数

ii)计算违约标识 

其中

在装置202中得到，请给出

的含义。 

iii)通过下式获得第k次模拟的违约损失

${\mathrm{loss}}_j^k={\mathrm{EAD}}_j\×{\mathrm{LGD}}_j\×{\mathrm{Default}}_j^k$

第二种情况，从存储器1读取统计池j所在的计算池属性即为统计池j的属性，若统计池j的属性为小敞口统计分池且客户数θ_j≥1000，则按如下方法计算第k次模拟的违约损失

i)产生服从[0，1]均匀分布的随机数

ii)计算统计池中违约客户的数目

$N_j^k=\min \{{\mathrm{\θ}}_j,\max \{0,\sqrt{{\mathrm{\θ}}_j{p}_j^k(1-p_j^k)}\·{\mathrm{\Φ}}^{-1}\left({\mathrm{\ϵ}}_j^k\right)+{\mathrm{\θ}}_j{p}_j^k\left\}\right\}$

其中Φ^-1是标准正态分布反函数，查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率根据分池违约损失模拟处理器203中提到的计算池与统计池的对应关系，对应得到

为j个统计池第k次抽样的条件违约概率，其中θ_j为客户数；

为产生服从[0，1]均匀分布的随机数。 

iii)通过下式获得第k次模拟的违约损失

${\mathrm{loss}}_j^k=\frac{{\mathrm{EAD}}_j}{{\mathrm{\θ}}_j}\×{\mathrm{LGD}}_j\×N_j^k$

第三种情况，从存储器1读取统计池j所在的计算池属性即为统计池j的属性，若j的属性为小敞口统计分池且客户数θ_j＜1000，则按如下方法计算第k次模拟的违约损失

i)产生服从[0，1]均匀分布的随机数

ii)计算统计池中违约客户的数目

$N_j^k=B^{-1}({\mathrm{\ϵ}}_j^k;{\mathrm{\θ}}_j,p_j^k)$

其中B^-1是二项分布反函数，查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率

根据分池违约损失模拟处理器203中提到的计算池与统计池的对应关系，对应得到

为j个统计池第k次 抽样的条件违约概率。 

iii)通过下式获得第k次模拟的违约损失

${\mathrm{loss}}_j^k=\frac{{\mathrm{EAD}}_j}{{\mathrm{\θ}}_j}\×{\mathrm{LGD}}_j\×N_j^k$

将所得到的违约损失

存入存储器1中。 

分池违约损失加总处理器204，负责从存储器1中读取每个统计池的条件违约概率，对其进行累加，得到整个信贷组合的违约损失，并将其存储在存储器1中。 

对于k＝1，...，Cases，第k次抽样的信贷组合违约损失为： 

$\mathrm{loss}\_{\mathrm{portfolio}}^k=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{loss}}_j^k,$ 其中m为统计池数目。 

排序与求均值处理器205，负责在每个并行处理器20内部对信贷组合的违约损失排序。将器204得到的抽样组合损失 

loss_portfolio¹，...，loss_portfolio^Cases从小到大排序。 

并对组合的违约损失求均值

该均值即为预期信用损失，该均值通过下式获取： 

$\stackrel{\‾}{\mathrm{loss}\_\mathrm{portfolio}}=\frac{1}{\mathrm{Cases}}\underset{k=1}{\overset{\mathrm{Cases}}{\mathrm{\Σ}}}\mathrm{loss}\_{\mathrm{portfolio}}^k$

以上所述的具体实施例，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施例而已，并不用于限制本实用新型，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。 

Claims (4)

1.一种并行数据处理系统，该系统包括： 

终端(3)，与主控器相连接，通过该终端能够输入违约损失计量所需参数，以及输入开始计量信用风险的请求数据； 

主控器(10)，与终端(3)连接，其根据从终端(3)接收的所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理； 

并行处理控制器(12)，与主控器(10)连接，其判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理器(20)； 

并行处理器(20)，与并行处理控制器连接，通过并行处理器来计算违约损失计量。 

2.根据权利要求1所述的系统，其特征在于，该系统还包括： 

存储器(1)，与主控器连接，通过存储器来存储数据； 

行业相关性系数生成器(11)，与主控器(10)和存储器(1)连接，其生成计算池的池内相关性系数； 

其中，如果比较结果为系统当前CPU和内存使用百分比小于CPU使用百分比上限以及内存使用百分比上限，则主控器(10)调用行业相关性系数生成器(11)执行相应处理，并行处理器(20)根据所述池内相关性系数以及存储器(1)中存储的相关参数计算违约损失计量。 

3.根据权利要求1～2任一项所述的并行数据处理系统，其特征在于，该系统还包括： 

归并处理器(13)，用于生成信贷组合的最终预期信用损失； 

经济资本计量处理器(14)，用于生成组合的经济资本，并将其存入存储器(1)中。 

4.根据权利要求3所述的并行数据处理系统，其特征在于，并行处 理器(20)进一步包括： 

控制器(200)，用于当接收到并行处理控制器(12)的并行调用请求以及抽样次数Cases后，调用行业系统性收益随机数生成处理器(201)，并传递抽样次数Cases给随机数生成处理器(201)； 

随机数生成处理器(201)，用于为n个行业随机抽样生成这n个行业的系统性收益随机数； 

条件违约概率生成处理器(202)，用于根据行业内的相关系数，在各行业的系统性收益给定的情况下，计算各行业在各个信用等级下的条件违约概率； 

分池违约损失模拟处理器(203)，将每个计算池按照信用评级个数分成相应个数的统计池，按照统计分池的类型及客户数多少，对于每个统计分池计算每次模拟的违约损失； 

分池违约损失加总处理器(204)，负责从存储器(1)中读取每个统计池的条件违约概率，对其进行累加，得到整个信贷组合的违约损失。 

Images