CN102393839B - 并行数据处理系统及方法 - Google Patents

并行数据处理系统及方法 Download PDF

Info

Publication number
CN102393839B
CN102393839B CN201110391848.8A CN201110391848A CN102393839B CN 102393839 B CN102393839 B CN 102393839B CN 201110391848 A CN201110391848 A CN 201110391848A CN 102393839 B CN102393839 B CN 102393839B
Authority
CN
China
Prior art keywords
parallel processing
parallel
pond
default
internal memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110391848.8A
Other languages
English (en)
Other versions
CN102393839A (zh
Inventor
王玥婷
叶宗睿
蔡海清
朱佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201110391848.8A priority Critical patent/CN102393839B/zh
Publication of CN102393839A publication Critical patent/CN102393839A/zh
Application granted granted Critical
Publication of CN102393839B publication Critical patent/CN102393839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种并行数据处理系统和方法。该系统包括:终端装置,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;主控单元,根据所述请求数据,将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;行业相关性系数生成单元,用于生成计算池的池内相关性系数;并行处理控制单元,用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元,用于根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。利用本发明的系统和方法能够减少计算时间,提高时效性。

Description

并行数据处理系统及方法
技术领域
本发明涉及数据处理技术领域,具体涉及一种并行数据处理装置及方法。
背景技术
随着经济的发展,银行的业务无论是种类和还是数量都在急剧增加,使得银行的各种数据处理系统都面临巨大的挑战,有些系统急需进行改进以适应处理海量数据的需求。
例如,传统的信用风险计量数据处理系统包括数据存储装置、各类计量用数据生成单元、串行处理单元、各类计量处理单元和终端装置。
该系统的特点是采用莫顿理论设计的违约模型,并使用蒙特卡罗模拟法计量组合经济资本,其计量方法是将信贷组合划分成若干个统计分池,然后根据统计分池的违约风险敞口、违约损失率、违约概率、客户数、信用等级、分池类型等信息,以及行业相关性(包括行业间相关性和行业内相关性),计量出信贷组合所需占用的经济资本。
蒙特卡罗模拟法又称计算机随机模拟法,是以概率和统计理论方法为基础的一种计算方法,它将所求解的问题同一定的概率模型相联系,用计算机实现统计模拟或抽样,以获得问题的近似解。该方法是一种随机模拟方法,要得到较为准确的结果必须进行非常多次的抽样模拟计算,对于上述信贷组合经济资本计量,如果要得到一个可信的结果,至少要进行上百万次甚至上千万次的模拟,计算量非常大。
因此,目前的信用风险计量数据处理系统的处理速度很慢,效率很低,既浪费了系统资源,长时间的计算使得获得计算结果太长,时效性很差。
发明内容
为了克服现有技术的上述缺陷,本发明提供一种并行数据处理装置及方法,通过在系统中设置多个抽样、排序单元,运用针对于信用风险组合管理问题设计的排序方法和策略,利用多进程、多CPU并行执行,从而减少计算时间,提高时效性。
本发明提供了一种并行数据处理系统,该系统包括:终端装置,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;主控单元,根据从终端装置接收的所述请求数据,将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;并行处理控制单元,用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元,用于计算违约损失计量。
本发明还提供了一种并行数据处理方法,该方法包括步骤:输入信用风险计量所需参数,开始计量信用风险的请求数据;根据所述请求数据,将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,如果小于,则生成计算池的池内相关性系数;判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。
利用本发明的并行数据处理系统和方法,大大提高了信用风险组合管理计量经济资本的处理速度和效率,节省了系统资源,缩短了处理时间,能很好满足风险组合管理计量经济资本的要求。其中,计量组合经济资本的时间可成倍缩短,时效性大大提高。例如:对于使用如下软硬件环境的计算系统:
Figure BDA0000114674270000021
完成一次包含100万次模拟的经济资本计量,在没有使用本发明的情况下需耗时约16.5小时;使用本发明的系统和方法后,在配置8个并行单元的情况下耗时仅约2.5小时。
附图说明
图1为传统的信用风险计量数据处理系统图;
图2为本发明并行数据处理系统结构图;
图3为本发明违约损失计量并行处理单元结构图;
图4为本发明并行数据处理方法流程图;
图5为本发明并行处理单元的违约损失计量处理方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
在介绍本发明的技术方案之前,首先了解以下术语的含义。
违约风险敞口(EAD):EAD是违约风险敞口(Exposure at default)的简称。当客户未违约时,表内业务的EAD等于资产账面价值,表外业务的EAD通过信用转换系数(credit conversion factor,CCF)进行转换,客户违约时,EAD等于债项融资余额。
违约损失率(LGD):LGD是违约损失率(Loss given default)的简称,违约损失率度量的是借款人违约后贷款损失金额占违约风险敞口的比例。
违约概率(PD):PD是违约概率(Probability of default)的简称,指未来一段时间内借款人发生违约的可能性,与信用评级相关。
预期信用损失:预期信用损失即为平均信用损失,投资组合的价值必须能够弥补预期信用损失。银行预期信用损失的大小取决于违约概率、违约损失率、违约后信用风险敞口。
信用风险经济资本:在银行目标评级所代表的置信水平下预期信用损失以上的信用风险损失部分。
集中度风险:由于对单一债务人或相关的一群债务人的风险暴露过大而使资产组合额外承担的风险。
图2为本发明并行数据处理系统结构图。
本发明的并行数据处理系统主要运用针对于信用风险组合管理问题设计的排序方法和策略,采用了多进程、多CPU并行执行的技术手段,实现了减少运算时间,提高时效性的技术效果。
参照图2,该并行数据处理系统包括数据存储装置1、并行数据处理装置2和终端装置3。并行数据处理装置2与数据存储装置1和终端装置3相连接。其中并行数据处理装置2进一步包括主控单元10、行业相关性系数生成单元11、并行处理控制单元12、归并处理单元13、经济资本计量处理单元14和并行处理单元20。
数据存储装置1基于Teradata数据库,其存储了一系列股票、GDP、工业增加值等用于计算的历史市场数据、评级系统的数据以及在整个计量过程中所产生的数据,数据存储装置1可以是Teradata服务器或者普通PC。
并行数据处理装置2根据用户设定的并行数,多任务并行计算违约损失。该装置可以是PC或者服务器等。
并行数据处理装置2中,主控单元10负责整个装置内部的控制和调度。当接收到终端装置3的启动数据请求后,主控单元10查询当时的CPU和内存使用状况,并从数据存储装置1读取CPU使用的百分比上限、内存使用的百分比上限,同时查看整个系统的空闲资源的使用情况,如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限,则调用行业相关性系数生成单元11开始执行。反之,则等待资源满足CPU和内存使用百分比要求再提交任务。当装置11执行完毕后,顺序调用装置12,装置13,装置14。
行业相关性系数生成单元11从数据存储装置1读取股票市场数据或GDP市场数据或工业增加值市场数据,以一个计算池代表一个行业类型,计算两两计算池间的相关性系数,得到计算池间相关性系数。并且按如下步骤生成计算池内相关性系数:
1)对于“计算池”i,记第z个市场数据项在t时刻的数据为value(i,z,t)。
计算“计算池”i的第z个市场数据项在t时刻的数值指数
V ( i , z , t ) = ln ( value ( i , z , t ) value ( i , z , t - 1 ) )
2)计算t时刻“计算池”i的行业指数V(i,t)。
V ( i , t ) = 1 s i Σ z = 1 s i ln ( value ( i , z , t ) value ( i , z , t - 1 ) )
si表示数据项数目。
3)计算时间序列{V(i,t)}与{V(i,z,t)}的相关性系数为ρ(i,z)。
ρ ( i , z ) = Σ t = 1 T ( V ( i , t ) - V ‾ ( i ) ) · ( V ( i , z , t ) - V ‾ ( i , z ) ) Σ t = 1 T ( V ( i , t ) - V ‾ ( i ) ) 2 · Σ t = 1 T ( V ( i , z , t ) - V ‾ ( i , z ) ) 2
其中,T是时间序列{V(i,t)}中元素的个数,
Figure BDA0000114674270000053
是时间序列{V(i,t)}的均值,
Figure BDA0000114674270000054
是时间序列{V(i,z,t)}的均值。
4)生成“计算池”i的池内相关性系数ρi
ρ i = 1 s i Σ z = 1 s i ρ ( i , z )
计算完成后,将每个计算池i的池内相关性系数ρi写入数据存储装置1中。
并行处理控制单元12从数据存储装置1中读取并行任务的并发个数N,并查看当时的CPU和内存状况,判断当时的CPU和内存空闲状况是否可以满足并行任务的个数需求,如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限,则将资源平均分配给N个并行处理单元20,调用并行处理单元20开始进行并行处理;如果不满足,则根据实际资源情况,计算当前系统CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元20,调用其开始并行处理。
并行处理单元20中任务的分配按如下规则:假设总的抽样次数为Cases次,总的统计池数为m,当时系统资源允许n个并行处理单元20同时并行。由于信用风险组合管理模型中的抽样是相互独立的,所以系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元20上去完成,即每个并行单元完成m个行业的Cases/n次抽样及相关操作。
并行处理单元20负责违约损失计量的主要计算。根据用户参数的设定,会有多个该单元并行处理。对于其中的每个单元而言,一旦接收到并行处理控制单元12的调用请求,并获得相应系统资源后,则开始进行违约损失计量,图3是对该单元的内部介绍。
归并处理单元13从数据存储装置1中读取n个并行处理单元20排序所获得的前n(Cases·tol+1)个违约损失、n个均值(即预期信用损失),对n(Cases·tol+1)个违约损失从小到大排序,取第Cases·(1-tol)个值,其中tol为风险容忍度,从数据存储装置1中读取;对n个均值累加再除以n,求得信贷组合的最终预期信用损失,并将结果存入数据存储装置1。
经济资本计量处理单元14从数据存储装置1读取组合的模拟违约损失、风险容忍度后,将风险容忍度对应的分位数减去均值得到组合的经济资本,并将结果存入数据存储装置1中。
终端装置3负责和用户进行交互。用户通过该装置输入信用风险计量所需要的参数数据,在本发明中,优选地输入违约损失计量所需要的参数数据,包括股票的市场数据、GDP的市场数据、工业增加值的市场数据、计算池对应的EAD、LGD、违约概率、计算池客户信息、客户个数、计算池属性、并行任务的并发个数、CPU使用的百分比上限、内存使用的百分比上限、抽样次数,并输入开始计量风险的请求数据。终端装置3将用户输入的参数存入数据存储装置1,并将启动请求数据传送给并行数据处理装置2的主控单元10。当计量结束时,终端装置3接收到主控单元10任务执行完毕的信息,从数据存储装置1读取计算结果,将计算结果输出给用户进行查看。该终端装置3可以是PC或者移动终端等。
图3为本发明违约损失计量并行处理单元结构图。
参照图3,并行处理单元20进一步包括控制单元200、随机数生成处理单元201、条件违约概率生成处理单元202、分池违约损失模拟处理单元203、分池违约损失加总处理单元204和排序与求均值处理单元205。
控制单元200用于当接收到并行处理控制单元12的并行调用请求以及相关数据,即抽样次数Cases后,负责调用行业系统性收益随机数生成处理单元201,并传递抽样次数Cases给随机数处理单元201,当单元201执行完毕后,顺序调用单元202,单元203,单元204。当单元204计算完成后,将信息传递给并行处理控制单元12。
随机数生成处理单元201用于接收到控制单元200的调用请求以及抽样次数Cases后,负责从数据存储装置1中读取用户输入的行业个数n,以及这n个行业的相关性系数矩阵ρ。经过系统随机抽样生成这n个行业的系统性收益随机数。
对每个行业进行编号,将第i个行业与第j个行业的行业间相关系数记为ρij,这n个行业的相关系数矩阵形式为:
ρ = ρ 11 ρ 12 · · · ρ 1 n ρ 21 ρ 22 · · · ρ 2 n · · · · · · · · · · · · ρ n 1 ρ n 2 · · · ρ nn
将第i个行业的系统性收益记为ai。根据模型假设,[a1,...,an]T是满足均值为[0,...,0]T,标准差为[1,...,1]T,相关系数矩阵为ρ的多元正态分布随机向量。
将n、Cases、ρ、[0,...,0]T、[1,...,1]T作为输入数据,随机抽样Cases次,得到这n个行业的Cases个系统性收益随机数a1,k,...,an,k,其中k=1,2,...,Cases,ai,k表示第i个行业第k次抽样得到的系统性收益随机数。并将a1,k,...,an,k存入数据存储装置1中。
条件违约概率生成处理单元202根据行业内的相关系数,在各行业的系统性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率。
从数据存储装置1中读取第i个行业的行业内相关系数ri,第i个行业第k次抽样得到的系统性收益随机数ai,k,从数据存储装置1中读取信用评级q的违约概率记为PDq。对i=1,...,n,k=1,...,Cases,计算第i个行业第k次抽样对应于各信用评级的条件违约概率
Figure BDA0000114674270000081
R i , q = r i × 1 - exp ( - 50 × PD q ) 2 × [ 1 - exp ( - 50 ) ] + [ 1 - 1 - exp ( - 50 × PD q ) 1 - exp ( - 50 ) ]
P i , q k = Φ ( Φ - 1 ( PD q ) - R i , q × a i , k 1 - R i , q 2 )
其中Φ是标准正态分布函数,Φ-1是标准正态分布反函数。
并将
Figure BDA0000114674270000084
存入数据存储装置1中,其中i=1...n,k=1...Cases,q=1...t。
分池违约损失模拟处理单元203,将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失。
对于统计分池j,从数据存储装置1中读取违约风险敞口EADj,违约概率LGDj,客户数θj,信用等级qj,所属行业的编号Numj
对每个统计分池计算每次模拟的违约损失包括以下三种情况:
第一种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若统计池j的属性为大敞口统计分池,则按如下方法计算第k次模拟的违约损失
Figure BDA0000114674270000085
i)产生服从[0,1]均匀分布的随机数
Figure BDA0000114674270000086
ii)计算违约标识
Figure BDA0000114674270000087
其中
Figure BDA0000114674270000088
在装置202中得到,其中
Figure BDA0000114674270000089
是第j个统计池第k次抽样的条件违约概率。
iii)通过下式获得第k次模拟的违约损失
Figure BDA0000114674270000091
loss j k = EAD j × LGD j × Default j k
第二种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若统计池j的属性为小敞口统计分池且客户数θj≥1000,则按如下方法计算第k次模拟的违约损失
i)产生服从[0,1]均匀分布的随机数
Figure BDA0000114674270000094
ii)计算统计池中违约客户的数目
N j k = min { θ j , max { 0 , θ j p j k ( 1 - p j k ) · Φ - 1 ( ϵ j k ) + θ j p j k } }
其中Φ-1是标准正态分布反函数,查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率根据分池违约损失模拟处理单元203中提到的计算池与统计池的对应关系,对应得到
Figure BDA0000114674270000098
为j个统计池第k次抽样的条件违约概率,其中θj为客户数;
Figure BDA0000114674270000099
为产生服从[0,1]均匀分布的随机数。。
iii)通过下式获得第k次模拟的违约损失
Figure BDA00001146742700000910
loss j k = EAD j θ j × LGD j × N j k
第三种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若j的属性为小敞口统计分池且客户数θj<1000,则按如下方法计算第k次模拟的违约损失
Figure BDA00001146742700000912
i)产生服从[0,1]均匀分布的随机数
ii)计算统计池中违约客户的数目
Figure BDA00001146742700000914
N j k = B - 1 ( ϵ j k ; θ j , p j k )
其中B-1是二项分布反函数,查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率
Figure BDA0000114674270000101
根据分池违约损失模拟处理单元203中提到的计算池与统计池的对应关系,对应得到
Figure BDA0000114674270000102
为j个统计池第k次抽样的条件违约概率。
iii)通过下式获得第k次模拟的违约损失
Figure BDA0000114674270000103
loss j k = EAD j θ j × LGD j × N j k
将所得到的违约损失
Figure BDA0000114674270000105
存入数据存储装置1中。
分池违约损失加总处理单元204,负责从数据存储装置1中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失,并将其存储在数据存储装置1中。
对于k=1,...,Cases,第k次抽样的信贷组合违约损失为:
loss _ portfolio k = Σ j = 1 m loss j k , 其中m为统计池数目。
排序与求均值处理单元205,负责在每个并行处理单元20内部对信贷组合的违约损失排序。将单元204得到的抽样组合损失loss_portfolio1,...,loss_portfolioCases从小到大排序。并对组合的违约损失求均值该均值即为预期信用损失,该均值通过下式获取:
loss _ portfolio ‾ = 1 Cases Σ k = 1 Cases loss _ portfolio k
图4为本发明并行数据处理方法流程图。
参照图4,在步骤100计算池间相关性系数和池内相关性系数,并将其存入数据存储装置1中。在步骤101,从数据存储装置1中读取市场数据、评级类数据、并行任务的并发个数,并查看当时的CPU和内存状况,判断当时的资源状况是否可以满足并行任务的个数需求,如果满足需求,则提交任务并且发起并行任务,如果不满足,则根据实际资源情况,计算最大满足资源要求的并发数,提交相应个数的并发任务。启动违约损失的计量。
执行了步骤101之后,在步骤102开始进行违约损失的计量处理。假设总的抽样次数为Cases次,系统中设置了n个并行处理单元。经过内部排序后,每个并行处理单元单独找出最大的Cases·tol+1个值,存入数据存储装置1,在所有并行任务都结束后设置并行完成标志,并启动违约归并处理。当该步骤启动后,n个并行处理单元同时运行执行相同的步骤,独立进行排序和取分位数,且独自使用各自的CPU,互不干扰。
在步骤103进行违约损失归并处理。当步骤102全部完成后,步骤103将步骤102计算得到的n(Cases·tol+1)个违约损失进行统一归并。步骤103将n(Cases·tol+1)个违约损失从小到大排序。取第Cases·(1-tol)个值,其中tol为风险容忍度,从数据存储装置1中读取,并启动经济资本计量处理。
在步骤104进行经济资本计量处理。其中将步骤103取得的分位数进行计算取得组合的经济资本。
图5为上述步骤102的违约损失计量处理过程的流程图。
参照图5,假设总的抽样次数为Cases次,系统中设置了n个并行处理单元。由于信用风险组合管理模型中的抽样是相互独立的,所以系统将Cases次抽样及相关操作平均分配到各并行单元上去完成,即每个并行单元完成Cases/n次抽样及相关操作,n个并行单元同时执行,对于每个并行处理单元,执行以下操作:
在步骤110,从数据存储装置1中读取股票、GDP、工业增加值等市场数据、标准评级信息以及行业间和行业内的相关性系数。经过随机抽样Cases次,生成Cases/n组系统性收益随机数,存入数据存储装置1,完成后启动条件违约概率生成处理步骤。
在步骤111进行条件违约概率生成处理。具体地,读取数据存储装置1中的系统性收益随机数,根据从数据存储装置1中读取的行业内相关系数,生成Cases/n组条件违约概率,将结果存入数据存储装置1中,完成后启动分池违约损失模拟处理。
在步骤112进行分池违约损失模拟处理。读取数据存储装置1中的条件违约概率并从数据存储装置1中读取的各统计池的EAD、LGD、客户数等信息,对各统计分池的违约损失进行模拟,得到Cases/n组违约损失,存入数据存储装置1,并启动分池违约损失加总处理。
在步骤113进行分池违约损失加总处理。读取数据存储装置1中的各统计分池的违约损失,并进行加总,得到Cases/n个组合损失,存入数据存储装置1,并启动排序与求均值处理。
在步骤114进行排序与求均值处理。读取数据存储装置1中的组合损失,对Cases/n个组合损失进行排序,找出最大的Cases·tol+1个值,其中tol为风险容忍度,从数据存储装置1中读取。再对Cases/n个组合损失计算均值。将结果存入数据存储装置1。
利用本发明的数据处理装置和方法,大大提高了信用风险组合管理计量经济资本的处理速度和效率,节省了系统资源,缩短了处理时间,能很好满足风险组合管理计量经济资本的要求。其中,计量组合经济资本的时间可成倍缩短,时效性大大提高。例如:对于使用如下软硬件环境的计算系统:
Figure BDA0000114674270000121
完成一次包含100万次模拟的经济资本计量,在没有使用本发明的情况下需耗时约16.5小时;使用本发明后,在配置8个并行单元的情况下耗时仅约2.5小时。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种并行数据处理系统,该系统包括:
终端装置(3),与主控单元相连接,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;
主控单元(10),根据从终端装置(3)接收的所述请求数据,将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;
并行处理控制单元(12),用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给n个并行处理单元(20);
n个并行处理单元(20),用于计算违约损失计量;
数据存储装置(1),与主控单元相连接,用于存储数据;
行业相关性系数生成单元(11),用于生成计算池的池内相关性系数;
其中,如果比较结果为系统当前CPU和内存使用百分比小于CPU使用百分比上限以及内存使用百分比上限,则调用行业相关性系数生成单元(11)执行相应处理,并行处理单元(20)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量,
所述并行处理单元(20)进一步包括:
控制单元(200),用于当接收到并行处理控制单元(12)的并行调用请求以及抽样次数后,调用行业系统性收益随机数生成处理单元(201),并传递抽样次数Cases给随机数生成处理单元(201);
随机数生成处理单元(201),用于为n个行业随机抽样生成这n个行业的系统性收益随机数;
条件违约概率生成处理单元(202),用于根据行业内的相关系数,在各行业的系统性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率;
分池违约损失模拟处理单元(203),将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失;
分池违约损失加总处理单元(204),负责从数据存储装置(1)中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失,其中,
并行处理控制单元(12)从数据存储装置(1)中读取并行任务的并发个数N,如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求,则根据实际资源情况,计算当前系统CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元(20),调用其开始并行处理;并行处理单元(20)中按如下规则分配任务:假设总的抽样次数为Cases次,总的统计池数为m,当前系统资源允许n个并行处理单元(20)同时执行并行处理,则系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元(20)上去完成,每个并行处理单元,一旦接收到并行处理控制单元(12)的调用请求,并获得相应系统资源后,则开始进行违约损失计量。
2.根据权利要求1所述的数据处理系统,其特征在于,该系统还包括:归并处理单元(13),用于生成信贷组合的最终预期信用损失;经济资本计量处理单元(14),用于生成组合的经济资本,并将其存入数据存储装置(1)中。
3.一种并行数据处理方法,该方法包括步骤:
输入违约计量所需参数和开始计量违约损失的请求数据;
根据所述请求数据,将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,如果小于,则生成计算池的池内相关性系数;
判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元(20);
并行处理单元(20)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量;
从数据存储装置(1)中读取并行任务的并发个数N,如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求,则根据实际资源情况,计算当前系统CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元(20),调用其开始并行处理;
并行处理单元(20)中按如下规则分配任务:假设总的抽样次数为Cases次,总的统计池数为m,当前系统资源允许n个并行处理单元(20)同时执行并行处理,则系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元(20)上去完成,每个并行处理单元,一旦接收到调用请求,并获得相应系统资源后,则开始进行违约损失计量,并行处理单元为n个行业随机抽样生成这n个行业的系统性收益随机数;根据行业内的相关系数,在各行业的系统性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率;将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失;从数据存储装置1中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失。
4.根据权利要求3所述的方法,其特征在于,
对Cases/n个组合损失进行排序,找出最大的Cases·tol+1个值,其中tol为风险容忍度,再对Cases/n个组合损失计算均值。
CN201110391848.8A 2011-11-30 2011-11-30 并行数据处理系统及方法 Active CN102393839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110391848.8A CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110391848.8A CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN102393839A CN102393839A (zh) 2012-03-28
CN102393839B true CN102393839B (zh) 2014-05-07

Family

ID=45861167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110391848.8A Active CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN102393839B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN104216684B (zh) * 2013-06-04 2017-05-31 阿里巴巴集团控股有限公司 一种多核并行系统及其数据处理方法
CN105320555B (zh) * 2014-06-17 2019-05-24 腾讯科技(深圳)有限公司 在终端上执行任务的方法及装置
CN105224856A (zh) * 2014-07-02 2016-01-06 腾讯科技(深圳)有限公司 计算机系统检测方法及装置
CN105893138A (zh) * 2014-12-19 2016-08-24 伊姆西公司 基于配额的资源管理方法和装置
CN107402939B (zh) * 2016-05-20 2020-06-09 平安科技(深圳)有限公司 保单处理方法和装置
CN106649723B (zh) * 2016-12-23 2020-09-18 河海大学 一种基于改进的水塘抽样的大数据集多遍随机抽样方法
CN106971338A (zh) * 2017-04-26 2017-07-21 北京趣拿软件科技有限公司 数据评估的方法和装置
CN110287018B (zh) * 2019-07-04 2021-08-13 中国工商银行股份有限公司 批量任务编排方法及装置
CN112748850B (zh) 2019-10-29 2024-04-19 伊姆西Ip控股有限责任公司 用于存储管理的方法、设备和计算机程序产品
CN111523931A (zh) * 2020-04-21 2020-08-11 广东智源机器人科技有限公司 资源分配方法、装置、计算机设备和存储介质
CN113296964B (zh) * 2021-07-28 2022-01-04 阿里云计算有限公司 数据处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202838322U (zh) * 2011-11-30 2013-03-27 中国工商银行股份有限公司 并行数据处理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5370359B2 (ja) * 2008-04-22 2013-12-18 日本電気株式会社 Simd型並列計算機システム、simd型並列計算方法及び制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202838322U (zh) * 2011-11-30 2013-03-27 中国工商银行股份有限公司 并行数据处理系统

Also Published As

Publication number Publication date
CN102393839A (zh) 2012-03-28

Similar Documents

Publication Publication Date Title
CN102393839B (zh) 并行数据处理系统及方法
Calvet et al. Volatility comovement: a multifrequency approach
CN103370722B (zh) 通过小波和非线性动力学预测实际波动率的系统和方法
Mahyideen et al. A pooled mean group estimation on ICT infrastructure and economic growth in ASEAN-5 countries
CN108052387A (zh) 一种移动云计算中的资源分配预测方法及系统
CN107808337A (zh) 因子聚类方法与装置、设备与存储介质
CN109508807A (zh) 彩票用户活跃度预测方法、系统及终端设备、存储介质
Xiao et al. Dynamic multi-attribute evaluation of digital economy development in China: A perspective from interaction effect
Guo et al. The effect of China’s carbon emission trading on eco-efficiency: an empirical study at the city level
CN111091245A (zh) 一种参与有序用能企业的确定方法及装置
Bulavchuk et al. Genetic algorithm based on idempotent algebra methods for RCPSP
CN110826890A (zh) 一种考虑风险的虚拟电厂的利益分配方法及装置
CN113837631A (zh) 员工评价方法、装置、电子设备及可读存储介质
CN202838322U (zh) 并行数据处理系统
CN109272340B (zh) 参数阈值确定方法、装置及计算机存储介质
CN115034812A (zh) 基于大数据的钢铁行业销售量预测方法及装置
Assani et al. Estimating and decomposing most productive scale size in parallel DEA networks with shared inputs: A case of China's Five-Year Plans
Hlushko et al. Effective methodological tools for forecasting financial and economic stability
CN110941663B (zh) 证件信息的关联规则获取方法及装置
Lu Measuring the capital charge for operational risk of a bank with the large deviation approach
CN114168635A (zh) 证券组合投资的交易策略挖掘方法、系统、设备及存储介质
CN113610627A (zh) 用于风险预警的数据处理方法和装置
Wan Research on the multi-objective optimization for return rate and risk of financial resource allocation
WANG et al. Research on Credit Decision Issues of the Small and Medium-Sized Enterprises Based on TOPSIS and Hierarchical Cluster Analysis [C]
Jinjuan Research on enterprise credit risk assessment method based on improved genetic algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant