CN114037521A - 融资预授信方法、装置、设备及介质 - Google Patents
融资预授信方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114037521A CN114037521A CN202111418323.9A CN202111418323A CN114037521A CN 114037521 A CN114037521 A CN 114037521A CN 202111418323 A CN202111418323 A CN 202111418323A CN 114037521 A CN114037521 A CN 114037521A
- Authority
- CN
- China
- Prior art keywords
- model
- agent
- user
- bank
- financing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000002787 reinforcement Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims description 21
- 238000004220 aggregation Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 109
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本公开提供了一种融资预授信方法，属于人工智能领域。所述方法包括：接收第一用户发送的融资请求；基于所述融资请求，获取所述第一用户存储在银行的银行维度数据；以及利用位于所述银行的第一模型处理所述银行维度数据，来确定所述第一用户的第一预授信额度；其中，所述第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的；其中，所述联邦学习模型在训练过程中以强化学习的方式进行学习，所述强化学习中的环境为基于所述银行对至少一个用户实际审核通过的授信额度历史数据而构建的。本公开还提供了一种融资预授信装置、设备、存储介质和程序产品。
Description
技术领域
本公开涉及人工智能领域，更具体地涉及一种融资预授信方法、装置、设备、介质和程序产品。
背景技术
现有的预授信额度测算都是基于金融机构自有的数据完成预授信额度测算，由于金融机构并没有完全掌握中小企业的征信情况以及资产情况，预授信额度会与实际审核通过的授信额度存在很大差距，没有提供测算差距反馈，一方面可以学习的数据特征量少，仅限于用户在金融机构中可以查找到的数据，另一方面也缺失关于预授信测算策略的奖励信号。
发明内容
鉴于上述问题，本公开实施例提供了提高融资预授信预测准确率的融资预授信方法、装置、设备、介质和程序产品。
本公开实施例的第一方面，提供了一种融资预授信方法。所述方法包括：接收第一用户发送的融资请求；基于所述融资请求，获取所述第一用户存储在银行的银行维度数据；以及利用位于所述银行的第一模型处理所述银行维度数据，来确定所述第一用户的第一预授信额度；其中，所述第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的，其中，所述第二模型用于处理所述第一用户在所述第三方存储的其他维度数据。其中，所述联邦学习模型在训练过程中以强化学习的方式进行学习，其中，所述强化学习包括第一智能体和第二智能体，所述第一智能体包括所述第一模型，所述第二智能体包括所述第二模型；以及所述第一智能体和所述第二智能体通过对相同环境的观察进行学习，其中，所述环境为基于所述银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
根据本公开的实施例，所述第一模型和所述第二模型为回归预测模型。
根据本公开的实施例，所述第一智能体还包括第一噪声，所述第二智能体还包括第二噪声，其中，所述第一噪声和所述第二噪声服从同一分布。
根据本公开的实施例，所述第一噪声和所述第二噪声均为高斯噪声。
根据本公开的实施例，所述联邦学习模型还包括梯度聚合网络，所述第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的包括：所述第一智能体和所述第二智能体基于各自对环境的观察，分别在所述第一模型和所述第二模型得到各自的中间参数，所述中间参数包括中间梯度数据和中间损失数据；所述第一智能体和所述第二智能体分别将加密过的所述中间参数发送给梯度聚合网络；所述梯度聚合网络对加密过的所述中间参数进行解密，并使用所述中间损失数据通过反向传输方法训练所述中间梯度数据，得到权重梯度数据；所述梯度聚合网络将加密过的所述权重梯度数据分别发送给所述第一智能体和所述第二智能体；以及所述第一智能体中的所述第一模型、以及所述第二智能体中的所述第二模型根据解密后的所述权重梯度数据更新各自的网络模型。
根据本公开的实施例，所述联邦学习模型中所述第一智能体和所述第二智能体与所述梯度聚合网络之间的参数交换使用差分隐私算法。
根据本公开的实施例，所述第一智能体和所述第二智能体基于各自对环境的观察，分别在所述第一模型和所述第二模型得到各自的中间参数包括：所述第一智能体和所述第二智能体基于各自对环境的观察，通过深度Q-网络算法分别在所述第一模型和所述第二模型得到各自的中间参数。
本公开实施例的第二方面，提供了一种融资预授信装置，所述装置包括接收模块、获取模块、预测模块以及训练模块。接收模块用于接收第一用户发送的融资请求。获取模块用于基于所述融资请求，获取所述第一用户存储在银行的银行维度数据。预测模块用于利用位于所述银行的第一模型处理所述银行维度数据，来确定所述第一用户的第一预授信额度。训练模块用于将所述第一模型与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练，其中，所述第二模型用于处理所述第一用户在所述第三方存储的其他维度数据；其中，所述联邦学习模型在训练过程中以强化学习的方式进行学习，其中，所述强化学习包括第一智能体和第二智能体，所述第一智能体包括所述第一模型，所述第二智能体包括所述第二模型；以及所述第一智能体和所述第二智能体通过对相同环境的观察进行学习，其中，所述环境为基于所述银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
本公开实施例的第三方面，提供了一种电子设备。所述电子设备包括一个或多个处理器、以及一个或多个存储器。所述一个或多个存储器用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
本公开实施例的第五方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
上述一个或多个实施例具有如下优点或益效果：将联邦学习框架与强化学习相结合预测用户的预授信额度，既可以在不泄露数据隐私、各方数据不离开本地基础上提升模型可学习的数据特征，又可以据联邦学习模型的预测结果与用户实际审核通过的授信额度历史数据的差距，对联邦学习模型给予奖励，提高联邦学习模型预测得到的预授信额度与最终真实授信额度的吻合程度，提升了预测效率和准确性。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的融资预授信方法、装置、设备、介质和程序产品的系统架构；
图2示意性示出了根据本公开实施例的融资预授信方法的流程图；
图3示意性示出了根据本公开实施例的融资预授信方法中所使用的模型的训练流程图；
图4示意性示出了根据本公开实施例的融资预授信装置的结构框图；以及
图5示意性示出了适于实现根据本公开实施例的融资预授信方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本文中，需要理解的是，说明书及附图中的任何元素数量均用于示例而非限制，以及任何命名(例如，第一、第二)都仅用于区分，而不具有任何限制含义。
预授信是银行等金融机构根据用户的综合资质给出预借款额度的信息。该预授信额度不能代表最终的融资额度，通常该预授信额度会与实际审核通过的授信额度有所差距。
本公开实施例提供了一种融资预授信方法、装置、设备、介质及程序产品。该方法包括：首先接收第一用户发送的融资请求；然后基于融资请求，获取第一用户存储在银行的银行维度数据；接下来，利用位于银行的第一模型处理银行维度数据，来确定第一用户的第一预授信额度。其中，第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的，其中，第二模型用于处理第一用户在第三方存储的其他维度数据。其中，联邦学习模型中第一模型和第二模型各自在训练过程中以强化学习的方式进行学习，其中，第一模型设置于强化学习的第一智能体中，第二模型设置于强化学习的第二模型中。第一智能体和第二智能体通过对相同环境的观察进行学习，其中，该环境为基于银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
根据本公开的实施例，可以利用联邦学习模型来预测用户的预授信额度，从而可以在不泄露数据隐私、各方数据不离开本地基础上，采用纵向联邦技术扩充预授信联合建模的特征，补充了政府、互联网等非金融机构征信数据的空白，对预授信额度的计算进行建模，提升模型可以学习的数据特征。
更进一步地，本公开实施例将联邦学习框架与强化学习相结合，以强化学习的方式训练用于融资预授信的联邦学习模型，根据联邦学习模型的预测结果与用户实际审核通过的授信额度历史数据的差距，对联邦学习模型给予奖励，提高联邦学习模型预测得到的预授信额度与最终真实授信额度的吻合程度。
需要说明的是，本公开实施例确定的融资预授信方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本公开对应用领域不做限定。
在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
图1示意性示出了根据本公开实施例的融资预授信方法、装置、设备、介质和程序产品的系统架构100。
如图1所示，该系统架构100可以包括第一智能体101、第二智能体102、以及梯度聚合网络103。第一智能体101包括第一模型11和第一噪声12，第二智能体102包括第二模型21和第二噪声22。第一智能体101和第二智能体102维持对同一环境104的观察。
第一智能体101可以设置于银行。其中，第一模型ll为基于银行自有的银行维度数据构建而成的预测模型，可以根据用户在银行中存储的银行维度数据(例如，存款额、每月流水、消费额、交易记录等)，判断用户的融资请求对应的预授信额度。
第二智能体102可以设置于第三方(例如，政务系统、互联网线上购物系统、企业内部等)，可以根据用户的其他维度数据(例如，征信数据、社保数据、消费行为、或者企业财务数据等)，判断用户所融资请求对应的预授信额度。
梯度聚合网络103用于在联邦学习框架中，与第一模型11和第二模型21分别进行交互，通过同态加密规则等加密方式进行两个模型的梯度数据和损失数据的交互和整合，从而各方数据可以不离开本地进行联合建模，共同参与模型训练，提升模型效果。通过联邦学习框架，可以集中来自非同一智能体所学习到不同知识，从更多特征中学习到的经验可以加速强化学习进程从而取得更好的结果。
环境104为基于银行对至少一个用户实际审核通过的授信额度历史数据而构建的。在实际使用中，可以在银行和第三方分别构建相同的环境，从而向第一智能体101和第二智能体102各自提供可观察的环境104。其中，在环境104中，一个用户的授信额度历史数据可以仅有一个，也可以有多个。授信额度历史数据例如可以包括用户在不同时期不同的授信额度数据，或者针对不同类型业务项目进行融资的授信额度，或者以不同还款方式或不同担保条件下的授信额度数据等。
根据本公开的实施例，可以利用强化学习算法(例如，深度Q算法)，将第一智能体101和/或第二智能体102对环境104的观察进行处理，得到对第一模型11和/或第二模型21进行调整的反馈信息。
第一智能体101和第二智能体102分别对应有各自的动作策略
基于各自对环境104的观察，经过强化学习算法得到反馈给第一智能体和/或第二智能体的状态
和奖励
以此更新第一模型11和第二模型21的参数，不断进行学习。
在第一智能体101与环境104进行交互时，可以将第一模型11的输出与第一噪声12融合后，作为环境104的输入信号。相应地，在第二智能体102与环境104进行交互时，可以将第二模型21的输出与第二噪声22融合后，作为环境104的输入信号。其中，根据本公开的实施例，第一噪声12和第二噪声22服从同一分布。以此方式，可以避免第一智能体101或第二智能体102在强化学习过程会遭遇非同一分布样本问题。由于第一智能101或第二智能体102作为单个智能体进行强化学习测算任务时，在之后得到的经验会与之前的经验有着强烈的相关性，会破坏同一分布的数据假设，导致第一智能101或第二智能体102的测算鲁棒性不高。根据本公开的实施例，在第一智能体101和第二智能体102中引入服从同一分布的第一噪声12和第二噪声22，可以建立一个更准确、更稳定的强化学习系统来提供增益。
该系统架构100可以通过利用从不同的协作智能体(第一智能体101和第二智能体102)从各自对环境104的不同的观察结果中提取混合的知识，训练更有效的智能体。在训练过程中，任何对原始数据的传递都是被禁止的，从而在提高可学习的数据特征的基础上，保护了各方数据的隐私安全性。
以下将基于图1描述的系统架构，通过图2～图3对公开实施例的融资预授信方法进行详细描述。
图2示意性示出了根据本公开实施例的融资预授信方法的流程图。
如图2所示，根据该实施例的融资预授信方法可以包括操作S210～操作S230。
在操作S210，接收第一用户发送的融资请求。
在操作S220，基于融资请求，获取第一用户存储在银行的银行维度数据。
在操作S230，利用位于银行的第一模型11处理银行维度数据，来确定第一用户的第一预授信额度。其中，第一模型11是通过与位于第三方的第二模型21组成联邦学习模型，按照联邦学习框架进行训练得到的，其中，第二模型21用于处理第一用户在第三方存储的其他维度数据。其中，联邦学习模型在训练过程中以强化学习的方式进行学习，其中，强化学习包括第一智能体101和第二智能体102，第一智能体101包括第一模型11，第二智能体102包括第二模型21。第一智能体101和第二智能体102通过对相同环境的观察进行学习，其中，环境为基于银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
根据本公开的实施例，第一智能体101还包括第一噪声12，第二智能体102还包括第二噪声22，其中，第一噪声12和第二噪声22服从同一分布。
根据本公开的另一些实施例，第一噪声12和第二噪声22均为高斯噪声。第一噪声12和第二噪声22均采用高斯噪声，指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。如果一个噪声的幅度分布服从高斯分布，而功率谱密度又是均匀分布的，则称高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。
概率密度函数如下式(1)所示。
其中x表示灰度值，μ表示z的平均值或期望值，σ表示x的标准差。标准差的平方σ2称为x的方差。
根据本公开实施例，将联邦学习框架与强化学习相结合预测用户的预授信额度，既可以在不泄露数据隐私、各方数据不离开本地基础上提升模型可学习的数据特征，又可以根据联邦学习模型的预测结果与用户实际审核通过的授信额度历史数据的差距，对联邦学习模型给予奖励，提高联邦学习模型预测得到的预授信额度与最终真实授信额度的吻合程度，提升了预测效率和准确性。
图3示意性示出了根据本公开实施例的融资预授信方法中所使用的模型的训练流程图。
如图3所示，根据该实施例的融资预授信方法中所使用的模型的训练可以包括操作S301～操作S309。
在操作S301，第一智能体101和第二智能体102基于各自对环境104的观察，分别在第一模型11和第二模型21得到各自的中间参数，该中间参数包括中间梯度数据和中间损失数据。
其中，操作S301为对第一智能体101和第二智能体102各自进行强化学习的过程。强化学习的算法可以是深度Q-网络(Deep Q Network)，即，第一智能体101和第二智能体102可以基于各自对环境的观察，通过深度Q-网络算法分别在第一模型11和第二模型21得到各自的中间参数。
具体地，深度Q-网络的算法包括：首先用随机数初始化Q(S，A)表，其中，S表示一个智能体的状态，A表示动作策略；然后用epsilon贪心策略选取一个行动，然后进入下一个状态S；接下来根据更新等式(2)来更新前一个状态的q值：
Q(s，a)＝Q(s，a)+α(r+γmaxQ(s′a′)-Q(s，a)) (2)
其中，Q(s，a)为历史状态表示，a为学习率，γ为激励反馈，maxQ(5′a′)是优化特征表示。在学习过程中，可以使用两个不相关的Q网络(Q_network_local和Q_network_target)来计算预测值(权重θ)和目标值(权重θ′)。经过若干步骤后，目标网络会被冻结，然后拷贝实际的Q网络的权重到目标网络权重。冻结目标Q网络一段时间再用实际Q网络的权重更新其权重，可以稳定训练过程。
在深度Q-网络中，定义损失函数为目标和预测值之间的方差，如式(3)所示。其中，可以通过更新权重可以尽量减少损失(假定智能体从一个状态转换到另一个状态，进行了某个动作a，获取奖励r)。
Loss＝(r+γmaxa′Q(s′，a′；θ′)-Q(s，a；θ))2 (3)
在强化学习的过程中，第一智能体101和/或第二智能体102根据对环境104的观察和抽取的知识进行动作决策。某个时刻，某个智能体也可以不进行动作，只维持各自对环境的观察。
第一智能体101和/或第二智能体102得到环境104对应的反馈结果包括智能体的状态S和奖励r。
第一智能体101和/或第二智能体102通过将得到的状态S和奖励r，放入各自的模型(即，第一模型11和/或第二模型21)中，更新模型参数，以得到包括中间梯度数据和中间损失数据的中间参数。，第一模型11和第二模型21可以是神经网络。
在操作S302，第一智能体101和第二智能体102分别加密各自的中间参数。
在操作S303，第一智能体101和第二智能体102分别将加密过的中间参数发送给梯度聚合网络103。
在操作S304，梯度聚合网络103对加密过的中间参数进行解密。
在操作S305，梯度聚合网络103使用中间损失数据通过反向传输方法训练中间梯度数据，得到权重梯度数据。梯度聚合网络103使用当前的损失通过反向传输方法训练。
在操作S306，梯度聚合网络103加密权重梯度数据。
在操作S307，梯度聚合网络103将加密过的权重梯度数据分别发送给第一智能体101和第二智能体102。
在操作S308，第一智能体101和第二智能体102分别解密接收到的权重梯度数据。
在操作S309，第一智能体101中的第一模型11、以及第二智能体102中的第二模型21根据解密后的权重梯度数据更新各自的网络模型。
操作S302～操作S309是第一模型11和第二模型21与梯度聚合网络103交互，基于联邦学习框架在不交换数据的情况下进行协作更新各自模型参数的过程。在该过程中，采用了交换参数的思想，其中，第一智能体101和第二智能体102与梯度聚合网络103之间的参数交换可以使用差分隐私算法，可以有效避免敌对攻击。一个随机算法M符合(e，δ)-DP意味着对于任何的事件E：
P(M(S)∈E≤eεP(M(S′)∈E)+δ (4)
从定义式(4)不难看出，e和δ越小，隐私性越好。
具体做法是衡量算法的中间结果(比如梯度)的敏感性，并根据其大小施加一个成正比的噪音。由于噪音的存在，想要窃取某个用户的信息的攻击者便无法确定该用户是否在训练集中。在深度神经网络中，每一次迭代都会牺牲一部分隐私来换取性能的提高。我们可以对每个批(batch)的梯度加噪音，从而达到混淆攻击者的目的。
根据本公开的实施例，第一模型11和第二模型21可以是回归预测模型。其中，回归预测模型通过回归分析用来确定两种或两种以上变量间相互依赖的定量关系，其表达形式为y＝w′x+e，目标函数：预测值与实际值的误差平方和。误差越小匹配越好，模型构建如下式(5)所示。
假设函数：hθ(x)＝θ0x0+θ1x1+...+θnxn
损失函数：
目标：min J(θ0，θ1，...，θn) (5)
根据本公开的实施例，通过在两个智能体的预测模型中引入同分布的噪声，可以避免单一测算任务的智能体在学习过程中遇到的非同一分布样本的问题，从而可以建立一个更准确、更稳定的联邦强化学习系统来提供增益。
根据本公开的实施例，结合联邦学习框架进行模型训练，可以提高样本特征效率。传统的预授信测算方法，使用少量维度的特征快速建立稳定和精准模型的能力较低(称为低特征效率问题)，这阻碍了传统的预授信强化学习方法在真实场景中的应用。在本公开各个实施例中，可以对不同智能体从同一环境抽取出知识进行聚合，从而缓解低特征效率问题。
根据本公开实施例，通过与联邦学习框架结合，可以集中来自非同一智能体所学习到不同知识，从更多特征中学习到的经验可以加速强化学习进程从而取得更好的结果，加速学习过程。
基于上述融资预授信方法，本公开还提供了一种融资预授信装置。以下将结合图4对该装置进行详细描述。
图4示意性示出了根据本公开实施例的融资预授信装置400的结构框图。
如图4所示，根据本公开实施例的融资预授信装置400可以包括接收模块410、获取模块420、预测模块430以及训练模块440。该装置400可以用于实现参考图2～图3所描述的方法。
接收模块410用于接收第一用户发送的融资请求。在一个实施例中，接收模块410可以用于执行上文所描述的操作S210。
获取模块420用于基于融资请求，获取第一用户存储在银行的银行维度数据。在一个实施例中，获取模块420可以用于执行上文所描述的操作S220。
预测模块430用于利用位于银行的第一模型处理银行维度数据，来确定第一用户的第一预授信额度。在一个实施例中，预测模块430可以用于执行上文所描述的操作S230。
训练模块440用于将第一模型与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练，其中，第二模型用于处理第一用户在第三方存储的其他维度数据；其中，联邦学习模型在训练过程中以强化学习的方式进行学习，其中，强化学习包括第一智能体和第二智能体，第一智能体包括第一模型，第二智能体包括第二模型；以及第一智能体和第二智能体通过对相同环境的观察进行学习，其中，环境为基于银行对至少一个用户实际审核通过的授信额度历史数据而构建的。在一个实施例中，训练模块440可以用于执行上文所描述的操作S301～操作S309。
根据本公开的实施例，接收模块410、获取模块420、预测模块430和训练模块440中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，接收模块410、获取模块420、预测模块430和训练模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块410、获取模块420、预测模块430和训练模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图5示意性示出了适于实现根据本公开实施例的融资预授信方法的电子设备的方框图。
如图5所示，根据本公开实施例的电子设备500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有电子设备500操作所需的各种程序和数据。处理器501、ROM502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。电子设备500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。
在该计算机程序被处理器501执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分509被下载和安装，和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (11)
1.一种融资预授信方法，包括：
接收第一用户发送的融资请求；
基于所述融资请求，获取所述第一用户存储在银行的银行维度数据；以及
利用位于所述银行的第一模型处理所述银行维度数据，来确定所述第一用户的第一预授信额度；其中，所述第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的，其中，所述第二模型用于处理所述第一用户在所述第三方存储的其他维度数据；
其中，
所述联邦学习模型在训练过程中以强化学习的方式进行学习，其中，所述强化学习包括第一智能体和第二智能体，所述第一智能体包括所述第一模型，所述第二智能体包括所述第二模型；以及
所述第一智能体和所述第二智能体通过对相同环境的观察进行学习，其中，所述环境为基于所述银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
2.根据权利要求1所述的方法，其中，所述第一模型和所述第二模型为回归预测模型。
3.根据权利要求1所述的方法，其中，所述第一智能体还包括第一噪声，所述第二智能体还包括第二噪声，其中，所述第一噪声和所述第二噪声服从同一分布。
4.根据权利要求3所述的方法，其中，所述第一噪声和所述第二噪声均为高斯噪声。
5.根据权利要求1所述的方法，其中，所述联邦学习模型还包括梯度聚合网络，所述第一模型是通过与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练得到的包括：
所述第一智能体和所述第二智能体基于各自对环境的观察，分别在所述第一模型和所述第二模型得到各自的中间参数，所述中间参数包括中间梯度数据和中间损失数据；
所述第一智能体和所述第二智能体分别将加密过的所述中间参数发送给梯度聚合网络；
所述梯度聚合网络对加密过的所述中间参数进行解密，并使用所述中间损失数据通过反向传输方法训练所述中间梯度数据，得到权重梯度数据；
所述梯度聚合网络将加密过的所述权重梯度数据分别发送给所述第一智能体和所述第二智能体；以及
所述第一智能体中的所述第一模型、以及所述第二智能体中的所述第二模型根据解密后的所述权重梯度数据更新各自的网络模型。
6.根据权利要求5所述的方法，其中，所述联邦学习模型中所述第一智能体和所述第二智能体与所述梯度聚合网络之间的参数交换使用差分隐私算法。
7.根据权利要求5所述的方法，其中，所述第一智能体和所述第二智能体基于各自对环境的观察，分别在所述第一模型和所述第二模型得到各自的中间参数包括：
所述第一智能体和所述第二智能体基于各自对环境的观察，通过深度Q-网络算法分别在所述第一模型和所述第二模型得到各自的中间参数。
8.一种融资预授信装置，包括：
接收模块，用于接收第一用户发送的融资请求；
获取模块，用于基于所述融资请求，获取所述第一用户存储在银行的银行维度数据；以及
预测模块，用于利用位于所述银行的第一模型处理所述银行维度数据，来确定所述第一用户的第一预授信额度；
其中，
所述装置还包括训练模块，
所述训练模块，用于将所述第一模型与位于第三方的第二模型组成联邦学习模型，按照联邦学习框架进行训练，其中，所述第二模型用于处理所述第一用户在所述第三方存储的其他维度数据；
其中，所述联邦学习模型在训练过程中以强化学习的方式进行学习，其中，所述强化学习包括第一智能体和第二智能体，所述第一智能体包括所述第一模型，所述第二智能体包括所述第二模型；以及
所述第一智能体和所述第二智能体通过对相同环境的观察进行学习，其中，所述环境为基于所述银行对至少一个用户实际审核通过的授信额度历史数据而构建的。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。
11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111418323.9A CN114037521A (zh) | 2021-11-25 | 2021-11-25 | 融资预授信方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111418323.9A CN114037521A (zh) | 2021-11-25 | 2021-11-25 | 融资预授信方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114037521A true CN114037521A (zh) | 2022-02-11 |
Family
ID=80145641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111418323.9A Pending CN114037521A (zh) | 2021-11-25 | 2021-11-25 | 融资预授信方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037521A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201777A (zh) * | 2022-02-16 | 2022-03-18 | 浙江网商银行股份有限公司 | 数据处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782042A (zh) * | 2019-10-29 | 2020-02-11 | 深圳前海微众银行股份有限公司 | 横向联邦和纵向联邦联合方法、装置、设备及介质 |
| CN110852448A (zh) * | 2019-11-15 | 2020-02-28 | 中山大学 | 一种基于多智能体强化学习的合作型智能体的学习方法 |
| CN111508000A (zh) * | 2020-04-14 | 2020-08-07 | 北京交通大学 | 基于参数空间噪声网络的深度强化学习目标跟踪方法 |
| CN111931242A (zh) * | 2020-09-30 | 2020-11-13 | 国网浙江省电力有限公司电力科学研究院 | 一种数据共享方法以及应用其的计算机设备及可读存储介质 |
| CN112232478A (zh) * | 2020-09-03 | 2021-01-15 | 天津(滨海)人工智能军民融合创新中心 | 一种基于分层注意力机制的多智能体强化学习方法及系统 |
| CN112465151A (zh) * | 2020-12-17 | 2021-03-09 | 电子科技大学长三角研究院(衢州) | 一种基于深度强化学习的多智能体联邦协作方法 |
| CN112801731A (zh) * | 2021-01-06 | 2021-05-14 | 广东工业大学 | 一种接单辅助决策的联邦强化学习方法 |
| CN113409134A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 基于联邦学习的企业融资授信方法及装置 |
| CN113673696A (zh) * | 2021-08-20 | 2021-11-19 | 山东鲁软数字科技有限公司 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
-
2021
- 2021-11-25 CN CN202111418323.9A patent/CN114037521A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782042A (zh) * | 2019-10-29 | 2020-02-11 | 深圳前海微众银行股份有限公司 | 横向联邦和纵向联邦联合方法、装置、设备及介质 |
| CN110852448A (zh) * | 2019-11-15 | 2020-02-28 | 中山大学 | 一种基于多智能体强化学习的合作型智能体的学习方法 |
| CN111508000A (zh) * | 2020-04-14 | 2020-08-07 | 北京交通大学 | 基于参数空间噪声网络的深度强化学习目标跟踪方法 |
| CN112232478A (zh) * | 2020-09-03 | 2021-01-15 | 天津(滨海)人工智能军民融合创新中心 | 一种基于分层注意力机制的多智能体强化学习方法及系统 |
| CN111931242A (zh) * | 2020-09-30 | 2020-11-13 | 国网浙江省电力有限公司电力科学研究院 | 一种数据共享方法以及应用其的计算机设备及可读存储介质 |
| CN112465151A (zh) * | 2020-12-17 | 2021-03-09 | 电子科技大学长三角研究院(衢州) | 一种基于深度强化学习的多智能体联邦协作方法 |
| CN112801731A (zh) * | 2021-01-06 | 2021-05-14 | 广东工业大学 | 一种接单辅助决策的联邦强化学习方法 |
| CN113409134A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 基于联邦学习的企业融资授信方法及装置 |
| CN113673696A (zh) * | 2021-08-20 | 2021-11-19 | 山东鲁软数字科技有限公司 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201777A (zh) * | 2022-02-16 | 2022-03-18 | 浙江网商银行股份有限公司 | 数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210004718A1 (en) | Method and device for training a model based on federated learning | |
| US11410105B2 (en) | Blockchain based supply chain network systems | |
| US11734591B2 (en) | Optimizing automated modeling algorithms for risk assessment and generation of explanatory data | |
| Witt et al. | Decentral and incentivized federated learning frameworks: A systematic literature review | |
| CN115943394A (zh) | 用于安全纵向联邦学习的方法、装置和系统 | |
| US10346782B2 (en) | Adaptive augmented decision engine | |
| EP3923207A2 (en) | Clustering techniques for machine learning models | |
| CN110533419B (zh) | 基于区块链的风控模型的共享方法、装置及服务器 | |
| CN114971841A (zh) | 风险管理方法、风险模型训练方法、装置、设备和介质 | |
| Hu et al. | Recent developments in machine learning methods for stochastic control and games | |
| CN114037521A (zh) | 融资预授信方法、装置、设备及介质 | |
| Zou et al. | AI and housing discrimination: the case of mortgage applications | |
| CN117437020A (zh) | 商户风险判定方法、装置、电子设备和介质 | |
| CN116432040A (zh) | 基于联邦学习的模型训练方法、装置、介质以及电子设备 | |
| Dm et al. | Comparison of Accuracy of Support Vector Machine Model and Logistic Regression Model in Predicting Individual Loan Defaults | |
| CN116306268A (zh) | 基于联邦强化学习的盾构掘进仿真模型参数辨识方法系统 | |
| CN114782170A (zh) | 评估模型风险等级的方法、装置、设备和介质 | |
| CN114331540A (zh) | 训练模型的方法、确定资产估值的方法和装置 | |
| CN115063145A (zh) | 交易风险因子的预测方法、装置、电子设备和存储介质 | |
| CN113657611A (zh) | 联合更新模型的方法及装置 | |
| Kahagalage et al. | Exploratory modelling and analysis to support decision-making under deep uncertainty: A case study from defence resource planning and asset management | |
| Mosqueda González et al. | Secure and efficient decentralized machine learning through group-based model aggregation | |
| US20230315885A1 (en) | Systems, methods, and computer-readable media for secure and private data valuation and transfer | |
| US12032513B2 (en) | Data control, management, and perpetual monetization control methods and systems | |
| Al-Qahtani | Towards Knowledge-Based economy: Assessing the ecosystem and value creation drivers through cybersecurity, intangible assets and blockchain technology in Qatar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |