CN110059887B - 基于自适应遗传算法的bp神经网络风险识别方法及系统 - Google Patents

基于自适应遗传算法的bp神经网络风险识别方法及系统 Download PDF

Info

Publication number
CN110059887B
CN110059887B CN201910339307.7A CN201910339307A CN110059887B CN 110059887 B CN110059887 B CN 110059887B CN 201910339307 A CN201910339307 A CN 201910339307A CN 110059887 B CN110059887 B CN 110059887B
Authority
CN
China
Prior art keywords
output
neural network
risk
value
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910339307.7A
Other languages
English (en)
Other versions
CN110059887A (zh
Inventor
蒋沁
黄一超
庞爱莉
黄阮明
兰莉
何禹清
陈淑娟
黎灿兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Economic and Technological Research Institute of State Grid Shanghai Electric Power Co Ltd
Original Assignee
Hunan University
Economic and Technological Research Institute of State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University, Economic and Technological Research Institute of State Grid Shanghai Electric Power Co Ltd filed Critical Hunan University
Priority to CN201910339307.7A priority Critical patent/CN110059887B/zh
Publication of CN110059887A publication Critical patent/CN110059887A/zh
Application granted granted Critical
Publication of CN110059887B publication Critical patent/CN110059887B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06Asset management; Financial planning or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Genetics & Genomics (AREA)
  • Technology Law (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)

Abstract

本发明公开了一种基于自适应遗传算法的BP神经网络风险识别方法及系统,该方法包括:根据Sigmoid函数对自适应遗传算法进行优化,获得优化后的自适应遗传算法;根据自适应遗传算法计算得到BP神经网络的初始参数;获取BP神经网络的输入风险向量,根据初始参数以及输入风险向量,建立BP神经网络,并获取BP神经网络的输出风险误差;根据输出风险误差修正各个初始参数;在输出风险误差满足设定条件时,获取BP神经网络的输出向量;根据输出向量确定BP神经网络的各个风险的风险识别结果。本发明的技术方案旨在解决现有技术中BP神经网络初始参数由人为设定导致的利用BP神经网络预测电网投资风险值不准确的问题。

Description

基于自适应遗传算法的BP神经网络风险识别方法及系统
技术领域
本发明涉及风险识别技术领域,尤其涉及一种基于自适应遗传算法的BP神经网络风险识别方法和一种基于自适应遗传算法的BP神经网络风险识别系统。
背景技术
长期以来,我国对电源建设的投资幅度较大,而对电网建设的投资不足,主要表现在:城市电网的老化,很多地区的设备需要进行改造或者技改;电网的主网架结构存在很多薄弱的地方;农村的电网建设更是多年来发展缓慢,无法满足普遍服务。近年来,国家加大了对电网的投资力度,各电网公司的年度投资规模都有了快速的增长,因此电网建设投资项目剧增。
电网公司在进行投资决策时存在的不确定的因素很多。电网建设项目具有投资不可逆性和不确定性的特征,因此,电网投资是不可逆的。电网资产只能用来输送电力,而没有其他用途,如果架设的电网由于没有输送足够电量或未达到预定的负荷导致亏损时,电网项目的投资就不能通过正常的运营来收回成本,更加不能获利。在现有政策条件和市场环境下,电网资产进行出售或转让的难度很大,所以试图通过转让电网资产来收回投资是不可能的,上述因素都导致了电网投资的不可逆性。
电网投资的未来回报具有不确定性。电网投资时间跨度很大,在竞争性的电力市场环境下,许多不确定性因素都影响着未来的投资回报,例如:
(1)未来投入资本的大小:未来是否需要追加投资;
(2)电力需求预测的准确性:电力需求预测往往跟宏观层面上国家产业政策的调整有关,而国家产业政策的调整具有不确定性;
(3)电价的变动:由于上网电价频繁波动,但是终端用户电价的调整受国家控制;
(4)输电费的高低;
(5)银行利息的升降:由于银行贷款是电网投资的常用途径,因此电网投资对银行贷款的依赖性很强。
由于电网建设的不确定性因素众多,因此电网企业面临很多潜在风险。随着加大对电网的投资力度,需要对更多的电网建设项目进行风险管理,项目的风险直接关系到整个电网的经营风险。因为,虽然进行电网建设可能带来售电量的增加,电能可靠性的提高或者可以提供更加广泛地普遍服务,但是从投资的收益来说,大规模的电网投资不一定是经济的。如果考虑电网企业的一般企业特性,它需要创造企业的效益,当然这是在满足提高社会满意的服务的基础上。但是,大规模的电网投资,带来向银行贷款增多,企业的还本付息压力增加,加大了企业的财务风险。如果电网建设项目投产后,没有出现预期的负荷需求,或者供电设施空载或低载,将会给电网企业带来经营风险。
现有技术中,对电网项目管理推进过程中的风险管理方面的研究和实践比较少见,电网建设的风险管理更为迫切地需要进一步的细化研究和实践,具有重大现实意义。
神经网络在智能控制、传感技术、机器人技术等领域,得到了广泛应用。从结构上来看,神经网络由类似神经元的单元及单元间带权连接弧构成,各单元拥有各自状态。通过反复学习和训练各类样本,神经网络可以实现各连接弧上权值及单元状态调整,直至网络达到稳定状态。此时,利用神经网络可以对网络输入模式和输出模式的映射关系进行反映,达到学习的目的。跟传统的识别模型相比,BP神经网络具有以下优点:首先,它可以跟计算机实现比较好的结合,可以应用matlab软件实现对评价数据的分析,而且分析的结果比较直观;其次,BP神经网络可以实现复杂度较高的建模,而且可以根据训练层与层之间的权重的反向计算,得到每个评价指标的重要性参数;再次,BP神经网络可以模仿大脑的信息处理功能,整个评价过程因此而具有“智能型”;最后,BP神经网络具有好的抗干扰能力和学习能力。
现有技术中的BP神经网络也存在一些问题:因其本质上为梯度下降法,所以算法收敛速度慢;算法容易陷入局部极值;已学习成功的网络容易受到新输入样本的影响;并且某种程度上存在一定训练失败的可能。并且,现有技术中BP神经网络的初始参数是人为设定产生的,因此,初始参数的设定由人为因素决定,导致BP神经网络算法的收敛效果不佳,从而利用BP神经网络对电网投资风险进行评估得到的评估值不准确。
发明内容
本发明的主要目的在于提供一种基于自适应遗传算法的BP神经网络风险识别方法,旨在解决现有技术中BP神经网络初始参数由人为设定导致的利用BP神经网络预测电网投资风险值不准确的问题。
为实现上述目的,本发明提供的基于自适应遗传算法的BP神经网络风险识别方法包括如下步骤:
根据Sigmoid函数对自适应遗传算法进行优化,以获得优化后的自适应遗传算法;
根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数;
获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差;
根据所述输出风险误差修正各个所述初始参数;
在所述输出风险误差满足设定条件时,获取所述BP神经网络的输出向量;
根据所述输出向量确定所述BP神经网络的各个风险的风险识别结果。
优选的,所述根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数的步骤,包括:
获取所述BP神经网络的预设参数,根据所述预设参数进行编码以形成自适应遗传算法的初始种群,其中,所述预设参数包括预设权值和预设阈值;
对所述初始种群进行选择、交叉和变异操作,其中,每一轮操作的交叉概率和变异概率分别根据所述优化后的自适应遗传算法确定;
根据所述操作轮数是否达到设定的最大遗传代数,确定是否终止操作;
在操作轮数达到所述最大遗传代数时,获取最后一轮操作获取的种群中所述适应度值最大的种群,并将所述适应度值最大的种群解码,以形成所述BP神经网络的各个所述初始参数。
优选的,所述根据所述操作轮数是否达到设定的最大遗传代数,确定是否终止操作的步骤之后,包括:
在操作轮数未达到所述最大遗传代数时,将当前轮操作获得的新种群与上一轮操作获得的所述种群按比例混合得到下一轮种群,并对所述下一轮种群进行选择、交叉和变异操作。
优选的,所述获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差的步骤,包括:
获取期望输出向量,所述期望输出向量包括输出层的期望输出向量和隐层的期望输出向量;
获取隐层包含的隐节点数和输出层包含的输出节点数;
根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,建立所述BP神经网络;
根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,确定各个节点的输出值,所述各个节点的输出值包括各个所述隐节点的输出值和各个所述输出节点的输出值;
根据各个所述输出节点的输出值和所述输出层的期望输出向量,确定所述BP神经网络的输出风险误差。
优选的,所述根据所述输出风险误差修正各个所述初始参数的步骤,包括:
获取所述BP神经网络的各个学习速率;
根据所述期望输出向量和所述各个节点的输出值确定所述BP神经网络的输出误差,其中,所述输出误差包括隐节点误差和输出风险误差;
根据所述输出误差和各个所述学习速率,确定所述BP神经网络的各个权值变化量;
根据所述BP神经网络相邻两次迭代过程中的同一个权值的权值变化量的乘积修正对应的所述初始参数。
优选的,所述根据所述BP神经网络相邻两次迭代过程中的同一个权值的权值变化量的乘积修正对应的所述初始参数的步骤,包括:
当相邻两次迭代获得的同一个权值的所述权值变化量的乘积为正数时,提高所述权值对应的学习速率,并根据提高的所述学习速率修正所述初始参数;
当相邻两次迭代获得的同一个所述权值的所述权值变化量的乘积为负数时,降低所述权值对应的学习速率,并根据降低的所述学习速率修正所述初始参数。
优选的,所述提高所述权值对应的学习速率的步骤包括:
获取1与所述权值对应的所述学习速率的第一均值;
将所述第一均值确定为修正的学习速率;
所述降低所述权值对应的学习速率的步骤包括:
获取0与所述权值对应的所述学习速率的第二均值;
将所述第二均值确定为修正的学习速率。
优选的,所述基于自适应遗传算法的BP神经网络风险识别方法,还包括:
判断所述输出风险误差是否满足设定条件;
在所述输出风险误差不满足设定条件时,执行所述根据所述输出风险误差修正所述初始参数的步骤。
此外,为实现上述目的,本发明还提供一种基于自适应遗传算法的BP神经网络风险识别系统,应用如上述任一项所述的基于自适应遗传算法的BP神经网络风险识别方法的步骤。
在本发明的技术方案中,该基于自适应遗传算法的BP神经网络风险识别方法首先根据Sigmoid函数对自适应遗传算法进行优化,以获得优化后的自适应遗传算法;根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数,因此,BP神经网络的各个初始参数不是由人为设定的,而是经过自适应遗传算法优选得到的;获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差;根据所述输出风险误差修正各个所述初始参数;在所述输出风险误差满足设定条件时,获取所述BP神经网络的输出向量;根据所述输出向量确定所述BP神经网络的各个风险的风险识别结果。由于本发明通过自适应遗传算法对BP神经网络的初始参数进行优化,从而解决了初始参数由人为设定导致的算法收敛效果不佳的问题。并且,现有的自适应遗传算法中交叉自适应培养的交叉概率和变异概率均是常数,而本发明中的自适应遗传算法通过Sigmoid函数对交叉概率和变异概率进行优化,从而对个体特征加以区分,进一步提高了算法的收敛速度,从而,本发明的技术方案有利于解决现有技术中BP神经网络初始参数由人为设定导致的利用BP神经网络预测电网投资风险值不准确的问题。
附图说明
图1为本发明基于自适应遗传算法的BP神经网络风险识别方法第一实施例的流程示意图;
图2为本发明基于自适应遗传算法的BP神经网络风险识别方法第二实施例的流程示意图;
图3为本发明基于自适应遗传算法的BP神经网络风险识别方法第四实施例的流程示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
请参阅图1,为实现上述目的,本发明的第一实施例中提供一种基于自适应遗传算法的BP神经网络风险识别方法,包括如下步骤:
步骤S10,根据Sigmoid函数对自适应遗传算法进行优化,以获得优化后的自适应遗传算法;
步骤S20,根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数;
步骤S30,获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差;
步骤S40,根据所述输出风险误差修正各个所述初始参数;
步骤S50,在所述输出风险误差满足设定条件时,获取所述BP神经网络的输出向量;
步骤S60,根据所述输出向量确定所述BP神经网络的各个风险的风险识别结果。
在本发明的技术方案中,该基于自适应遗传算法的BP神经网络风险识别方法首先根据Sigmoid函数对自适应遗传算法进行优化,以获得优化后的自适应遗传算法;根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数,因此,BP神经网络的各个初始参数不是由人为设定的,而是经过自适应遗传算法优选得到的;获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差;根据所述输出风险误差修正各个所述初始参数;在所述输出风险误差满足设定条件时,获取所述BP神经网络的输出向量;根据所述输出向量确定所述BP神经网络的各个风险的风险识别结果。由于本发明通过自适应遗传算法对BP神经网络的初始参数进行优化,从而解决了初始参数由人为设定导致的算法收敛效果不佳的问题。并且,现有的自适应遗传算法中交叉自适应培养的交叉概率和变异概率均是常数,而本发明中的自适应遗传算法通过Sigmoid函数对交叉概率和变异概率进行优化,从而对个体特征加以区分,进一步提高了算法的收敛速度,从而,本发明的技术方案有利于解决现有技术中BP神经网络初始参数由人为设定导致的利用BP神经网络预测电网投资风险值不准确的问题。
所述初始参数包括初始权值和初始阈值。本发明中,基于遗传算法的神经网络参数优化方法具体可以是一种权值优化方法,也可以是权值和阈值的优化方法。通过遗传空间进行适应度优选,可以完成函数值大的多个个体选择,淘汰适应度小的个体;并且采用交叉和变异遗传算子,可以实现当前群体处理以获得下一代群体,从而通过反复的迭代过程,实现神经网络的参数优化。
在本发明中,建立基于二分法的BP神经网络模型,并且在网络训练过程中使用二分法调整学习速率,使得学习速率在训练过程中不断向最优化方向自动调整。
BP神经网络的输入风险向量为:
X={X1,X2,...,Xi,...,Xn)
Xi={Xi1,Xi2,...,Xim},i=1,2,...,n
其中,Xi表示电网投资中的存在的第i个风险,比如政策风险,经济发展风险和电网发展形态风险等。Xij为风险Xi的第j个影响因素。
BP神经网络的输出向量为:
Y={Y1,Y2,...,Yi,...,Yn)
Yi均为[0,1]内的值,表示第i个风险Xi的识别结果,也就是风险评估值,输出层输出的Yi分值越低,说明投资项目中该类风险的投资风险越高;反之,分值越高,说明投资项目中该类风险的投资风险越低。
为了便于介绍,本实施例中确定的BP神经网络结构为3层前馈BP网络,包括1个输入层、1个隐层、1个输出层。上下层之间实现全连接,而每层节点之间无连接。
请参阅图2,基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第一实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第二实施例中,所述步骤S20,包括:
步骤S21,获取所述BP神经网络的预设参数,根据所述预设参数进行编码以形成自适应遗传算法的初始种群,其中,所述预设参数包括预设权值和预设阈值。
其中,编码方法可以为二进制编码或实数编码。具体的,针对复杂系统优化问题,采用二进制编码过于繁杂,算法的收敛精度和速度都会受到一定程度的影响,导致算法缺乏空间搜索能力。在本实施例中采用实数编码,实数编码能根据个体空间与可行解空间对应关系进行个体解码,将码串长度看成是神经网络权值个数。
针对神经网络权值优化问题,由于权值均以实数表示,所以可以直接利用实数编码方式,使各权值与实数对应,然后通过串连进行各位串的位表达。
权值和阈值均以实数表示,所以可以直接利用实数编码方式,使各权值、阈值与实数对应,然后通过串连进行各位串的位表达,确定编码方式后,可以实现初始化操作,在编码最大范围内得到随机初始值。初始种群数量可以被限定在几十到几百之间。
步骤S22,对所述初始种群进行选择、交叉和变异操作,其中,每一轮操作的交叉概率和变异概率分别根据所述优化后的自适应遗传算法确定。
具体的,所述步骤S10根据Sigmoid函数对自适应遗传算法进行优化的步骤,具体为对交叉概率和变异概率的优化。
Figure GDA0002992121980000091
Figure GDA0002992121980000092
其中,Pc和Pm分别为交叉概率和变异概率;f′为进行交叉操作的两个父辈中适应度值较大的一个;f为进行变异操作的个体适应度值;fmax为种群适应度最大值;fmin为种群适应度最小值;favg为种群适应度的平均值;Pcmax和Pmmax分别为最大交叉概率和最大变异概率;E为最大遗传代数;Ei为当前进化代数;Pc取值范围为0.5~0.9,Pm的取值范围为0.01~0.1,且取A=8.800861。
现有技术中,解决BP神经网络算法容易收敛于局部极值,不能达到全局最优的问题,并且已学习成功的网络容易受到新输入样本的影响,某种程度上存在一定训练失败的问题。通过自适应遗传算法对BP神经网络的初始参数进行优化后,将优化后的初始参数作为BP神经网络的初始参数,即可避免人为设定初始参数导致得BP神经网络收敛效果不佳,并且通过Sigmoid函数对自适应遗传算法进行优化,解决了现有技术中交叉概率与变异概率为固定值时阻碍算法的收敛速度的问题。
步骤S23,根据所述操作轮数是否达到设定的最大遗传代数,确定是否终止操作;
步骤S24,在操作轮数达到所述最大遗传代数时,获取最后一轮操作获取的种群中所述适应度值最大的种群,并将所述适应度值最大的种群解码,以形成所述BP神经网络的各个所述初始参数。
选择算子还应发挥产生大量适应度值大的个体的作用,确保个体能够更多的参与到下一代繁殖中,得到更多的后代个体。每一轮操作获取的新种群保证染色体个数均为N,假设第i个染色体为xi,对应的适应度值为fi,还要利用选择算子完成染色体复制,以得到的下一代种群中的染色体个数。
Figure GDA0002992121980000101
循环进行选择、交叉、变异、计算适应度操作,直到达到设定的最大遗传代数即可通过筛选得到最优的初始权值和阈值。
请再次参阅图2,基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第二实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第三实施例中,所述步骤S23之后,还包括:
步骤S25,在操作轮数未达到所述最大遗传代数时,将当前轮操作获得的新种群与上一轮操作获得的所述种群按比例混合得到下一轮种群,并对所述下一轮种群进行选择、交叉和变异操作。
对每一轮获得的种群循环进行选择、交叉和变异操作,直至操作轮数达到设定的最大遗传代数时结束操作,并根据最后一轮操作获得的种群中适应度值最大的种群解码,以形成所述BP神经网络的各个所述初始参数。
请参阅图3,基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第一实施例至第三实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第四实施例中,所述步骤S30,包括:
步骤S31,获取期望输出向量,所述期望输出向量包括输出层的期望输出向量和隐层的期望输出向量;
步骤S32,获取隐层包含的隐节点数和输出层包含的输出节点数;
输出层包含的输出节点数可以根据预设的输出节点数确定,隐层包含的隐节点数可以根据两种计算方式确定:
第一种为:
Figure GDA0002992121980000102
第二种为:S1=lbR,(5)
式(4)中,S1为隐节点数,R为输入层节点数,S2为输出层节点数;a为区间[1,10]的某一整数。式(5)中,l和b分别为常数。本实施例中,通过缩小隐节点数的取值范围,通过网络训练得出的训练误差来选择隐层最佳节点数。
步骤S33,根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,建立所述BP神经网络;
步骤S34,根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,确定各个节点的输出值,所述各个节点的输出值包括各个所述隐节点的输出值和各个所述输出节点的输出值。
BP神经网络算法是一种多层网络的“逆推”学习算法,从输入层到隐层、从隐层到输出层的传递函数均为sigmoid函数:
Figure GDA0002992121980000111
根据BP神经网络向前传播,确定各个隐节点的输出值和各个输出节点的输出值。
向前传播包括以下步骤:
输入层的输入与输出:
o1i=xi,i=1,2,...,n,(7)
其中,xi为输入层节点i的输入值,o1i为输入层节点i的输出值,n为输入层节点数。
隐层的输入与输出:
Figure GDA0002992121980000112
o2j=f(Aj),(9)
其中,Aj为隐节点j的输入值,ωij为输入层第i个节点与隐层第j个节点的连接权值,θj为隐层第j个节点的阈值,n为输入层节点数,p为隐节点总数,o2j为隐节点j的输出值。
输出层的输入与输出:
Figure GDA0002992121980000113
o3t=f(Bt),(11)
其中,Bt为输出层节点t的输入值,ωjt为隐层第j个节点与输出层第t个节点的连接权值,θt为输出层第t个节点的阈值,q为输出层节点总数,o3t为输出层节点t的输出值。
步骤S35,根据各个所述输出节点的输出值和所述输出层的期望输出向量,确定所述BP神经网络的输出风险误差。
反向传播过程的基本思想是:o3t为输出层的节点t的实际计算输出,通过o3t与所期望的输出dt之间的误差反向传播来修改各权值。
输出风险误差定义式:
Figure GDA0002992121980000121
其中:E1为输出风险误差值,dt为输出层节点t的期望输出值,q为输出节点总数,o3t为输出层节点t实际计算输出。
基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第四实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第五实施例中,所述步骤S40,还包括:
步骤S41,获取所述BP神经网络的各个学习速率;
各个学习速率包括输入层的各个输入节点到隐层各个隐节点的学习速率,以及隐层各个隐节点到输出层的各个输出节点的学习速率。
步骤S42,根据所述期望输出向量和所述各个节点的输出值确定所述BP神经网络的输出误差,其中,所述输出误差包括隐节点误差和输出风险误差;
输出风险误差的计算请参阅上述第四实施例式(12),本实施例中隐节点误差定义式为:
Figure GDA0002992121980000122
其中:E2为隐节点误差值,dj为隐节点j的期望输出值,p为隐节点总数,o3j为隐节点j实际计算输出。
步骤S43,根据所述输出误差和各个所述学习速率,确定所述BP神经网络的各个权值变化量;
对于每个训练样例,网络的权值沿E函数梯度方向下降修正,任意两层节点之间权值ωab的变化量为:
Figure GDA0002992121980000123
其中:Δωab为权值ωab的变化量,ηab为学习速率,xab为从任意一层节点a到下一层节点b的输入。δb为权值调整量,输入层与隐层之间的各个权值调整量和隐层与输出层之间的各个权值调整量的计算方法并不相同,具体的,计算方法如下:
输出层与隐层之间的权值变化量Δωjt为:
Δωjt=ηjtδto2i,(15)
δt=o3t(1-o3t)(dt-o3t),(16)
输入层与隐层之间的权值变化量Δωij为:
Δωij=ηijδjo1i,(17)
Figure GDA0002992121980000131
步骤S44,根据所述BP神经网络相邻两次迭代过程中的同一个权值的权值变化量的乘积修正对应的所述初始参数。
在本实施例中,通过二分法修正学习速率,使学习速率根据网络训练的状态自动调整,所述BP神经网络相邻两次迭代过程中同一个权值的权值变化量的乘积可以体现相邻两次迭代过程权值调整的梯度方向相同或相反。相邻两次调整的梯度方向相同时,收敛情况较好,反之,相邻两次调整的梯度方向相反时,收敛情况较差。
相邻两次迭代过程中的同一个权值的权值变化量的乘积修正与所述权值对应的学习速率,并根据每一个学习速率的修正来调节每一个权值和阈值。修正后的权值=当前权值-权值调整值。由于权值调整量可以根据上述公式(16)和(18)确定,当前权值也确定,所以修正后的权值也可以确定。
同样的,当需要对各个初始阈值进行修正时,修正后的阈值可以根据当前阈值和阈值调整值的差值确定。
基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第五实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第六实施例中,所述步骤S44,包括:
步骤S45,当相邻两次迭代获得的同一个权值的所述权值变化量的乘积为正数时,提高所述权值对应的学习速率,并根据提高的所述学习速率修正所述初始参数;
步骤S46,当相邻两次迭代获得的同一个所述权值的所述权值变化量的乘积为负数时,降低所述权值对应的学习速率,并根据降低的所述学习速率修正所述初始参数。
若相邻两次调整方向相同则使用二分法加大学习速率η,若相邻两次调整方向不同则使用二分法减少学习速率η,从而达到在训练过程中达到不断优化学习速率的目的。
基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第六实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第七实施例中,所述步骤S45中的提高所述权值对应的学习速率的步骤包括:
步骤S451,获取预设1与所述权值对应的所述学习速率的第一均值;
步骤S452,将所述第一均值确定为修正的学习速率。
所述步骤S46中的所述降低所述权值对应的学习速率的步骤包括:
步骤S461,获取0与所述权值对应的所述学习速率的第二均值;
步骤S462,将所述第二均值确定为修正的学习速率。
本实施例中,学习速率调整过程如下:
1)置η的取值范围为0<η<1,设η0为初始学习速率。
η=η0
2)如果相邻2次调整的梯度之积为正,说明相邻两次调整的梯度方向相同,收敛情况较好,可以使用二分法加大学习速率,使其调整速率加快:
Figure GDA0002992121980000141
即在η与1之间取中值,将该中值作为η的取值。
3)如果相邻2次调整的梯度之积为负,说明相邻2次调整的梯度方向相反,在2次调整之间出现了极值点,此时学习速率过大,使得上一次调整时越过了极值点,因而需要使用二分法减小学习速率,提高误差精度。
Figure GDA0002992121980000142
即在η与0之间取中值,将该中值作为η的取值。
基于本发明的基于自适应遗传算法的BP神经网络风险识别方法的第一实施例至第七实施例,本发明的基于自适应遗传算法的BP神经网络风险识别方法的第八实施例中,所述基于自适应遗传算法的BP神经网络风险识别方法,还包括:
步骤S70,判断所述输出风险误差是否满足设定条件;
步骤S80,在所述输出风险误差不满足设定条件时,执行所述根据所述输出风险误差修正所述初始参数的步骤。
本发明通过上述技术方案解决了BP神经网络算法容易收敛于局部极值,不能达到全局最优的问题;并进一步解决了交叉概率与变异概率固定阻碍了算法的收敛速度的问题;还解决了已学习成功的网络容易受到新输入样本的影响,某种程度上存在一定训练失败的问题。
从而,本发明技术方案带来的有益效果为:
1.学习成功的网络不再过分依赖于新输入样本的影响;某种程度上减小了训练失败的可能;
2.算法收敛速度提升的同时确保输出精度;
3.结合了遗传算法,使得BP神经网络收敛于全局极值;
4.算法稳定性更强。
此外,为实现上述目的,本发明还提供一种基于自适应遗传算法的BP神经网络风险识别系统,应用如上述任一实施例所述的基于自适应遗传算法的BP神经网络风险识别方法的步骤。
由于本实施例基于自适应遗传算法的BP神经网络风险识别系统的技术方案至少包括上述基于自适应遗传算法的BP神经网络风险识别方法实施例的全部技术方案,因此至少具有以上实施例的全部技术效果,此处不再一一赘述。
在本说明书的描述中,参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例~第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,包括如下步骤:
根据Sigmoid函数对自适应遗传算法的交叉概率和变异概率进行优化,以获得优化后的自适应遗传算法,其中,
Figure FDA0002992121970000011
Figure FDA0002992121970000012
Pc和Pm分别为交叉概率和变异概率;f′为进行交叉操作的两个父辈中适应度值较大的一个;f为进行变异操作的个体适应度值;fmax为种群适应度最大值;fmin为种群适应度最小值;favg为种群适应度的平均值;Pcmax和Pmmax分别为最大交叉概率和最大变异概率;E为最大遗传代数;Ei为当前进化代数;Pc取值范围为0.5~0.9,Pm的取值范围为0.01~0.1,且取A=8.800861;
根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数,所述初始参数包括初始权值和初始阈值;
获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差;
根据所述输出风险误差修正各个所述初始参数;
在所述输出风险误差满足设定条件时,获取所述BP神经网络的输出向量;
根据所述输出向量确定所述BP神经网络的各个风险的风险识别结果;
所述获取所述BP神经网络的输入风险向量,根据各个所述初始参数以及所述输入风险向量,建立所述BP神经网络,并获取所述BP神经网络的输出风险误差的步骤,包括:
获取期望输出向量,所述期望输出向量包括输出层的期望输出向量和隐层的期望输出向量;
获取隐层包含的隐节点数和输出层包含的输出节点数;其中,输出层包含的输出节点数根据预设的输出节点数确定,隐层包含的隐节点数根据两种计算方式确定:
第一种为:
Figure FDA0002992121970000021
第二种为:
S1=lbR, (5);
式(4)中,S1为隐节点数,R为输入层节点数,S2为输出层节点数;a为区间[1,10]的某一整数,式(5)中,l和b分别为常数,通过缩小隐节点数的取值范围,通过网络训练得出的训练误差来选择隐层最佳节点数;
根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,建立所述BP神经网络;
根据各个所述初始参数、所述输入风险向量、所述隐节点数和所述输出节点数,确定各个节点的输出值,所述各个节点的输出值包括各个所述隐节点的输出值和各个所述输出节点的输出值;
其中,BP神经网络算法从输入层到隐层、从隐层到输出层的传递函数均为sigmoid函数:
Figure FDA0002992121970000022
根据BP神经网络向前传播,确定各个隐节点的输出值和各个输出节点的输出值;
向前传播包括以下步骤:
输入层的输入与输出:o1i=xi,i=1,2,...,n, (7);
xi为输入层节点i的输入值,o1i为输入层节点i的输出值,n为输入层节点数;
向前传播还包括以下步骤:
隐层的输入与输出:
Figure FDA0002992121970000023
o2j=f(Aj), (9);
Aj为隐节点j的输入值,ωij为输入层第i个节点与隐层第j个节点的连接权值,θj为隐层第j个节点的阈值,n为输入层节点数,p为隐节点总数,o2j为隐节点j的输出值;
向前传播还包括以下步骤:
输出层的输入与输出:
Figure FDA0002992121970000031
o3t=f(Bt), (11);
Bt为输出层节点t的输入值,ωjt为隐层第j个节点与输出层第t个节点的连接权值,θt为输出层第t个节点的阈值,q为输出层节点总数,o3t为输出层节点t的输出值;
根据各个所述输出节点的输出值和所述输出层的期望输出向量,确定所述BP神经网络的输出风险误差;
输出风险误差定义式为:
Figure FDA0002992121970000032
E1为输出风险误差值,dt为输出层节点t的期望输出值,q为输出节点总数,o3t为输出层节点t实际计算输出。
2.根据权利要求1所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述根据所述优化后的自适应遗传算法计算得到BP神经网络的各个初始参数的步骤,包括:
获取所述BP神经网络的预设参数,根据所述预设参数进行编码以形成自适应遗传算法的初始种群,其中,所述预设参数包括预设权值和预设阈值;
对所述初始种群进行选择、交叉和变异操作,其中,每一轮操作的交叉概率和变异概率分别根据所述优化后的自适应遗传算法确定;
根据所述操作轮数是否达到设定的最大遗传代数,确定是否终止操作;
在操作轮数达到所述最大遗传代数时,获取最后一轮操作获取的种群中适应度值最大的种群,并将所述适应度值最大的种群解码,以形成所述BP神经网络的各个所述初始参数。
3.根据权利要求2所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述根据所述操作轮数是否达到设定的最大遗传代数,确定是否终止操作的步骤之后,包括:
在操作轮数未达到所述最大遗传代数时,将当前轮操作获得的新种群与上一轮操作获得的所述种群按比例混合得到下一轮种群,并对所述下一轮种群进行选择、交叉和变异操作。
4.根据权利要求1所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述根据所述输出风险误差修正各个所述初始参数的步骤,包括:
获取所述BP神经网络的各个学习速率;
根据所述期望输出向量和所述各个节点的输出值确定所述BP神经网络的输出误差,其中,所述输出误差包括隐节点误差和输出风险误差;
根据所述输出误差和各个所述学习速率,确定所述BP神经网络的各个权值变化量;
根据所述BP神经网络相邻两次迭代过程中的同一个权值的权值变化量的乘积修正对应的所述初始参数。
5.根据权利要求4所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述根据所述BP神经网络相邻两次迭代过程中的同一个权值的权值变化量的乘积修正对应的所述初始参数的步骤,包括:
当相邻两次迭代获得的同一个权值的所述权值变化量的乘积为正数时,提高所述权值对应的学习速率,并根据提高的所述学习速率修正所述初始参数;
当相邻两次迭代获得的同一个所述权值的所述权值变化量的乘积为负数时,降低所述权值对应的学习速率,并根据降低的所述学习速率修正所述初始参数。
6.根据权利要求5所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述提高所述权值对应的学习速率的步骤包括:
获取1与所述权值对应的所述学习速率的第一均值;
将所述第一均值确定为修正的学习速率;
所述降低所述权值对应的学习速率的步骤包括:
获取0与所述权值对应的所述学习速率的第二均值;
将所述第二均值确定为修正的学习速率。
7.根据权利要求1至6中任一项所述的基于自适应遗传算法的BP神经网络风险识别方法,其特征在于,所述基于自适应遗传算法的BP神经网络风险识别方法,还包括:
判断所述输出风险误差是否满足设定条件;
在所述输出风险误差不满足设定条件时,执行所述根据所述输出风险误差修正所述初始参数的步骤。
8.一种基于自适应遗传算法的BP神经网络风险识别系统,其特征在于,应用如权利要求1至7中任一项所述的基于自适应遗传算法的BP神经网络风险识别方法的步骤。
CN201910339307.7A 2019-04-25 2019-04-25 基于自适应遗传算法的bp神经网络风险识别方法及系统 Expired - Fee Related CN110059887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910339307.7A CN110059887B (zh) 2019-04-25 2019-04-25 基于自适应遗传算法的bp神经网络风险识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910339307.7A CN110059887B (zh) 2019-04-25 2019-04-25 基于自适应遗传算法的bp神经网络风险识别方法及系统

Publications (2)

Publication Number Publication Date
CN110059887A CN110059887A (zh) 2019-07-26
CN110059887B true CN110059887B (zh) 2021-05-11

Family

ID=67320751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910339307.7A Expired - Fee Related CN110059887B (zh) 2019-04-25 2019-04-25 基于自适应遗传算法的bp神经网络风险识别方法及系统

Country Status (1)

Country Link
CN (1) CN110059887B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191773A (zh) * 2020-01-07 2020-05-22 泰康保险集团股份有限公司 更新信息预测网络的网络参数的方法、装置、介质及设备
CN111614663B (zh) * 2020-05-20 2022-04-08 杭州蚂蚁聚慧网络技术有限公司 一种业务风险确定方法、装置及电子设备
CN112196402A (zh) * 2020-09-30 2021-01-08 中国银行股份有限公司 一种钞箱及其管理方法
CN113033419A (zh) * 2021-03-24 2021-06-25 河南中烟工业有限责任公司 基于进化神经网络的设备故障辨识方法及系统
CN113255887A (zh) * 2021-05-25 2021-08-13 上海机电工程研究所 基于遗传算法优化bp神经网络的雷达误差补偿方法及系统
CN114670856B (zh) * 2022-03-30 2022-11-25 湖南大学无锡智能控制研究院 一种基于bp神经网络的参数自整定纵向控制方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971162A (zh) * 2014-04-04 2014-08-06 华南理工大学 一种基于遗传算法改进bp神经网络的方法
US10043591B1 (en) * 2015-02-06 2018-08-07 Brain Trust Innovations I, Llc System, server and method for preventing suicide
CN106327021A (zh) * 2016-08-31 2017-01-11 西安艾贝尔科技发展有限公司 一种基于在线模型预测的锅炉燃烧优化配风方法
CN109359469A (zh) * 2018-10-16 2019-02-19 上海电力学院 一种工业控制系统的信息安全风险评估方法

Also Published As

Publication number Publication date
CN110059887A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110059887B (zh) 基于自适应遗传算法的bp神经网络风险识别方法及系统
Pourdaryaei et al. Hybrid ANN and artificial cooperative search algorithm to forecast short-term electricity price in de-regulated electricity market
CN103105246A (zh) 一种基于遗传算法改进的bp神经网络的温室环境预测反馈方法
JP7381814B2 (ja) マルチタスク向けの予めトレーニング言語モデルの自動圧縮方法及びプラットフォーム
CN111988786B (zh) 一种基于高维多目标分解算法的传感器网络覆盖方法及系统
CN115860170A (zh) 一种考虑电力电子负载的配电系统电能质量优化方法
CN112036651A (zh) 基于量子免疫优化bp神经网络算法的电价预测方法
CN113344467A (zh) 一种电力工程资金预测方法和装置
CN110852808A (zh) 基于深度神经网络的电子产品异步自适应价值评估方法
CN115049102A (zh) 一种电价预测方法、装置、移动终端及存储介质
CN111222762A (zh) 太阳能电池板镀膜工艺状态监控及质量控制系统
CN114429248A (zh) 一种变压器视在功率预测方法
CN110298506A (zh) 一种城市建设水平预测系统
Gao et al. Establishment of economic forecasting model of high-tech industry based on genetic optimization neural network
Cano-Martínez et al. Dynamic energy prices for residential users based on Deep Learning prediction models of consumption and renewable generation
CN115438842A (zh) 一种基于自适应改进蜉蝣和bp神经网络的负荷预测方法
CN114066250A (zh) 一种输电项目修理成本测算方法、装置、设备及存储介质
CN113743003B (zh) 考虑温度、湿度影响的高压线路对地电场强度计算方法
CN114202063A (zh) 一种基于遗传算法优化的模糊神经网络温室温度预测方法
CN113987904A (zh) 一种输电项目修理成本测算方法、装置、设备及存储介质
CN110288159A (zh) 一种智慧城市建设测度方法
Ding et al. Application of new FCMAC neural network in power system marginal price forecasting
CN109829574A (zh) 基于acde和bp神经网络的电力负荷预测方法
CN112330435A (zh) 一种基于遗传算法优化Elman神经网络的信用风险预测方法和系统
Mahmudy et al. Genetic algorithmised neuro fuzzy system for forecasting the online journal visitors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210511