CN109872291A - 一种对抗ann中汇聚噪声的正则化方法及系统 - Google Patents

一种对抗ann中汇聚噪声的正则化方法及系统 Download PDF

Info

Publication number
CN109872291A
CN109872291A CN201910129132.7A CN201910129132A CN109872291A CN 109872291 A CN109872291 A CN 109872291A CN 201910129132 A CN201910129132 A CN 201910129132A CN 109872291 A CN109872291 A CN 109872291A
Authority
CN
China
Prior art keywords
noise
artificial neural
neural network
network
regularization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910129132.7A
Other languages
English (en)
Other versions
CN109872291B (zh
Inventor
季忠铭
陈力
秦旻
陈晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910129132.7A priority Critical patent/CN109872291B/zh
Publication of CN109872291A publication Critical patent/CN109872291A/zh
Application granted granted Critical
Publication of CN109872291B publication Critical patent/CN109872291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开了一种对抗ANN中汇聚噪声的正则化方法及系统,方法包括:建立人工神经网络与无线网络结合场景下的网络模型;对网络模型的汇聚噪声对人工神经网络的影响进行分析,根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。本发明从机器学习的角度考虑,利用收缩自编码器与降噪自编码器中相似的正则化结构,设计了一种对抗人工神经网络中汇聚噪声的正则化方法,可以方便的应用于传统人工神经网络的训练中,从而提高人工神经网络与无线网络结合场景下模型的精确度。

Description

一种对抗ANN中汇聚噪声的正则化方法及系统
技术领域
本申请涉及机器学习技术领域,尤其涉及一种对抗ANN(Artificial NeuralNetworks,人工神经网络)中汇聚噪声的正则化方法及系统。
背景技术
随着人工智能的热潮的来临,机器学习领域的多项技术,尤其是ANN被广泛的应用到了多个领域。ANN是一种基于人脑神经网络抽象化的数学模型,它一般具有多层的结构。第一层与最后一层为输入层与输出层,中间层为隐层。前层神经元的输出值进行加权和处理作为后层神经元的输入,后经添加偏置与激活函数运算,最终成为后层的输出。信息依次经由输入层,隐层,最终到达输出层。ANN根据提供的训练样本集,采用监督学习的方法,更新自身网络的参数。连接的权值与各层的偏置在学习的过程中不断更新,最终生成的网络可以完成一种输入到输出间的非线性映射。
正则化是指通过修改学习算法,隐式或显式的表达对不同解的偏好,降低泛化误差的一种有效手段。正则化是机器学习领域的中心问题之一,一般的形式是在损失函数后添加正则化项。根据不同的任务或训练目标,正则化项的形式各不相同,选择适合的正则形式十分重要。自编码器是ANN的一种,经过训练后能尝试将输入复制到输出。自编码器也常采用正则化的方法进行训练。除了将输入复制到输出,正则化的自编码器鼓励模型学习其他的特性。CAE(Contractive Auto-Encoder,收缩自编码器)与DAE(Denoising Auto-Encoder,降噪自编码器)便是两种正则化的自编码器。CAE在原始自编码器的基础上鼓励将输入点邻域映射到输出点处更小的邻域,从而使其具备抵抗输入扰动的能力。DAE则是一类接收损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。
近年来,许多研究者提出了ANN与WN(Wireless Networks,无线网络)的一体化结构。在这种一体化的结构中,WN中的多个节点组成了ANN中的输入层,中心端组成了ANN的隐层与输出层。这种一体化结构配合COA(Computation Over the Air,空中计算)技术可以有效的提高系统效率。然而,在实际的WN场景下,无线节点信息的汇聚会引入噪声(即汇聚噪声),从而会在一定程度上影响ANN中的信息传输的准确性,最终降低ANN的性能。
因此,如何有效的解决ANN中汇聚噪声,从而提高ANN与WN结合场景下模型的精确度,是一项亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种对抗ANN中汇聚噪声的正则化方法,能够有效的解决ANN中汇聚噪声,从而提高ANN与WN结合场景下模型的精确度。
本发明提供了一种对抗ANN中汇聚噪声的正则化方法,包括:
建立人工神经网络与无线网络结合场景下的网络模型;
对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析;
根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
采用边缘化噪声及贪心策略简化所述正则化项,以降低所述人工神经网络训练复杂度。
优选地,所述方法还包括:
根据所述人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
优选地,所述建立人工神经网络与无线网络结合场景下的网络模型包括:
将所述无线网络中的节点代替所述人工神经网络中的输入层;
所述节点将信息汇聚至所述人工神经网络中的第一个隐层;
网络层的信息传输以传统的人工神经网络方式在计算中心完成。
优选地,所述对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析包括:
基于公式F1=f(Wx+b+n)=f(r+b+n)对第一个隐层对应的输出F1进行分析;其中,中W为层之间的连接权值矩阵,f为激活函数,x为输入向量,b为偏置向量,n为第一个隐层的汇聚噪声向量,r为输入层加权和向量,且每个神经元上的汇聚噪声n~N(0,σ2)为独立同分布。
优选地,所述根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项包括:
进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声,对所述F1进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
一种对抗ANN中汇聚噪声的正则化系统,包括:
建立模块,用于建立人工神经网络与无线网络结合场景下的网络模型;
分析模块,用于对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析;
构造模块,用于根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
简化模块,用于采用边缘化噪声及贪心策略简化所述正则化项,以降低所述人工神经网络训练复杂度。
优选地,所述系统还包括:
验证模块,用于根据所述人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
优选地,所述建立模块具体用于:
将所述无线网络中的节点代替所述人工神经网络中的输入层;
所述节点将信息汇聚至所述人工神经网络中的第一个隐层;
网络层的信息传输以传统的人工神经网络方式在计算中心完成。
优选地,所述分析模块具体用于:
基于公式F1=f(Wx+b+n)=f(r+b+n)对第一个隐层对应的输出F1进行分析;其中,中W为层之间的连接权值矩阵,f为激活函数,x为输入向量,b为偏置向量,n为第一个隐层的汇聚噪声向量,r为输入层加权和向量,且每个神经元上的汇聚噪声n~N(0,σ2)为独立同分布。
优选地,所述构造模块具体用于:
进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声,对所述F1进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
综上所述,本发明提供了一种对抗ANN中汇聚噪声的正则化方法,包括:建立人工神经网络与无线网络结合场景下的网络模型,对网络模型的汇聚噪声对人工神经网络的影响进行分析,根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项,采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。本发明从机器学习的角度考虑,利用收缩自编码器与降噪自编码器中相似的正则化结构,设计了一种对抗人工神经网络中汇聚噪声的正则化方法,可以方便的应用于传统人工神经网络的训练中,从而提高人工神经网络与无线网络结合场景下模型的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开的一种对抗ANN中汇聚噪声的正则化方法实施例1的流程图;
图2为本发明公开的一种对抗ANN中汇聚噪声的正则化方法实施例2的流程图;
图3为本发明公开的一种对抗ANN中汇聚噪声的正则化系统实施例1的结构示意图;
图4为本发明公开的一种对抗ANN中汇聚噪声的正则化系统实施例2的结构示意图;
图5为本发明公开的一种典型的人工神经网络的结构示意图;
图6为本发明公开的汇聚噪声影响下的人工神经网络示意图;
图7为本发明提供的正则化对抗噪声原理示意图;
图8为本发明提供的汇聚噪声影响下定位性能随信噪比变化曲线图;
图9为本发明提供的汇聚噪声影响下定位误差概率密度曲线图;
图10为本发明提供的汇聚噪声影响下单个测试集定位误差结果对比图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,为本发明公开的一种对抗ANN中汇聚噪声的正则化方法实施例1的流程图,可以包括以下步骤:
S101、建立人工神经网络与无线网络结合场景下的网络模型;
当需要对抗ANN中汇聚噪声时,首先建立人工神经网络和无线网络结合场景下的网络模型。
S102、对网络模型的汇聚噪声对人工神经网络的影响进行分析;
当建立人工神经网络与无线网络结合场景下的网络模型后,进一步对在建立网络模型时,汇聚的噪声对人工神经网络的影响进行进一步的分析。
S103、根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
作为两种正则化的自动编码器,收缩自编码器和降噪自编码器均具备降噪的效果。进一步根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项。
S104、采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。
在构造与普通人工神经网络适配的正则化项后,进一步采用边缘化噪声及贪心策略对正则化项进行简化,以降低人工神经网络训练复杂度。
综上所述,在上述实施例中,当需要对抗人工神经网络中汇聚噪声时,首先建立人工神经网络与无线网络结合场景下的网络模型,然后对网络模型的汇聚噪声对人工神经网络的影响进行分析,根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项,采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。本发明从机器学习的角度考虑,利用收缩自编码器与降噪自编码器中相似的正则化结构,设计了一种对抗人工神经网络中汇聚噪声的正则化方法,可以方便的应用于传统人工神经网络的训练中,从而提高人工神经网络与无线网络结合场景下模型的精确度。
如图2所示,为本发明公开的一种对抗ANN中汇聚噪声的正则化方法实施例2的流程图,可以包括以下步骤:
S201、建立人工神经网络与无线网络结合场景下的网络模型;
如图5所示,为本发明公开的典型的人工神经网络的结构示意图,一个隐层数为K的ANN,其输入向量为x,输出向量为y,第k个隐层对应的输出为Fk,其中F0=x,FK+1=y。对于这样结构的ANN,按照ANN的计算规则,有如下的关系:
Fk+1=f(WFk+b),
其中W为层之间的连接权值矩阵,f为激活函数,b为偏置向量。
在ANN与WN结合场景下,WN中节点代替ANN中的输入层,节点将信息汇聚至ANN中的第一个隐层,此后的网络层的信息传输仍以传统的ANN方式在计算中心完成。
S202、对网络模型的汇聚噪声对人工神经网络的影响进行分析;
如图6所示,给出了汇聚噪声对单个隐层神经元的影响示意。若第一个隐层的汇聚噪声向量为n,且每个神经元上的汇聚噪声n~Ν(0,σ2)为独立同分布。若输入层加权和向量为r,则有:F1=f(Wx+b+n)=f(r+b+n)。
S203、根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
首先进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声。对F1=f(Wx+b+n)=f(r+b+n)进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
作为两种正则化的自编码器,CAE与DAE均具备降噪的效果,更具体的,CAE在原始自编码器的基础上鼓励将输入点邻域映射到输出点处更小的邻域,从而使其具备抵抗输入扰动的能力。DAE则是一类接收损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。因此在ANN中可以构造类似这两种自编码器的正则化项进行降噪,具体原理如图7所示。正则化后的ANN被训练为能够将被噪声影响的数据点映射回原始数据点。图中圆圈表示汇聚噪声对原数据的影响,圆圈内的箭头演示了如何将一个原始数据点转换成汇聚噪声影响后的点。当训练带有正则化项的目标函数时,正则化项对破损点可能的原始点进行质心估计,最终可以学习到由曲线上箭头组成的降噪向量场,达到降噪的效果。
CAE在原始自编码器的目标函数添加了收缩性的罚项,从而得到一个编码输出对输入扰动具有一定鲁棒性的自编码器。若e为编码函数,其正则化项为:
若g为解码函数,在较小的加性高斯噪声情况下,DAE可以转化成与带有如下正则化项的自编码器:
根据CAE与DAE的降噪作用及其正则化形式,可以构造出对抗汇聚噪声的收缩性正则化项:
S204、采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度;
运用贪心策略,对上式正则化项进行分层表达,从而降低网络训练的复杂度。若网络参数向量为θ,损失函数为L,正则化项的分层惩罚系数为λk,其中λk∝σ,则ANN的目标函数设计为:
由上述本发明提供的技术方案可以看出,通过在ANN目标函数后添加具有CAE和DAE类似结构的正则化项,将赋予ANN一定的抵抗汇聚噪声的能力,从而可以提高ANN的精度。
S205、根据人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
为了验证正则化方法的降噪效果,需要将以MSE(Mean Square Errors,均方误差)为目标函数进行训练的原始ANN与添加正则化进行训练的ANN进行性能比较。具体应用场景是利用ANN进行WN中目标定位,根据定位的精度比较两种方法的性能,从而验证正则化方法的有效性。网络结构为4层,其中输入层(WN节点层)、两层隐层、输出层的神经元数目分别为50,20,10,2。
图8为本实施例的为汇聚噪声影响下的平均定位精度对比曲线,横坐标为SNR(Signal-Noise Ratio,信噪比),纵坐标为测试数据的平均定位误差距离。“Benchmark”表示无汇聚噪声影响下的ANN定位精度曲线,“MSE”表示以MSE为目标函数进行训练的ANN定位精度曲线,“MSE+Reg”表示以带有收缩性正则化项的MSE为目标函数进行训练的ANN定位精度曲线。其分层惩罚系数的取值为λ1=2*10-3,λ2=5*10-3。由图可知,当信噪比小于32dB时,“MSE+Reg”的平均定位精度要明显优于传统“MSE”,当SNR为10dB时,正则化方法对应的定位精度可以提高0.7m。因此,曲线表明正则化方法赋予了ANN抵抗汇聚噪声的能力。
图9为本实施例的汇聚噪声(16dB)影响下定位误差概率密度曲线图,在大量测试样本下的统计平均误差上,正则化方法要明显优于传统方法,可以提高约0.5m的定位精度。图10为本实施例的汇聚噪声(16dB)影响下定位误差结果对比图,在20m×20m的正方形区域,两种方法的定位结果不同。十字形代表目标实际位置坐标,圆形表示“MSE”训练的ANN定位结果,三角形表示“MSE+Reg”,即正则化方法下ANN的定位结果。由图可知,正则化方法的平均定位误差小于传统方法,即展现出了一定的对抗汇聚噪声的能力。
如图3所示,为本发明公开的一种对抗ANN中汇聚噪声的正则化系统实施例1的结构示意图,系统可以包括:
建立模块301,用于建立人工神经网络与无线网络结合场景下的网络模型;
当需要对抗ANN中汇聚噪声时,首先建立人工神经网络和无线网络结合场景下的网络模型。
分析模块302,用于对网络模型的汇聚噪声对人工神经网络的影响进行分析;
当建立人工神经网络与无线网络结合场景下的网络模型后,进一步对在建立网络模型时,汇聚的噪声对人工神经网络的影响进行进一步的分析。
构造模块303,用于根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
作为两种正则化的自动编码器,收缩自编码器和降噪自编码器均具备降噪的效果。进一步根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项。
简化模块304,用于采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。
在构造与普通人工神经网络适配的正则化项后,进一步采用边缘化噪声及贪心策略对正则化项进行简化,以降低人工神经网络训练复杂度。
综上所述,在上述实施例中,当需要对抗人工神经网络中汇聚噪声时,首先建立人工神经网络与无线网络结合场景下的网络模型,然后对网络模型的汇聚噪声对人工神经网络的影响进行分析,根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项,采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度。本发明从机器学习的角度考虑,利用收缩自编码器与降噪自编码器中相似的正则化结构,设计了一种对抗人工神经网络中汇聚噪声的正则化方法,可以方便的应用于传统人工神经网络的训练中,从而提高人工神经网络与无线网络结合场景下模型的精确度。
如图4所示,为本发明公开的一种对抗ANN中汇聚噪声的正则化系统实施例2的结构示意图,系统可以包括:
建立模块401,用于建立人工神经网络与无线网络结合场景下的网络模型;
如图5所示,为本发明公开的典型的人工神经网络的结构示意图,一个隐层数为K的ANN,其输入向量为x,输出向量为y,第k个隐层对应的输出为Fk,其中F0=x,FK+1=y。对于这样结构的ANN,按照ANN的计算规则,有如下的关系:
Fk+1=f(WFk+b),
其中W为层之间的连接权值矩阵,f为激活函数,b为偏置向量。
在ANN与WN结合场景下,WN中节点代替ANN中的输入层,节点将信息汇聚至ANN中的第一个隐层,此后的网络层的信息传输仍以传统的ANN方式在计算中心完成。
分析模块402,用于对网络模型的汇聚噪声对人工神经网络的影响进行分析;
如图6所示,给出了汇聚噪声对单个隐层神经元的影响示意。若第一个隐层的汇聚噪声向量为n,且每个神经元上的汇聚噪声n~Ν(0,σ2)为独立同分布。若输入层加权和向量为r,则有:F1=f(Wx+b+n)=f(r+b+n)。
构造模块403,用于根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
首先进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声。对F1=f(Wx+b+n)=f(r+b+n)进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
作为两种正则化的自编码器,CAE与DAE均具备降噪的效果,更具体的,CAE在原始自编码器的基础上鼓励将输入点邻域映射到输出点处更小的邻域,从而使其具备抵抗输入扰动的能力。DAE则是一类接收损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。因此在ANN中可以构造类似这两种自编码器的正则化项进行降噪,具体原理如图7所示。正则化后的ANN被训练为能够将被噪声影响的数据点映射回原始数据点。图中圆圈表示汇聚噪声对原数据的影响,圆圈内的箭头演示了如何将一个原始数据点转换成汇聚噪声影响后的点。当训练带有正则化项的目标函数时,正则化项对破损点可能的原始点进行质心估计,最终可以学习到由曲线上箭头组成的降噪向量场,达到降噪的效果。
CAE在原始自编码器的目标函数添加了收缩性的罚项,从而得到一个编码输出对输入扰动具有一定鲁棒性的自编码器。若e为编码函数,其正则化项为:
若g为解码函数,在较小的加性高斯噪声情况下,DAE可以转化成与带有如下正则化项的自编码器:
根据CAE与DAE的降噪作用及其正则化形式,可以构造出对抗汇聚噪声的收缩性正则化项:
简化模块404,用于采用边缘化噪声及贪心策略简化正则化项,以降低人工神经网络训练复杂度;
运用贪心策略,对上式正则化项进行分层表达,从而降低网络训练的复杂度。若网络参数向量为θ,损失函数为L,正则化项的分层惩罚系数为λk,其中λk∝σ,则ANN的目标函数设计为:
由上述本发明提供的技术方案可以看出,通过在ANN目标函数后添加具有CAE和DAE类似结构的正则化项,将赋予ANN一定的抵抗汇聚噪声的能力,从而可以提高ANN的精度。
验证模块405,用于根据人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
为了验证正则化方法的降噪效果,需要将以MSE(Mean Square Errors,均方误差)为目标函数进行训练的原始ANN与添加正则化进行训练的ANN进行性能比较。具体应用场景是利用ANN进行WN中目标定位,根据定位的精度比较两种方法的性能,从而验证正则化方法的有效性。网络结构为4层,其中输入层(WN节点层)、两层隐层、输出层的神经元数目分别为50,20,10,2。
图8为本实施例的为汇聚噪声影响下的平均定位精度对比曲线,横坐标为SNR(Signal-Noise Ratio,信噪比),纵坐标为测试数据的平均定位误差距离。“Benchmark”表示无汇聚噪声影响下的ANN定位精度曲线,“MSE”表示以MSE为目标函数进行训练的ANN定位精度曲线,“MSE+Reg”表示以带有收缩性正则化项的MSE为目标函数进行训练的ANN定位精度曲线。其分层惩罚系数的取值为λ1=2*10-3,λ2=5*10-3。由图可知,当信噪比小于32dB时,“MSE+Reg”的平均定位精度要明显优于传统“MSE”,当SNR为10dB时,正则化方法对应的定位精度可以提高0.7m。因此,曲线表明正则化方法赋予了ANN抵抗汇聚噪声的能力。
图9为本实施例的汇聚噪声(16dB)影响下定位误差概率密度曲线图,在大量测试样本下的统计平均误差上,正则化方法要明显优于传统方法,可以提高约0.5m的定位精度。图10为本实施例的汇聚噪声(16dB)影响下定位误差结果对比图,在20m×20m的正方形区域,两种方法的定位结果不同。十字形代表目标实际位置坐标,圆形表示“MSE”训练的ANN定位结果,三角形表示“MSE+Reg”,即正则化方法下ANN的定位结果。由图可知,正则化方法的平均定位误差小于传统方法,即展现出了一定的对抗汇聚噪声的能力。
本文中应用了具体的个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种对抗ANN中汇聚噪声的正则化方法,其特征在于,包括:
建立人工神经网络与无线网络结合场景下的网络模型;
对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析;
根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
采用边缘化噪声及贪心策略简化所述正则化项,以降低所述人工神经网络训练复杂度。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据所述人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
3.根据权利要求2所述的方法,其特征在于,所述建立人工神经网络与无线网络结合场景下的网络模型包括:
将所述无线网络中的节点代替所述人工神经网络中的输入层;
所述节点将信息汇聚至所述人工神经网络中的第一个隐层;
网络层的信息传输以传统的人工神经网络方式在计算中心完成。
4.根据权利要求3所述的方法,其特征在于,所述对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析包括:
基于公式F1=f(Wx+b+n)=f(r+b+n)对第一个隐层对应的输出F1进行分析;其中,中W为层之间的连接权值矩阵,f为激活函数,x为输入向量,b为偏置向量,n为第一个隐层的汇聚噪声向量,r为输入层加权和向量,且每个神经元上的汇聚噪声n~N(0,σ2)为独立同分布。
5.根据权利要求4所述的方法,其特征在于,所述根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项包括:
进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声,对所述F1进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
6.一种对抗ANN中汇聚噪声的正则化系统,其特征在于,包括:
建立模块,用于建立人工神经网络与无线网络结合场景下的网络模型;
分析模块,用于对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析;
构造模块,用于根据收缩自编码器和降噪自编码器正则化项的结构与功能,构造与普通人工神经网络适配的正则化项;
简化模块,用于采用边缘化噪声及贪心策略简化所述正则化项,以降低所述人工神经网络训练复杂度。
7.根据权利要求6所述的系统,其特征在于,还包括:
验证模块,用于根据所述人工神经网络与无线网络结合场景下的定位应用,对正则化方法的降噪效果进行验证。
8.根据权利要求7所述的系统,其特征在于,所述建立模块具体用于:
将所述无线网络中的节点代替所述人工神经网络中的输入层;
所述节点将信息汇聚至所述人工神经网络中的第一个隐层;
网络层的信息传输以传统的人工神经网络方式在计算中心完成。
9.根据权利要求8所述的系统,其特征在于,所述分析模块具体用于:
基于公式F1=f(Wx+b+n)=f(r+b+n)对第一个隐层对应的输出F1进行分析;其中,中W为层之间的连接权值矩阵,f为激活函数,x为输入向量,b为偏置向量,n为第一个隐层的汇聚噪声向量,r为输入层加权和向量,且每个神经元上的汇聚噪声n~N(0,σ2)为独立同分布。
10.根据权利要求9所述的系统,其特征在于,所述构造模块具体用于:
进行汇聚噪声的边缘化,将汇聚噪声近似为隐层的输入噪声,对所述F1进行一阶泰勒展开,有:
则对隐层神经元m上等效输入噪声其中
CN201910129132.7A 2019-02-21 2019-02-21 一种对抗ann中汇聚噪声的正则化方法及系统 Active CN109872291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910129132.7A CN109872291B (zh) 2019-02-21 2019-02-21 一种对抗ann中汇聚噪声的正则化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910129132.7A CN109872291B (zh) 2019-02-21 2019-02-21 一种对抗ann中汇聚噪声的正则化方法及系统

Publications (2)

Publication Number Publication Date
CN109872291A true CN109872291A (zh) 2019-06-11
CN109872291B CN109872291B (zh) 2021-04-23

Family

ID=66919022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910129132.7A Active CN109872291B (zh) 2019-02-21 2019-02-21 一种对抗ann中汇聚噪声的正则化方法及系统

Country Status (1)

Country Link
CN (1) CN109872291B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900789A (zh) * 2010-07-07 2010-12-01 湖南大学 基于小波变换与分形维数的容差模拟电路故障诊断方法
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN105068048A (zh) * 2015-08-14 2015-11-18 南京信息工程大学 基于空间稀疏性的分布式麦克风阵列声源定位方法
CN105551517A (zh) * 2015-12-10 2016-05-04 深圳市中易腾达科技股份有限公司 一种具有应用场景识别控制的无线传输录音笔及录音系统
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107609648A (zh) * 2017-07-21 2018-01-19 哈尔滨工程大学 一种结合堆叠降噪稀疏自动编码器的遗传算法
CN107657961A (zh) * 2017-09-25 2018-02-02 四川长虹电器股份有限公司 一种基于vad和ann的噪声消除方法
CN108256630A (zh) * 2018-01-23 2018-07-06 深圳市唯特视科技有限公司 一种基于低维流形正则化神经网络的过拟合解决方法
CN108347764A (zh) * 2018-01-23 2018-07-31 南京航空航天大学 基于深度学习的考场无线电作弊信号定位方法及系统
US20180293711A1 (en) * 2017-04-06 2018-10-11 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
CN108764064A (zh) * 2018-05-07 2018-11-06 西北工业大学 基于导向滤波器与自编码器的sar目标识别算法
CN109213753A (zh) * 2018-08-14 2019-01-15 西安理工大学 一种基于在线pca的工业系统监测数据恢复方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900789A (zh) * 2010-07-07 2010-12-01 湖南大学 基于小波变换与分形维数的容差模拟电路故障诊断方法
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN105068048A (zh) * 2015-08-14 2015-11-18 南京信息工程大学 基于空间稀疏性的分布式麦克风阵列声源定位方法
CN105551517A (zh) * 2015-12-10 2016-05-04 深圳市中易腾达科技股份有限公司 一种具有应用场景识别控制的无线传输录音笔及录音系统
US20180293711A1 (en) * 2017-04-06 2018-10-11 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
CN107609648A (zh) * 2017-07-21 2018-01-19 哈尔滨工程大学 一种结合堆叠降噪稀疏自动编码器的遗传算法
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN107657961A (zh) * 2017-09-25 2018-02-02 四川长虹电器股份有限公司 一种基于vad和ann的噪声消除方法
CN108256630A (zh) * 2018-01-23 2018-07-06 深圳市唯特视科技有限公司 一种基于低维流形正则化神经网络的过拟合解决方法
CN108347764A (zh) * 2018-01-23 2018-07-31 南京航空航天大学 基于深度学习的考场无线电作弊信号定位方法及系统
CN108764064A (zh) * 2018-05-07 2018-11-06 西北工业大学 基于导向滤波器与自编码器的sar目标识别算法
CN109213753A (zh) * 2018-08-14 2019-01-15 西安理工大学 一种基于在线pca的工业系统监测数据恢复方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LU JIANG 等: "MentorNet:Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels", 《PROCEEDINGS OF THE 34TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
MINMIN CHEN 等: "Marginalized Denoising Auto-encoders for Nonlinear Representations", 《PROCEEDINGS OF THE 31TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
NITISH SRIVASTAVA 等: "Dropout:A Simple Way to Prevent Neural Networks from Overfitting", 《JOURNAL OF MACHINE LEARNING RESEARCH》 *
夏林: "基于全噪声自动编码器的深度神经网络优化算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
袁非牛 等: "自编码神经网络理论及引用综述", 《计算机学报》 *

Also Published As

Publication number Publication date
CN109872291B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN106886023B (zh) 一种基于动态卷积神经网络的雷达回波外推方法
CN106021751B (zh) 基于ca和sar的海岸带土地利用变化模拟方法
Jain et al. Models for estimating evapotranspiration using artificial neural networks, and their physical interpretation
CN110298411A (zh) 一种城市群生态空间受损识别评价方法
CN107563567A (zh) 基于稀疏自编码的核极限学习机洪水预报方法
CN106204467A (zh) 一种基于级联残差神经网络的图像去噪方法
Etemadi et al. Assessment of climate change downscaling and non-stationarity on the spatial pattern of a mangrove ecosystem in an arid coastal region of southern Iran
CN106295503A (zh) 区域卷积神经网络的高分辨率遥感影像舰船目标提取方法
CN106991666A (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN110414718A (zh) 一种深度学习下的配电网可靠性指标优化方法
CN108614915A (zh) 基于情景驱动的水文模型自由组建策略方法
CN108536144A (zh) 一种融合稠密卷积网络和竞争架构的路径规划方法
CN111144666A (zh) 一种基于深度时空残差网络的海洋温跃层预测方法
CN114760587A (zh) 一种基于uwb传感器基站分组策略的定位方法
Li et al. Comparison study on ways of ecological vulnerability assessment-----A case study in the Hengyang Basin
KR101313822B1 (ko) 신경망 분석 기법을 이용한 풍력 밀도 예측 방법
CN109872291A (zh) 一种对抗ann中汇聚噪声的正则化方法及系统
CN108769996A (zh) 用于定位的信标节点布局方法及定位方法
CN108173532A (zh) 在协议影响下的时变系统滤波器设计方法、装置和滤波器
CN107832805B (zh) 一种基于概率位置模型消除空间位置误差对遥感软分类精度评价影响的技术
JPH0949884A (ja) ニューラルネットワークを用いた局地的気象予測方法
Chang et al. A fuzzy–neural hybrid system of simulating typhoon waves
CN105023072B (zh) 一种基于结构推理的多干旱指数融合方法
Khedkar et al. Estimation of evapotranspiration using neural network approach
CN112686139B (zh) 基于跨阶段局部多尺度密集连接的遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant