CN113537284A - 基于拟态机制的深度学习实现方法及系统 - Google Patents
基于拟态机制的深度学习实现方法及系统 Download PDFInfo
- Publication number
- CN113537284A CN113537284A CN202110627364.2A CN202110627364A CN113537284A CN 113537284 A CN113537284 A CN 113537284A CN 202110627364 A CN202110627364 A CN 202110627364A CN 113537284 A CN113537284 A CN 113537284A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- data
- classification result
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于人工智能技术领域,特别涉及一种基于拟态机制的深度学习实现方法及系统,针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。本发明将拟态防御应用于人工智能深度学习算法,利用不同算法间的异构性克服算法自身存在的脆弱性,进而提升算法整体的安全性,有效提升深度学习抗干扰攻击能力。
Description
技术领域
本发明属于人工智能技术领域,特别涉及一种基于拟态机制的深度学习实现方法及系统。
背景技术
作为机器学习领域最重要的一个分支,深度学习算法已在图像识别、语音辨识、视频处理以及辅助医疗等许多领域显示出优越的性能,然而,伴随着深度学习的广泛成功,算法自身的安全性问题也日益突显。Nicolas Papernot等的研究表明,在样本中加入非常细微的扰动,即可导致深度学习算法对道路交通标识牌误分类,而这些扰动完全不影响人类的判断。近年来,也发生多起自动驾驶车祸事故。2018年3月,Uber一辆L4级别自动驾驶车辆由于未能及时识别行人,导致1名行人死亡。严峻的现实说明解决深度学习算法安全性的紧迫性和必要性。现有的解决方法多采用被动补救的办法,即在深度学习算法受到攻击后,将对抗样本加入到训练数据集中,对深度学习网络重新加以训练,学习对抗样本的数据特征,进而提升深度学习算法抗干扰攻击的能力。该方法的核心思想是扩充训练数据集的样本数据量,增加深度网络学习的广度,以提升抵抗攻击的能力。但这类方法只是被动的补救措施,没有从根本上增强深度学习网络结构的抗干扰能力,因而无法有效应对针对深度学习的干扰攻击。
深度学习通过前向传播和反射传播更新训练参数,学习数据特征。反向传播过程中,算法利用梯度下降方法减小误差,取得最优解,获得对原始数据的最准确表征。深度学习算法的数据特征学习能力对原始数据集的数据分布有很强的依赖性,因而攻击者可利用精心设置的扰动,改变数据分布最优解的位置,从而改变深度神经网络学习到的数据特征,使得算法输出错误的结果。深度学习算法的脆弱性使得深度学习安全性问题频发,成为亟待解决的问题。
发明内容
为此,本发明提供一种基于拟态机制的深度学习实现方法及系统,将拟态防御应用于人工智能深度学习算法,利用不同算法间的异构性克服算法自身存在的脆弱性,进而提升算法整体的安全性,有效提升深度学习抗干扰攻击能力。
按照本发明所提供的设计方案,提供一种基于拟态机制的深度学习实现方法,包含如下内容:
针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
作为本发明基于拟态机制的深度学习实现方法,进一步地,异构执行体池包含但不限于:深度信念网络深度学习模型、深度玻尔兹曼机深度学习模型、卷积神经网络深度学习模型、循环神经网络深度学习模型、回声状态网络深度学习模型、强化学习网络深度学习模型、小样本学习网络深度学习模型以及图神经网络深度学习模型。
作为本发明基于拟态机制的深度学习实现方法,进一步地,预设选择策略采用随机选择策略从异构执行体池中选择奇数个用于对目标数据进行检测分类的深度学习网络模型。
作为本发明基于拟态机制的深度学习实现方法,进一步地,预设选择策略采用分组策略将各类深度学习网络模型进行归类分组,随机抽选出奇数个分组;然后再从每个分组中随机选取一个深度学习网络模型。
作为本发明基于拟态机制的深度学习实现方法,进一步地,分组策略包含但不限于:将不同层级结构的同种深度学习算法的网络模型分为一组,或者将同类深度学习算法的各变种网络模型分为一组。
作为本发明基于拟态机制的深度学习实现方法,进一步地,通过对目标原始数据进行数据预处理,通过将原始数据转换为与深度学习网络模型匹配的数据格式来获取目标数据,其中,数据预处理包含:用于数据过滤筛选的数据清洗、用于数据统一结合的数据集成、用于数据转换的数据变换及用于数据归一模范化的数据规约。
作为本发明基于拟态机制的深度学习实现方法,进一步地,利用判决器对多个深度学习网络模型检测分类结果进行综合判决来确定正确分类结果和异常分类结果。
作为本发明基于拟态机制的深度学习实现方法,进一步地,判决器采用预设准则进行综合判决,该预设准则包含但不限于多数判决法或加权判决法,其中,多数判决法中将输出结果数目最多的一类确定为正确分类结果,加权判决法依据各个深度学习网络模型在训练中检测效果对深度学习检测效果进行加权,将输出结果通过对权值求和选取最高的一类作为正确分类结果。
作为本发明基于拟态机制的深度学习实现方法,进一步地,针对异常分类结果的深度学习网络模型,利用使其异常分类的目标数据补入其原始训练样本数据中,通过对其训练的样本数据集进行扩充来重训练该深度学习网络模型。
进一步地,本发明还提供一种基于拟态机制的深度学习实现系统,包含:构建模块、分类模块和重训练模块,其中,
构建模块,用于针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
分类模块,用于利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
重训练模块,用于针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
本发明的有益效果:
本发明将拟态防御机制应用到深度学习领域,利用拟态防御机制的内生安全性能保证深度学习算法的安全性,增强算法的抗干扰攻击能力;通过采用多种不同的深度学习算法构建异构算法池,并可根据一定的策略选择多个深度学习算法进行检测,通过综合判决确定最终结果输出。利用拟态架构的内生安全性增强深度学习算法的鲁棒性,当攻击者利用精心设计的扰动数据对深度学习实施攻击时,可能造成某种深度学习算法检测失效,但由于本架构在分类检测时,所遴选出来的各类算法异构,从而使得针对某一类深度学习算法的攻击未必对其他类攻击有效,进而在多数判决等策略下使得攻击被选择性忽视,最终输出正确的分类结果,因而从根本上解决深度学习自身的脆弱性问题。同时还可通过设置自动更新功能,即可以对误分类的深度学习算法进行训练更新,使得同一种攻击不能再次对一种算法实施有效攻击,进一步增强算法抵抗攻击的能力,具有较好的应用前景。
附图说明:
图1为实施例中基于拟态机制的深度学习实现方法流程示意;
图2为实施例中基于拟态机制的深度学习实现系统架构示意;
图3为实施例中拟态深度学习架构工作原理示意。
具体实施方式:
为使本发明的目的、技术方案和优点更加清楚、明白,下面结合附图和技术方案对本发明作进一步详细的说明。
拟态防御是一种具有内生安全性能的主动防御机制,通过动态、异构、冗余的方式提升网络安全性能,可有效抵御对网络实施的漏洞攻击及后门攻击,保护网络安全。本发明实施例,参见图1所示,提供一种基于拟态机制的深度学习实现方法,包含如下内容:
S101、针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
S102、利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
S103、针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
将拟态防御机制应用到深度学习领域,利用拟态防御机制的内生安全性能保证深度学习算法的安全性,增强算法的抗干扰攻击能力;通过采用多种不同的深度学习算法构建异构算法池,并可根据一定的策略选择多个深度学习算法进行检测,通过综合判决确定最终结果输出。,将拟态防御应用于人工智能深度学习算法,利用不同算法间的异构性克服算法自身存在的脆弱性,进而提升算法整体的安全性,有效提升深度学习抗干扰攻击能力。
作为本发明实施例中基于拟态机制的深度学习实现方法,进一步地,异构执行体池包含但不限于:深度信念网络深度学习模型、深度玻尔兹曼机深度学习模型、卷积神经网络深度学习模型、循环神经网络深度学习模型、回声状态网络深度学习模型、强化学习网络深度学习模型、小样本学习网络深度学习模型以及图神经网络深度学习模型。可通过集合形式表示如下,A={D1,D2,…Dn},其中,Dn表示序号为n的深度学习算法网络模型。
作为本发明实施例中基于拟态机制的深度学习实现方法,进一步地,预设选择策略采用随机选择策略从异构执行体池中选择奇数个用于对目标数据进行检测分类的深度学习网络模型。进一步地,预设选择策略采用分组策略将各类深度学习网络模型进行归类分组,随机抽选出奇数个分组;然后再从每个分组中随机选取一个深度学习网络模型。
通过预设选择策略选出k种不同的深度学习算法,k为奇数,算法选择策略可采用随机选择策略,也可采用将原始的各类神经网络进行归类分组,随机抽出k个分组,而后再从每个分组中随机选出一种算法组成检测算法集;分组策略包含但不限于将不同层级结构的同种算法分为一组,或者将同类算法的各种变种分为一类,如将一维卷积神经网络、二维卷积神经网络、三维卷积神经网络、残差网络、Fast-RCNN、Faster-RCNN等归为一类。
作为本发明实施例中基于拟态机制的深度学习实现方法,进一步地,通过对目标原始数据进行数据预处理,通过将原始数据转换为与深度学习网络模型匹配的数据格式来获取目标数据,其中,数据预处理包含:用于数据过滤筛选的数据清洗、用于数据统一结合的数据集成、用于数据转换的数据变换及用于数据归一模范化的数据规约。
收集原始数据,根据深度学习算法所要处理的对象收集相应的数据,包含但不限于图片数据、语音数据、视频数据以及网络流量数据等。对收集的数据进行预处理,主要进行数据清洗、数据集成、数据变换、数据归约,目的是将数据处理成与深度学习算法匹配的数据格式,一般包括无效值和无穷值处理,数值化、归一化和规范化等操作。
作为本发明实施例中基于拟态机制的深度学习实现方法,进一步地,利用判决器对多个深度学习网络模型检测分类结果进行综合判决来确定正确分类结果和异常分类结果。进一步地,判决器采用预设准则进行综合判决,该预设准则包含但不限于多数判决法或加权判决法,其中,多数判决法中将输出结果数目最多的一类确定为正确分类结果,加权判决法依据各个深度学习网络模型在训练中检测效果对深度学习检测效果进行加权,将输出结果通过对权值求和选取最高的一类作为正确分类结果。
利用算法选择策略遴选出的不同深度学习算法对数据进行分类检测,将检测结果输入判决模块,由于数据中可能包含攻击者所精心设计的扰动数据,因而可能使得一些深度学习算法分类错误,但由于遴选的多个深度学习算法相互异构,所提取的特征和所判断的方法均有不同,因而,同一种攻击不太可能使得所有检测算法同时失效,因而可以通过判决策略输出正确结果。判决器采用一定的准则对多个深度学习算法输出的结果进行综合判决,输出最终的检测结果。判决方法包含但不限于多数判决法,即输出结果中数目最多的一类,即为检测结果,或者加权判决法,即根据各个深度学习算法在训练集上的检测效果对深度学习的检测效果进行加权,将输出结果对权值求和,最高的一类即为输出结果。
作为本发明实施例中基于拟态机制的深度学习实现方法,进一步地,针对异常分类结果的深度学习网络模型,利用使其异常分类的目标数据补入其原始训练样本数据中,通过对其训练的样本数据集进行扩充来重训练该深度学习网络模型。
将误分类的深度学习算法下线,进行训练更新,在原始的训练数据集中补入使该算法误分类的类别数据,利用扩充的数据集对算法进行重训练,使得算法能够对前述类别正确分类。将重新训练好的模型加入异构算法池,可返回执行上述分类判决操作。
进一步地,基于上述的方法,本发明实施例还提供一种基于拟态机制的深度学习实现系统,包含:构建模块、分类模块和重训练模块,其中,
构建模块,用于针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
分类模块,用于利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
重训练模块,用于针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
参见图2所示,系统可主要由以下三大模块组成,各个模块的结构及功能如下:算法选择模块,由异构算法池和算法选择策略两部分组成,主要用于选择多种的深度学习算法进行检测判决;检测判决模块,由数据收集、数据处理、检测判决和结果输出四个模块组成,主要是收集原始数据,并对数据进行处理,使之符合深度学习算法的要求,利用深度学习算法进行检测分类,而后采用一定的算法进行判决,最后输出判决结果,还负责筛选出判决错误的深度学习算法,并将算法模型输送给训练更新模块;训练更新模块,通过接收检测判决模块输出的误判算法模型,并对模型进行重训练,更新模型参数,并将训练好的算法输送至异构算法池,可主要由数据扩充、模型训练、模型更新三个子模块组成。
为验证本案方案有效性,下面结合交通信号标志识别及图3所示原理示意对本案方案做进一步解释说明:
第一步,构建异构执行体池。针对交通标志识别对各类不同类型的深度学习网络进行训练,具体包含一维卷积神经网络、二维卷积神经网络、金字塔池化网络、循环神经网络、长短期记忆网络、门控循环网络、深度信念网络,深度人工网络等。
第二步,采用算法选择策略对选取检测算法,本例可采用分组选取方法,即按类别对算法进行分类,再从每一类中随机选取某种算法,具体为从一维卷积神经网络、二维卷积神经网络、金字塔池化网络选取金字塔池化网络,从循环神经网络、长短期记忆网络、门控循环网络选取长短期记忆网络,另外再选取深度信念网络三种网络实施检测分类。
第三步,获取原始流量数据,其中包含攻击者针对卷积神经网络精心设计的攻击数据,攻击者通过添加细微的扰动,使得卷积神经网络对特定交通标志误分类。
第四步,对原始数据进行预处理,主要进行数据清洗,去除脏数据、无效什和无穷值;数值化、归一化和L-2正则化,即将数据整理成在[0,1]范围内且每个样本2范数为1的样本数据。
第五步,利用选取的金字塔池化网络、长短期记忆网络和深度信念网络对目标数据实施检测分类,由于数据中包含攻击数据,因此,本质上采用卷积神经网络机制的金字塔池化网络可能会出现误判。而长短期记忆网络和深度信念网络两种网络和卷积神经网络的算法结构不同,提取数据特征的侧面不同,攻击者针对卷积神经网络所设计的攻击样本,改变的样本特征对这两种算法并不能产生影响,或者产生的影响很小,不足以改变差别结果,因而这两种算法仍然可以输出正确的分类结果。
第六步,将上述三种深度学习算法的输出结果进行综合判决,采用多数判决的方法,两类正确,一类错误,综合输出正确的分类结果。
第七步,由于并不知道攻击者的攻击对象,攻击方式等,可以仅将金字塔池化网络下线进行重新训练,如果时间充足和资源充足,也可以将金字塔池化网络所在类的所有算法全部下线进行重新训练。
第八步,将检测过程中错误分类的样本加入到原始的训练数据中对误分类的深度学习算法进行重新训练。
第九步,更新异构算法池,将重新训练好的卷积神经网络加入到异构算法池中,从而使得算法池中的算法都可以抵抗上述扰动攻击,增强算法本身的抗攻击能力。
本发明的核心是采用拟态架构对多种异构的深度学习算法进行整合,从而使得深度学习算法在根本上具备抵抗扰动攻击的能力,增强深度学习算法的鲁棒性。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,比如可以在异构算法池中加入随机森林以及Adaboost、XGboost等算法,使得算法更加丰富,这些也应当视为本发明的保护范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的系统,本发明实施例还提供一种服务器,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的方法。
基于上述的系统,本发明实施例还提供一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现上述的方法。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述系统实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述系统实施例中相应内容。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述系统实施例中的对应过程,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和系统,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于拟态机制的深度学习实现方法,其特征在于,包含如下内容:
针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
2.根据权利要求1所述的基于拟态机制的深度学习实现方法,其特征在于,异构执行体池包含但不限于:深度信念网络深度学习模型、深度玻尔兹曼机深度学习模型、卷积神经网络深度学习模型、循环神经网络深度学习模型、回声状态网络深度学习模型、强化学习网络深度学习模型、小样本学习网络深度学习模型以及图神经网络深度学习模型。
3.根据权利要求1或2所述的基于拟态机制的深度学习实现方法,其特征在于,预设选择策略采用随机选择策略从异构执行体池中选择奇数个用于对目标数据进行检测分类的深度学习网络模型。
4.根据权利要求1或2所述的基于拟态机制的深度学习实现方法,其特征在于,预设选择策略采用分组策略将各类深度学习网络模型进行归类分组,随机抽选出奇数个分组;然后再从每个分组中随机选取一个深度学习网络模型。
5.根据权利要求4所述的基于拟态机制的深度学习实现方法,其特征在于,分组策略包含但不限于:将不同层级结构的同种深度学习算法的网络模型分为一组,或者将同类深度学习算法的各变种网络模型分为一组。
6.根据权利要求1所述的基于拟态机制的深度学习实现方法,其特征在于,通过对目标原始数据进行数据预处理,通过将原始数据转换为与深度学习网络模型匹配的数据格式来获取目标数据,其中,数据预处理包含:用于数据过滤筛选的数据清洗、用于数据统一结合的数据集成、用于数据转换的数据变换及用于数据归一模范化的数据规约。
7.根据权利要求1所述的基于拟态机制的深度学习实现方法,其特征在于,利用判决器对多个深度学习网络模型检测分类结果进行综合判决来确定正确分类结果和异常分类结果。
8.根据权利要求7所述的基于拟态机制的深度学习实现方法,其特征在于,判决器采用预设准则进行综合判决,该预设准则包含但不限于多数判决法或加权判决法,其中,多数判决法中将输出结果数目最多的一类确定为正确分类结果,加权判决法依据各个深度学习网络模型在训练中检测效果对深度学习检测效果进行加权,将输出结果通过对权值求和选取最高的一类作为正确分类结果。
9.根据权利要求1所述的基于拟态机制的深度学习实现方法,其特征在于,针对异常分类结果的深度学习网络模型,利用使其异常分类的目标数据补入其原始训练样本数据中,通过对其训练的样本数据集进行扩充来重训练该深度学习网络模型。
10.一种基于拟态机制的深度学习实现系统,其特征在于,包含:构建模块、分类模块和重训练模块,其中,
构建模块,用于针对已训练的不同类型深度学习网络模型,将每个类型的深度学习网络模型作为执行体,构建异构执行体池;
分类模块,用于利用预设选择策略从异构执行体池中选取多个深度学习网络模型对目标数据进行检测分类,并依据检测分类结果确定用于最终检测分类输出的正确分类结果及用于重训练的异常分类结果;
重训练模块,用于针对异常分类结果的深度学习网络模型进行下线,通过重训练来更新网络模型参数后再输送至异构执行体池进行上线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110627364.2A CN113537284B (zh) | 2021-06-04 | 2021-06-04 | 基于拟态机制的深度学习实现方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110627364.2A CN113537284B (zh) | 2021-06-04 | 2021-06-04 | 基于拟态机制的深度学习实现方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537284A true CN113537284A (zh) | 2021-10-22 |
CN113537284B CN113537284B (zh) | 2023-01-24 |
Family
ID=78095626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110627364.2A Active CN113537284B (zh) | 2021-06-04 | 2021-06-04 | 基于拟态机制的深度学习实现方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537284B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114633774A (zh) * | 2022-03-30 | 2022-06-17 | 东莞理工学院 | 一种基于人工智能的轨道交通故障检测系统 |
CN114710405A (zh) * | 2021-12-24 | 2022-07-05 | 河南信大网御科技有限公司 | 一种拟态系统内部网络设计方法及系统 |
WO2023115251A1 (zh) * | 2021-12-20 | 2023-06-29 | Oppo广东移动通信有限公司 | 无线通信中保障ai模型有效性方法、装置、终端及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951926A (zh) * | 2017-03-29 | 2017-07-14 | 山东英特力数据技术有限公司 | 一种混合架构的深度学习系统方法及装置 |
CN107291538A (zh) * | 2017-06-14 | 2017-10-24 | 中国人民解放军信息工程大学 | 面向任务的拟态云构建方法及基于拟态云的任务调度方法、装置、系统 |
CN110245108A (zh) * | 2019-07-15 | 2019-09-17 | 北京一流科技有限公司 | 执行体创建系统和执行体创建方法 |
CN110647918A (zh) * | 2019-08-26 | 2020-01-03 | 浙江工业大学 | 面向深度学习模型对抗攻击的拟态防御方法 |
CN112118219A (zh) * | 2020-07-29 | 2020-12-22 | 天津芯海创科技有限公司 | 拟态判决方法、装置、电子设备及计算机可读存储介质 |
KR20210064591A (ko) * | 2019-11-26 | 2021-06-03 | 한국전자기술연구원 | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 |
-
2021
- 2021-06-04 CN CN202110627364.2A patent/CN113537284B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951926A (zh) * | 2017-03-29 | 2017-07-14 | 山东英特力数据技术有限公司 | 一种混合架构的深度学习系统方法及装置 |
CN107291538A (zh) * | 2017-06-14 | 2017-10-24 | 中国人民解放军信息工程大学 | 面向任务的拟态云构建方法及基于拟态云的任务调度方法、装置、系统 |
CN110245108A (zh) * | 2019-07-15 | 2019-09-17 | 北京一流科技有限公司 | 执行体创建系统和执行体创建方法 |
CN110647918A (zh) * | 2019-08-26 | 2020-01-03 | 浙江工业大学 | 面向深度学习模型对抗攻击的拟态防御方法 |
KR20210064591A (ko) * | 2019-11-26 | 2021-06-03 | 한국전자기술연구원 | 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법 |
CN112118219A (zh) * | 2020-07-29 | 2020-12-22 | 天津芯海创科技有限公司 | 拟态判决方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
KLODJAN KLODIHIDRI等: "HetSpark: A Framework that Provides Heterogeneous Executors to Apache Spark", 《PROCEDIA COMPUTER SCIENCE》 * |
高振斌 等: "基于异常值的拟态裁决优化方法", 《计算机应用研究》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023115251A1 (zh) * | 2021-12-20 | 2023-06-29 | Oppo广东移动通信有限公司 | 无线通信中保障ai模型有效性方法、装置、终端及介质 |
CN114710405A (zh) * | 2021-12-24 | 2022-07-05 | 河南信大网御科技有限公司 | 一种拟态系统内部网络设计方法及系统 |
CN114710405B (zh) * | 2021-12-24 | 2023-11-17 | 河南信大网御科技有限公司 | 一种拟态系统内部网络设计方法及系统 |
CN114633774A (zh) * | 2022-03-30 | 2022-06-17 | 东莞理工学院 | 一种基于人工智能的轨道交通故障检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113537284B (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113537284B (zh) | 基于拟态机制的深度学习实现方法及系统 | |
US11126890B2 (en) | Robust training of large-scale object detectors with a noisy dataset | |
CN107526785B (zh) | 文本分类方法及装置 | |
CN110647918B (zh) | 面向深度学习模型对抗攻击的拟态防御方法 | |
CN111310814A (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
Li et al. | Connecting the dots: Detecting adversarial perturbations using context inconsistency | |
CN113297572B (zh) | 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 | |
Nurhadiyatna | Deep learning for handwritten Javanese character recognition | |
CN107223260B (zh) | 用于动态地更新分类器复杂度的方法 | |
CN109840413B (zh) | 一种钓鱼网站检测方法及装置 | |
CN112765607B (zh) | 一种神经网络模型后门攻击检测方法 | |
WO2016086330A1 (en) | A method and a system for face recognition | |
Halim et al. | Recurrent neural network for malware detection | |
Adiwinata et al. | Fish species recognition with faster r-cnn inception-v2 using qut fish dataset | |
CN114898470A (zh) | 基于改进YOLOv5的跌倒行为检测方法及系统 | |
CN111522953B (zh) | 一种针对朴素贝叶斯分类器的边际攻击方法、装置及存储介质 | |
EP3671635B1 (en) | Curvilinear object segmentation with noise priors | |
Noyunsan et al. | Performance evaluation of supervised learning algorithms with various training data sizes and missing attributes | |
Sarraf | Binary Image Segmentation Using Classification Methods: Support Vector Machines, Artificial Neural Networks and K th Nearest Neighbours | |
CN116543250A (zh) | 一种基于类注意力传输的模型压缩方法 | |
Ferreira et al. | Breaking text-based CAPTCHA with sparse convolutional neural networks | |
CN115526227A (zh) | 一种直升机飞行数据瞬时异常检测方法 | |
Singh et al. | Tomato crop disease classification using convolution neural network and transfer learning | |
Vrejoiu | Neural networks and deep learning in cyber security | |
Al-Andoli et al. | A Framework for Robust Deep Learning Models Against Adversarial Attacks Based on a Protection Layer Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |