CN114419376A - 一种多模态渐进式联邦学习的图像识别方法 - Google Patents
一种多模态渐进式联邦学习的图像识别方法 Download PDFInfo
- Publication number
- CN114419376A CN114419376A CN202210221112.4A CN202210221112A CN114419376A CN 114419376 A CN114419376 A CN 114419376A CN 202210221112 A CN202210221112 A CN 202210221112A CN 114419376 A CN114419376 A CN 114419376A
- Authority
- CN
- China
- Prior art keywords
- neural network
- progressive
- progressive neural
- image recognition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioethics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种多模态渐进式联邦学习的图像识别方法,包括以下步骤:先对多模态图像特征信息进行提取,再以训练集数据为输入构建渐进式神经网络并作为参与者参与联邦学习,接着利用训练集数据训练神经网络模型,并通过加密的方式上传梯度信息至主服务器,随后主服务器更新模型参数并下发至各渐进式神经网络,然后判断渐进式网络输出向量是否满足真实图像特征并确定识别结果,实现多模态图像识别过程;本发明融合联邦学习思想,在协作训练中保证数据的隐私安全,在样本不足以及样本分散的时候也能获得较高性能,充分依赖多种模态信息,提高识别效率,在渐进式神经网络的基础上融入联邦学习,提高了数据安全性的同时,还提高了数据的流动性。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种多模态渐进式联邦学习的图像识别方法。
背景技术
随着科技的发展,图像信息与日常生活息息相关,随着越来越多的图像信息以数据的形式储存在云网络上或智能设备上,这对数据安全性产生威胁以及海量的数据给本地服务器带来挑战,面对海量的图像数据,先提取特征再通过分类器识别的传统方法效率过低,无法快速识别多模态图像。
近年来,人工智能技术特别是深度学习由于其出色的特征提取能力,在图像识别中备受青睐,涌现了一大批改进的神经网络,如深度置信网络、循环神经网络以及残差神经网络等,但是,深度学习过于依赖训练数据的数量以及多样性,在样本不足以及样本分散的时候易导致性能低下且精度无法保证。
渐进式神经网络相当于迁移学习技术,将多个神经网络的信息融合训练,执行辅助任务的神经网络与执行主任务的神经每一层输出一起输出至下一层,解决了样本不足引起的精度下降问题,但是渐进式神经网络的参数会随之模型的训练而增加,因此,本发明提出一种多模态渐进式联邦学习的图像识别方法以解决现有技术中存在的问题。
发明内容
针对上述问题,本发明的目的在于提出一种多模态渐进式联邦学习的图像识别方法,解决传统图像识别方法效率过低,无法快速识别多模态图像的问题,解决现有深度学习方法在样本不足以及样本分散的时候易导致性能低下且精度无法保证的问题。
为了实现本发明的目的,本发明通过以下技术方案实现:一种多模态渐进式联邦学习的图像识别方法,包括以下步骤:
步骤一:先采集多模态图像样本信息,接着将多模态图像样本信息转变为向量形式,再提取图像的特征向量;
步骤二:先根据提取的特征向量来构建训练集,再以训练集数据为输入对象,构建渐进式神经网络;
步骤三:以渐进式神经网络作为参与者构建联邦学习框架,并采用训练集数据训练渐进式神经网络;
步骤四:渐进式神经网络先利用训练集数据训练神经网络模型,并以加密的方式将梯度信息上传至主服务器,主服务器再对各渐进式神经网络的梯度信息进行聚合,然后由主服务器更新神经网络模型参数并下发至各渐进式神经网络,并渐进式更新各自的神经网络模型;
步骤五:构建多模态图像识别最优识别模型,判断渐进式神经网络输出向量是否满足真实图像特征,若满足,则使用分类器确定多模态图像,实现多模态图像识别。
进一步改进在于:所述步骤一中,多模态图像样本信息通过归一化的方式转变为向量形式,提取的图像特征包括颜色、动作以及方向。
进一步改进在于:所述步骤二中,所述渐进式神经网络结合不同的神经网络共同训练,并设置动作为主任务,设置颜色和方向为辅助任务,所述渐进式神经网络通过执行辅助任务的神经网络与执行主任务的神经一起输出到下一层,使执行辅助任务的神经网络的信息融合到执行主任务的神经网络中。
进一步改进在于:渐进式神经网络中,具有i层的神经网络第k个神经网络的输出向量v表达式如下所示:
进一步改进在于:所述渐进式神经网络的激活函数f(·)采用ReLU函数,如下表示:
其中,s为变量。
进一步改进在于:所述步骤三中,所述联邦学习框架对各渐进式神经网络的梯度信息进行聚合,所述联邦学习框架的目标函数为:
其中,v表示特征向量,w表示渐进式神经网络的参数,m表示渐进式神经网络的个数,L i (·)是第i个渐进式神经网络的局部损失函数。
进一步改进在于:第i个渐进式神经网络的局部损失函数为:
其中,v表示特征向量,w表示渐进式神经网络的参数,n是每个渐进式神经网络本地的训练集数据的个数,通过损失函数L j 衡量第j个渐进式神经网络的训练效果。
进一步改进在于:所述步骤四中,所述渐进式神经网络的参数采用随机梯度下降方式进行更新,公式如下:
其中,w表示渐进式神经网络的参数,η k >0表示步长的参数,决定联邦学习算法的性能。
进一步改进在于:所述步骤五中,若判断结果表面渐进式神经网络输出向量不满足真实图像特征,则继续运行步骤三,不断迭代优化联邦学习框架,直至满足真实图像特征。
本发明的有益效果为:本发明提出渐进式联邦学习对多模态图像特征信息进行提取,然后以训练集数据为输入构建渐进式神经网络并作为参与者参与联邦学习,最后判断渐进式网络输出向量是否满足真实图像特征并确定识别结果,融合联邦学习思想,在协作训练中,一方面保证数据的隐私安全,另一方面,在样本不足以及样本分散的时候也能获得较高性能,能充分依赖多种模态信息,提高识别效率,在渐进式神经网络的基础上融入联邦学习,提高了数据安全性的同时,还提高了数据的流动性,进而提高图像识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的方法流程示意图;
图2是本发明的图像识别结构示意图;
图3是本发明的渐进式神经网络结构示意图;
图4是本发明的联邦学习框架结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得所有其他实施例,都属于本发明保护的范围。
参见图1、图2、图3、图4,本实施例提供了一种多模态渐进式联邦学习的图像识别方法,包括以下步骤:
步骤一:先采集多模态图像样本信息,接着通过归一化的方式将多模态图像样本信息转变为向量形式,再提取图像的特征向量,特征包括颜色、动作以及方向;
步骤二:先根据提取的特征向量来构建训练集,再以训练集数据为输入对象,构建渐进式神经网络,所述渐进式神经网络结合多个不同的神经网络共同训练,并设置动作为主任务,设置颜色和方向为辅助任务,所述渐进式神经网络通过执行辅助任务的神经网络与执行主任务的神经一起输出到下一层,使执行辅助任务的神经网络的信息融合到执行主任务的神经网络中,渐进式神经网络中,具有i层的神经网络第k个神经网络的输出向量v表达式如下所示:
其中,s为变量;
步骤三:以渐进式神经网络作为参与者构建联邦学习框架,并采用训练集数据训练渐进式神经网络,本发明融合联邦学习思想,联邦学习相当于分布式学习框架,联邦学习指多个神经网络在一个主服务器的协调下进行协作训练的机器学习框架,联邦学习在协作训练中,一方面保证数据的隐私安全,另一方面,在样本不足以及样本分散的时候也能获得较高性能,所述联邦学习框架的目标函数为:
其中,v表示特征向量,w表示渐进式神经网络的参数,m表示渐进式神经网络的个数,L i (·)是第i个渐进式神经网络的局部损失函数,局部损失函数为:
其中,v表示特征向量,w表示渐进式神经网络的参数,n是每个渐进式神经网络本地的训练集数据的个数,通过损失函数L j 衡量第j个渐进式神经网络的训练效果;
步骤四:渐进式神经网络先利用训练集数据训练神经网络模型,并以加密的方式将梯度信息上传至主服务器,主服务器再对各渐进式神经网络的梯度信息进行聚合,然后由主服务器更新神经网络模型参数并下发至各渐进式神经网络,并渐进式更新各自的神经网络模型,由于神经网络层数越深,越容易出现梯度消失或过拟合问题,为此,本实施例采用联邦学习技术,联邦学习将各渐进式神经网络的梯度等信息进行聚合,一方面可提高数据的安全性,另一方面提高了数据的流动性,可提高图像识别效率,所述渐进式神经网络的参数采用随机梯度下降方式进行更新,公式如下:
其中,w表示渐进式神经网络的参数,η k >0表示步长的参数,决定联邦学习算法的性能;
步骤五:构建多模态图像识别最优识别模型,判断渐进式神经网络输出向量是否满足真实图像特征,若满足,则使用分类器确定多模态图像,实现多模态图像识别,若判断结果表面渐进式神经网络输出向量不满足真实图像特征,则继续运行步骤三,不断迭代优化联邦学习框架,直至满足真实图像特征。
如图2所示,在多模态图像识别中,首先对图像数据进行收集和处理,图像预处理主要是多模态图像通过归一化方式转变为向量形式,然后提取图像的特征向量,特征包括形状、颜色、动作以及方向等,特征向量用来描述图像的主要信息,图像识别是通过渐进式神经网络输出向量作为该图像的预测值,之后比较预测值与真实值两者之间的差异,从而获得损失值,损失值与分类器性能成反比关系,最后采用优化算法(构建渐进式联邦学习框架)进行优化得到最优解,并通过随机梯度下降方法进行参数更新,直到取得最优识别效果。
如图3所示,渐进式神经网络至少需要两个神经网络的信息融合进行训练,分别执行辅助任务(颜色和方向)以及主任务(动作),在训练中,执行辅助任务的神经网络与执行主任务的神经网络一起输出至下一层,层层叠加,直到训练结束,训练好的渐进式神经网络将保留所有的训练参数且迁移每一层神经网络的信息,将提高神经网络储存信息的能力,提高渐进式神经网络的识别性能。
如图4所示,首先将渐进式神经网络根据训练数据集构建本地模型,渐进式神经网络利用本地数据信息训练模型,再通过加密方式将梯度等信息上传至主服务器,主服务器根据各渐进式网络的梯度等信息进行聚合,然后主服务器下发至各渐进式神经网络,最后渐进式根据主服务器下发的聚合信息更新各自的本地模型(渐进式神经网络)。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种多模态渐进式联邦学习的图像识别方法,其特征在于,包括以下步骤:
步骤一:先采集多模态图像样本信息,接着将多模态图像样本信息转变为向量形式,再提取图像的特征向量;
步骤二:先根据提取的特征向量来构建训练集,再以训练集数据为输入对象,构建渐进式神经网络;
步骤三:以渐进式神经网络作为参与者构建联邦学习框架,并采用训练集数据训练渐进式神经网络;
步骤四:渐进式神经网络先利用训练集数据训练神经网络模型,并以加密的方式将梯度信息上传至主服务器,主服务器再对各渐进式神经网络的梯度信息进行聚合,然后由主服务器更新神经网络模型参数并下发至各渐进式神经网络,并渐进式更新各自的神经网络模型;
步骤五:构建多模态图像识别最优识别模型,判断渐进式神经网络输出向量是否满足真实图像特征,若满足,则使用分类器确定多模态图像,实现多模态图像识别。
2.根据权利要求1所述的一种多模态渐进式联邦学习的图像识别方法,其特征在于:所述步骤一中,多模态图像样本信息通过归一化的方式转变为向量形式,提取的图像特征包括颜色、动作以及方向。
3.根据权利要求1所述的一种多模态渐进式联邦学习的图像识别方法,其特征在于:所述步骤二中,所述渐进式神经网络结合不同的神经网络共同训练,并设置动作为主任务,设置颜色和方向为辅助任务,所述渐进式神经网络通过执行辅助任务的神经网络与执行主任务的神经一起输出到下一层,使执行辅助任务的神经网络的信息融合到执行主任务的神经网络中。
9.根据权利要求1所述的一种多模态渐进式联邦学习的图像识别方法,其特征在于:所述步骤五中,若判断结果表面渐进式神经网络输出向量不满足真实图像特征,则继续运行步骤三,不断迭代优化联邦学习框架,直至满足真实图像特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221112.4A CN114419376B (zh) | 2022-03-09 | 2022-03-09 | 一种多模态渐进式联邦学习的图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221112.4A CN114419376B (zh) | 2022-03-09 | 2022-03-09 | 一种多模态渐进式联邦学习的图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419376A true CN114419376A (zh) | 2022-04-29 |
CN114419376B CN114419376B (zh) | 2022-12-23 |
Family
ID=81262656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210221112.4A Active CN114419376B (zh) | 2022-03-09 | 2022-03-09 | 一种多模态渐进式联邦学习的图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419376B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897849A (zh) * | 2022-05-21 | 2022-08-12 | 四川大学 | 一种基于卷积神经网络的新生儿耳廓形态畸形诊断方法 |
CN115829028A (zh) * | 2023-02-14 | 2023-03-21 | 电子科技大学 | 一种多模态联邦学习任务处理方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414587A (zh) * | 2019-07-23 | 2019-11-05 | 南京邮电大学 | 基于渐进学习的深度卷积神经网络训练方法与系统 |
US20200019862A1 (en) * | 2014-03-06 | 2020-01-16 | Progress, Inc. | Neural network and method of neural network training |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
CN111344697A (zh) * | 2018-07-18 | 2020-06-26 | 深圳码隆科技有限公司 | 用于机器视觉模型的基于复杂度的渐进式训练 |
CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
US20210182657A1 (en) * | 2019-12-11 | 2021-06-17 | Inait Sa | Interpreting and improving the processing results of recurrent neural networks |
US20210264278A1 (en) * | 2020-02-24 | 2021-08-26 | Adobe Inc. | Neural network architecture pruning |
US20210326700A1 (en) * | 2020-03-12 | 2021-10-21 | Genotaur, Inc. | Neural network optimization |
US20220027786A1 (en) * | 2020-07-24 | 2022-01-27 | Macau University Of Science And Technology | Multimodal Self-Paced Learning with a Soft Weighting Scheme for Robust Classification of Multiomics Data |
-
2022
- 2022-03-09 CN CN202210221112.4A patent/CN114419376B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200019862A1 (en) * | 2014-03-06 | 2020-01-16 | Progress, Inc. | Neural network and method of neural network training |
CN111344697A (zh) * | 2018-07-18 | 2020-06-26 | 深圳码隆科技有限公司 | 用于机器视觉模型的基于复杂度的渐进式训练 |
CN110414587A (zh) * | 2019-07-23 | 2019-11-05 | 南京邮电大学 | 基于渐进学习的深度卷积神经网络训练方法与系统 |
US20210182657A1 (en) * | 2019-12-11 | 2021-06-17 | Inait Sa | Interpreting and improving the processing results of recurrent neural networks |
US20210264278A1 (en) * | 2020-02-24 | 2021-08-26 | Adobe Inc. | Neural network architecture pruning |
US20210326700A1 (en) * | 2020-03-12 | 2021-10-21 | Genotaur, Inc. | Neural network optimization |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
US20220027786A1 (en) * | 2020-07-24 | 2022-01-27 | Macau University Of Science And Technology | Multimodal Self-Paced Learning with a Soft Weighting Scheme for Robust Classification of Multiomics Data |
CN112949837A (zh) * | 2021-04-13 | 2021-06-11 | 中国人民武装警察部队警官学院 | 一种基于可信网络的目标识别联邦深度学习方法 |
Non-Patent Citations (2)
Title |
---|
王蓉等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》 * |
王蓉等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》, no. 04, 10 April 2020 (2020-04-10) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897849A (zh) * | 2022-05-21 | 2022-08-12 | 四川大学 | 一种基于卷积神经网络的新生儿耳廓形态畸形诊断方法 |
CN115829028A (zh) * | 2023-02-14 | 2023-03-21 | 电子科技大学 | 一种多模态联邦学习任务处理方法及系统 |
CN115829028B (zh) * | 2023-02-14 | 2023-04-18 | 电子科技大学 | 一种多模态联邦学习任务处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114419376B (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114419376B (zh) | 一种多模态渐进式联邦学习的图像识别方法 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN107563422B (zh) | 一种基于半监督卷积神经网络的极化sar分类方法 | |
CN106096535B (zh) | 一种基于双线性联合cnn的人脸验证方法 | |
CN110852448A (zh) | 一种基于多智能体强化学习的合作型智能体的学习方法 | |
CN108288035A (zh) | 基于深度学习的多通道图像特征融合的人体动作识别方法 | |
CN108509920B (zh) | 基于CNN的多patch多通道联合特征选择学习的人脸识别方法 | |
CN113592736B (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
CN112766280A (zh) | 一种基于图卷积的遥感图像道路提取方法 | |
CN108304357A (zh) | 一种基于字体流形的中文字库自动生成方法 | |
CN111178312B (zh) | 基于多任务特征学习网络的人脸表情识别方法 | |
CN113052150B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
CN107046534A (zh) | 一种网络安全态势模型训练方法、识别方法及识别装置 | |
CN112990077A (zh) | 基于联合学习与光流估计的面部动作单元识别方法及装置 | |
CN106647272A (zh) | 基于k均值改进卷积神经网络的机器人路径规划方法 | |
CN114724189B (zh) | 一种目标识别的对抗样本防御模型训练方法、系统及应用 | |
CN107092935A (zh) | 一种资产变更检测方法 | |
CN113901448A (zh) | 基于卷积神经网络和轻量级梯度提升机的入侵检测方法 | |
CN112446489A (zh) | 基于变分自编码器的动态网络嵌入链接预测方法 | |
Yan et al. | Research on nonlinear distorted image recognition based on artificial neural network algorithm | |
CN108573241A (zh) | 一种基于融合特征的视频行为识别方法 | |
CN114500396A (zh) | 区分匿名Tor应用流量的MFD色谱特征提取方法及系统 | |
CN117496436A (zh) | 一种基于深浅层特征融合的浮选过程工况识别方法 | |
CN113221683A (zh) | 教学场景下基于cnn模型的表情识别方法 | |
CN112597802A (zh) | 一种基于视觉感知网络深度学习的行人运动模拟方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |