CN112364895A - 一种基于属性继承的图卷积网络零样本学习方法 - Google Patents
一种基于属性继承的图卷积网络零样本学习方法 Download PDFInfo
- Publication number
- CN112364895A CN112364895A CN202011147909.1A CN202011147909A CN112364895A CN 112364895 A CN112364895 A CN 112364895A CN 202011147909 A CN202011147909 A CN 202011147909A CN 112364895 A CN112364895 A CN 112364895A
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- training
- semantic
- graph convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器学习的技术领域,具体涉及一种基于属性继承的图卷积网络零样本学习方法,包括运用CNN网络提取样本图像的特征,将训练样本输入到GCN网络Gf(X)中,运用注意力机制A构建子类的语义表达,训练GCN网络Gs(Xs),将测试样本先后输入到训练好的GCN网络Gf(X)和Gs(Xs)中,逐级地对测试样本进行分类,最终输出测试样本的子类标签。本发明使用属性特征构建语义空间,利用属性继承的图卷积网络方法学习关注样本层级之间的关系,更加全面地学习类间与类内的异同信息,从而更充分地考虑了样本层级间的异同,及充分地利用了所有样本之间的信息。
Description
技术领域
本发明属于机器学习的技术领域,具体涉及一种基于属性继承的图卷积网络零样本学习方法。
背景技术
近几年,深度学习在大规模的数据集的分类任务上取得了重大进展。但是,传统的深度学习还面临了一个很重要的问题:需要大量的带有标签的训练数据,同时,对训练数据进行标注不仅需要花费大量的人力物力财力,而且在许多情况下几乎难以获得,比如濒危动物的图像。对此,学者们从人类学习新事物的过程上得到启发:仅仅使用少量样本,甚至在不使用样本的情况下就可以识别出从未见过的新事物,也就是零样本学习。零样本学习通过对可见类的学习,利用语义特征,识别未见类。也就是说,语义特征是可见类和未见类之间联系的桥梁,一般可以是属性特征,也可以是词向量。
然而,发明人发现了现有的图卷积网络零样本学习方法大多数都是直接对最基本的样本层级实现特征的学习,使用可见类的样本来学习特征,测试时根据距离度量为测试样本贴上标签,并且,此类方法的问题是没有充分考虑事物层级之间的关系,即类似于对生物的划分级别分为界、门、纲、目、科、属、种,从而忽略了级别与级别之间有一定的联系、级别之内也有一定的联系。
为此,亟需提出一种新型的零样本学习方法以解决上述问题。
发明内容
本发明的目的在于:针对现有技术的不足,提供一种基于属性继承的图卷积网络零样本学习方法,使用属性特征构建语义空间,能够利用属性继承的图卷积网络方法学习关注样本层级之间的关系,能够更全面地学习类间与类内的异同信息,从而更充分地考虑了样本层级间的异同,及充分地利用了所有样本之间的信息。
为了实现上述目的,本发明采用如下技术方案:
一种基于属性继承的图卷积网络零样本学习方法,包括以下步骤:
S1、选取样本图像,运用CNN网络提取所述样本图像的特征,获得所述样本图像的真实分类权重Wi,将语义特征作为训练样本输入到包含a个父类的GCN网络Gf(X)中,其中,a<n,xi表示所述训练样本中的第i个样本的语义词嵌入,并对所述Gf(X)进行训练,将一个n维的语义特征映射到一个a维的类标签上;
S2、运用注意力机制A构建子类的语义表达Xs=A(X),训练由a个父类扩展得到b个子类的GCN网络Gs(Xs),a≤b<n,将一个n维的语义特征映射到一个b维的类标签上;
S3、选取测试样本,将所述测试样本的语义特征Xu先输入到训练好的所述Gf(X)中,判断所述测试样本的父类标签,再将所述测试样本输入到训练好的所述Gs(Xs)中,逐级地对所述测试样本进行分类,最终输出所述测试样本的子类标签。
进一步地,所述S1中对所述Gf(X)进行训练的过程包括:
进一步地,所述S2中构建子类的语义表达的过程包括:在子类的语义特征上,通过所述注意力机制A强调与父类不同的语义特征,并保留与父类相同的语义特征,从而形成属性继承的语义特征。
本发明的有益效果在于:1)本发明克服了现有的样本层级之间关系挖掘不足的技术问题,能够按照类别进行逐级训练和测试,并利用属性继承的图卷积网络进行零样本学习,解决了跨模态的零样本分类问题;2)本发明在测试时,先用预先训练好的网络提取特征,再用分类器在提取出的特征上做分类操作,与现存的图卷积网络方法相比,本发明设计的基于属性继承的分类性能得到显著提高,从而增强了零样本学习方法的有效性;3)本发明结构精简,相比于其他性能接近的零样本方法的训练参数更少,从而显著地提高了运行的高效性。
附图说明
图1为本发明的流程图。
图2为本发明的通过分类器输出类别的示意图。
图3为本发明中的从父类中扩展子类语义特征的网络的示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件,本领域技术人员应可理解,制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内,本领域技术人员能够在一定误差范围内解决技术问题,基本达到技术效果。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、水平”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图1~3和具体实施例对本发明作进一步详细说明,但不作为对本发明的限定。
一种基于属性继承的图卷积网络零样本学习方法,包括以下步骤:
S1、选取样本图像,运用CNN网络提取样本图像的特征,获得样本图像的真实分类权重Wi,将语义特征作为训练样本输入到包含a个父类的GCN网络Gf(X)中,其中,a<n,xi表示训练样本中的第i个样本的语义词嵌入,并对Gf(X)进行训练,将一个n维的语义特征映射到一个a维的类标签上;
其中,对Gf(X)进行训练的过程包括:
构建训练样本中的可见类样本的父类标签fm的计算公式:1<m<n,m表示可见类样本的数量,y1i∈{1,…,a}表示父类标签,预测出训练样本中的n-m个剩余样本的标签并构建m个可见类样本在Gf(X)中训练的损失参数I1,令得到在真实分类权重Wi的约束下对分类器的权重的预测,表示预测的分类器的权重,如图2所示,语义词经过图神经网络和分类器的筛选识别后输出类别。
S2、在子类的语义特征上,通过注意力机制A强调与父类不同的语义特征,并保留与父类相同的语义特征,从而形成属性继承的语义特征,运用注意力机制A构建子类的语义表达Xs=A(X),训练由a个父类扩展得到b个子类的GCN网络Gs(Xs),a≤b<n,将一个n维的语义特征映射到一个b维的类标签上;
构建训练样本中的可见类样本的子类标签sm的计算公式:其中,1<m<n,m表示可见类样本的数量,y2i∈{1,…,b}表示子类标签,预测最终子类的标签构建m个可见类样本在Gs(Xs)中训练的损失参数I2,令得到在真实分类权重Wi的约束下对分类器的权重的预测。
S3、选取测试样本,将测试样本的语义特征Xu先输入到训练好的Gf(X)中,通过判断测试样本的父类标签,再将测试样本输入到训练好的Gs(Xs)中,逐级地对测试样本进行分类,通过最终输出测试样本的子类标签。
在上述步骤中,还可以以视觉特征和语义特征代表来自两个不同模态的特征,令集合代表n个样本,其中xi代表第i个样本的语义词嵌入,y1i∈{1,…,a}代表父类标签,y2i∈{1,…,b}代表其子类标签,并且,前m个样本来自可见类,剩余的n-m个样本没有类标签,而上述基于属性继承的图卷积网络零样本学习方法的步骤的目的就是用词嵌入和图中的关系确定剩余样本的类标签。
同时,与传统卷积不同,图神经网络的卷积(GCN网络)操作通过每个点与其近邻点之间的邻接矩阵来定义,每一层的卷积操作如下:其中,是图的归一化的n×n维的邻接矩阵,X′是来自前一层的n×k维的输入特征矩阵,W是k×c维的权重矩阵。第一层的输入是类别机器及其对应的语义嵌入向量而且,在父类图神经网络Gf(X)中最后一层的输出维度为a,在子类图神经网络Gs(Xs)中最后一层的输出维度为b。
如图3所示,在对样本进行训练时,先在较高级别类的语义特征开始操作,比如说:猫科动物吻部短,眼睛大而圆,有胡须。其下一级别的类在继承该级别特征的基础上,进一步通过注意力机制A强调本级别所具有的特征,同时不丢掉继承来的特征,比如说:老虎属于猫科动物,除了继承吻部短,眼睛大而圆,有胡须的特征之外,它还有额外的特征:脑门上有“王”字。如此,一级一级地继承并表示特征,并构成特征空间。之后,在测试时,根据语义特征通过训练好的网络识别测试样本属于哪一较高级别类,再在下一级别的类上进行识别,直到最低级别类。
显然,本发明能够利用图卷积神经网络逐级提取图像视觉特征,能够利用类别的属性特征作为类别语义特征,不仅逐级并继承地提取数据特征,还逐级地对测试样本进行分类,从而很好地利用了属性继承的图卷积网络方法学习关注了样本层级之间的关系,并更加全面地学习了类间与类内的异同信息。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此,本发明并不局限于上述的具体实施方式,凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。
Claims (7)
1.一种基于属性继承的图卷积网络零样本学习方法,其特征在于,包括以下步骤:
S1、运用CNN网络提取样本图像的特征,获得所述样本图像的真实分类权重Wi,将语义特征作为训练样本输入到包含a个父类的GCN网络Gf(X)中,其中,a<n,xi表示所述训练样本中的第i个样本的语义词嵌入,并对所述Gf(X)进行训练,将一个n维的语义特征映射到一个a维的类标签上;
S2、运用注意力机制A构建子类的语义表达Xs=A(X),训练由a个父类扩展得到b个子类的GCN网络Gs(Xs),a≤b<n,将一个n维的语义特征映射到一个b维的类标签上;
S3、将测试样本的语义特征Xu先输入到训练好的所述Gf(X)中,判断所述测试样本的父类标签,再将所述测试样本输入到训练好的所述Gs(Xs)中,逐级地对所述测试样本进行分类,最终输出所述测试样本的子类标签。
4.如权利要求1所述的基于属性继承的图卷积网络零样本学习方法,其特征在于,所述S2中构建子类的语义表达的过程包括:
在子类的语义特征上,通过所述注意力机制A强调与父类不同的语义特征,并保留与父类相同的语义特征,从而形成属性继承的语义特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011147909.1A CN112364895B (zh) | 2020-10-23 | 2020-10-23 | 一种基于属性继承的图卷积网络零样本学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011147909.1A CN112364895B (zh) | 2020-10-23 | 2020-10-23 | 一种基于属性继承的图卷积网络零样本学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112364895A true CN112364895A (zh) | 2021-02-12 |
CN112364895B CN112364895B (zh) | 2023-04-07 |
Family
ID=74511940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011147909.1A Active CN112364895B (zh) | 2020-10-23 | 2020-10-23 | 一种基于属性继承的图卷积网络零样本学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112364895B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778804A (zh) * | 2016-11-18 | 2017-05-31 | 天津大学 | 基于类别属性迁移学习的零样本图像分类方法 |
CN109993197A (zh) * | 2018-12-07 | 2019-07-09 | 天津大学 | 一种基于深度端对端示例差异化的零样本多标签分类方法 |
CN110378410A (zh) * | 2019-07-16 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 多标签场景分类方法、装置及电子设备 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
-
2020
- 2020-10-23 CN CN202011147909.1A patent/CN112364895B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778804A (zh) * | 2016-11-18 | 2017-05-31 | 天津大学 | 基于类别属性迁移学习的零样本图像分类方法 |
CN109993197A (zh) * | 2018-12-07 | 2019-07-09 | 天津大学 | 一种基于深度端对端示例差异化的零样本多标签分类方法 |
CN110378410A (zh) * | 2019-07-16 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 多标签场景分类方法、装置及电子设备 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
Non-Patent Citations (2)
Title |
---|
ZHENG CONGFEI等: "Better Understanding Hierarchical Visual Relationship for image caption", 《ARXIV》 * |
ZHONG JI等: "Attribute-Guided Network for cross-modal zero-shot Hashing", 《ARXIV》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112364895B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111897908B (zh) | 融合依存信息和预训练语言模型的事件抽取方法及系统 | |
CN111753189A (zh) | 一种少样本跨模态哈希检索共同表征学习方法 | |
CN111028934B (zh) | 诊断质检方法、装置、电子设备和存储介质 | |
CN111506732B (zh) | 一种文本多层次标签分类方法 | |
CN110826639B (zh) | 一种利用全量数据训练零样本图像分类方法 | |
CN112257441B (zh) | 一种基于反事实生成的命名实体识别增强方法 | |
CN111597340A (zh) | 一种文本分类方法及装置、可读存储介质 | |
CN112487199A (zh) | 一种基于用户购买行为的用户特征预测方法 | |
CN110837865A (zh) | 一种基于表示学习和迁移学习的领域适配方法 | |
CN113742733A (zh) | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 | |
CN116861924A (zh) | 基于人工智能的项目风险预警方法及系统 | |
CN115422518A (zh) | 基于无数据知识蒸馏的文本验证码识别方法 | |
CN113764034B (zh) | 基因组序列中潜在bgc的预测方法、装置、设备及介质 | |
Lonij et al. | Open-world visual recognition using knowledge graphs | |
CN113920379A (zh) | 一种基于知识辅助的零样本图像分类方法 | |
CN111985680B (zh) | 基于胶囊网络与时序的刑事多罪名预测方法 | |
CN113378178A (zh) | 一种基于深度学习的图自信学习软件漏洞检测方法 | |
CN116775880A (zh) | 一种基于标签语义和迁移学习的多标签文本分类方法及系统 | |
CN112364895B (zh) | 一种基于属性继承的图卷积网络零样本学习方法 | |
CN116311380A (zh) | 一种面向小样本数据自主学习的皮肤分型方法 | |
CN111160124A (zh) | 一种基于知识重组的深度模型定制方法 | |
CN116434273A (zh) | 一种基于单正标签的多标记预测方法及系统 | |
CN112989088B (zh) | 一种基于强化学习的视觉关系实例学习方法 | |
CN113689234A (zh) | 一种基于深度学习的平台相关的广告点击率预测方法 | |
CN114022698A (zh) | 一种基于二叉树结构的多标签行为识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |