CN110717513A - 一种基于多分类器的零样本深海生物图片分类方法 - Google Patents
一种基于多分类器的零样本深海生物图片分类方法 Download PDFInfo
- Publication number
- CN110717513A CN110717513A CN201910836905.5A CN201910836905A CN110717513A CN 110717513 A CN110717513 A CN 110717513A CN 201910836905 A CN201910836905 A CN 201910836905A CN 110717513 A CN110717513 A CN 110717513A
- Authority
- CN
- China
- Prior art keywords
- category
- invisible
- visible
- data
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 11
- 230000008676 import Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 241000894007 species Species 0.000 description 7
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多分类器的零样本深海生物图片分类方法,包括以下步骤:(1)图像特征数据导入,数据集由可见类别和不可见类别的视觉特征、语义及标签信息组成,以有标签的常见海洋生物种类为可见类别,以数据匮乏的深海生物种类为不可见类别;(2)类别具体分类器训练,利用可见类别数据训练,在保留流形结构的基础上,为不同类别建立不同的视觉语义映射,以提高可见类别的分类准确率;(3)不可见类别推断,通过将可见类别与不可见类别语义之间的权重进行迁移,使用可见类别的映射矩阵合成不可见类别的映射矩阵,根据距离得出不可见类别的标签。本发明在一定程度上降低了映射域漂移的影响,准确易行。
Description
技术领域
本发明涉及零样本图像分类领域,具体涉及一种基于多分类器的零样本深海生物图片分类方法。
背景技术
深海生物是海洋系统的重要组成部分,从生物多样性与生态系统的角度来看,深海生物种类繁多,具有极高的研究价值,在工业、医药、环保等领域也有广泛的应用价值。这些生物生活的深海地区,常年黑暗,不见阳光,而且温度低,压力大,海水含盐量高。人类对深海生物的了解通常来自于遥控潜艇拍摄的数据。多数已知物种的出现频率不够高,数据匮乏,不足以收集和标记一组具有代表性的示例图像。而且随着人类对深海的不断探索,新物种不断出现,获取足够的用于训练可靠分类器的标签信息变得越来越有挑战性。
为了解决上述问题,零样本图像分类方法使用带标签的可见类别图像训练可见类别分类器,以语义为桥梁,将可见类别和不可见类别联系起来,以完成没有标签信息的不可见类别的分类。语义可以是视觉属性或者词向量等,视觉属性由人工标注而来,词向量可以通过网络爬虫等手段获得。人类在对某些常见类别有了一定认知之后,可以通过描述,辨别出从未见过的类别,零样本方法模拟的正是这种能力。本发明通过使用零样本分类方法,以有标签的常见海洋生物种类为可见类,训练分类器,利用对深海生物的描述,完成对数据匮乏的深海生物的分类问题。
在零样本问题中,对于复杂的图片信息,提取到的特征具有高维特性,存在冗余信息。如何高效利用这些信息,为可见类别学习一个性能优良的分类器,以及如何将标签空间和语义空间进行有效对齐,使得对可见类别训练的分类器能够成功应用于不可见类别的分类,将关系到整个系统最终对不可见类别的分类准确率。因此,提出一种能够实现深海生物良好分类的零样本图像分类方法是目前待解决的问题。
发明内容
本发明的目的是为了克服现有技术中的上述缺陷,提供一种基于多分类器的零样本深海生物图片分类方法。
本发明的目的可以通过采取如下技术方案达到:
一种基于多分类器的零样本深海生物图片分类方法,所述的零样本深海生物图片分类方法包括如下步骤:
利用已知公开数据集或者使用GoogleNet网络提取图片特征形成数据集,通过数据集导入每张图片的图像视觉特征数据、标签及语义描述,其中,所述的数据集由相互不重叠的可见类别数据和不可见类别数据组成,可见类别包含数据丰富的常见海洋生物种类,为模型需要学习的类别,不可见类别包含数据匮乏的深海海洋生物种类,为模型需要辨别的类别,所述的标签即图像的类别信息;
类别具体分类器训练,利用可见类别数据训练,在保留流形结构的基础上,为不同类别建立不同的视觉特征空间到语义空间的映射;
不可见类类别推断,通过将可见类别与不可见类别语义之间的权重进行迁移,使用可见类别的映射矩阵合成不可见类别的映射矩阵,根据距离得出不可见类别的标签,以达到分类目的。
进一步地,所述的通过数据集导入每张图片的图像特征数据之后,还包括:对图像特征数据进行归一化处理,归一化为[-1,1]之间。
进一步地,所述的类别具体分类器训练过程如下:
为每个不可见类别学习一个特定于类别C的映射矩阵d为视觉特征维度,a为语义维度,类别具体分类器模型如下:
上式中,表示矩阵-范数的平方,xS T表示XS矩阵的转置。第一项通过映射矩阵WC将数据映射到语义空间,是由原始的语义矩阵变换而来的,对应第C个可见类别,对于中的第C类语义aC不做变换,对于其他类的语义变换为-γaC,γ为超参数,通过对每个类的设置,使视觉特征映射后与自己所属类别的语义距离近,同时与其他类别语义远;第二项为-正则项,约束WC的复杂度,防止模型过拟合;第三项为流形正则项,用于保持本类数据的结构在映射前后不变,其中LC为拉普拉斯矩阵,LC=DC-RC,RC计算如下:
上式中,xi和xj分别表示样本数据的第i行和第j行,即第i个样本和第j个样本,表示和xi属于同一类且是xi的k近邻的样本,而DC是一个对角矩阵,其第m个对角元素为RC第m行的和,即(DC)mm=∑l(RC)ml,λ和β是超参数,用于权衡各项权重。
其中E为单位阵。
进一步地,所述的不可见类类别推断的过程如下:
对于不可见类别图片x,通过下式计算其投影后与各个类别语义的距离,找出其中距离的最小值,进而得到其对应标签:
经上述处理后可以推断出每一张不可见类别图片的标签,从而实现零样本图片分类。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明利用可见类别数据训练多个类别具体的分类器,为不同类别建立不同的视觉语义映射,提高了分类准确率;
(2)本发明在视觉语义映射的基础上,添加了图正则项,可以在一定程度上保持映射前后数据近邻关系不变;
(3)本发明通过将可见类别与不可见类别语义之间的权重进行迁移,使用可见类别的映射矩阵合成不可见类别的映射矩阵,在一定程度上降低了域漂移的影响;
(4)本发明给出了模型的解析解,简单有效,可行性高。
附图说明
图1是本发明公开的一种基于多分类器的零样本深海生物图片分类方法的总体框架流程图;
图2是本发明公开的一种基于多分类器的零样本深海生物图片分类方法训练和推断阶段流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1所示,本实施例公开了一种基于多分类器的零样本深海生物图片分类方法,该方法依次包括:图像特征数据导入步骤、类别具体分类器训练步骤、不可见类类别推断步骤。
(1)图像特征数据导入步骤
图像特征数据导入,利用已知公开数据集,或者使用GoogleNet网络等提取图片特征,导入数据集。数据集由可见类别数据和不可见类别数据两部分组成,相互不重叠,可见类别为数据丰富的常见海洋生物种类,包含了模型需要学习的类别,不可见类别为数据匮乏的深海海洋生物种类,包含了模型需要辨别的类别。数据集包含每张图像的视觉特征数据、标签及语义描述。标签即图像的类别信息。对图像特征数据进行归一化处理,归一化为[-1,1]之间。除了图像特征数据外,还包括每张图片的标签及语义描述。
(2)类别具体分类器训练步骤
上式中,表示矩阵-范数的平方,XS T表示XS矩阵的转置。第一项通过映射矩阵WC将数据映射到语义空间。是由原始的语义矩阵变换而来的,具体地,对应第C个可见类别,对于中的第C类语义aC不做变换,其他类的语义变换为-γaC,γ为超参数,通过对每个类的设置,映射后与自己所属类别的语义距离近,同时与其他类别语义远。第二项为-正则项,约束WC的复杂度,防止模型过拟合,提高模型的泛化能力。第三项为流形正则项,用于使得本类数据的结构在映射前后保持不变,其中LC为拉普拉斯矩阵,LC=DC-RC,RC计算如下:
(DC)mm=∑l(RC)ml,λ和β是超参数,用于权衡各项权重。
本实施例取λ=1,β=0.1。
其中E为单位阵。
(3)不可见类类别推断步骤
经上述处理后可以推断出每一张深海生物图片的标签,从而实现零样本图片分类。
综上所述,本实施例公开了一种基于多分类器的零样本深海生物图片分类方法。该方法利用可见类别数据训练多个类别具体的分类器,在保留流形结构的基础上,为不同类别建立不同的视觉语义映射,以提高可见类别的分类准确率。此外,通过将可见类别与不可见类别语义之间的权重进行迁移,使用可见类别的映射矩阵合成不可见类别的映射矩阵,在一定程度上降低了域漂移的影响,实现了不可见类别的良好分类,有效易行。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种基于多分类器的零样本深海生物图片分类方法,其特征在于,所述的零样本深海生物图片分类方法包括如下步骤:
利用已知公开数据集或者使用GoogleNet网络提取图片特征形成数据集,通过数据集导入每张图片的图像视觉特征数据、标签及语义描述,其中,所述的数据集由相互不重叠的可见类别数据和不可见类别数据组成,可见类别包含数据丰富的常见海洋生物种类,为模型需要学习的类别,不可见类别包含数据匮乏的深海海洋生物种类,为模型需要辨别的类别,所述的标签即图像的类别信息;
类别具体分类器训练,利用可见类别数据训练,在保留流形结构的基础上,为不同类别建立不同的视觉特征空间到语义空间的映射;
不可见类类别推断,通过将可见类别与不可见类别语义之间的权重进行迁移,使用可见类别的映射矩阵合成不可见类别的映射矩阵,根据距离得出不可见类别的标签,以达到分类目的。
2.根据权利要求1所述的一种基于多分类器的零样本深海生物图片分类方法,其特征在于,所述的通过数据集导入每张图片的图像特征数据之后,还包括:对图像特征数据进行归一化处理,归一化为[-1,1]之间。
4.根据权利要求3所述的一种基于多分类器的零样本深海生物图片分类方法,其特征在于,所述的类别具体分类器训练过程如下:
上式中,表示矩阵-范数的平方,XS T表示XS矩阵的转置。第一项通过映射矩阵WC将数据映射到语义空间,是由原始的语义矩阵变换而来的,对应第C个可见类别,对于中的第C类语义aC不做变换,对于其他类的语义变换为-γaC,γ为超参数,通过对每个类的设置,使视觉特征映射后与自己所属类别的语义距离近,同时与其他类别语义远;第二项为-正则项,约束WC的复杂度,防止模型过拟合;第三项为流形正则项,用于保持本类数据的结构在映射前后不变,其中LC为拉普拉斯矩阵,LC=DC-RC,RC计算如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836905.5A CN110717513B (zh) | 2019-09-05 | 2019-09-05 | 一种基于多分类器的零样本深海生物图片分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836905.5A CN110717513B (zh) | 2019-09-05 | 2019-09-05 | 一种基于多分类器的零样本深海生物图片分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717513A true CN110717513A (zh) | 2020-01-21 |
CN110717513B CN110717513B (zh) | 2023-04-07 |
Family
ID=69210222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910836905.5A Active CN110717513B (zh) | 2019-09-05 | 2019-09-05 | 一种基于多分类器的零样本深海生物图片分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717513B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461240A (zh) * | 2020-04-07 | 2020-07-28 | 郑州大学 | 一种保障高空中油箱内视觉采集图像空地一致性的方法 |
CN113688879A (zh) * | 2021-07-30 | 2021-11-23 | 南京理工大学 | 一种基于置信度分布外检测的广义零样本学习分类方法 |
CN114925802A (zh) * | 2021-12-27 | 2022-08-19 | 天翼数字生活科技有限公司 | 一种基于深度特征映射的集成迁移学习方法和系统 |
CN114937179A (zh) * | 2022-07-27 | 2022-08-23 | 深圳市海清视讯科技有限公司 | 垃圾图像分类方法、装置、电子设备及存储介质 |
CN117333778A (zh) * | 2023-12-01 | 2024-01-02 | 华南理工大学 | 用于植物科普教育的基于知识图谱的零样本植物识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354595A (zh) * | 2015-10-30 | 2016-02-24 | 苏州大学 | 一种鲁棒视觉图像分类方法及系统 |
CN106203483A (zh) * | 2016-06-29 | 2016-12-07 | 天津大学 | 一种基于语义相关多模态映射方法的零样本图像分类方法 |
CN107491734A (zh) * | 2017-07-19 | 2017-12-19 | 苏州闻捷传感技术有限公司 | 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法 |
CN108376267A (zh) * | 2018-03-26 | 2018-08-07 | 天津大学 | 一种基于类别转移的零样本分类方法 |
-
2019
- 2019-09-05 CN CN201910836905.5A patent/CN110717513B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354595A (zh) * | 2015-10-30 | 2016-02-24 | 苏州大学 | 一种鲁棒视觉图像分类方法及系统 |
CN106203483A (zh) * | 2016-06-29 | 2016-12-07 | 天津大学 | 一种基于语义相关多模态映射方法的零样本图像分类方法 |
CN107491734A (zh) * | 2017-07-19 | 2017-12-19 | 苏州闻捷传感技术有限公司 | 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法 |
CN108376267A (zh) * | 2018-03-26 | 2018-08-07 | 天津大学 | 一种基于类别转移的零样本分类方法 |
Non-Patent Citations (1)
Title |
---|
ZHIWEN YU ET AL.: "Multiobjective Semisupervised Classifier Ensemble", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461240A (zh) * | 2020-04-07 | 2020-07-28 | 郑州大学 | 一种保障高空中油箱内视觉采集图像空地一致性的方法 |
CN111461240B (zh) * | 2020-04-07 | 2023-04-07 | 郑州大学 | 一种保障高空中油箱内视觉采集图像空地一致性的方法 |
CN113688879A (zh) * | 2021-07-30 | 2021-11-23 | 南京理工大学 | 一种基于置信度分布外检测的广义零样本学习分类方法 |
CN113688879B (zh) * | 2021-07-30 | 2024-05-24 | 南京理工大学 | 一种基于置信度分布外检测的广义零样本学习分类方法 |
CN114925802A (zh) * | 2021-12-27 | 2022-08-19 | 天翼数字生活科技有限公司 | 一种基于深度特征映射的集成迁移学习方法和系统 |
CN114937179A (zh) * | 2022-07-27 | 2022-08-23 | 深圳市海清视讯科技有限公司 | 垃圾图像分类方法、装置、电子设备及存储介质 |
CN114937179B (zh) * | 2022-07-27 | 2022-12-13 | 深圳市海清数字技术有限公司 | 垃圾图像分类方法、装置、电子设备及存储介质 |
CN117333778A (zh) * | 2023-12-01 | 2024-01-02 | 华南理工大学 | 用于植物科普教育的基于知识图谱的零样本植物识别方法 |
CN117333778B (zh) * | 2023-12-01 | 2024-03-12 | 华南理工大学 | 用于植物科普教育的基于知识图谱的零样本植物识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110717513B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717513B (zh) | 一种基于多分类器的零样本深海生物图片分类方法 | |
CN111461258B (zh) | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 | |
Schneider et al. | Three critical factors affecting automated image species recognition performance for camera traps | |
Gray et al. | A convolutional neural network for detecting sea turtles in drone imagery | |
CN109558942B (zh) | 一种基于浅度学习的神经网络迁移方法 | |
Lv et al. | An end-to-end local-global-fusion feature extraction network for remote sensing image scene classification | |
CN115329200A (zh) | 一种基于知识图谱和用户相似度的教学资源推荐方法 | |
Dou et al. | Remote sensing imagery classification using AdaBoost with a weight vector (WV AdaBoost) | |
CN112801138B (zh) | 基于人体拓扑结构对齐的多人姿态估计方法 | |
Huang et al. | Learning consistent region features for lifelong person re-identification | |
CN105608478A (zh) | 一种图像的特征提取与分类联合方法及系统 | |
Vie et al. | Automated test assembly for handling learner cold-start in large-scale assessments | |
Zhao et al. | A real-time typhoon eye detection method based on deep learning for meteorological information forensics | |
CN108985372A (zh) | 一种基于capsule理论和PLSA路由的医学影像分类方法 | |
Wu | Application of improved boosting algorithm for art image classification | |
CN116681128A (zh) | 一种带噪多标签数据的神经网络模型训练方法和装置 | |
Fernandes et al. | Discriminative directional classifiers | |
Mu et al. | NAO seasonal forecast using a multivariate air–sea coupled deep learning model combined with causal discovery | |
Du et al. | Confidence self-calibration for multi-label class-incremental learning | |
Wang et al. | Image colorization algorithm based on deep learning | |
Parr et al. | Biodiversity informatics | |
Liu et al. | Iterative deep neighborhood: a deep learning model which involves both input data points and their neighbors | |
CN110717512B (zh) | 一种基于结构保持零样本学习的鸟类濒危物种识别方法 | |
Xu et al. | Deep convolutional neural networks for feature extraction of images generated from complex networks topologies | |
CN115439710A (zh) | 基于组合迁移学习的遥感样本标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |