CN112766413A - 一种基于加权融合模型的鸟类分类方法及系统 - Google Patents

一种基于加权融合模型的鸟类分类方法及系统 Download PDF

Info

Publication number
CN112766413A
CN112766413A CN202110161908.0A CN202110161908A CN112766413A CN 112766413 A CN112766413 A CN 112766413A CN 202110161908 A CN202110161908 A CN 202110161908A CN 112766413 A CN112766413 A CN 112766413A
Authority
CN
China
Prior art keywords
bird
model
training
preset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110161908.0A
Other languages
English (en)
Inventor
吴鹏
易晓梅
章林焓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang A&F University ZAFU
Original Assignee
Zhejiang A&F University ZAFU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang A&F University ZAFU filed Critical Zhejiang A&F University ZAFU
Priority to CN202110161908.0A priority Critical patent/CN112766413A/zh
Publication of CN112766413A publication Critical patent/CN112766413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，提供了一种基于加权融合模型的鸟类分类方法，包括步骤：S1、通过预设方式获取鸟类图像；S2、将获取的鸟类图像经过预设训练模型进行鸟类识别，S3、根据鸟类识别的结果，将所述鸟类图像分入对应的类别中，得到鸟类分类结果。本发明还提供了一种基于加权融合模型的鸟类分类系统，本发明的优点在于使用VGG和ResNet152分别对数据集进行训练，然后通过动态调整融合模型权重，来获取最优的分类效果。

Description

一种基于加权融合模型的鸟类分类方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于加权融合模型的鸟类分类方法及系统。
背景技术
鸟类分类问题本质上是细粒度图像分类问题。基于机器学习和神经网络进行细粒度图像分类的研究已经非常的成熟，在各类细粒度数据集上都取得了很好的效果。
随着深度学习领域研究的不断深入，越来越多的优秀模型被提出，如LeNet、AlexNet、VGG、ResNet等等。这些模型的分类效果也越来也好，还有现有的FixEfficientNet-L2模型，其在ImageNet数据集上的TOP-1准确率达到了88.5％，TOP-5准确率达到了98.7％，已经超出了人类识别能力。
但与此同时，该模型的复杂度也非常之大，共有480M的参数量，并且从零开始训练一个深度模型是非常消耗计算力的事情。
发明内容
本发明的目的在于提供一种基于加权融合模型的鸟类分类方法，用以解决鸟类分类识别网络模型过于复杂的问题；
为了实现上述目的，本发明采用的技术方案为：
一种基于加权融合模型的鸟类分类方法，包括步骤：
S1、通过预设方式获取鸟类图像；
S2、将获取的鸟类图像经过预设训练模型进行鸟类识别；
S3、根据鸟类识别的结果，将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
进一步的，步骤S2中获得所述预设训练模型的步骤包括：
S21、通过预设方式获取不同鸟类的图像，并建立数据集；
S22、将所述数据集中的鸟类图像进行图像增强处理；
S23、根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
进一步的，步骤S23中得到所述融合模型的步骤包括：
S231、根据图像增强处理后的鸟类图像对预设第一特征提取模型进行训练；
S232、根据图像增强处理后的鸟类图像对预设第二特征提取模型进行训练；
S233、将所述预设第一特征提取模型和所述预设第二特征提取模型根据预设算法得到所述预设加权融合模型。
进一步的，对预设加权融合模型进行训练的步骤包括：
A1、对ImageNet预训练的网络模型VGG和ResNet进行初始化，并屏蔽预训练的网络模型的权重；
A2、初始化权重、训练次数及权重增加步长；
A3、按照权重记录训练后训练集和验证集结果，通过权重增加步长不断调整两个特征提取模型的权重，直至完成训练，并将其中正确率最高的模型权重作为预设加权融合模型的最终权重。
进一步的，步骤S2中获得所述预设训练模型的步骤还包括：
S24、通过预设优化器对得到的所述预设训练模型进行算法优化。
本发明的目的还在于提供一种基于加权融合模型的鸟类分类系统，包括：
图像获取模块，用于通过预设方式获取鸟类图像；
图像识别模块，用于将获取的鸟类图像经过预设训练模型进行鸟类识别，
图像分类模块，用于根据鸟类识别的结果＝将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
进一步的，所述图像识别模块包括：
数据集获取单元，用于通过预设方式获取不同鸟类的图像，并建立数据集；
图像增强单元，用于将所述数据集中的鸟类图像进行图像增强处理；
训练单元，用于根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
进一步的，所述训练单元包括：
第一特征提取子单元，用于根据图像增强处理后的鸟类图像对预设第一特征提取模型进行训练；
第二特征提取子单元，用于根据图像增强处理后的鸟类图像对预设第二特征提取模型进行训练；
融合子单元，用于将所述预设第一特征提取模型和所述预设第二特征提取模型根据预设算法得到所述预设加权融合模型。
进一步的，所述图像识别模块还包括：
优化单元，用于通过预设优化器对得到的所述预设训练模型进行算法优化。
本发明与现有技术相比，至少包含以下有益效果：
(1)该融合模型使用VGG和ResNet网络模型分别对数据集进行训练，然后通过动态调整模型权重，来获取最优的分类效果；
(2)该融合模型相对于单一的模型，训练耗时短，收敛速度更快，预测效果更好；
(3)该融合模型中的模型权重可以动态调整，比常规的迁移学习更加灵活。
附图说明
图1是本发明实施例一的总体流程图；
图2是本发明实施例一中步骤S2的具体步骤流程图；
图3是本发明实施例一中步骤S23的具体步骤流程图；
图4是本发明实施例一中加权融合模型的示意图；
图5是本发明实施例一中加权融合模型训练过程的示意图；
图6是本发明实施例二的总体结构示意图；
图7是本发明实施例二中图像识别模块的结构示意图；
图8是本发明实施例二中训练单元的结构示意图。
具体实施方式
以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
如图1所示，本发明一种基于加权融合模型的鸟类分类方法，包括步骤：
S1、通过预设方式获取鸟类图像；
S2、将获取的鸟类图像经过预设训练模型进行鸟类识别；
S3、根据鸟类识别的结果，将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
其中，如图2所示，步骤S2中获得所述预设训练模型的步骤包括：
S21、通过预设方式获取不同鸟类的图像，并建立数据集；
本发明采用CUB-200-2011数据集，该数据集包含200种鸟类，比如黑脚信天翁、黑背信天翁、黄喉地莺等，该数据集是细粒度图像分类中极具代表性和挑战性的鸟类图像数据集。
本发明将该数据集分为训练数据集和测试数据集，训练数据集用于对融合模型进行训练，并通过测试数据集对训练后的融合模型进行测试，检验该融合模型的预测准确率。
S22、将所述数据集中的鸟类图像进行图像增强处理；
由于CUB-200-2011数据集比较小，容易出现过拟合现象，在训练前，将数据集采用随机水平翻转进行数据增强，并将图片大小调整为224*224。
S23、根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
进一步的，如图3和图4所示，步骤S23中得到所述融合模型的步骤包括：
S231、根据图像增强处理后的鸟类图像对VGG特征提取模型进行训练；
S232、根据图像增强处理后的鸟类图像对ResNet特征提取模型进行训练；
S233、将所述VGG特征提取模型和所述ResNet特征提取模型根据预设加权平均的模型融合算法得到所述预设加权融合模型。
本发明通过训练一个用于组合所有个体学习器的模型，即首先训练多个不同的个体学习器，然后再以这些个体学习器的输出作为输入来训练一个模型，从而得到一个最终的输出；
并且采用加权平均的模型融合策略，使用数据集分别在特征提取模型进行处理，然后分配权重x和y(其中x+y＝1)，然后在融合后的模型上添加全连接层作为分类器进行分类，从而得到鸟类识别的结果。
加权平均算法结合了直接平均法和加权投票法，与加权投票法不同的是加权平均算法中的权值不是用于类标，而是直接应用于实际的连续输出值。加权平均算法的权值可以在集成系统生成期间作为训练的一部分获得，或者可以通过单独的训练来获得。
其中，特征提取模型选择ImageNet预训练好的VGG网络模型参数作为特征提取模型参数的初始值，并选择ResNet网络模型进行融合实现分类效果。
ResNet网络模型提出了残差学习的思想，传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。
ResNet网络模型在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。
如图5所示，对预设加权融合模型进行训练具体过程为：首先，使用ImageNet预训练的网络模型VGG和ResNet进行初始化，并屏蔽预训练模型的权重，然后初始化权重、训练次数及权重增加步长，按照权重记录训练后训练集和验证集结果，通过权重增加步长不断调整两个特征提取模型的权重，记录每次的最优值，直至完成训练，并将其中最优的权重作为预设加权融合模型的最终权重。
S24、通过预设优化器对得到的所述预设训练模型进行算法优化。
优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，不断对训练结果进行修正。常见的优化算法有Adam、RMSprop、BGD、SGD等，本发明选择Adam和SGD两种优化器进行对预设训练模型进行优化训练。
本发明使用VGG和ResNet152分别对数据集进行训练，然后通过动态调整模型权重，来获取最优的分类效果；该融合模型相对于单一的模型，训练耗时短，收敛速度更快，预测效果更好；模型权重可以动态调整，比常规的迁移学习更加灵活。
实施例二
如图6所示，一种基于加权融合模型的鸟类分类系统，包括：
图像获取模块，用于通过预设方式获取鸟类图像；
图像识别模块，用于将获取的鸟类图像经过预设训练模型进行鸟类识别，
图像分类模块，用于根据鸟类识别的结果＝将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
进一步的，如图7所示，所述图像识别模块包括：
数据集获取单元，用于通过预设方式获取不同鸟类的图像，并建立数据集；
图像增强单元，用于将所述数据集中的鸟类图像进行图像增强处理；
训练单元，用于根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
优化单元，用于通过预设优化器对得到的所述预设训练模型进行算法优化。
进一步的，如图7所示，所述训练单元包括：
第一特征提取子单元，用于根据图像增强处理后的鸟类图像对VGG特征提取模型进行训练；
第二特征提取子单元，用于根据图像增强处理后的鸟类图像对ResNet特征提取模型进行训练；
融合子单元，用于将所述VGG特征提取模型和所述ResNet特征提取模型根据预设加权平均的模型融合算法得到所述预设加权融合模型。
本系统使用VGG和ResNet网络模型分别对数据集进行训练，然后通过动态调整模型权重，来获取最优的分类效果；该融合模型相对于单一的模型，训练耗时短，收敛速度更快，预测效果更好，并且模型权重可以动态调整，比常规的迁移学习更加灵活。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于加权融合模型的鸟类分类方法，其特征在于，包括步骤：
S1、通过预设方式获取鸟类图像；
S2、将获取的鸟类图像经过预设训练模型进行鸟类识别；
S3、根据鸟类识别的结果，将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
2.根据权利要求1所述的一种基于加权融合模型的鸟类分类方法，其特征在于，步骤S2中获得所述预设训练模型的步骤包括：
S21、通过预设方式获取不同鸟类的图像，并建立数据集；
S22、将所述数据集中的鸟类图像进行图像增强处理；
S23、根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
3.根据权利要求2所述的一种基于加权融合模型的鸟类分类方法，其特征在于，步骤S23中得到所述预设加权融合模型的步骤包括：
S231、根据图像增强处理后的鸟类图像对VGG特征提取模型进行训练；
S232、根据图像增强处理后的鸟类图像对ResNet特征提取模型进行训练；
S233、将所述VGG特征提取模型和所述ResNet特征提取模型根据预设加权平均的模型融合算法得到所述预设加权融合模型。
4.根据权利要求2所述的一种基于加权融合模型的鸟类分类方法，其特征在于，对预设加权融合模型进行训练的步骤包括：
A1、对ImageNet预训练的网络模型VGG和ResNet进行初始化，并屏蔽预训练的网络模型的权重；
A2、初始化权重、训练次数及权重增加步长；
A3、按照权重记录训练后训练集和验证集结果，通过权重增加步长不断调整两个特征提取模型的权重，直至完成训练，并将其中正确率最高的模型权重作为预设加权融合模型的最终权重。
5.根据权利要求2所述的一种基于加权融合模型的鸟类分类方法，其特征在于，步骤S2中获得所述预设训练模型的步骤还包括：
S24、通过预设优化器对得到的所述预设训练模型进行算法优化。
6.一种基于加权融合模型的鸟类分类系统，其特征在于，包括：
图像获取模块，用于通过预设方式获取鸟类图像；
图像识别模块，用于将获取的鸟类图像经过预设训练模型进行鸟类识别，
图像分类模块，用于根据鸟类识别的结果＝将所述鸟类图像分入对应的类别中，得到鸟类分类结果。
7.根据权利要求6所述的一种基于加权融合模型的鸟类分类系统，其特征在于，所述图像识别模块包括：
数据集获取单元，用于通过预设方式获取不同鸟类的图像，并建立数据集；
图像增强单元，用于将所述数据集中的鸟类图像进行图像增强处理；
训练单元，用于根据图像增强处理后的鸟类图像对预设加权融合模型进行训练，并得到预设训练模型。
8.根据权利要求7所述的一种基于加权融合模型的鸟类分类系统，其特征在于，所述训练单元包括：
第一特征提取子单元，用于根据图像增强处理后的鸟类图像对VGG特征提取模型进行训练；
第二特征提取子单元，用于根据图像增强处理后的鸟类图像对ResNet特征提取模型进行训练；
融合子单元，用于将所述VGG特征提取模型和所述ResNet特征提取模型根据预设加权平均的模型融合算法得到所述预设加权融合模型。
9.根据权利要求7所述的一种基于加权融合模型的鸟类分类系统，其特征在于，所述图像识别模块还包括：
优化单元，用于通过预设优化器对得到的所述预设训练模型进行算法优化。
CN202110161908.0A 2021-02-05 2021-02-05 一种基于加权融合模型的鸟类分类方法及系统 Pending CN112766413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110161908.0A CN112766413A (zh) 2021-02-05 2021-02-05 一种基于加权融合模型的鸟类分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110161908.0A CN112766413A (zh) 2021-02-05 2021-02-05 一种基于加权融合模型的鸟类分类方法及系统

Publications (1)

Publication Number Publication Date
CN112766413A true CN112766413A (zh) 2021-05-07

Family

ID=75705128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110161908.0A Pending CN112766413A (zh) 2021-02-05 2021-02-05 一种基于加权融合模型的鸟类分类方法及系统

Country Status (1)

Country Link
CN (1) CN112766413A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516047A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种基于深度学习特征融合的人脸表情识别方法
CN113642383A (zh) * 2021-06-23 2021-11-12 哈尔滨理工大学 一种基于联合损失多特征融合的人脸表情识别方法
CN115690856A (zh) * 2023-01-05 2023-02-03 青岛科技大学 基于特征融合的大鱼际掌纹识别方法
CN115908955A (zh) * 2023-03-06 2023-04-04 之江实验室 基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置
CN116664509A (zh) * 2023-05-29 2023-08-29 理工特智科技(重庆)有限公司 多模型协同决策的射线图像缺陷识别方法、系统和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516047A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种基于深度学习特征融合的人脸表情识别方法
CN113642383A (zh) * 2021-06-23 2021-11-12 哈尔滨理工大学 一种基于联合损失多特征融合的人脸表情识别方法
CN115690856A (zh) * 2023-01-05 2023-02-03 青岛科技大学 基于特征融合的大鱼际掌纹识别方法
CN115908955A (zh) * 2023-03-06 2023-04-04 之江实验室 基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置
CN116664509A (zh) * 2023-05-29 2023-08-29 理工特智科技(重庆)有限公司 多模型协同决策的射线图像缺陷识别方法、系统和设备

Similar Documents

Publication Publication Date Title
CN112766413A (zh) 一种基于加权融合模型的鸟类分类方法及系统
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN108665005B (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN109685724A (zh) 一种基于深度学习的对称感知人脸图像补全方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
CN114038055B (zh) 一种基于对比学习和生成对抗网络的图像生成方法
CN105678381A (zh) 一种性别分类网络训练方法、性别分类方法及相关装置
CN115238731A (zh) 基于卷积递归神经网络与多头自注意力的情感识别方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN111144296B (zh) 基于改进cnn模型的视网膜眼底图片分类方法
CN112233199A (zh) 基于离散表征和条件自回归的fMRI视觉重构方法
Li et al. Adaptive dropout method based on biological principles
CN112380374A (zh) 一种基于语义扩充的零样本图像分类方法
CN116386102A (zh) 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法
CN113032535A (zh) 辅助视障人士视觉问答方法、装置、计算设备及存储介质
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN117216223A (zh) 对话文本的生成方法和装置、存储介质及电子设备
da Silva Oliveira et al. Comparing transfer learning approaches applied to distracted driver detection
CN109447240B (zh) 图形图像复制模型的训练方法、存储介质及计算设备
CN116152645A (zh) 一种融合多种表征平衡策略的室内场景视觉识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination