CN108446724B - 一种融合特征分类方法 - Google Patents

一种融合特征分类方法 Download PDF

Info

Publication number
CN108446724B
CN108446724B CN201810198978.1A CN201810198978A CN108446724B CN 108446724 B CN108446724 B CN 108446724B CN 201810198978 A CN201810198978 A CN 201810198978A CN 108446724 B CN108446724 B CN 108446724B
Authority
CN
China
Prior art keywords
network
feature
original
original network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810198978.1A
Other languages
English (en)
Other versions
CN108446724A (zh
Inventor
李千目
孙哲
侯君
孙康
尤丽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhongtian Internet Technology Co.,Ltd.
Original Assignee
Jiangsu Zhongtian Technology Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhongtian Technology Software Technology Co Ltd filed Critical Jiangsu Zhongtian Technology Software Technology Co Ltd
Priority to CN201810198978.1A priority Critical patent/CN108446724B/zh
Publication of CN108446724A publication Critical patent/CN108446724A/zh
Application granted granted Critical
Publication of CN108446724B publication Critical patent/CN108446724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合特征分类方法，特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始特征的图像的最后一层特征图谱。特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。

Description

一种融合特征分类方法
技术领域
本发明设计一种特征分类方法，特别是一种融合特征分类方法。
背景技术
人工智能作为计算机领域的一个重要研究领域，已广泛应用于人们的日常生活中，并影响到社会的方方面面。深度学习作为机器学习的一个热点，以数据为驱动，从样本中自动学习特征，现已成为人工智能内一个广受珍视、研究非常活跃的课题，它被广泛应用于物体检测、商品推荐、文本翻译等领域。深度学习的存在两个主要矛盾，一是保留尽可能多的信息和获得精简的特征之间的矛盾，二是在有限的计算能力与获得高度抽象特征之间的矛盾。
为提高深度学习中卷积神经网络的精度与节约计算力，文献(Niu X,Suen C Y.ANovel Hybrid CNN-SVM Classifier for Recognizing Handwritten Digits[J].PatternRecognition,2012,45(4):1318-1325)，提出一种将支持向量机与卷积神经网络相结合的方法，在手写字符集MINIST上取得了良好的效果。但同时文献(Zeiler M D,FergusR.Visualizing and Understanding Convolutional Networks[C].European Conferenceon Computer Vision.Springer,Cham,2014:818-833.)采用反卷积层对卷积神经网络的特征图谱做了研究，在比较不同层级的特征后发现，越靠后的层级的特征变动性越大，特征主要聚焦于图像的区分度。低层级的特征与高层级的特征相比相对简单，这侧面反映出低层级的特征能很好表示简单的图像，高层级的特征相对能够表示复杂的图像，也就是低层级的特征关注点在于图像的某个小区域，而高层级的特征关注图像中的大区域。基于此，本发明旨在融合本发明旨在融合卷积神经网络中间层特征与高层特征融合的方式，提高卷积神经网络的表现效果。
发明内容
本发明所要解决的技术问题是提供一种融合特征分类方法，利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。
为解决上述技术问题，本发明所采用的技术方案是：
一种融合特征分类方法，其特征在于包含以下步骤：
步骤一：训练原始网络；
步骤二：构建特征融合网络；
步骤三：训练特征融合网络；
步骤四：进行分类预测。
进一步地，所述步骤一中原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：
1)在目标数据集上进行训练；
2)采用相同的卷积神经网络结构在大规模数据集上训练。
进一步地，所述步骤二中特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。
进一步地，所述步骤二具体过程为特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策。
进一步地，所述步骤三具体过程为首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。
进一步地，所述步骤四具体过程为将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
本发明与现有技术相比，具有以下优点和效果：本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率，特别适用于复杂特征与简单特征并存的任务。
附图说明
图1是现有技术的卷积神经网络结构示意图。
图2是卷积神经网络与支持向量机混合方法示意图。
图3是本发明的一种融合特征分类方法的示意图。
图4是本发明的一种融合特征分类方法的推广方式示意图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
一个标准的卷积神经网络的结构如图1所示。
基于图1的卷积神经网络与支持向量机混合方法如图2所示，它只采用了卷积神经网络最后一层的特征，基于此，本发明的一种卷积神经网络特征融合模型，在原有网络的基础上进行二次训练，其结构图如图3所示。
网络框架分为两部分，第一部分为原始网络，第二部分为特征融合网络。
一种融合特征分类方法，包含以下步骤：
步骤一：训练原始网络；
原始网络部分为普通的卷积神经网络，可以采用两种训练方式对其训练，一是在目标数据集上进行训练，二是直接采用相同的卷积神经网络结构在大规模数据集上训练。一般深度学习工具包支持原始网络的训练。
步骤二：构建特征融合网络；
特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。图3中，特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征。特征融合网络从f5开始，除了f8之外，与原始网络的结构相同。最后进行分类产生新的决策。
步骤三：训练特征融合网络；
特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。
步骤四：进行分类预测。
最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
两部分的网络功能可以概括为：原始网络负责特征的提取，特征融合网络负责特征的进一步加工与分类。
本发明所提出的融合特征分类方法不仅能够运用与简单的自定义卷积神经网络上，同样可以运用于复杂的深度卷积神经网络，图4为本专利所提出的方法在GoogLeNet(一种深度卷积神经网络)上的应用方式。具体操作方式为将inception(5a)作为特征融合网络的输入得到inception(5b'),inception(5b')与inception(5b)相连接产生新的特征图谱，接下来的特征融合网络结构与GoogLeNet对应的网络结构相同。其训练应用方式与简单的自定义卷积神经网络相同。
总的来说特征融合网络主要有以下两个功能：当原始网络训练集为目标任务的训练集时，在原始网络不做变动的情况下，提高分类精度；当原始网络的训练集不为目标训练集时，此时的原始网络只能作为数据的特征提取器来使用，特征融合网络的任务则为任务的实现的主体。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (1)

1.一种融合特征分类方法，其特征在于包含以下步骤：
步骤一：训练原始网络；原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：
1）在目标图像数据集上进行训练；
2）采用相同的卷积神经网络结构在大规模图像数据集上训练；
深度学习工具包支持原始网络的训练；
步骤二：构建特征融合网络；特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱；
特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策；
步骤三：训练特征融合网络；
首先将样本图像数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练；
步骤四：进行分类预测；
将首先将样本图像数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
CN201810198978.1A 2018-03-12 2018-03-12 一种融合特征分类方法 Active CN108446724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810198978.1A CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810198978.1A CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Publications (2)

Publication Number Publication Date
CN108446724A CN108446724A (zh) 2018-08-24
CN108446724B true CN108446724B (zh) 2020-06-16

Family

ID=63193979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810198978.1A Active CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Country Status (1)

Country Link
CN (1) CN108446724B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948449B (zh) * 2019-02-21 2021-08-10 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112113A (zh) * 2013-04-19 2014-10-22 无锡南理工科技发展有限公司 一种基于改进型特征卷积神经网络图像识别方法
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
US20180068329A1 (en) * 2016-09-02 2018-03-08 International Business Machines Corporation Predicting real property prices using a convolutional neural network
CN107194341B (zh) * 2017-05-16 2020-04-21 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107463906A (zh) * 2017-08-08 2017-12-12 深图（厦门）科技有限公司 人脸检测的方法及装置
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法
CN107633296B (zh) * 2017-10-16 2019-10-22 中国电子科技集团公司第五十四研究所 一种卷积神经网络构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法

Also Published As

Publication number Publication date
CN108446724A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN107153713B (zh) 社交网络中基于节点间相似性的重叠社区检测方法及系统
Zhang et al. Fine-grained scene graph generation with data transfer
CN110909820B (zh) 基于自监督学习的图像分类方法及系统
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN102314614B (zh) 一种基于类共享多核学习的图像语义分类方法
CN110188802B (zh) 基于多层特征图融合的ssd目标检测算法
CN110347853B (zh) 一种基于循环神经网络的图像哈希码生成方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN108446724B (zh) 一种融合特征分类方法
CN112668543B (zh) 一种手模型感知的孤立词手语识别方法
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN113569814A (zh) 一种基于特征一致性的无监督行人重识别方法
CN112668633A (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN117291185A (zh) 任务处理方法、实体识别方法及任务处理的数据处理方法
Lu et al. Multimode Gesture Recognition Algorithm Based on Convolutional Long Short‐Term Memory Network
CN112800259B (zh) 一种基于边缘闭合与共性检测的图像生成方法及系统
CN113434668B (zh) 一种基于模型融合的深度学习文本分类方法及系统
CN113723345B (zh) 基于风格转换和联合学习网络的域自适应行人再识别方法
Wang et al. Integration of heterogeneous classifiers based on choquet fuzzy integral
He et al. ECS-SC: Long-tailed classification via data augmentation based on easily confused sample selection and combination
CN114842301A (zh) 一种图像注释模型的半监督训练方法
Chu et al. Text detection in manga by deep region proposal, classification, and regression
CN112802026A (zh) 一种基于深度学习实时的交通场景语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220208

Address after: 226000 4th and 5th floors, building 10B, Zilang science and Technology City, No. 60, Chongzhou Avenue, Nantong City, Jiangsu Province

Patentee after: Jiangsu Zhongtian Internet Technology Co.,Ltd.

Address before: 226009 No.5 Zhongtian Road, Nantong Development Zone, Jiangsu Province

Patentee before: JIANGSU ZHONGTIAN TECHNOLOGY SOFTWARE TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right