CN108446724A - 一种融合特征分类方法 - Google Patents

一种融合特征分类方法 Download PDF

Info

Publication number
CN108446724A
CN108446724A CN201810198978.1A CN201810198978A CN108446724A CN 108446724 A CN108446724 A CN 108446724A CN 201810198978 A CN201810198978 A CN 201810198978A CN 108446724 A CN108446724 A CN 108446724A
Authority
CN
China
Prior art keywords
network
feature
primitive
fusion
fusion features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810198978.1A
Other languages
English (en)
Other versions
CN108446724B (zh
Inventor
李千目
孙哲
侯君
孙康
尤丽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhongtian Internet Technology Co.,Ltd.
Original Assignee
Science And Technology Software Engineering Co Ltd Of Jiangsu Zhogntian (sjzt)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Science And Technology Software Engineering Co Ltd Of Jiangsu Zhogntian (sjzt) filed Critical Science And Technology Software Engineering Co Ltd Of Jiangsu Zhogntian (sjzt)
Priority to CN201810198978.1A priority Critical patent/CN108446724B/zh
Publication of CN108446724A publication Critical patent/CN108446724A/zh
Application granted granted Critical
Publication of CN108446724B publication Critical patent/CN108446724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合特征分类方法，特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始特征的图像的最后一层特征图谱。特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。

Description

一种融合特征分类方法
技术领域
本发明设计一种特征分类方法，特别是一种融合特征分类方法。
背景技术
人工智能作为计算机领域的一个重要研究领域，已广泛应用于人们的日常生活中，并影响到社会的方方面面。深度学习作为机器学习的一个热点，以数据为驱动，从样本中自动学习特征，现已成为人工智能内一个广受珍视、研究非常活跃的课题，它被广泛应用于物体检测、商品推荐、文本翻译等领域。深度学习的存在两个主要矛盾，一是保留尽可能多的信息和获得精简的特征之间的矛盾，二是在有限的计算能力与获得高度抽象特征之间的矛盾。
为提高深度学习中卷积神经网络的精度与节约计算力，文献(Niu X,Suen C Y.ANovel Hybrid CNN-SVM Classifier for Recognizing Handwritten Digits[J].PatternRecognition,2012,45(4):1318-1325)，提出一种将支持向量机与卷积神经网络相结合的方法，在手写字符集MINIST上取得了良好的效果。但同时文献(Zeiler M D,FergusR.Visualizing and Understanding Convolutional Networks[C].European Conferenceon Computer Vision.Springer,Cham,2014:818-833.)采用反卷积层对卷积神经网络的特征图谱做了研究，在比较不同层级的特征后发现，越靠后的层级的特征变动性越大，特征主要聚焦于图像的区分度。低层级的特征与高层级的特征相比相对简单，这侧面反映出低层级的特征能很好表示简单的图像，高层级的特征相对能够表示复杂的图像，也就是低层级的特征关注点在于图像的某个小区域，而高层级的特征关注图像中的大区域。基于此，本发明旨在融合本发明旨在融合卷积神经网络中间层特征与高层特征融合的方式，提高卷积神经网络的表现效果。
发明内容
本发明所要解决的技术问题是提供一种融合特征分类方法，利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。
为解决上述技术问题，本发明所采用的技术方案是：
一种融合特征分类方法，其特征在于包含以下步骤：
步骤一：训练原始网络；
步骤二：构建特征融合网络；
步骤三：训练特征融合网络；
步骤四：进行分类预测。
进一步地，所述步骤一中原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：
1)在目标数据集上进行训练；
2)采用相同的卷积神经网络结构在大规模数据集上训练。
进一步地，所述步骤二中特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。
进一步地，所述步骤二具体过程为特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策。
进一步地，所述步骤三具体过程为首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。
进一步地，所述步骤四具体过程为将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
本发明与现有技术相比，具有以下优点和效果：本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率，特别适用于复杂特征与简单特征并存的任务。
附图说明
图1是现有技术的卷积神经网络结构示意图。
图2是卷积神经网络与支持向量机混合方法示意图。
图3是本发明的一种融合特征分类方法的示意图。
图4是本发明的一种融合特征分类方法的推广方式示意图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
一个标准的卷积神经网络的结构如图1所示。
基于图1的卷积神经网络与支持向量机混合方法如图2所示，它只采用了卷积神经网络最后一层的特征，基于此，本发明的一种卷积神经网络特征融合模型，在原有网络的基础上进行二次训练，其结构图如图3所示。
网络框架分为两部分，第一部分为原始网络，第二部分为特征融合网络。
一种融合特征分类方法，包含以下步骤：
步骤一：训练原始网络；
原始网络部分为普通的卷积神经网络，可以采用两种训练方式对其训练，一是在目标数据集上进行训练，二是直接采用相同的卷积神经网络结构在大规模数据集上训练。一般深度学习工具包支持原始网络的训练。
步骤二：构建特征融合网络；
特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。图3中，特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征。特征融合网络从f5开始，除了f8之外，与原始网络的结构相同。最后进行分类产生新的决策。
步骤三：训练特征融合网络；
特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。
步骤四：进行分类预测。
最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
两部分的网络功能可以概括为：原始网络负责特征的提取，特征融合网络负责特征的进一步加工与分类。
本发明所提出的融合特征分类方法不仅能够运用与简单的自定义卷积神经网络上，同样可以运用于复杂的深度卷积神经网络，图4为本专利所提出的方法在GoogLeNet(一种深度卷积神经网络)上的应用方式。具体操作方式为将inception(5a)作为特征融合网络的输入得到inception(5b'),inception(5b')与inception(5b)相连接产生新的特征图谱，接下来的特征融合网络结构与GoogLeNet对应的网络结构相同。其训练应用方式与简单的自定义卷积神经网络相同。
总的来说特征融合网络主要有以下两个功能：当原始网络训练集为目标任务的训练集时，在原始网络不做变动的情况下，提高分类精度；当原始网络的训练集不为目标训练集时，此时的原始网络只能作为数据的特征提取器来使用，特征融合网络的任务则为任务的实现的主体。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种融合特征分类方法，其特征在于包含以下步骤：
步骤一：训练原始网络；
步骤二：构建特征融合网络；
步骤三：训练特征融合网络；
步骤四：进行分类预测。
2.按照权利要求1所述的一种融合特征分类方法，其特征在于：所述步骤一中原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：
1)在目标数据集上进行训练；
2)采用相同的卷积神经网络结构在大规模数据集上训练。
3.按照权利要求1所述的一种融合特征分类方法，其特征在于：所述步骤二中特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。
4.按照权利要求3所述的一种融合特征分类方法，其特征在于：所述步骤二具体过程为特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策。
5.按照权利要求1所述的一种融合特征分类方法，其特征在于：所述步骤三具体过程为首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。
6.按照权利要求1所述的一种融合特征分类方法，其特征在于：所述步骤四具体过程为将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。
CN201810198978.1A 2018-03-12 2018-03-12 一种融合特征分类方法 Active CN108446724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810198978.1A CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810198978.1A CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Publications (2)

Publication Number Publication Date
CN108446724A true CN108446724A (zh) 2018-08-24
CN108446724B CN108446724B (zh) 2020-06-16

Family

ID=63193979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810198978.1A Active CN108446724B (zh) 2018-03-12 2018-03-12 一种融合特征分类方法

Country Status (1)

Country Link
CN (1) CN108446724B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948449A (zh) * 2019-02-21 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112113A (zh) * 2013-04-19 2014-10-22 无锡南理工科技发展有限公司 一种基于改进型特征卷积神经网络图像识别方法
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107463906A (zh) * 2017-08-08 2017-12-12 深图（厦门）科技有限公司 人脸检测的方法及装置
CN107633296A (zh) * 2017-10-16 2018-01-26 中国电子科技集团公司第五十四研究所 一种卷积神经网络构建方法
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法
US20180068329A1 (en) * 2016-09-02 2018-03-08 International Business Machines Corporation Predicting real property prices using a convolutional neural network

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112113A (zh) * 2013-04-19 2014-10-22 无锡南理工科技发展有限公司 一种基于改进型特征卷积神经网络图像识别方法
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
US20180068329A1 (en) * 2016-09-02 2018-03-08 International Business Machines Corporation Predicting real property prices using a convolutional neural network
CN106934392A (zh) * 2017-02-28 2017-07-07 西交利物浦大学 基于多任务学习卷积神经网络的车标识别及属性预测方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN107463906A (zh) * 2017-08-08 2017-12-12 深图（厦门）科技有限公司 人脸检测的方法及装置
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法
CN107633296A (zh) * 2017-10-16 2018-01-26 中国电子科技集团公司第五十四研究所 一种卷积神经网络构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIM J ETAL.: "Image C1assification Using Convolutional Neural Networks with Multi-Stage Feature", 《ROBOT INTELLIGENCE TECHNOLOGY AND APPLICATIONS 3》 *
胡正平 等: "多层次深度网络融合人脸识别算法", 《模式识别与人工智能》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948449A (zh) * 2019-02-21 2019-06-28 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质
CN109948449B (zh) * 2019-02-21 2021-08-10 百度在线网络技术（北京）有限公司 一种信息处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN108446724B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN109859190A (zh) 一种基于深度学习的目标区域检测方法
CN102314614B (zh) 一种基于类共享多核学习的图像语义分类方法
CN107656990A (zh) 一种基于字和词两个层面特征信息的文本分类方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN106408562A (zh) 基于深度学习的眼底图像视网膜血管分割方法及系统
CN102156871B (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
CN109544442A (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN103996018A (zh) 基于4dlbp的人脸识别方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN110490242A (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN109583507A (zh) 一种基于深度卷积神经网络的猪体识别方法
CN106778882A (zh) 一种基于前馈神经网络的智能合约自动分类方法
Atif et al. A review on semantic segmentation from a modern perspective
Yan et al. A hybrid convolutional and recurrent deep neural network for breast cancer pathological image classification
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN111143617A (zh) 一种图片或视频文本描述自动生成方法及系统
CN109102498A (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
Lin et al. Lateral refinement network for contour detection
Zheng et al. Generative adversarial network with multi-branch discriminator for imbalanced cross-species image-to-image translation
Xing et al. Oracle bone inscription detection: a survey of oracle bone inscription detection based on deep learning algorithm
CN109671055A (zh) 肺结节检测方法及装置
Al-Amaren et al. RHN: A residual holistic neural network for edge detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220208

Address after: 226000 4th and 5th floors, building 10B, Zilang science and Technology City, No. 60, Chongzhou Avenue, Nantong City, Jiangsu Province

Patentee after: Jiangsu Zhongtian Internet Technology Co.,Ltd.

Address before: 226009 No.5 Zhongtian Road, Nantong Development Zone, Jiangsu Province

Patentee before: JIANGSU ZHONGTIAN TECHNOLOGY SOFTWARE TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right