CN104850864A - 一种基于卷积神经网络的非监督图像识别方法 - Google Patents

一种基于卷积神经网络的非监督图像识别方法 Download PDF

Info

Publication number
CN104850864A
CN104850864A CN201510293495.6A CN201510293495A CN104850864A CN 104850864 A CN104850864 A CN 104850864A CN 201510293495 A CN201510293495 A CN 201510293495A CN 104850864 A CN104850864 A CN 104850864A
Authority
CN
China
Prior art keywords
network
convolutional neural
image recognition
unsupervised
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510293495.6A
Other languages
English (en)
Inventor
谭轼
武艳娇
黄利今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ying Zhi Source Shenzhen Intelligent System Co Ltd
Original Assignee
Ying Zhi Source Shenzhen Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ying Zhi Source Shenzhen Intelligent System Co Ltd filed Critical Ying Zhi Source Shenzhen Intelligent System Co Ltd
Priority to CN201510293495.6A priority Critical patent/CN104850864A/zh
Publication of CN104850864A publication Critical patent/CN104850864A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于卷积神经网络的非监督图像识别方法，主要用于非监督学习的图像识别等领域。此方法包括卷积神经网络初始化，训练非监督图像识别网络两个部分，主要涉及到非监督图像识别过程。首先，利用带5个卷积层和3个全连接层的卷积神经网络形成非监督识别网络，并对数据随机分组得到初始的图像聚类中心；然后，在该卷积网络中加入类内约束，利用加入类内约束的目标函数训练网络以更新网络权重；最后，利用更新过的网络得到对应图像的特征进行聚类，更新聚类分组和聚类中心，并利用更新之后的分组继续训练网络。该方法提出的非监督的卷积神经网络具有强大的图像特征提取的功能，对于输入的图像具有较强的鲁棒能力，其非监督训练通过重建图像本身实现。该网络加入的类内约束则可以让样本在特征空间高度可分，实现更好的非监督图像识别功能。该方法可以获得优于传统方法的非监督图像识别效果。

Description

一种基于卷积神经网络的非监督图像识别方法
[技术领域]
本发明涉及模式识别、计算机视觉，特别涉及基于卷积神经网络的非监督图像识别方法。
[背景技术]
卷积神经网络对于图像处理具有的平移和尺度不变性，因此广泛应用于图像特征提取。传统的卷积神经网络多为有监督网络，不适用于非监督图像的识别。因此我们提出了基于卷积神经网络的非监督图像识别方法，可以利用图像本身作为训练卷积网络的监督信息，从而实现不利用图像分类标签的非监督识别。
为了实现更佳的图像识别结果，我们在该卷积网络中加入类内约束，加入的类内约束可以让样本在特征空间高度可分，实现非监督图像识别功能。该方法可以获得优于传统方法的非监督图像识别效果。
[发明内容]
为了解决现有技术存在的问题，本发明的目的是提供一种基于卷积神经网络的非监督图像识别方法，如图1所示，包括以下步骤：
步骤S1，建立带有5层卷积层和3层全连接层的卷积神经网络，其中最后一层全连接层与输入图像维度相同，该网络所有权重均随机初始化。
步骤S2，在卷积神经网络的特征层(第一个全连接层)加入类内约束函数，使同类样本靠近其聚类中心。加入的类内约束与样本重建函数一起构成卷积网络的目标函数。
步骤S3，将所有样本随机分组，并分别通过卷积神经网络映射到特征空间，然后计算所有组的特征表达的平均值，作为该组的聚类中心。
步骤S4，利用S2中的目标函数训练卷积神经网络，更新网络权重，进行非监督图像识别网络的训练。
步骤S5，利用S4得到的更新后的网络，计算所有样本的特征表达，与之前的聚类中心进行比较，将样本分配至距离最近的聚类中心。
步骤S6，利用S5中得到特征表达按新的分组计算每组的特征表达的均值作为新的聚类中心。
步骤S7，利用S6中更新的聚类中心代替S2中目标函数的聚类中心。
步骤S8，转到S4并循环，直到达到训练次数或者非监督图像识别网络收敛。
根据本发明的方法，可以利用卷积神经网络实现图像的重建，并在高度可分的特征层对样本进行聚类，在特征空间加入的类内约束，使得样本在特征空间的分布更加紧致。该方法不仅利用了卷积神经网络所具有的的尺度和平移不变性，并且在目标函数中加入了针对非监督图像识别问题的类内约束，适合于大多数非监督图像识别问题。
[附图说明]
图1是基于卷积神经网络的非监督图像识别方法的流程图。
[具体实施方式]
以下结合附图详细说明本发明技术方案中所涉及的各个细节问题。应当指出的是，所描述的实施例仅旨在便于理解，对本发明不起任何限定作用。图1是本发明的流程图，如图1所示，所述方法包括以下步骤：
步骤S1，建立带有5层卷积层和3层全连接层的卷积神经网络，其中最后一层全连接层与输入图像维度相同，该网络所有权重均随机初始化。其中，卷积层与全连接层的激活函数均为ReLU函数。每个卷积层的步长、卷积子大小、卷积子的个数均可以自由设置。
步骤S2，在卷积神经网络的特征层(第一个全连接层)加入类内约束函数，使同类样本靠近其聚类中心。加入的类内约束与样本重建函数一起构成卷积网络的目标函数。这样目标函数具体可以表示为：
其中ck*是对应第n个样本xn在特征空间的聚类中心，f(xn)表示样本样本xn在经过卷积层在特征空间(第一个全连接层)的表达，表示样本的特征表达f(xn)经过全连接层的输出。
步骤S3，将所有样本随机分为k组，得到每个样本的初始聚类标签L＝[l1,l2,…,lN]，其中N表示N个样本，l表示样本的标签，即所属的分类。然后，将所有样本通过初始网络得到对应的特征层表达，计算每组表达的均值作为初始的聚类中心C。
步骤S4，利用S2中的目标函数训练卷积神经网络，更新网络权重，进行非监督图像识别网络的训练。
步骤S5，利用S4得到的更新后的网络，计算所有样本的特征表达，与之前的聚类中心进行比较，将样本分配至距离最近的聚类中心。
步骤S6，利用S5中得到特征表达按新的分组计算每组的特征表达的均值作为新的聚类中心。
步骤S7，利用S6中更新的聚类中心代替S2中目标函数的聚类中心。
步骤S8，转到S4并循环，直到达到训练次数或非监督图像识别网络收敛。
[实施例]
为了详细说明本发明的具体实施方式，以某大型图像分类数据集为例说明。该数据集包含60000张彩色图像，共包含10类不同的物体识别图像，每张图像大小为32*32。利用提出的非监督图像识别方法对该数据库进行图像识别，将样本在非监督的情况下分为10类。具体步骤如下：
步骤S1，建立带有5层卷积层和3层全连接层的卷积神经网络，其中最后一层全连接层与输入图像维度相同，该网络所有权重均随机初始化。其中，卷积层与全连接层的激活函数均为ReLU函数。每个卷积层的步长均为1，卷积子大小均为3*3，每个卷积层的卷积子个数均设置为16，全连接层维数分别为4096、4096、3072。
步骤S2，在卷积神经网络的特征层(第一个全连接层)加入类内约束函数，使同类样本靠近其聚类中心。加入的类内约束与样本重建函数一起构成卷积网络的目标函数。这样目标函数具体可以表示为：
其中ck*是对应第n个样本xn在特征空间的聚类中心，f(xn)表示样本样本xn在经过卷积层在特征空间(第一个全连接层)的表达，表示样本的特征表达f(xn)经过全连接层的输出。
步骤S3，将所有60000个样本随机分为10组，得到每个样本的初始聚类标签L＝[l1,l2,…,lN]，其中N表示N个样本，l表示样本的标签，即所属的分类。然后，将所有样本通过初始网络得到对应的特征层表达，计算每组表达的均值作为初始的聚类中心C。
步骤S4，利用S2中的目标函数训练卷积神经网络，更新网络权重，进行非监督图像识别网络的训练。
步骤S5，利用S4得到的更新后的网络，计算所有样本的特征表达，与之前的10个聚类中心进行比较，将样本分配至距离最近的聚类中心。
步骤S6，利用S5中得到特征表达按新的分组计算每组的特征表达的均值作为新的聚类中心。
步骤S7，利用S6中更新的聚类中心代替S2中目标函数的聚类中心。
步骤S8，转到S4并循环，直到训练次数达到100次或非监督图像识别网络收敛。
以上所述，仅为本发明的具体实施方式之一，本发明的保护范围并不局限于此。任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或者替换，都应涵盖在本发明的范围之内。因此，本发明的保护范围应以权利要求书的保护范围为准。

Claims (3)

1.一种基于卷积神经网络的非监督图像识别方法，主要包括步骤：
步骤S1，建立带有5层卷积层和3层全连接层的卷积神经网络，其中最后一层全连接层与输入图像维度相同，该网络所有权重均随机初始化。
步骤S2，在卷积神经网络的特征层(第一个全连接层)加入类内约束函数，使同类样本靠近其聚类中心。加入的类内约束与样本重建函数一起构成卷积网络的目标函数。
步骤S3，将所有样本随机分组，并分别通过卷积神经网络映射到特征空间，然后计算所有组的特征表达的平均值，作为该组的聚类中心。
步骤S4，利用S2中的目标函数训练卷积神经网络，更新网络权重，进行非监督图像识别网络的训练。
步骤S5，利用S4得到的更新后的网络，计算所有样本的特征表达，与之前的聚类中心进行比较，将样本分配至距离最近的聚类中心。
步骤S6，利用S5中得到特征表达按新的分组计算每组的特征表达的均值作为新的聚类中心。
步骤S7，利用S6中更新的聚类中心代替S2中目标函数的聚类中心。
步骤S8，转到S4并循环，直到达到训练次数或者非监督图像识别网络收敛。
2.根据权利要求1所述的方法，利用卷积神经网络进行非监督图像识别，该网络输入与输出维度相等，从而利用重建原图像作为非监督训练的目标函数。
3.根据权利要求1所述的方法，在卷积神经网络的目标函数中加入类内约束，以得到更好的非监督图像识别结果。
CN201510293495.6A 2015-06-01 2015-06-01 一种基于卷积神经网络的非监督图像识别方法 Pending CN104850864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510293495.6A CN104850864A (zh) 2015-06-01 2015-06-01 一种基于卷积神经网络的非监督图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510293495.6A CN104850864A (zh) 2015-06-01 2015-06-01 一种基于卷积神经网络的非监督图像识别方法

Publications (1)

Publication Number Publication Date
CN104850864A true CN104850864A (zh) 2015-08-19

Family

ID=53850499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510293495.6A Pending CN104850864A (zh) 2015-06-01 2015-06-01 一种基于卷积神经网络的非监督图像识别方法

Country Status (1)

Country Link
CN (1) CN104850864A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512681A (zh) * 2015-12-07 2016-04-20 北京信息科技大学 一种目标类别图片的获取方法及系统
WO2017177371A1 (en) * 2016-04-12 2017-10-19 Xiaogang Wang Method and system for object re-identification
CN109934281A (zh) * 2019-03-08 2019-06-25 电子科技大学 一种二分类网络的非监督训练方法
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注系统及标注方法
CN111753618A (zh) * 2019-12-20 2020-10-09 北京沃东天骏信息技术有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法
US20140297199A1 (en) * 2011-11-11 2014-10-02 Cold Spring Harbor Laboratory Drug screening method and uses thereof
CN104320617A (zh) * 2014-10-20 2015-01-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
CN104616030A (zh) * 2015-01-21 2015-05-13 北京工业大学 一种基于极限学习机算法的识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297199A1 (en) * 2011-11-11 2014-10-02 Cold Spring Harbor Laboratory Drug screening method and uses thereof
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
CN103530689A (zh) * 2013-10-31 2014-01-22 中国科学院自动化研究所 一种基于深度学习的聚类方法
CN104320617A (zh) * 2014-10-20 2015-01-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
CN104616030A (zh) * 2015-01-21 2015-05-13 北京工业大学 一种基于极限学习机算法的识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EVGENY A等: "Comparison of Regularization Methods for ImageNet Classification with Deep Convolutional Neural Networks", 《2013 2ND AASRI CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND BIOINFORMATICS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512681A (zh) * 2015-12-07 2016-04-20 北京信息科技大学 一种目标类别图片的获取方法及系统
WO2017177371A1 (en) * 2016-04-12 2017-10-19 Xiaogang Wang Method and system for object re-identification
CN109074499A (zh) * 2016-04-12 2018-12-21 北京市商汤科技开发有限公司 用于对象重识别的方法和系统
CN109934281A (zh) * 2019-03-08 2019-06-25 电子科技大学 一种二分类网络的非监督训练方法
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注系统及标注方法
CN111753618A (zh) * 2019-12-20 2020-10-09 北京沃东天骏信息技术有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109919317B (zh) 一种机器学习模型训练方法和装置
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN103530689B (zh) 一种基于深度学习的聚类方法
CN104850864A (zh) 一种基于卷积神经网络的非监督图像识别方法
WO2020232905A1 (zh) 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN104992191B (zh) 基于深度学习的特征和最大置信路径的图像分类方法
Duque-Arias et al. On power Jaccard losses for semantic segmentation
CN109840560B (zh) 基于胶囊网络中融入聚类的图像分类方法
JP6928206B2 (ja) 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法
CN109697451A (zh) 相似图像聚类方法及装置、存储介质、电子设备
CN111461238A (zh) 模型训练方法、字符识别方法、装置、设备及存储介质
CN111125469B (zh) 一种社交网络的用户聚类方法、装置以及计算机设备
CN105631416A (zh) 采用新型密度聚类进行人脸识别的方法
Suo et al. Group structured dirty dictionary learning for classification
CN107480636A (zh) 基于核非负矩阵分解的人脸识别方法、系统及存储介质
CN106203448B (zh) 一种基于非线性尺度空间的场景分类方法
CN104933438A (zh) 一种基于自编码神经网络的图像聚类方法
CN110046583A (zh) 基于半监督多视图增量字典学习的彩色人脸识别方法
CN105631469A (zh) 一种多层稀疏编码特征的鸟类图像识别方法
CN110909172A (zh) 一种基于实体距离的知识表示学习方法
CN113435521A (zh) 神经网络模型训练方法、装置及计算机可读存储介质
CN117237559A (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统
CN106204103A (zh) 一种移动广告平台寻找相似用户的方法
CN105718935A (zh) 一种适宜于视觉大数据的词频直方图计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150819

RJ01 Rejection of invention patent application after publication