CN105069133B - 一种基于未标记数据的数字图像分类方法 - Google Patents

一种基于未标记数据的数字图像分类方法 Download PDF

Info

Publication number
CN105069133B
CN105069133B CN201510506268.7A CN201510506268A CN105069133B CN 105069133 B CN105069133 B CN 105069133B CN 201510506268 A CN201510506268 A CN 201510506268A CN 105069133 B CN105069133 B CN 105069133B
Authority
CN
China
Prior art keywords
image
classification
classified
classification model
digital picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510506268.7A
Other languages
English (en)
Other versions
CN105069133A (zh
Inventor
张敏灵
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201510506268.7A priority Critical patent/CN105069133B/zh
Publication of CN105069133A publication Critical patent/CN105069133A/zh
Application granted granted Critical
Publication of CN105069133B publication Critical patent/CN105069133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于未标记数据的数字图像分类方法。该方法包括以下步骤：（1）用户从包含已分类图像与未分类图像的多标记图像库中选择查询图像，包括相关图像和不相关图像；（2）在选取的已分类数字图像上使用已有的分类方法学习得到一个初始分类模型；（3）在所有查询图像上使用本发明提出的分类方法对初始分类模型进行学习优化得到一个最终分类模型；（4）基于最终分类模型对数字图像存储设备中待分类图像进行分类，并返回分类结果；（5）如果用户对分类结果满意，则执行步骤6，否则从多标记图像库中选择更多的查询图像进行反馈，执行步骤2；（6）结束。该方法能够有效利用大量未分类图像对数字图像的所有可能类别进行分类。

Description

一种基于未标记数据的数字图像分类方法
技术领域
本发明涉及一种数字图像分类装置，特别涉及一种适用于已分类图像非常有限的数字图像分类方法。
背景技术
随着互联网的快速发展以及计算机的广泛普及，数字图像的获取也变得越来越容易。因此，可用的数字图像正快速地增长并且在越来越多的行业中得到应用。图像分类技术是一种辅助用户高效地获取期望图像的方法，同时也是很多与图像相关的人机交互系统取得成功的基础，如检索系统、推荐系统等。该方法通过用户提交给分类装置的查询图像，快速、准确地将图像库中的未分类图像进行分类，以方便用户获取期望的图像。一种有效的图像分类策略是将分类过程看作一个学习过程，利用用户提交的查询图像作为学习所需的样本，使用机器学习技术学习得到一个分类模型，从而实现对数字图像的分类。
已有的数字图像包括已分类和未分类两种。为保证分类效果，目前的图像分类技术需要用户提交大量的已分类数字图像。然而在现实情况中，对图像进行分类费时费力，导致已分类的数字图像很难获得，但未分类图像却容易获取。同时，真实世界中的数字图像可能同时具有多个类别。例如，一幅自然图像可能同时具有沙滩、大海、落日等多个类别；一篇文档可能被同时分类为经济、政治等。已有的数字图像分类技术不能有效地利用未分类图像中包含的信息，并且假设每幅图像仅有一个类别，故不能有效地进行图像分类。
发明内容
本发明的主要目的是针对目前的数字图像分类技术需要大量已分类图像且只能将图像分为一个类别的问题，提出一种能够有效利用大量未分类图像对数字图像的所有可能类别进行分类的方法。该方法利用未分类图像优化建立在有限已分类图像上的模型，提高数字图像分类装置的性能。
为利用未分类数字图像且对数字图像的所有可能类别进行分类，本发明将机器学习领域中的半监督学习框架与多标记学习技术相结合，进而提出一种数字图像分类方法：该方法包括以下步骤：(1)用户从包含已分类图像与未分类图像的多标记图像库中选择查询图像，包括相关图像和不相关图像；(2)在选取的已分类数字图像上使用已有的分类方法学习得到一个初始分类模型；(3)在所有查询图像上使用本发明提出的分类方法对初始分类模型进行学习优化得到一个最终分类模型；(4)基于最终分类模型对数字图像存储设备中待分类图像进行分类，并返回分类结果；(5)如果用户对分类结果满意，则执行步骤6，否则从多标记图像库中选择更多的查询图像进行反馈，执行步骤2；(6)结束。
下面将结合附图对最佳实施例进行详细说明。
附图说明
图1是数字图像分类装置的工作流程图
图2是本发明方法的流程图
图3是本发明学习初始分类模型的流程图
图4是本发明学习最终分类模型的流程图
具体实施方式
如图1所示，数字图像存储设备中存放了待分类的数字图像，此外还存在一个多标记数字图像库，该图像库中含有一些已分类数字图像与大量未分类数字图像，每个数字图像均具有多种可能的类别，且已分类数字图像均对应了一组人工标注的概念标记。用户从多标记数字图像库中选取L幅已分类查询图像和U幅未分类查询图像提交给数字图像分类装置，其中一些为其感兴趣的相关图像而另外一些为其不感兴趣的非相关图像。可以使用数字图像处理教科书中的多种经典方法生成适当的图像特征，如颜色、纹理、形状等。由此，每幅图像可由一个特征向量进行表示。在得到图像特征后，在已分类数字图像上采用已有的分类方法学习得到一个初始分类模型，然后使用本发明提出的分类方法在所有查询图像上优化初始分类模型，得到最终分类模型。基于最终分类模型对数字图像存储设备中的待分类图像进行分类，如图1所示。如果用户对所得结果不满意，可以从多标记数字图像库中选取更多的查询图像反馈给数字图像分类装置。
本发明涉及的方法如图2所示。值得注意的是，本发明中提出的图像分类方法由Q个线性模型组成。步骤10是起始动作。假设用户提交的查询图像对应于集合，其中SL与SU分别为已分类图像集合与未分类图像集合，图像xi的所有可能类别由一组概念标记集合表示(Q为所有可能的概念标记个数)。步骤11在已分类图像SL上使用已有分类方法学习得到初始分类模型，其详细说明如图3所示。接下来步骤12在所有查询图像S上使用本发明提出的分类方法优化步骤11中学得的初始分类模型，得到最终分类模型，其详细说明如图4所示。步骤13利用训练得到的最终分类模型，对数字图像存储设备中的待分类图像进行分类。在输出分类结果后，分类装置即进入步骤14所示的结束状态。
图3给出了图2中步骤11的详细描述，具体说明了如何利用已有分类方法在已分类图像上学习初始分类模型。图3中的步骤1100是起始状态。步骤1101至1105构成了一个循环体，循环的每一轮中生成与第q类对应的初始分类模型其中，步骤1103首先构造与第q类别lq对应的二类训练集如果标记lq为已分类图像集合中某个图像的相关标记，则该图像在中为正类样本，否则为负类样本。步骤1104利用二类支持向量机算法在集合上学习得到对应于第q个类别lq的初始分类模型不难看出在每个类别的初始分类模型的训练过程中并没有使用未分类图像所包含的信息。步骤1106是结束状态。
具体来说，本发明中提出的分类方法通过多轮迭代的方式优化以下目标函数，从而得到最终分类模型：
其中，根据上一轮迭代对未分类图像的分类结果，令t＝<wv，xj>+bv，方程(1)中的函数有如下两种定义方式：
图4给出了图2中步骤12的详细描述，具体说明了如何利用本发明提出的分类方法在所有的查询图像上优化步骤11中得到的初始分类模型，以得到最终分类模型(wq，bq)(1≤q≤Q)。图4中的步骤1200是起始状态。步骤1201中定义了迭代轮次变量t，并初始化为1。步骤1202到步骤1211构成了一个循环体，每一次循环对应一轮迭代优化。步骤1203到步骤1208也构成了一个循环体，循环的每一轮中生成第t轮迭代下第q个类别对应的分类模型具体来说，在步骤1204成立的条件下，装置在步骤1205计算集合中的图像在第t-1轮次迭代分类模型下的中间结果然后在步骤1206中判断中间结果的符号并根据所判断的符号决定将哪个方程带入方程(1)，以便于将方程(1)转换成在步骤1207中解决标准二次规划(QP)问题。当步骤1202不成立或步骤1210成立，即迭代次数超过最大迭代次数T或方程(1)收敛，装置跳转到结束状态，即步骤1212。
本发明给出了一种用于已分类图像非常有限的数字图像的分类方法，该方法通过定义自己独有的目标函数，利用大量的未分类图像优化在非常有限的已分类图像上学得的初始分类模型，有效地提高图像分类的效果。
熟知本领域的人士将理解，虽然这里为例便于解释已描述了具体实施例，但是可在不背离本发明精神和范围的情况下作出各种改变。因此，除了所附权利要求之外不能用于限制本发明。

Claims (2)

1.一种基于未标记数据的数字图像分类方法，该方法包括以下步骤：
(1)用户从包含已分类图像与未分类图像的多标记图像库中选择查询图像，包括相关图像和不相关图像；
(2)在选取的已分类数字图像上使用已有的分类方法学习得到一个初始分类模型；
步骤(2)中首先对初始分类模型进行学习，具体包括：
所述图像分类方法由Q个线性模型组成，设用户提交的查询图像对应于集合S＝SL∪SU＝{(xi，Yi)|1≤i≤L}∪(xj|L+1≤j≤L+U}，其中SL与SU分别为已分类图像集合与未分类图像集合，图像xi的所有可能类别由一组概念标记集合表示，其中，Q为所有可能的概念标记个数；步骤(2)具体过程如下：
●对于每一个类别q(1≤q≤Q)，执行以下循环体：
a)构建为标记lq的二类训练集，若lq∈Yi，则φ(Yi，lq)＝+1，否则为-1；
b)利用二类支持向量机算法在上学习得到初始分类模型
(3)在所有查询图像上对初始分类模型进行学习优化得到一个最终分类模型；
(4)基于最终分类模型对数字图像存储设备中待分类图像进行分类，并返回分类结果；
(5)如果用户对分类结果满意，则执行步骤(6)，否则从多标记图像库中选择更多的查询图像进行反馈，执行步骤(2)；
(6)结束。
2.根据权利要求1 所述的基于未标记数据的数字图像分类方法，其中，步骤(3)中对初始分类模型进行学习之后得到最终分类模型，具体包括以下步骤：
●设定最大迭代轮数T；
●对于每一轮迭代t(1≤t≤T)，执行以下循环体：
■对于每一个类别q(1≤q≤Q)，执行以下循环体：
a)计算其中L+1≤j≤L+U；
b)若则将Eq.(2)带入Eq.(1)；反之将Eq.(3)带入Eq.(1)；
c)使用标准QP方法优化Eq.(1)，可得
■将带入Eq.(1)，结果记为a；将带入Eq.(1)，结果记为b；
■若a＝b，则跳出循环体；
上述Eq.(1)，Eq.(2)以及Eq.(3)分别为：
subject to：<ωm-ωn，xi>+bm-bn≥1-ξimn
。
CN201510506268.7A 2015-08-18 2015-08-18 一种基于未标记数据的数字图像分类方法 Active CN105069133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510506268.7A CN105069133B (zh) 2015-08-18 2015-08-18 一种基于未标记数据的数字图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510506268.7A CN105069133B (zh) 2015-08-18 2015-08-18 一种基于未标记数据的数字图像分类方法

Publications (2)

Publication Number Publication Date
CN105069133A CN105069133A (zh) 2015-11-18
CN105069133B true CN105069133B (zh) 2018-09-14

Family

ID=54498502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510506268.7A Active CN105069133B (zh) 2015-08-18 2015-08-18 一种基于未标记数据的数字图像分类方法

Country Status (1)

Country Link
CN (1) CN105069133B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701509B (zh) * 2016-01-13 2019-03-12 清华大学 一种基于跨类别迁移主动学习的图像分类方法
CN106384125A (zh) * 2016-09-05 2017-02-08 东南大学 面向偏标记数据的数字图像分类方法
CN108304882B (zh) * 2018-02-07 2022-03-04 腾讯科技（深圳）有限公司 一种图像分类方法、装置及服务器、用户终端、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236565A (zh) * 2008-02-22 2008-08-06 南京大学 一种基于表示转换的多义数字图像检索方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615286B (zh) * 2008-06-25 2012-01-04 中国科学院自动化研究所 一种基于图像灰度游程直方图分析的盲信息隐藏检测方法
CN103942573A (zh) * 2014-02-18 2014-07-23 西安电子科技大学 一种基于空间关系的潜在狄利克雷模型自然场景图像分类方法
CN103839078B (zh) * 2014-02-26 2017-10-27 西安电子科技大学 一种基于主动学习的高光谱图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236565A (zh) * 2008-02-22 2008-08-06 南京大学 一种基于表示转换的多义数字图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图的半监督学习理论、算法及应用研究;兰远东;《中国博士学位论文全文数据库 信息科技辑》;20121115(第11期);第16页第2段 *

Also Published As

Publication number Publication date
CN105069133A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
CN107256246B (zh) 基于卷积神经网络的印花织物图像检索方法
Chen et al. Sketchygan: Towards diverse and realistic sketch to image synthesis
Wu et al. Harvesting discriminative meta objects with deep CNN features for scene classification
CN105184303B (zh) 一种基于多模态深度学习的图像标注方法
CN102054178B (zh) 一种基于局部语义概念的国画图像识别方法
CN108960278A (zh) 使用生成式对抗网络的鉴别器的新奇检测
CN114067107B (zh) 基于多粒度注意力的多尺度细粒度图像识别方法及系统
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN107220277A (zh) 基于手绘草图的图像检索算法
CN103258210B (zh) 一种基于字典学习的高清图像分类方法
CN109117879A (zh) 图像分类方法、装置及系统
CN111639679A (zh) 一种基于多尺度度量学习的小样本学习方法
CN102314614A (zh) 一种基于类共享多核学习的图像语义分类方法
US20220180624A1 (en) Method and device for automatic identification of labels of an image
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN109993201A (zh) 一种图像处理方法、装置和可读存储介质
CN102385592B (zh) 图像概念的检测方法和装置
CN107045640A (zh) 一种用于图像识别的基于邻域保持和核子空间对齐的方法
CN103235947B (zh) 一种手写体数字识别方法及装置
CN112819110B (zh) 基于权重生成的增量式小样本目标检测方法及系统
Vallet et al. A multi-label convolutional neural network for automatic image annotation
CN107316059A (zh) 学习者姿态识别方法
CN104951791A (zh) 数据分类方法和装置
CN105069133B (zh) 一种基于未标记数据的数字图像分类方法
CN109344898A (zh) 基于稀疏编码预训练的卷积神经网络图像分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant