CN111091160B - 一种图像分类方法 - Google Patents

一种图像分类方法 Download PDF

Info

Publication number
CN111091160B
CN111091160B CN201911376892.4A CN201911376892A CN111091160B CN 111091160 B CN111091160 B CN 111091160B CN 201911376892 A CN201911376892 A CN 201911376892A CN 111091160 B CN111091160 B CN 111091160B
Authority
CN
China
Prior art keywords
visibility
prediction algorithm
algorithm
image
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911376892.4A
Other languages
English (en)
Other versions
CN111091160A (zh
Inventor
刘洪淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Milaiwu Network Technology Co ltd
Original Assignee
Beijing Milaiwu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Milaiwu Network Technology Co ltd filed Critical Beijing Milaiwu Network Technology Co ltd
Priority to CN201911376892.4A priority Critical patent/CN111091160B/zh
Publication of CN111091160A publication Critical patent/CN111091160A/zh
Application granted granted Critical
Publication of CN111091160B publication Critical patent/CN111091160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种图像分类方法，包括：标记训练图像的预设关键点的位置及可见性；根据预设关键点的位置确定关键点位置预测算法；根据关键点的可见性确定可见性预测算法；获取待分类图像的全局特征；根据关键点位置预测算法预测待分类图像的预设关键点的位置；根据可见性预测算法预测待分类图像的预设关键点的可见性；根据预设关键点的位置及可见性提取局部特征；根据全局特征与局部特征拼接后的结果预测对应的分类结果。本发明的图像分类方法能够按照图片中人物的整体印象对图片分类。

Description

一种图像分类方法
技术领域
本发明实施例涉及图像分类技术领域，尤其涉及一种图像分类方法。
背景技术
图像分类是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像整体归为若干个类别中的某一种，以代替人的视觉判读。
现有的图像分类可通过神经网络来实现，但这种方法可能将图片中的背景区域作为区分的主要信息，会使准确率降低。或者通过人脸的几何特征来实现，但是这种方法主要针对颜值，对衣着风格，气质特征等整体感官没有考虑；并且基于图片拍摄角度、人物姿态等不同，需要引入较大计算量的及需要人工设计特征。
发明内容
本发明实施例的目的在于提出一种图像分类方法，能够按照图片中人物的整体印象对图片分类。
为达此目的，本发明实施例采用以下技术方案：
本发明实施例提供了一种图像分类方法，包括：
标记训练图像的预设关键点的位置及可见性；
根据预设关键点的位置确定关键点位置预测算法；
根据关键点的可见性确定可见性预测算法；
获取待分类图像的全局特征；
根据所述关键点位置预测算法预测所述待分类图像的所述预设关键点的位置；
根据可见性预测算法预测所述待分类图像的所述预设关键点的可见性；
根据所述预设关键点的位置及可见性提取局部特征；
根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果。
进一步的，根据预设关键点对应标记的位置确定关键点位置预测算法之前还包括：
标记所述训练图像所属的类别；
根据所述类别及训练图像的相似度确定图像分类算法；
相应的，根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果包括：
根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果。
进一步的，获取待分类图像的全局特征之前还包括：
通过全卷积网络算法处理待分类图像。
进一步的，所述预设关键点包括图像中人物的双眼连线的中心、左肩、右肩及胸部的中心。
进一步的，根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果之后还包括：
若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则第一步增大系数训练所述关键点位置预测算法及所述可见性预测算法，并减少或不变系数训练所述图像分类算法；
第二步增大系数训练所述图像分类算法，并减少或不变系数训练所述关键点位置预测算法及所述可见性预测算法；
所述第一步及第二步可交替重复执行。
进一步的，根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果之后还包括：
若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则增大损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法；
或减小损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法；
或改变损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法。
进一步的，根据预设关键点对应标记的位置确定关键点位置预测算法包括：
根据预设关键点对应标记的位置通过均方误差损失函数确定关键点位置预测算法。
进一步的，根据关键点的可见性确定可见性预测算法包括：
根据关键点的可见性通过交叉熵损失函数确定可见性预测算法。
进一步的，所述全局特征与所述局部特征拼接包括：
将所述全局特征及所述局部特征分别转换成一维数据；
将所述一维数据直接拼接。
本发明实施例的有益效果为：
本发明实施例直接对关键点位置回归得到预测算法，通过在预测出的关键点位置的一定范围内提取局部特征，局部特征包含衣着风格及以气质特征，并与整张图像的全局特征结合后分类，能够提高分类的准确度，并且降低计算成本。
附图说明
图1是本发明实施例一提供的图像分类方法的流程示意图。
图2是本发明实施例二提供的图像分类方法的流程示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
本实施例提供了一种图像分类方法，增加衣着风格及以气质特征作为考虑因素，提高分类的准确度，并且将关键点的特征作为判断基础从而减少计算量及降低计算成本。
图1是本发明实施例一提供的图像分类方法的流程示意图。如图1所示，该图像分类方法包括如下步骤：
S11，标记训练图像的预设关键点的位置及可见性。
具体的，训练图像的人物至少包含腹部以上的躯体。
在本实施例中，所述预设关键点包括图像中人物的双眼连线的中心、左肩、右肩及胸部的中心。在训练图像中标注这些预设关键点。根据这些预设关键点是否被遮挡来标记可见性。
S12，根据预设关键点的位置确定关键点位置预测算法。
具体的，根据预设关键点对应标记的位置通过均方误差损失函数确定关键点位置预测算法。
S13，根据关键点的可见性确定可见性预测算法。
具体的，根据关键点的可见性通过交叉熵损失函数确定可见性预测算法。
S14，通过全卷积网络算法处理待分类图像。为提取全局特征、局部特征、预测关键点的位置和可见性提供处理后的特征图，避免重新从原图提取特征，从而减少计算量。
S15，获取待分类图像的全局特征。在通过全卷积网络算法处理后的图像中，获取图像的全局特征，作为后续图像分类的输入数据的基础。
S16，根据所述关键点位置预测算法预测所述待分类图像的所述预设关键点的位置。通过关键点位置预测算法能够定位待分类图像中人物的双眼连线的中心、左肩、右肩及胸部的中心，作为后续提取局部特征的前提条件。
S17，根据可见性预测算法预测所述待分类图像的所述预设关键点的可见性。在预测到待分类图像中双眼连线的中心、左肩、右肩及胸部的中心的位置后，通过可见性预测算法来预测这些关键点是否被遮挡。增加可见性作为考虑因素，能够提高分类的准确性。
S18，根据所述预设关键点的位置及可见性提取局部特征。在通过全卷积网络算法处理后的特征图中，根据所述预设关键点的位置及可见性获取图像的局部特征，该局部特征包含有衣着风格因素及气质特征因素。
S19，根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果。
具体的，将所述全局特征及所述局部特征分别转换成一维数据，然后将所述一维数据直接拼接，作为分类的输入。
本实施例直接对关键点位置回归得到预测算法，通过在预测出的关键点位置的一定范围内提取局部特征，局部特征包含衣着风格及以气质特征，并与整张图像的全局特征结合后分类，能够提高分类的准确度，并且降低计算成本。
实施例二
本实施例在上述实施例的基础上，细化分类方法及处理预测损失的方法，图2是本发明实施例二提供的图像分类方法的流程示意图。如图2所示，该图像分类方法包括如下步骤：
S21，标记训练图像的预设关键点的位置及可见性。
具体的，训练图像的人物至少包含腹部以上的躯体。不同的关键点使用不同的标注，及是否可见也使用不同的标注。每个标注都不同。
S22，根据预设关键点的位置确定关键点位置预测算法。
S23，根据关键点的可见性确定可见性预测算法。
在其他实施例，可根据具体使用情况来选择其他函数来确定关键点位置预测算法及可见性预测算法。
S24，标记所述训练图像所属的类别；
根据实际需求通过人工打标签将图像进行分类，每种标签有对应的类别，并且标签有对应的全局特征及局部特征。
S25，根据所述类别及训练图像的相似度确定图像分类算法。
结合所属的类别，提取未分类图像的局部特征与已打标签的图像的局部特征进行对比获得局部相似度，及提取未分类的全局特征与已打标签的图像的全局特征进行对比获得全局相似度，通过局部相似度与全局相似度加权求和获得的最终相似度来确定图像分类算法。更进一步的，通过相似度计算函数来实现相似度求解。
S26，通过全卷积网络算法处理待分类图像。
S27，获取待分类图像的全局特征。
S28，根据所述关键点位置预测算法预测所述待分类图像的所述预设关键点的位置。
S29，根据可见性预测算法预测所述待分类图像的所述预设关键点的可见性。
S30，根据所述预设关键点的位置及可见性提取局部特征。
S31，根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果。
具体的，根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果。
在本实施例中，若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则第一步增大系数训练所述关键点位置预测算法及所述可见性预测算法，并减少或不变系数训练所述图像分类算法；
第二步增大系数训练所述图像分类算法，并减少或不变系数训练所述关键点位置预测算法及所述可见性预测算法；
所述第一步及第二步可交替重复执行。
在其他实施例中，还可以通过若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则增大损失种类训练所述关键点位置预测算法、可见性预测算法及所述图像分类算法；或减小损失种类训练所述关键点位置预测算法、可见性预测算法及所述图像分类算法；或改变损失种类训练所述关键点位置预测算法、可见性预测算法及所述图像分类算法。
把训练后的关键点位置预测算法、可见性预测算法和图像分类算法分别迭代到步骤S28、S29及S31中，进行预测。
本实施例在预测关键点位置及可见性提取局部特征，并结合全局特征进行分类之后，通过获取并处理预测损失的来减少整个网络的损失，从而进一步提高预测的准确度。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (8)

1.一种图像分类方法，其特征在于，包括：
标记训练图像的预设关键点的位置及可见性；
根据预设关键点的位置确定关键点位置预测算法；
根据关键点的可见性确定可见性预测算法；
获取待分类图像的全局特征；
根据所述关键点位置预测算法预测所述待分类图像的所述预设关键点的位置；
根据可见性预测算法预测所述待分类图像的所述预设关键点的可见性；
根据所述预设关键点的位置及可见性提取局部特征，其中，所述局部特征包括衣着风格因素及气质特征因素；
根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果；
其中，根据预设关键点的位置确定关键点位置预测算法之前还包括：
标记所述训练图像所属的类别；
根据所述类别及训练图像的相似度确定图像分类算法；
相应的，根据所述全局特征与所述局部特征拼接后的结果预测对应的分类结果包括：
根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果；
其中，根据所述类别及训练图像的相似度确定图像分类算法，包括：
结合所属的类别，提取未分类图像的局部特征与已打标签的图像的局部特征进行对比获得局部相似度，及提取未分类的全局特征与已打标签的图像的全局特征进行对比获得全局相似度，通过局部相似度与全局相似度加权求和获得的最终相似度来确定图像分类算法。
2.根据权利要求1所述的图像分类方法，其特征在于，获取待分类图像的全局特征之前还包括：
通过全卷积网络算法处理待分类图像。
3.根据权利要求1所述的图像分类方法，其特征在于，所述预设关键点包括图像中人物的双眼连线的中心、左肩、右肩及胸部的中心。
4.根据权利要求1所述的图像分类方法，其特征在于，根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果之后还包括：
若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则第一步增大系数训练所述关键点位置预测算法及所述可见性预测算法，并减少或不变系数训练所述图像分类算法；
第二步增大系数训练所述图像分类算法，并减少或不变系数训练所述关键点位置预测算法及所述可见性预测算法；
所述第一步及第二步可交替重复执行。
5.根据权利要求1所述的图像分类方法，其特征在于，根据所述全局特征与所述局部特征拼接后的结果及所述图像分类算法预测对应的分类结果之后还包括：
若获取到所述待分类图像的所述预设关键点的位置及可见性的训练损失，则增大损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法；
或减小损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法；
或改变损失种类训练所述关键点位置预测算法、所述可见性预测算法及所述图像分类算法。
6.根据权利要求1所述的图像分类方法，其特征在于，根据预设关键点的位置确定关键点位置预测算法包括：
根据预设关键点对应标记的位置通过均方误差损失函数确定关键点位[]置预测算法。
7.根据权利要求1所述的图像分类方法，其特征在于，根据关键点的可见性确定可见性预测算法包括：
根据关键点的可见性通过交叉熵损失函数确定可见性预测算法。
8.根据权利要求1所述的图像分类方法，其特征在于，所述全局特征与所述局部特征拼接包括：
将所述全局特征及所述局部特征分别转换成一维数据；
将所述一维数据直接拼接。
CN201911376892.4A 2019-12-27 2019-12-27 一种图像分类方法 Active CN111091160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911376892.4A CN111091160B (zh) 2019-12-27 2019-12-27 一种图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911376892.4A CN111091160B (zh) 2019-12-27 2019-12-27 一种图像分类方法

Publications (2)

Publication Number Publication Date
CN111091160A CN111091160A (zh) 2020-05-01
CN111091160B true CN111091160B (zh) 2024-05-03

Family

ID=70398147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911376892.4A Active CN111091160B (zh) 2019-12-27 2019-12-27 一种图像分类方法

Country Status (1)

Country Link
CN (1) CN111091160B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494730A (zh) * 2022-04-15 2022-05-13 深圳安牌信息技术有限公司 基于图像识别的商标自动分类处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154631A2 (en) * 2008-08-14 2010-02-17 Xerox Corporation System and method for object class localization and semantic class based image segmentation
CN108229353A (zh) * 2017-12-21 2018-06-29 深圳市商汤科技有限公司 人体图像的分类方法和装置、电子设备、存储介质、程序
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN109344841A (zh) * 2018-08-10 2019-02-15 北京华捷艾米科技有限公司 一种服装识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154631A2 (en) * 2008-08-14 2010-02-17 Xerox Corporation System and method for object class localization and semantic class based image segmentation
CN108304847A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 图像分类方法及装置、个性化推荐方法及装置
CN108229353A (zh) * 2017-12-21 2018-06-29 深圳市商汤科技有限公司 人体图像的分类方法和装置、电子设备、存储介质、程序
CN109344841A (zh) * 2018-08-10 2019-02-15 北京华捷艾米科技有限公司 一种服装识别方法及装置
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法

Also Published As

Publication number Publication date
CN111091160A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
KR102102161B1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN109325952B (zh) 基于深度学习的时尚服装图像分割方法
US10769499B2 (en) Method and apparatus for training face recognition model
WO2021082118A1 (zh) 行人重识别的方法、装置、终端及存储介质
CN110046599A (zh) 基于深度融合神经网络行人重识别技术的智能监控方法
Asteriadis et al. Facial feature detection using distance vector fields
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN110348439A (zh) 一种自动识别价签的方法、计算机可读介质及系统
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN108629319A (zh) 图像检测方法及系统
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN109710788A (zh) 图像样本标注和管理方法及设备
US20230298348A1 (en) Clothing standardization detection method and apparatus
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN110473181A (zh) 基于边缘特征信息的屏幕内容图像的无参质量评价方法
CN111091160B (zh) 一种图像分类方法
CN113343927B (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
CN112529914B (zh) 一种实时头发分割方法和系统
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113435358B (zh) 用于训练模型的样本生成方法、装置、设备、程序产品
Chandrasekaran American sign language recognition and translation using deep learning and computer vision
CN114067277A (zh) 行人图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant