CN112699809A - 痘痘类别识别方法、装置、计算机设备及存储介质 - Google Patents

痘痘类别识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112699809A
CN112699809A CN202011636260.XA CN202011636260A CN112699809A CN 112699809 A CN112699809 A CN 112699809A CN 202011636260 A CN202011636260 A CN 202011636260A CN 112699809 A CN112699809 A CN 112699809A
Authority
CN
China
Prior art keywords
feature map
image
layer
training
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011636260.XA
Other languages
English (en)
Other versions
CN112699809B (zh
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202011636260.XA priority Critical patent/CN112699809B/zh
Publication of CN112699809A publication Critical patent/CN112699809A/zh
Application granted granted Critical
Publication of CN112699809B publication Critical patent/CN112699809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种痘痘类别识别方法，包括：获取包含有痘痘的目标图像；将目标图像作为痘痘识别模型的输入，痘痘识别模型包括：生成器、判别器和分类器，通过生成器的第一卷积层对目标图像进行特征提取，得到第一特征图，通过生成器的输出层输出与目标图像具有相似特征的生成图像；通过判别器的第二卷积层对生成图像进行特征提取，得到第二特征图；分类器中相应的第三卷积层用于对第一特征图和第二特征图进行特征提取得到第三特征图；通过分类器的分类层根据第三特征图对目标图像中的痘痘进行分类，得到分类结果。该痘痘类别识别方法不仅准确度高，而且具有鲁棒性。此外，还提出了一种痘痘类别识别装置、计算机设备及存储介质。

Description

痘痘类别识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种痘痘类别识别方法、装置、计算机设备及存储介质。
背景技术
随着移动通信技术的快速发展以及人民生活水平的提升，各种智能终端已广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用APP等软件，使得美颜自拍、拍照测肤此类功能的APP需求也变得越来越多，因此不少的用户希望此APP能够自动分析出脸部的痘痘情况，根据痘痘类别情况，有针对性提出皮肤改善方案，然而受限于痘痘类别存在类内差异大，类间差异小的特点，容易受到环境因素的影响，导致现有的分类模型识别不准，不具备鲁棒性。
发明内容
基于此，有必要针对上述问题，提出一种识别准确度高且具有鲁棒性的痘痘类别识别方法、装置、计算机设备及存储介质。
一种痘痘类别识别方法，包括：
获取包含有痘痘的目标图像；
将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
一种痘痘类别识别装置，包括：
获取模块，用于获取包含有痘痘的目标图像；
输入模块，用于将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
第一提取模块，用于通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
第二提取模块，用于将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
第三提取模块，用于将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
分类模块，用于通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取包含有痘痘的目标图像；
将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取包含有痘痘的目标图像；
将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
上述痘痘类别识别方法、装置、计算机设备及存储介质，痘痘识别模型包括：生成器、判别器和分类器，所述生成器和判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；首先，通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，其次，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；继而，将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；最后，通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。上述生成器与判别器为生成对抗性网络，基于两者的对抗关系，不仅使得生成器能够提取到更加准确的图像特征，即第一特征图，而且能够使得输出的生成图像具有与目标图像相似的特征，然后基于判别器能够提取到生成图像的特征，即第二图像特征，最后基于第一特征图和第二特征图得到第三特征图，根据第三特征图进行痘痘识别分类，由于第三特征图综合了第一特征图的特征和第二特征图的特征，即同时考虑了目标图像的特征和生成图像的特征，有效地提高了痘痘类别识别的准确度。且由于第三特征图是在第一特征图和第二特征图的基础上进行提取的，这样能够有效降低分类器的网络规模，使得痘痘识别模型能够部署在算力有限的终端。另外，由于生成器在训练的过程中得到的生成图像能够覆盖不同环境下的痘痘图片，使得痘痘识别模型能够识别不同环境下的痘痘类别，即降低了环境的影响，使得痘痘识别模型具有鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是一个实施例中痘痘类别识别方法的流程图；
图2是一个实施例中分类器、生成器和判别器三者的连接关系的示意图；
图3是一个实施例中生成器的结构示意图；
图4是一个实施例中痘痘识别模型的训练方法流程图；
图5是一个实施例中痘痘识别模型的结构示意图；
图6是一个实施例中痘痘类别识别装置的结构框图；
图7是一个实施例中模型训练模块的结构框图；
图8是一个实施例中计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，提出了一种痘痘类别识别方法，该痘痘类别识别方法可以应用于终端，本实施例以应用于终端举例说明。该痘痘类别识别方法具体包括以下步骤：
步骤102，获取包含有痘痘的目标图像。
其中，目标图像为包含有待识别痘痘类别的图像。在一个实施例中，为了便于后续痘痘类别的识别，对目标图像进行归一化处理，将图像像素的取值范围从0-255转换为0-1之间，后续基于归一化处理后的目标图像进行识别。另外，还可以将痘痘图像进行放大处理，提高识别的准确度。
在一个实施例中，图像像素归一化的公式如下：
Figure BDA0002876355760000041
其中Xi为归一化处理之后的第i个像素值，xi为归一化处理之前的第i个像素值，max(x)和min(x)分别表示为图像像素的最大值和最小值。
举个例子，假设图像中像素的最大值为256，最小值为0，假设某个像素值原来为100，那么利用上述公式归一化后等于100/256，即转换为了0-1之间的数值。
步骤104，将目标图像作为痘痘识别模型的输入，痘痘识别模型包括：生成器、判别器和分类器，生成器和判别器为生成对抗性网络，生成器包括：第一卷积层和输出层，判别器包括：第二卷积层，分类器包括：第三卷积层和分类层，第一卷积层与输出层连接，输出层与第二卷积层连接，第三卷积层连接相对应的第一卷积层和第二卷积层，相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，第三卷积层与分类层连接。
其中，为了提高痘痘识别的准确度，训练得到的痘痘识别模型不仅包括分类器，还包括：生成器和判别器，生成器和判别器为生成对抗性神经网络。在模型训练的过程中，生成器用于生成与原始图像相似的生成图像，判别器则是将原始图片和生成图片作为输入，与生成器一起训练，通过识别原始图片和生成图片的真假来提升生成器生成图片的质量。即生成器训练的时候是为了生成与原始图像相似的图像，而判别器则负责识别出生成图像和原始图像，将原始图像判别为真，将生成图像判别为假，通过生成器和判别器的对抗训练，使得生成器生成的生成图像与原始图像的特征基本上一致，即达到以假乱真的目的，最终使得判别器无法准确识别输入的是生成图像还是原始图像。
分类器用于根据生成器提取的图像特征和判别器提取到的图像特征来对目标图像中的痘痘类别进行识别。具体地，如图2所示，为分类器、生成器和判别器三者的连接关系的示意图。为了区别，分别将生成器、判别器和分类器中的卷积层称为“第一卷积层”、“第二卷积层”和“第三卷积层”。
分类器中的第三卷积层分别与生成器相应的第一卷积层和判别器中相应的第二卷积层连接，互相连接的第一、第二和第三卷积层对应相同尺寸的特征图，即将生成器和判别器中相同大小的特征图按照通道进行拼合作为分类器中第三卷积层的输入。
卷积层用于对图像进行特征提取，通过设置的卷积模板(即卷积核)对图像进行卷积处理来提取相应的图像特征。上述生成器中的输出层用于根据提取到的图像特征输出得到生成图像。上述分类器中的分类层用于根据提取到的特征确定目标图像属于各个类别的概率。
步骤106，通过第一卷积层对目标图像进行特征提取，得到第一特征图，通过输出层根据第一特征图输出与目标图像具有相似特征的生成图像。
其中，训练好的生成器的第一卷积层用来对目标图像进行特征提取，得到第一特征图。需要说明的，生成器的第一卷积层可以是多个，那么相应地每个第一卷积层都会输出一个第一特征图，不同第一卷积层输出的第一特征图不同。生成器的最后一层是输出层，通过输出层输出生成的与目标图像具有相似特征的生成图像。
步骤108，将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图。
其中，判别器在训练阶段是作为生成器的辅助来促进生成器训练的，而在预测阶段，判别器的作用是提取图像特征，得到第二特征图。在预测阶段，将生成图像作为判别器的输入，生成图像具有与目标图像相似的特征，基于生成图像提取到第二特征图。判别器中的第二卷积层也可以是多个，那么相应地会提取得到多个第二特征图，即每个第二卷积层都对应一个第二特征图，但是需要说明的是：不同第二卷积层对应的第二特征图不同。
步骤110，将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图。
其中，为了有效降低网络规模，使得生成器和判别器可以与分类器共享卷积参数，将具有相同尺寸的第一特征图和第二特征图按照通道拼接，输入到分类器，分类器中的第三卷积层基于第一特征图和第二特征图进行特征提取得到第三特征图。比如，假设从编码器获取到的是大小为20*20*16的第一特征图，从判别器获取到的是大小为20*20*16的第二特征图，将两部分进行拼接操作，得到20*20*32的拼接特征图。然后再采用1*1的卷积层对20*20*32的拼接特征图进行特征提取得到大小为20*20*32的第三特征图。
由于生成器和判别器已经辅助提取到了目标图像的特征，所以分类器不需要设置复杂的网络就可以完成对目标图像中痘痘类型的识别，大大降低了痘痘识别模型的复杂度，从而可以实现在终端进行部署。
在一个实施例中，分类器中包含有多个第三卷积层，每个第三卷积层都分别与生成器相应的第一卷积层和判别器相应的第二卷积层连接，分类器的每个第三卷积层的输入都对应有第一特征图和第二特征图，每个第三卷积层的输出为第三特征图。
步骤112，通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
其中，分类层包括：融合层和输出层，融合层用于对分类器中的多个卷积层对应的多个第三特征图进行特征融合，融合层采用全连接层来实现，用于将不同大小尺寸的第三特征图进行融合，然后基于融合得到的特征采用输出层将识别得到的痘痘属于各个类别的概率输出，即输出层先是根据融合得到的特征映射到各个类别得到各个类别对应的概率，然后将各个类别的概率输出。输出层一般采用softmax层。举个例子，假设分类层有三个第三卷积层，分别对应三个不同尺度的第三特征图，比如，三个不同尺度的第三特征图分别为20*20*32，10*10*64，5*5*64，通过全连接层融合这三个不同尺度特征，得到1*1*512的特征图，具体地，将三个不同尺度的第三特征图分别作为全连接层的输入，三者在全连接层中属于并行计算的关系，在全连接层中进行映射操作，将三个不同尺度的第三特征图中相应的点位映射到同一位置来进行融合。最终再输入到1*1*N的输出层，其中，N表示痘痘的类别数目，输出痘痘每个类别的概率值。
上述痘痘类别识别方法、装置、计算机设备及存储介质，痘痘识别模型包括：生成器、判别器和分类器，所述生成器和判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；首先，通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，其次，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；继而，将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；最后，通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。上述生成器与判别器为生成对抗性网络，基于两者的对抗关系，不仅使得生成器能够提取到更加准确的图像特征，即第一特征图，而且能够使得输出的生成图像具有与目标图像相似的特征，然后基于判别器能够提取到生成图像的特征，即第二图像特征，最后基于第一特征图和第二特征图得到第三特征图，根据第三特征图进行痘痘识别分类，由于第三特征图综合了第一特征图的特征和第二特征图的特征，即同时考虑了目标图像的特征和生成图像的特征，有效地提高了痘痘类别识别的准确度。且由于第三特征图是在第一特征图和第二特征图的基础上进行提取的，这样能够有效降低分类器的网络规模，使得痘痘识别模型能够部署在算力有限的终端。另外，由于生成器在训练的过程中得到的生成图像能够覆盖不同环境下的痘痘图片，使得痘痘识别模型能够识别不同环境下的痘痘类别，即降低了环境的影响，使得痘痘识别模型具有鲁棒性。
在一个实施例中，所述生成器包括：编码器和解码器，所述编码器包括依次连接的N个第一卷积层，所述解码器包括：依次连接的N个反卷积层和所述输出层，所述N个第一卷积层中的第i个第一卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个第一卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，所述N个反卷积层中的第N个反卷积层与所述输出层连接，1≤i≤N，N为1的正整数；
所述通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像，包括：
通过编码器中的第i个第一卷积层对所述第i个第一卷积层对应的输入特征图进行特征提取，得到所述第i个第一卷积层对应的第一特征图，其中，当i为1时，所述第i个第一卷积层对应的输入特征图为所述目标图像，当i不为1时，所述第i个第一卷积层对应的输入特征图为第(i-1)个第一卷积层对应的第一特征图；
通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个第一卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述第i个卷积层对应的第一特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；
将第N插值特征图作为所述输出层的输入，通过所述输出层根据所述第N插值特征图输出与所述目标图像具有相似特征且与所述目标图像具有相同大小的生成图像。
其中，生成器是由编码器和解码器组成的，编码器包括N个第一卷积层，解码器包括N个反卷积层和输出层，每个第一卷积层中包含有池化层，池化层的作用是对输入的特征图进行降维。而解码器中每个反卷积层中包含有卷积处理和插值处理。插值处理的目的是使其恢复到原来的大小。在一个实施例中，编码器的每个第一卷积层中包含2×2的最大池化层，而解码器的每个反卷积层中包含有2×2的最近邻插值的过程，从而使得最终输出的图像与输入的图像一样大。
编码器中包括依次连接的多个第一卷积层，每个第一卷积层都对应输出一个第一特征图。第i个第一卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接。即第i个第一卷积层和第N+1-i个反卷积层为对称关系，举个例子，当N等于5，i＝1时，表示第1个第一卷积层和第5个反卷积层为对称关系，两者跳跃连接。具有对称关系的第一卷积层和反卷积层对应相同尺寸的特征图，即第一卷积层输出的特征图尺寸与反卷积层输入的特征图尺寸相同，为了获取更丰富的特征信息，将两者采用跳跃连接方式连接在一起。
将编码器中提取到特征通过跳跃连接方式传输至解码器，增强了解码器对于不同尺度特征图细节信息的学习，得到了包含有更多丰富信息的图像特征。
参考图3，举例说明，假设N＝3，编码器有依次连接的三个第一卷积层，分别为第一卷积层1，第一卷积层2和第一卷积层3，解码器包括有依次连接的三个反卷积层，分别为反卷积层1，反卷积层2和反卷积层3，其中，第一卷积层1和反卷积层3对称，第一卷积层2和反卷积层2对称，第一卷积层3和反卷积层1对称。
对于编码器，首先模型输入为40*40*3大小的痘痘图像(即目标图像)，输入到生成器网络中，首先，第一卷积层1中采用16个3*3卷积核大小的进行特征提取，获得16张40*40大小的特征图，采用2*2最大池化层进行降维操作获得20*20*16的特征图，即第一卷积层1输出的是20*20*16的第一特征图；
其次，第一卷积层2对该20*20*16的特征图在采用32个3*3卷积核大小进行卷积运算，得到32张20*20大小的特征图，采用2*2最大池化层进行降维操作获得10*10*32的特征图，即第一卷积层2输出的是10*10*32的第一特征图；
最后，第一卷积层3对10*10*32的特征图采用32个3*3卷积核大小进行卷积运算，得到32张10*10大小的特征图，采用2*2最大池化层进行降维操作获得5*5*32的特征图，即第一卷积层3最终输出为5*5*32的第一特征图。
解码器中不同大小的特征图由两部分构成，其中，对于反卷积层1，首先输入的是上一层(即卷积层3)的输出特征图，即5*5*32特征图，然后采用32个3*3卷积核进行卷积运算，得到5*5*32的中间特征图，之后与编码器相应第一卷积层3输出的5*5*32特征图进行融合，即将5*5*32与5*5*32进行融合操作(对应点位相乘)得到5*5*32的融合特征图。之后再采用2×2的最近邻插值操作得到10*10*32特征图。
对于反卷积层2，首先输入的是上一层(即反卷积层1)的输出特征图，为10*10*32的特征图，同样地采用32个3*3卷积核进行卷积运算得到10*10*32的中间特征图，然后与编码器相应的第一卷积层2输出的10*10*32的特征图进行融合，即将10*10*32与10*10*32进行融合操作(对应点位相乘)得到10*10*32融合特征图。再采用反卷积2×2的最近邻插值操作得到20*20*32特征图。
对于反卷积层3，首先输入的上一层(即反卷积层2)的输出特征图，20*20*32特征图，同样地采用32个3*3卷积核进行卷积运算得到20*20*32的中间特征图，然后与编码器相应的第一卷积层1输出的20*20*32特征图进行融合，同样地得到20*20*32的融合特征图，在采用反卷积2×2的最近邻插值操作得到40*40*3特征图。该得到的40*40*3特征图的大小与输入的目标图像的大小相同。
最后通过输出层将得到的40*40*3特征图输出得到生成图像。
在一个实施例中，所述分类器包括：N个第三卷积层，所述判别器包括：N个第二卷积层，所述N个第三卷积层中的第i个第三卷积层分别与所述N个第一卷积层中的第i个第一卷积层和所述N个第二卷积层中的第i个第二卷积层连接，所述N个第三卷积层分别与所述分类层连接；
所述将尺寸相同的第一特征图和第二特征图作为所述分类器中的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图，包括：
将所述第i个第一卷积层对应的第一特征图与第i个第二卷积层对应的第二特征图进行拼接，得到第i拼接特征图，通过所述第i个第三卷积层对所述第i拼接特征图进行卷积处理，得到所述第i个第三卷积层对应的第三特征图；
所述通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果，包括：
通过所述分类层将所述N个第三卷积层各自对应的第三特征图进行融合特征提取，根据提取到的融合特征确定目标图像中痘痘的类别，得到所述分类结果。
其中，为了减少模型的参数，将生成器中的与判别器相同尺度的特征图按照通道进行拼接，得到拼接特征图，比如，将两个20*20*16的特征图进行拼接，得到20*20*32的拼接特征图。将该拼接特征图作为分类器中相应卷积层的输入，得到第三特征图。分类器中包括N个第三卷积层，每个第三卷积层对应输出一个第三特征图，这样就得到N个第三特征图，需要说明的是，不同第三卷积层对应的第三特征图是不一样的，最后由分类器中的分类层中的融合层将N个第三特征图进行融合，然后进行分类。在一个实施例中，分类层包括：融合层和softmax层(即输出层)构成，softmax层用于将输出的结果转为概率形式输出。
如图4所示，在一个实施例中，痘痘识别模型的训练步骤如下：
步骤402，获取训练图像集，训练图像集中包括：多个训练图像和每个训练图像对应的痘痘类别标注。
其中，训练图像集中包括有不同痘痘类别的图像。预先将痘痘类别进行分类，比如，分为6类，分别为粉刺、逗后红斑、炎症性丘疹、脓包、结节和囊肿六类。在一个实施例中，痘痘类别标注采用one-hot(一维向量)进行标注，比如，粉刺标注为[1,0,0,0,0,0]，炎症性丘疹表示为[0,0,1,0,0,0]等。
步骤404，将目标训练图像作为生成器的输入，所述生成器包括：编码器和解码器，通过所述编码器对所述目标训练图像进行特征提取，得到第一训练特征图，并通过所述解码器对所述第一训练特征图进行反卷积操作得到与所述训练图像大小相同的训练生成图像，所述目标训练图像为所述训练图像集中的任一训练图像。
其中，编码器包括：第一卷积层，由编码器中的第一卷积层对目标训练图像进行特征提取，得到第一训练特征图，由于经过第一卷积层进行卷积处理后得到的第一训练特征图比输入的训练图像小，解码器中包括：反卷积层，由解码器中的反卷积层对第一训练特征图像进行反卷积操作得到与训练图像大小相同的生成图像。通过反卷积层将图像恢复为与训练图像大小相同，可以使得生成图像保留更多与目标训练图像相似的特征，而且便于后续以同样大小输入到判别器来进行真假判断。
步骤406，将训练判别图像作为判别器的输入，通过所述判别器对所述训练判别图像特征提取，得到第二训练特征图，根据所述训练判别图像进行判别，得到判别结果，所述训练判别图像为从所述目标训练图像或所述训练生成图像中随机选取的一个。
其中，训练判别图像是指目标训练图像或训练生成图像。为了能够让判别器根据提取到图像特征识别出真假，生成图像和训练图像是随机输入到判别器中的，防止判别器因识别出输入的规律而识别真假。如果输入的为目标训练图像，期望判别器的输出为真，如果输入的是训练生成图像，期望判别器的输出为假，即目标训练图像对应的标注为真，训练生成图像对应的标注为假。
在一个实施例中，判别器包括3个第二卷积层，其中，3个第二卷积层带有批量归一化并采用LReLU激活函数。一旦从前面的卷积层中学习到一系列特征后，最后softmax中的sigmoid激活函数会输出一个归一化到[0,1]的评分，用于表示当前输入图像为真实图像的可信度。评分越高，表示当前重构图片越接近真实图片。
参考图5，在一个具体的实施例中，判别器的输入：为40*40*3特征图，第二卷积层1采用16个3*3卷积核进行卷积运算，步长设置为2，激活函数设置为LReLU，则输出20*20*16大小的特征图；
第二卷积层2，采用32个3*3卷积核进行卷积运算，步长设置为2，激活函数设置为LReLU，则输出10*10*32大小的特征图；
第三卷积层3，采用32个3*3卷积核进行卷积运算，步长设置为2，激活函数设置为LReLU，则输出5*5*32大小的特征图。
再连接全连接层获取1*1*512大小的特征图，再连接全连接层获取1*1*2特征图，再通过softmax激活函数，输出图像真假概率值。
步骤408，根据所述训练判别图像的判别结果和所述训练判别图像的图像标注采用第一损失函数计算得到第一损失值，所述训练判别图像的图像标注为指示所述训练判别图像为真实图像或虚假图像的标注。
其中，训练判别图像的图像标注为真或假，当训练判别图像为目标训练图像时，则对应的标注为真，当训练判别图像为训练生成图像时，则对应的标注为假。判别器得到判别结果后，要将判别结果和标注结果进行比对，然后采用第一损失函数计算得到第一损失值，第一损失函数为对抗损失函数。
步骤410，将所述第一训练特征图和所述第二训练特征图作为所述分类器的输入，通过所述分类器对所述第一训练特征图和第二训练特征图进行特征提取和分类，得到分类结果。
其中，为了减少痘痘类别识别模型的参数，直接将第一训练特征图和第二训练特征图作为分类器中第三卷积层的输入，第一训练特征图和第二训练特征图是已经提取到的图像特征，将图像特征作为分类器的输入，可以大大简化分类器，且有利于提高分类的准确性。
步骤412，根据所述分类结果和所述目标训练图像对应的痘痘类别标注采用第二损失函数计算得到第二损失值。
其中，痘痘类别标注是指期望输出的痘痘类别，可以采用一维向量表示，比如，粉刺标注为[1,0,0,0,0,0]，炎症性丘疹表示为[0,0,1,0,0,0]等。分类结果是指得到各个类别的概率，根据该各个类别的概率和真实的痘痘类别采用第二损失函数计算得到第二损失值。
步骤414，根据第一损失值和第二损失值计算得到总损失值。
其中，生成器、判别器和分类器是一起训练得到的，生成器和判别器构成了对抗网络，两者对应第一损失值，而分类器根据实际输出的分类结果和痘痘类别标注计算得到第二损失值，然后将两者进行相加或加权平均得到总损失值，进而根据总损失值对生成器、判别器和分类器中包含的参数进行调整。调整的方式一般采用梯度下降法。
步骤416，根据总损失值更新生成器、判别器和分类器中的权重参数，以使得总损失值朝着减小的方向变化。
其中，在模型训练的过程中，需要根据总损失值不断调整生成器、判别器和分类器中的权重参数，从而使得总损失值朝着减小的方向变化，直到总损失值达到收敛，或者迭代次数超过预设次数(比如，十万次)。
步骤418，从所述训练图像集中获取新的目标训练图像，返回执行所述将所述目标训练图像作为生成器的输入的步骤，直到所述总损失值满足收敛条件，训练结束。
其中，在模型训练时，输入到模型中的目标训练图像是按照批输入的，批大小是预设的，损失值的计算是根据批来计算的，不是输入一张训练图片计算一次，一般是输入n张目标训练图片，根据n张目标训练图片对应的结果计算得到损失值的。在一个实施例中，批(Batch)大小为5，即n＝5，将5个目标训练图像作为一批。当总损失值满足收敛条件时训练结束。
上述模型训练的过程中，利用生成对抗网络的特性，通过生成与原图(即训练图像)相似的图片，使得模型在训练的过程中，能不断地学习与原图相似的图片特征，由于生成图像与原图对应的场景往往不同，所以通过生成图像可以丰富痘痘类别图的场景，从而使得训练得到的痘痘识别模型适用于不同场景下的痘痘类别识别，即使得模型具有鲁棒性，同时利用生成网络提取的原图特征与判别网络提取的生成图片特征进行融合，不仅能够提高痘痘类别识别的准确度，而且能够有效降低了分类器网络模型规模，通过分类器与生成器和判别器三者共享网络的卷积参数，可以大大降低运算量，使得痘痘类别模型能够适用于部署在终端，从而实现了端对端的痘痘类别识别。
在一个实施例中，所述第一损失函数为对抗损失函数，所述第二损失函数为交叉熵损失函数；所述根据所述第一损失值和所述第二损失值计算得到总损失值，包括：获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数；根据所述第一权重系数、所述第一损失值、第二权重系数和第二损失值进行加权平均得到所述总损失值。
其中，为了能够生成更加真实的图像，第一损失函数采用对抗损失函数，生成器希望其输出生成的图片能够骗过判别器，判别器则是希望能够准确地判定图片的真假。在一个实施例中，对抗损失函数采用Wasserstein距离损失，假设pr和pg分别表示真实图像(即目标训练图像)与生成图像的分布，其公式如下：
Lg＝max[Ec'-pr[lnD(c')]+Ec-pg[ln(1-D(G(c))]]
其中,D(c＇)表示判别器对输入的目标训练图像c＇输出为真的概率值(即判别器输出的判别结果)，表示输出为真的概率值越大，相应的损失值越小,G(c)表示生成器生成的训练生成图像,D(G(c))表示判别器对输入的训练生成图像G(c)输出为真的概率值，ln(1-D(G(c)))表示输出的训练生成图像为真的概率值越大，相应的损失值也越大。训练模型的目的是使得损失值往小的方向改变，即使得D(c＇)的值越大越好，使得D(G(c))的值越小越好。
该对抗损失函数由两部分组成，一部分是目标训练图像对应的损失函数，一部分是训练生成图像对应的损失函数，在训练的过程中，是将目标训练图像和训练生成图像随机输入到判别器的，所以目标训练图像和训练生成图像处于不同的分布，比如，假设每个批次输入有5次，其中第1,2和4次输入的目标训练图像，那么目标训练图像对应的分布就是第1、2和4次，而训练生成图像对应的分布为第3和第5次。相应地计算5次得到5个损失值，取5个损失值中的最大值作为该部分的损失值。
具体地，将通过softmax层得到的输出作为交叉熵损失函数的输入，计算得到softmax损失，假设痘痘类别个数为n(n＝6),则softmax层(即输出层)有n个输出向量。Si表示第i个输出向量的值，即表示第i类的概率值，yi表示痘痘的真实标签，痘痘的真实标签是采用one-hot来表示，里面包含有6个类别对应的真实值，比如，假设，标签表示为[0,0,1,0,0,0]，该标签表示第3类期望输出为1，其他类期望输出为0。则softmax损失计算公式如下：
Figure BDA0002876355760000111
其中，n表示痘痘类别个数，m表示批大小(即Batch)。比如，当m＝5时，表示将5次得到的损失值进行加和得到该部分的损失值。
痘痘识别模型总的损失函数L由对抗损失函数和交叉熵损失函数两部分构成，可以采用以下公式计算得到：
L＝αLg+βLs
其中α和β为超参数，用来平衡各个部分损失值的权重，在一个实施例中，预定义超参数为α＝0.4,β＝0.6。
在一个实施例中，所述获取训练图像集，包括：获取原始训练图像集，对所述原始训练图像集中的原始训练图像进行预处理，将预处理后的训练图像作为所述训练图像集中的训练图像，所述预处理包括：归一化处理。
其中，为了使得训练得到的模型更加准确，首先对原始训练图像集进行预处理，预处理的目的是使得包含有痘痘的训练图像更加便于识别。在一个实施例中，由于原始训练图像较小，将原始训练图像进行归一化操作，将图像像素值的取值范围从0～255转为0～1之间，有助于模型的训练。归一化公式如下：
Figure BDA0002876355760000121
其中，其中Xi为归一化处理之后的第i个像素值，xi为归一化处理之前的第i个像素值，max(x)和min(x)分别表示为图像像素的最大值和最小值。。
在一个实施例中，所述生成器中的编码器包括三个卷积层，所述生成器中的解码器包括三个反卷积层和一个输出层，所述编码器和所述解码器是基于U型网络构建的，具有对称关系的卷积层和反卷积层对应相同尺寸的特征图。
其中，编码器包括三个卷积层，解码器包括三个反卷积层，编码器和解码器是基于U型网络构建，U型网络结构是关于Y轴对称的，即三个卷积层和三个反卷积层是关于Y轴对称的，假设按照从前到后的顺序，编码器中分别包括：第一卷积层、第二卷积层和第三卷积层，解码器中包括：第一反卷积层、第二反卷积层和第三反卷积层，所述第一卷积层与第三反卷积层是对称的，第二卷积层与第二反卷积层是对称的，第三卷积层和第一反卷积层是对称的。参考图2中编码器和解码器的结构图。
如图5所示，在一个实施例中，痘痘类别识别模型包括：生成器、判别器和分类器。其中，生成器包括：编码器和解码器，编码器中包括3个第一卷积层，解码器中包括3个反卷积层和一个输出层。编码器和解码器构成了U型网络，三个第一卷积层和三个反卷积层呈现对称关系，第一卷积层和与之对应的反卷积层采用跳跃连接方式连接。编码器中的每个第一卷积层中包含有一个2×2的最大池化层，而解码器的每个反卷积层会进行2×2的最近邻差值，以使得最终输出的生成图像与输入图像大小相同。
判别器包括：3个第二卷积层、全连接层以及输出层(图中未示出)，3个第二卷积层带有批量归一化并采用LReLU激活函数。一旦从前面的卷积层中学习到一系列特征后，通过两个全连接层进行特征综合提取，再通过softmax(输出层)中的激活函数(sigmoid激活函数)，输出图像真假概率值，最后的sigmoid激活函数会输出一个归一化到[0,1]的评分,用于表示当前输入图像为真实图像的可信度。评分越高，表示当前重构图片越接近真实图片。
分类器包括：3个第三卷积层和一个分类层，分类层包括：融合层和softmax层构成。分类器中的每个卷积层分别与编码器中对应的卷积层以及判别器中对应的卷积层连接。互相连接的卷积层对应相同尺度的特征图。
如图6所示，一种痘痘类别识别装置，包括：
获取模块602，用于获取包含有痘痘的目标图像；
输入模块604，用于将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
第一提取模块606，用于通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
第二提取模块608，用于将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
第三提取模块610，用于将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
分类模块612，用于通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
在一个实施例中，所述生成器包括：编码器和解码器，所述编码器包括依次连接的N个第一卷积层，所述解码器包括：依次连接的N个反卷积层和所述输出层，所述N个第一卷积层中的第i个第一卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个第一卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，所述N个反卷积层中的第N个反卷积层与所述输出层连接，1≤i≤N，N为1的正整数；
第一提取模块还用于通过编码器中的第i个第一卷积层对所述第i个第一卷积层对应的输入特征图进行特征提取，得到所述第i个第一卷积层对应的第一特征图，其中，当i为1时，所述第i个第一卷积层对应的输入特征图为所述目标图像，当i不为1时，所述第i个第一卷积层对应的输入特征图为第(i-1)个第一卷积层对应的第一特征图；通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个第一卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述第i个卷积层对应的第一特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；将第N插值特征图作为所述输出层的输入，通过所述输出层根据所述第N插值特征图输出与所述目标图像具有相似特征且与所述目标图像具有相同大小的生成图像。
在一个实施例中，所述分类器包括：N个第三卷积层，所述判别器包括：N个第二卷积层，所述N个第三卷积层中的第i个第三卷积层分别与所述N个第一卷积层中的第i个第一卷积层和所述N个第二卷积层中的第i个第二卷积层连接，所述N个第三卷积层分别与所述分类层连接；
第三提取模块还用于将所述第i个第一卷积层对应的第一特征图与第i个第二卷积层对应的第二特征图进行拼接，得到第i拼接特征图，通过所述第i个第三卷积层对所述第i拼接特征图进行卷积处理，得到所述第i个第三卷积层对应的第三特征图；
分类模块还用于通过所述分类层将所述N个第三卷积层各自对应的第三特征图进行融合特征提取，根据提取到的融合特征确定目标图像中痘痘的类别，得到所述分类结果。
如图7所示，在一个实施例中，上述装置还包括：模型训练模块，该模型训练模块包括：
训练获取模块601A，获取训练图像集，所述训练图像集中包括：多个训练图像和每个训练图像对应的痘痘类别标注；
训练输入模块601B，用于将目标训练图像作为生成器的输入，所述生成器包括：编码器和解码器，通过所述编码器对所述目标训练图像进行特征提取，得到第一训练特征图，并通过所述解码器对所述第一训练特征图进行反卷积操作得到与所述训练图像大小相同的训练生成图像，所述目标训练图像为所述训练图像集中的任一训练图像；
训练提取模块601C，用于将训练判别图像作为判别器的输入，通过所述判别器对所述训练判别图像特征提取，得到第二训练特征图，根据所述训练判别图像进行判别，得到判别结果，所述训练判别图像为从所述目标训练图像或所述训练生成图像中随机选取的一个；
第一计算模块601D，用于根据所述训练判别图像和所述训练判别图像的图像标注采用第一损失函数计算得到第一损失值，所述训练判别图像的图像标注为指示所述训练判别图像为真实图像或虚假图像的标注；
训练分类模块601E，用于将所述第一训练特征图和所述第二训练特征图作为所述分类器的输入，通过所述分类器对所述第一训练特征图和第二训练特征图进行特征提取和分类，得到分类结果；
第二计算模块601F，用于根据所述分类结果和所述目标训练图像对应的痘痘类别标注采用第二损失函数计算得到第二损失值；
第三计算模块601G，用于根据所述第一损失值和所述第二损失值计算得到总损失值；
更新调整模块601H，用于根据所述总损失值更新所述生成器、判别器和所述分类器中的权重参数，以使得所述总损失值朝着减小的方向变化；从所述训练图像集中获取新的目标训练图像，返回执行所述将所述目标训练图像作为生成器的输入的步骤，直到所述总损失值满足收敛条件，训练结束。
在一个实施例中，所述第一损失函数为对抗损失函数，所述第二损失函数为交叉熵损失函数；
第三计算模块还用于获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数；根据所述第一权重系数、所述第一损失值、第二权重系数和第二损失值进行加权平均得到所述总损失值。
在一个实施例中，训练获取模块还用于获取原始训练图像集，对所述原始训练图像集中的原始训练图像进行预处理，将预处理后的训练图像作为所述训练图像集中的训练图像，所述预处理包括：归一化处理。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的痘痘类别识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的痘痘类别识别方法。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述痘痘类别识别方法的步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述痘痘类别识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种痘痘类别识别方法，其特征在于，包括：
获取包含有痘痘的目标图像；
将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
2.根据权利要求1所述的方法，其特征在于，所述生成器包括：编码器和解码器，所述编码器包括依次连接的N个第一卷积层，所述解码器包括：依次连接的N个反卷积层和所述输出层，所述N个第一卷积层中的第i个第一卷积层和所述N个反卷积层的第N+1-i个反卷积层跳跃连接，所述第i个第一卷积层对应的输入特征图的尺寸与所述第N+1-i个反卷积层对应的输出特征图的尺寸相同，所述N个反卷积层中的第N个反卷积层与所述输出层连接，1≤i≤N，N为1的正整数；
所述通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像，包括：
通过编码器中的第i个第一卷积层对所述第i个第一卷积层对应的输入特征图进行特征提取，得到所述第i个第一卷积层对应的第一特征图，其中，当i为1时，所述第i个第一卷积层对应的输入特征图为所述目标图像，当i不为1时，所述第i个第一卷积层对应的输入特征图为第(i-1)个第一卷积层对应的第一特征图；
通过第N+1-i个反卷积层对第N+1-i个反卷积层对应的输入特征图进行卷积处理，得到第N+1-i中间特征图，对所述第i个第一卷积层对应的第一特征图和所述第N+1-i中间特征图进行融合，得到第N+1-i融合特征图，对所述第N+1-i融合特征图进行插值处理，得到第N+1-i插值特征图，其中，当i为N时，所述第N+1-i个反卷积层对应的输入特征图为所述第i个卷积层对应的第一特征图，当i不为N时，所述第N+1-i个反卷积层对应的输入特征图为第(N-i)插值特征图；
将第N插值特征图作为所述输出层的输入，通过所述输出层根据所述第N插值特征图输出与所述目标图像具有相似特征且与所述目标图像具有相同大小的生成图像。
3.根据权利要求2所述的方法，其特征在于，所述分类器包括：N个第三卷积层，所述判别器包括：N个第二卷积层，所述N个第三卷积层中的第i个第三卷积层分别与所述N个第一卷积层中的第i个第一卷积层和所述N个第二卷积层中的第i个第二卷积层连接，所述N个第三卷积层分别与所述分类层连接；
所述将尺寸相同的第一特征图和第二特征图作为所述分类器中的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图，包括：
将所述第i个第一卷积层对应的第一特征图与第i个第二卷积层对应的第二特征图进行拼接，得到第i拼接特征图，通过所述第i个第三卷积层对所述第i拼接特征图进行卷积处理，得到所述第i个第三卷积层对应的第三特征图；
所述通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果，包括：
通过所述分类层将所述N个第三卷积层各自对应的第三特征图进行融合特征提取，根据提取到的融合特征确定目标图像中痘痘的类别，得到所述分类结果。
4.根据权利要求2所述的方法，其特征在于，所述痘痘识别模型的训练步骤如下：
获取训练图像集，所述训练图像集中包括：多个训练图像和每个训练图像对应的痘痘类别标注；
将目标训练图像作为生成器的输入，所述生成器包括：编码器和解码器，通过所述编码器对所述目标训练图像进行特征提取，得到第一训练特征图，并通过所述解码器对所述第一训练特征图进行反卷积操作得到与所述训练图像大小相同的训练生成图像，所述目标训练图像为所述训练图像集中的任一训练图像；
将训练判别图像作为判别器的输入，通过所述判别器对所述训练判别图像特征提取，得到第二训练特征图，根据所述训练判别图像进行判别，得到判别结果，所述训练判别图像为从所述目标训练图像或所述训练生成图像中随机选取的一个；
根据所述训练判别图像的判别结果和所述训练判别图像的图像标注采用第一损失函数计算得到第一损失值，所述训练判别图像的图像标注为指示所述训练判别图像为真实图像或虚假图像的标注；
将所述第一训练特征图和所述第二训练特征图作为所述分类器的输入，通过所述分类器对所述第一训练特征图和第二训练特征图进行特征提取和分类，得到分类结果；
根据所述分类结果和所述目标训练图像对应的痘痘类别标注采用第二损失函数计算得到第二损失值；
根据所述第一损失值和所述第二损失值计算得到总损失值；
根据所述总损失值更新所述生成器、判别器和所述分类器中的权重参数，以使得所述总损失值朝着减小的方向变化；
从所述训练图像集中获取新的目标训练图像，返回执行所述将所述目标训练图像作为生成器的输入的步骤，直到所述总损失值满足收敛条件，训练结束。
5.根据权利要求4所述的方法，其特征在于，所述第一损失函数为对抗损失函数，所述第二损失函数为交叉熵损失函数；
所述根据所述第一损失值和所述第二损失值计算得到总损失值，包括：
获取所述第一损失值对应的第一权重系数，获取所述第二损失值对应的第二权重系数；
根据所述第一权重系数、所述第一损失值、第二权重系数和第二损失值进行加权平均得到所述总损失值。
6.根据权利要求4所述的方法，其特征在于，所述获取训练图像集，包括：
获取原始训练图像集，对所述原始训练图像集中的原始训练图像进行预处理，将预处理后的训练图像作为所述训练图像集中的训练图像，所述预处理包括：归一化处理。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述N等于3。
8.一种痘痘类别识别装置，其特征在于，包括：
获取模块，用于获取包含有痘痘的目标图像；
输入模块，用于将所述目标图像作为痘痘识别模型的输入，所述痘痘识别模型包括：生成器、判别器和分类器，所述生成器和所述判别器为生成对抗性网络，所述生成器包括：第一卷积层和输出层，所述判别器包括：第二卷积层，所述分类器包括：第三卷积层和分类层，所述第一卷积层与所述输出层连接，所述输出层与所述第二卷积层连接，所述第三卷积层连接相对应的第一卷积层和第二卷积层，所述相对应的第一卷积层和第二卷积层用于输出尺寸相同的特征图，所述第三卷积层与所述分类层连接；
第一提取模块，用于通过所述第一卷积层对所述目标图像进行特征提取，得到第一特征图，通过所述输出层根据所述第一特征图输出与所述目标图像具有相似特征的生成图像；
第二提取模块，用于将所述生成图像作为所述判别器的输入，通过所述第二卷积层对所述生成图像进行特征提取，得到第二特征图；
第三提取模块，用于将尺寸相同的第一特征图和第二特征图作为所述分类器的输入，通过与所述尺寸对应的第三卷积层对所述第一特征图和第二特征图进行特征提取，以得到第三特征图；
分类模块，用于通过所述分类器的分类层根据所述第三特征图对所述目标图像中的痘痘进行分类，得到分类结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的痘痘类别识别方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的痘痘类别识别的步骤。
CN202011636260.XA 2020-12-31 2020-12-31 痘痘类别识别方法、装置、计算机设备及存储介质 Active CN112699809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011636260.XA CN112699809B (zh) 2020-12-31 2020-12-31 痘痘类别识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011636260.XA CN112699809B (zh) 2020-12-31 2020-12-31 痘痘类别识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112699809A true CN112699809A (zh) 2021-04-23
CN112699809B CN112699809B (zh) 2023-08-01

Family

ID=75513744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011636260.XA Active CN112699809B (zh) 2020-12-31 2020-12-31 痘痘类别识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112699809B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239986A (zh) * 2022-06-10 2022-10-25 首都医科大学附属北京友谊医院 图像分类方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN110210486A (zh) * 2019-05-15 2019-09-06 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GOODFELLOW I ET AL: "Generative Adversarial Nets", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
鲁力等: "改进的DCGAN在SAR图像分类中的应用", 《控制工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239986A (zh) * 2022-06-10 2022-10-25 首都医科大学附属北京友谊医院 图像分类方法、装置、设备及存储介质
CN115239986B (zh) * 2022-06-10 2023-11-07 首都医科大学附属北京友谊医院 图像分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112699809B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111126258A (zh) 图像识别方法及相关装置
CN111695463B (zh) 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN111368937A (zh) 图像分类方法、装置、及其训练方法、装置、设备、介质
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN106709418A (zh) 基于现场照和证件照的人脸识别方法及识别装置
CN113344000A (zh) 证件翻拍识别方法、装置、计算机设备和存储介质
CN111931908A (zh) 一种基于人脸轮廓的人脸图像自动生成方法
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN113628211A (zh) 参数预测推荐方法、设备及计算机可读存储介质
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN114821736A (zh) 基于对比学习的多模态人脸识别方法、装置、设备及介质
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN113221695B (zh) 训练肤色识别模型的方法、识别肤色的方法及相关装置
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN114359787A (zh) 目标属性识别方法、装置、计算机设备及存储介质
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113033587A (zh) 图像识别结果评估方法、装置、电子设备及存储介质
CN113610164B (zh) 一种基于注意力平衡的细粒度图像识别方法及其系统
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant