CN110781976A - 训练图像的扩充方法、训练方法及相关装置 - Google Patents

训练图像的扩充方法、训练方法及相关装置 Download PDF

Info

Publication number
CN110781976A
CN110781976A CN201911056394.1A CN201911056394A CN110781976A CN 110781976 A CN110781976 A CN 110781976A CN 201911056394 A CN201911056394 A CN 201911056394A CN 110781976 A CN110781976 A CN 110781976A
Authority
CN
China
Prior art keywords
color
images
model
training
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911056394.1A
Other languages
English (en)
Other versions
CN110781976B (zh
Inventor
鲍宗袍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911056394.1A priority Critical patent/CN110781976B/zh
Publication of CN110781976A publication Critical patent/CN110781976A/zh
Application granted granted Critical
Publication of CN110781976B publication Critical patent/CN110781976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本申请提供一种训练图像的扩充方法、训练方法及相关装置，涉及机器学习的行人识别领域。该训练图像的扩充方法包括：获取行人的多张待转换图像；多张待转换图像包括行人的至少两种行人颜色数据；根据多张待转换图像，获取颜色数据生成模型；颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型；将多张待转换图像输入至颜色数据生成模型，获取多张目标颜色图像；将待转换图像和多张目标颜色图像作为颜色训练集。使用本申请提供的数据扩充方法，在真实的颜色数据基础上，可以获取更多的特定颜色数据，进而实现颜色识别模型训练的训练数据需求，提高颜色识别的准确率。

Description

训练图像的扩充方法、训练方法及相关装置
技术领域
本申请涉及机器学习的行人识别领域，具体而言，涉及训练图像的扩充方法、训练方法及相关装置。
背景技术
目前基于深度学习的行人衣服颜色识别方法，依赖大量的标注数据，需耗费大量的人力在数据上。
然而对于一些小众的训练数据，却不能收集到足够多的训练数据，比如棕色上衣的行人数据，在一段监控视频中几乎不出现，由于这些训练数据缺乏导致颜色识别模型在这些小众颜色上识别始终不理想。因此，如何快速地对颜色标注数据进行扩充是目前需要解决的问题。
发明内容
为了克服现有技术中的上述不足，本申请的目的之一在于提供一种训练图像的扩充方法、训练方法及相关装置。
第一方面，实施例提供一种训练图像的扩充方法，所述方法包括：获取行人的多张待转换图像；所述多张待转换图像包括所述行人的至少两种行人颜色数据。根据所述多张待转换图像，获取颜色数据生成模型；所述颜色数据生成模型为：所述至少两种行人颜色数据在生成对抗网络下训练得到的模型。将所述多张待转换图像输入至所述颜色数据生成模型，获取多张目标颜色图像。将所述待转换图像和所述多张目标颜色图像作为颜色训练集。
在可选的实施方式中，所述获取行人的多张待转换图像，包括：获取所述行人的至少一张第一图像和至少一张第二图像；所述至少一张第一图像为所述行人的着装颜色为目标颜色之外的行人图像，所述至少一张第二图像为所述行人的着装颜色为所述目标颜色的行人图像。将所述至少一张第一图像和所述至少一张第二图像作为所述多张待转换图像。
在可选的实施方式中，所述根据所述多张待转换图像，获取颜色数据生成模型，包括：获取所述至少一张第一图像的纹理信息，所述纹理信息表征所述行人的图像切分信息。根据所述纹理信息和所述至少一张第一图像，生成多张待确认图像；所述多张待确认图像为所述行人的着装颜色为所述目标颜色的行人图像。将所述至少一张第一图像作为第一训练集，将所述多张待确认图像和所述至少一张第二图像作为第二训练集。根据所述第一训练集和所述第二训练集，获取所述颜色数据生成模型。
在可选的实施方式中，所述生成对抗网络包括第一生成器、第二生成器和判别器。所述根据所述第一训练集和所述第二训练集，获取所述颜色数据生成模型，包括：将所述第一训练集通过所述第一生成器，生成与所述目标颜色一致的第一图形数据，以使所述第一图形数据与所述第二训练集符合判别损失函数的收敛条件。将所述第二训练集通过所述判别器，以使所述第二训练集与所述判别损失函数的发散条件匹配。将所述第一图形数据通过所述第二生成器，生成与所述第一训练集的颜色一致的第二图形数据，以使所述第二图形数据与所述第一图形数据符合生成损失函数的收敛条件。获取符合模型收敛条件的所述颜色数据生成模型。
第二方面，实施例提供一种颜色识别模型的训练方法，所述方法包括：获取行人的颜色训练集；所述颜色训练集包括多张待转换图像和多张目标颜色图像。所述多张待转换图像包括至少所述行人的至少两种行人颜色数据，所述多张目标颜色图像为所述多张待转换图像输入至颜色数据生成模型获取的行人图像，所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型。根据所述颜色训练集，获取多个教师模型。根据所述多个教师模型和所述颜色训练集，获取颜色识别模型。
在可选的实施方式中，所述根据所述多个教师模型和所述颜色训练集，获取颜色识别模型，包括：对所述多个教师模型进行特征适配，以使所述多个教师模型与所述颜色识别模型的模型训练信息匹配；所述模型训练信息包括特征维度和特征值大小。
在可选的实施方式中，所述根据所述多个教师模型和所述颜色训练集，获取颜色识别模型，还包括：将所述颜色训练集输入至第一模型，获取第一输出特征；所述第一模型为所述多个教师模型的任意一个教师模型。将所述颜色训练集输入至待确认识别模型，获取第二输出特征；将所述第一输出特征与所述第二输出特征匹配，以使相似度损失函数收敛；所述相似度损失函数用于使所述待确认识别模型与所述第一模型匹配。当所述相似度损失函数收敛时，将所述待确认识别模型作为所述颜色识别模型。
第三方面，实施例提供一种训练图像的扩充装置，包括：第一获取模块和第一处理模块。所述第一获取模块用于获取行人的多张待转换图像；所述多张待转换图像包括所述行人的至少两种行人颜色数据。所述第一处理模块用于根据所述多张待转换图像，获取颜色数据生成模型；所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型。所述第一获取模块还用于将所述多张待转换图像输入至所述颜色数据生成模型，获取多张目标颜色图像。所述第一处理模块还用于将所述待转换图像和所述多张目标颜色图像作为颜色训练集。
第四方面，实施例提供一种颜色识别模型的训练装置，包括：第二获取模块和第二处理模块。所述第二获取模块用于获取行人的颜色训练集；所述颜色训练集包括多张待转换图像和多张目标颜色图像；所述多张待转换图像包括至少所述行人的至少两种行人颜色数据，所述多张目标颜色图像为所述多张待转换图像输入至颜色数据生成模型获取的行人图像，所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型。所述第二处理模块用于根据所述颜色训练集，获取多个教师模型。所述第二处理模块还用于根据所述多个教师模型和所述颜色训练集，获取颜色识别模型。
第五方面，实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的扩充方法或前述实施方式任一项所述的训练方法。
第六方面，实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式任一项所述的扩充方法或前述实施方式任一项所述的训练方法。
相对于现有技术而言，本申请具有以下有益效果：
使用本申请提供的数据扩充方法，在真实的颜色数据基础上，可以获取更多的特定颜色数据，进而实现颜色识别模型训练的训练数据需求，提高颜色识别的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供一种训练图像的扩充方法的流程示意图；
图2为本申请实施例提供另一种训练图像的扩充方法的流程示意图；
图3为本申请实施例提供另一种训练图像的扩充方法的流程示意图；
图4为本申请实施例提供另一种训练图像的扩充方法的流程示意图；
图5为本申请实施例提供的一种颜色识别模型的训练方法的流程示意图；
图6为本申请实施例提供的另一种颜色识别模型的训练方法的流程示意图；
图7为本申请实施例提供的一种教师模型和待确认识别模型的结构示意图；
图8为本申请实施例提供的一种训练图像的扩充装置的方框示意图；
图9为本申请实施例提供的一种颜色识别模型的训练装置的方框示意图；
图10为本申请实施例提供的一种电子设备的方框示意图。
图标：40-扩充装置，41-第一获取模块，42-第一处理模块，50-训练装置，51-第二获取模块，52-第二处理模块，60-电子设备，61-存储器，62-处理器，63-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
为了解决模型在小众颜色上识别率低问题，一种方法是针对小众颜色，大量收集视频素材，从中获取小众颜色行人数据扩充训练集。但这样的数据采集需耗费大量的人力财力，并且优化周期较长，不能迅速提升模型识别率。
因此，为了解决上述的问题以及背景技术提出的问题，迅速的获取大量的颜色数据，本申请实施例提供一种训练图像的扩充方法，请参见图1，图1为本申请实施例提供一种训练图像的扩充方法的流程示意图。该训练图像的扩充方法包括：
S200、获取行人的多张待转换图像。
该多张待转换图像包括行人的至少两种行人颜色数据。可以理解的，上述的多张转换图像可以为行人区域加上少量的背景。
S201、根据多张待转换图像，获取颜色数据生成模型。
该颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型。应理解，在模型训练中，为了减少计算量，可以将上述的行人区域设置为大致对齐的行人区域。
S202、将多张待转换图像输入至颜色数据生成模型，获取多张目标颜色图像。
S203、将待转换图像和多张目标颜色图像作为颜色训练集。
通过将多张待转换图像转换为目标颜色，以获取多张目标颜色图像，并将待转换图像和多张目标颜色图像作为颜色训练集，则可以有效的增加目标颜色的训练图像数量，以便增加颜色识别模型的训练集，使颜色识别更加准确。
在可选的实施方式中，为了获取行人的多张待转换图像，在图1的基础上，给出一种可能的实现方式，请参见图2，图2为本申请实施例提供另一种训练图像的扩充方法的流程示意图。上述的S200可以包括：
S200a、获取行人的至少一张第一图像和至少一张第二图像。
上述的至少一张第一图像为行人的着装颜色为目标颜色之外的行人图像，至少一张第二图像为行人的着装颜色为目标颜色的行人图像。例如，将目标颜色设置为棕色，则其它颜色为目标颜色外的颜色，如黑色、白色等。
S200b、将至少一张第一图像和至少一张第二图像作为多张待转换图像。
可以预见的，为了减少生成目标颜色图像的计算量，选取第二图像时，可以选择行人的着装颜色为纯色的图像，例如，黑色裤子加白色上衣、白色裤子加粉色上衣等。
通过获取多种颜色的图像作为待转换图像，可以增加颜色训练集的初始图像数据，以便获取更多的训练数据，实现对颜色图像的扩充。
在可选的实施方式中，为了提高生成数据的真实性，在图2的基础上，给出一种可能的实现方式，请参见图3，图3为本申请实施例提供另一种训练图像的扩充方法的流程示意图。上述的S201可以包括：
S201a、获取至少一张第一图像的纹理信息。
上述的纹理信息表征行人的图像切分信息。例如，可以使用人体部件分割模型将图像内的行人的待转换图像分为八部分：头、上半身、大臂、小臂、大腿、小腿、脚以及背景色；上述的获取纹理信息使用的人体部件分割模型可以是使用MSCOCO人体分割数据重新打标(纹理信息)，将分割数据分为Train、Val和Test集，可以使用UNet网络来训练上述的人体部件分割模型。
S201b、根据纹理信息和至少一张第一图像，生成多张待确认图像。
上述的多张待确认图像为行人的着装颜色为目标颜色的行人图像。例如，在上述的人体部件分割模型的基础上，获取到的纹理信息可以为第一图像上的部件分割标签，该标签用于确定行人的身体各部件的具体位置，以便针对性的改变第一图像中行人的特定区域的颜色值，生成多张待确认图像。
可以理解的，为了使生成的待确认图像的颜色更为准确，以使用人体部件分割模型获取纹理信息(部件分割标签)为例，统计行人的特定部件区域内的颜色均值，如下面的公式：
其中，Ri表示部件分割标签的i区域，r表示行人图像中的颜色值，ni表示Ri区域内的像素个数，上述公式只统计行人图像区域Ri内的RGB均值。计算上述的颜色均值μi变换至目标颜色γi所需的补偿量ρi，将其作为行人图像Ri区域像素值变换至目标颜色γi的补偿值：
ρi＝γi-μi；
将行人图像区域Ri中的所有像素颜色变换至目标颜色同时保留衣服纹理信息，只需将区域Ri中的任意像素αi叠加变换补偿量ρi即可：
αi＝αi+ρi；
执行上述过程获取的目标颜色待确认图像可以保留纹理信息，进而获取到多张待确认图像。
S201c、将至少一张第一图像作为第一训练集，将多张待确认图像和至少一张第二图像作为第二训练集。
S201d、根据第一训练集和第二训练集，获取颜色数据生成模型。
可以理解的，真实的小众颜色训练数据太少，不足以训练上述的颜色数据生成模型，在通过控制目标颜色的基础上生成待确认图像，可以快速的丰富颜色数据生成模型的训练集，进而训练颜色数据生成模型。
在可选的实施方式中，为了获取颜色数据生成模型，在图3的基础上，以生成对抗网络包括第一生成器、第二生成器和判别器为例，请参见图4，图4为本申请实施例提供另一种训练图像的扩充方法的流程示意图。上述的S201d可以包括：
S201d-1、将第一训练集通过第一生成器，生成与目标颜色一致的第一图形数据，以使第一图形数据与第二训练集符合判别损失函数的收敛条件。
S201d-2、将第二训练集通过判别器，以使第二训练集与判别损失函数的发散条件匹配。
S201d-3、将第一图形数据通过第二生成器，生成与第一训练集的颜色一致的第二图形数据，以使第二图形数据与第一图形数据符合生成损失函数的收敛条件。
可以理解的，上述的生成损失函数用于约束第一训练集经过第一生成器、再经过第二生成器后的图像与原始的输入尽可能的相似，约束第一生成器只改变第一训练集内行人的着装颜色而其内容大体不变；上述的判别损失函数用于约束第一训练集经过第一生成器后的第一图形数据与第二训练集中的目标颜色尽可能的一致。
例如，令第一生成器的模型训练参数为GAB、第二生成器的模型训练参数为GBA、判别器的判别参数为DB，则上述的判别损失函数可以为：
Figure BDA0002256653090000091
上述的生成损失函数可以为：
其中，a为第一训练集的原始图像(第一图像)，GBA(GAB(a))为第一训练集经过第一生成器、再经过第二生成器后的图像(第二图形数据)。
S201d-4、获取符合模型收敛条件的颜色数据生成模型。
例如，上述的S201d-4可以是分别固定上述的GAB、GBA、DB，以便训练颜色数据生成模型：固定判别器和第二生成器的参数GBA，采用SGD优化器最小化上述的判别损失函数，以更新GAB参数，使第一训练集经过第一生成器后，判别器分辨不出第一图形数据是通过人体部件分割模型生成的待确认图像，还是第二图像。固定第一生成器和第二生成器的参数GBA，采用SGD优化器最大化上述的判别损失函数，以更新DB参数，使得判别器尽可能的区分第二图像和待确认图像。固定第一生成器和判别器的参数DB，采用SGD优化器最小化上述的生成损失函数，以更新GBA参数，约束第一图像经过第一生成器后的第一图形数据除了颜色变化，但其它内容不变。迭代上面的参数更新过程至模型收敛，则可得到颜色数据生成模型。应理解，本实施例仅为可能的一种实现方式，还可以是其它使颜色数据生成模型收敛的训练方式。
通过生成对抗网络获取的颜色数据生成模型，可以使通过颜色数据生成模型生成的目标颜色图像更逼真并且符合实际的应用场景。可以理解的，可以通过控制目标像素的RGB范围，丰富训练样本的多样性；还可以根据实际模型预测错误图像定制一批类似颜色分布的训练样本。
在上述的S200～S207的基础上，为了实现对颜色识别模型的训练，本申请实施例提供一种颜色识别模型的训练方法，请参见图5，图5为本申请实施例提供的一种颜色识别模型的训练方法的流程示意图。该训练方法包括：
S300、获取行人的颜色训练集。
该颜色训练集包括多张待转换图像和多张目标颜色图像。多张待转换图像包括至少行人的至少两种行人颜色数据，多张目标颜色图像为多张待转换图像输入至颜色数据生成模型获取的行人图像，颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型。
S301、根据颜色训练集，获取多个教师模型。
上述的多个教师模型可以包括以下任意一项或组合：ResNet101色识别模型、DenseNet101颜色识别模型、Inception-ResNetv2颜色识别模型。
S302、根据多个教师模型和颜色训练集，获取颜色识别模型。
可以理解的，可以搭建在线多模型融合行人颜色识别训练框架的方式来获取颜色识别模型，可以使训练得到的颜色识别模型具备多模型的优点，具有更强的泛化能力。
在可选的实施方式中，为了使教师模型与颜色识别模型匹配，上述的S302可以包括：对多个教师模型进行特征适配，以使多个教师模型与颜色识别模型的模型训练信息匹配。
该模型训练信息包括特征维度和特征值大小。可以理解的，教师模型可以用于指导颜色识别模型的训练。例如，上述的特征适配可以使用1x1的卷积核以得到相同的通道数，控制不同滑动步长及核大小进行平均池化以获取相同大小的特征图；适配层根据选择的教师模型，调整相应参数得到教师和学生间的可比较的特征。可以理解的，通过模型训练信息进行匹配，可以使颜色识别模型在相同输入图像的条件下，颜色识别模型的输出仅可能的逼近教师模型的输出。
在可选的实施方式中，为了获取颜色识别模型，在图5的基础上，给出一种可能的实现方式，请参见图6，图6为本申请实施例提供的另一种颜色识别模型的训练方法的流程示意图。上述的S302可以包括：
S302a、将颜色训练集输入至第一模型，获取第一输出特征。
该第一模型为多个教师模型的任意一个教师模型。可以理解的，在一次训练过程中，选择任意一个教师模型指导颜色识别模型的训练。
S302b、将颜色训练集输入至待确认识别模型，获取第二输出特征。
S302c、将第一输出特征与第二输出特征匹配，以使相似度损失函数收敛。相似度损失函数用于使待确认识别模型与第一模型匹配。
S302d、当相似度损失函数收敛时，将待确认识别模型作为颜色识别模型。
例如，构建相似度损失函数，旨在约束同个样本Xi输入教师模型输出的特征Tθ(Xi)与待确认识别模型输出的特征Sθ(Xi)尽可能的相似：
LSim＝d(Tθ(Xi)，Sθ(Xi))；
其中d可取为均方误差或者平均绝对误差。构建一个判别器，旨在进一步约束相同输入下待确认识别模型输出与教师模型输出相似，即约束待确认识别模型的网络输出，使得判别器无法分辨该特征是教师模型的输出还是待确认识别模型的输出。
随机选择一批训练数据(颜色训练集)，固定判别器参数，随机选一个教师模型，教师和待确认识别模型分别做一次前向传播，得到中间层的特征输出Tθ(Xi)，Sθ(Xi)，采用SGD优化器最小化上述的相似度损失函数，更新待确认识别模型的参数。固定待确认识别模型的参数，更新判别器参数，旨在最大限度的区分特征来自教师模型，最极端情况是D(Sθ(Xi))全是0，以促使在之后的训练中待确认识别模型尽可能的输出与教师网络相似的特征。固定判别器参数，最大化中的判别器损失函数，更新学生网络参数，旨在约束学生网络输出的特征使得判别器无法分辨其来自教师网络还是学生网络，上述的判别器损失函数可以是：
Figure BDA0002256653090000121
交替迭代上述的步骤，直至待确认识别模型收敛，获取到的颜色识别模型融合了三种模型优点，具备更强的泛化能力。
为了便于理解上述的教师模型指导颜色识别模型的训练，给出一种可能的实现方式，请参见图7，图7为本申请实施例提供的一种教师模型和待确认识别模型的结构示意图。可以理解的，教师模型和待确认识别模型的中间特征层也需要通过特征适配和判别器，并进行相似度损失函数的判断，以保持教师模型和待确认识别模型的输出相似，最终确定待确认识别模型为颜色识别模型。应理解，获取到的颜色识别模型融合了多种教师模型的优点，具备更强的泛化能力。
为了实现上述的S200～S207，本申请实施例提供一种训练图像的扩充装置，请参见图8，图8为本申请实施例提供的一种训练图像的扩充装置的方框示意图。该扩充装置40包括：第一获取模块41和第一处理模块42。
第一获取模块41用于获取行人的多张待转换图像。多张待转换图像包括行人的至少两种行人颜色数据。
第一处理模块42用于根据多张待转换图像，获取颜色数据生成模型。颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型。
第一获取模块41还用于将多张待转换图像输入至颜色数据生成模型，获取多张目标颜色图像。第一处理模块42还用于将待转换图像和多张目标颜色图像作为颜色训练集。
使用本申请实施例提供的训练装置，可以快速生成大量目标颜色图像，以缓解训练样本数量不均衡问题。
为了实现上述的S300～S302，本申请实施例提供一种颜色识别模型的训练装置，请参见图9，图9为本申请实施例提供的一种颜色识别模型的训练装置的方框示意图。该训练装置50包括：第二获取模块51和第二处理模块52。
第二获取模块51用于获取行人的颜色训练集。颜色训练集包括多张待转换图像和多张目标颜色图像。多张待转换图像包括至少行人的至少两种行人颜色数据，多张目标颜色图像为多张待转换图像输入至颜色数据生成模型获取的行人图像，颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型。
第二处理模块52用于根据颜色训练集，获取多个教师模型。第二处理模块52还用于根据多个教师模型和颜色训练集，获取颜色识别模型。
通过使用多个教师模型训练颜色识别模型，获取到的颜色识别模型融合了多种教师模型的优点，具备更强的泛化能力。
本申请实施例提供一种电子设备，如图10，图10为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本申请实施例所提供的任一项的扩充方法或任一项的训练方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一项的扩充方法或任一项的训练方法。该电子设备60可以是，但不限于，手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的扩充方法或任一项的训练方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供一种训练图像的扩充方法、训练方法及相关装置，涉及机器学习的行人识别领域。该训练图像的扩充方法包括：获取行人的多张待转换图像；多张待转换图像包括行人的至少两种行人颜色数据；根据多张待转换图像，获取颜色数据生成模型；颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型；将多张待转换图像输入至颜色数据生成模型，获取多张目标颜色图像；将待转换图像和多张目标颜色图像作为颜色训练集。使用本申请提供的数据扩充方法，在真实的颜色数据基础上，可以获取更多的特定颜色数据，进而实现颜色识别模型训练的训练数据需求，提高颜色识别的准确率。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种训练图像的扩充方法，其特征在于，所述方法包括：
获取行人的多张待转换图像；所述多张待转换图像包括所述行人的至少两种行人颜色数据；
根据所述多张待转换图像，获取颜色数据生成模型；所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型；
将所述多张待转换图像输入至所述颜色数据生成模型，获取多张目标颜色图像；
将所述待转换图像和所述多张目标颜色图像作为颜色训练集。
2.根据权利要求1所述的方法，其特征在于，所述获取行人的多张待转换图像，包括：
获取所述行人的至少一张第一图像和至少一张第二图像；所述至少一张第一图像为所述行人的着装颜色为目标颜色之外的行人图像，所述至少一张第二图像为所述行人的着装颜色为所述目标颜色的行人图像；
将所述至少一张第一图像和所述至少一张第二图像作为所述多张待转换图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述多张待转换图像，获取颜色数据生成模型，包括：
获取所述至少一张第一图像的纹理信息；所述纹理信息表征所述行人的图像切分信息；
根据所述纹理信息和所述至少一张第一图像，生成多张待确认图像；所述多张待确认图像为所述行人的着装颜色为所述目标颜色的行人图像；
将所述至少一张第一图像作为第一训练集，将所述多张待确认图像和所述至少一张第二图像作为第二训练集；
根据所述第一训练集和所述第二训练集，获取所述颜色数据生成模型。
4.根据权利要求3所述的方法，其特征在于，所述生成对抗网络包括第一生成器、第二生成器和判别器，所述根据所述第一训练集和所述第二训练集，获取所述颜色数据生成模型，包括：
将所述第一训练集通过所述第一生成器，生成与所述目标颜色一致的第一图形数据，以使所述第一图形数据与所述第二训练集符合判别损失函数的收敛条件；将所述第二训练集通过所述判别器，以使所述第二训练集与所述判别损失函数的发散条件匹配；
将所述第一图形数据通过所述第二生成器，生成与所述第一训练集的颜色一致的第二图形数据，以使所述第二图形数据与所述第一图形数据符合生成损失函数的收敛条件；
获取符合模型收敛条件的所述颜色数据生成模型。
5.一种颜色识别模型的训练方法，其特征在于，所述方法包括：
获取行人的颜色训练集；所述颜色训练集包括多张待转换图像和多张目标颜色图像；所述多张待转换图像包括至少所述行人的至少两种行人颜色数据，所述多张目标颜色图像为所述多张待转换图像输入至颜色数据生成模型获取的行人图像，所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型；
根据所述颜色训练集，获取多个教师模型；
根据所述多个教师模型和所述颜色训练集，获取颜色识别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多个教师模型和所述颜色训练集，获取颜色识别模型，包括：
对所述多个教师模型进行特征适配，以使所述多个教师模型与所述颜色识别模型的模型训练信息匹配；所述模型训练信息包括特征维度和特征值大小。
7.根据权利要求5所述的方法，其特征在于，所述根据所述多个教师模型和所述颜色训练集，获取颜色识别模型，还包括：
将所述颜色训练集输入至第一模型，获取第一输出特征；所述第一模型为所述多个教师模型的任意一个教师模型；
将所述颜色训练集输入至待确认识别模型，获取第二输出特征；
将所述第一输出特征与所述第二输出特征匹配，以使相似度损失函数收敛；所述相似度损失函数用于使所述待确认识别模型与所述第一模型匹配；
当所述相似度损失函数收敛时，将所述待确认识别模型作为所述颜色识别模型。
8.一种训练图像的扩充装置，其特征在于，包括：第一获取模块和第一处理模块；
所述第一获取模块，用于获取行人的多张待转换图像；所述多张待转换图像包括所述行人的至少两种行人颜色数据；
所述第一处理模块，用于根据所述多张待转换图像，获取颜色数据生成模型；所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型；
所述第一获取模块还用于将所述多张待转换图像输入至所述颜色数据生成模型，获取多张目标颜色图像；
所述第一处理模块还用于将所述待转换图像和所述多张目标颜色图像作为颜色训练集。
9.一种颜色识别模型的训练装置，其特征在于，包括：第二获取模块和第二处理模块；
所述第二获取模块，用于获取行人的颜色训练集；所述颜色训练集包括多张待转换图像和多张目标颜色图像；所述多张待转换图像包括至少所述行人的至少两种行人颜色数据，所述多张目标颜色图像为所述多张待转换图像输入至颜色数据生成模型获取的行人图像，所述颜色数据生成模型为所述至少两种行人颜色数据在生成对抗网络下训练得到的模型；
所述第二处理模块，用于根据所述颜色训练集，获取多个教师模型；
所述第二处理模块还用于根据所述多个教师模型和所述颜色训练集，获取颜色识别模型。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-4任一项所述的扩充方法或权利要求5-7任一项所述的训练方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的扩充方法或权利要求5-7任一项所述的训练方法。
CN201911056394.1A 2019-10-31 2019-10-31 训练图像的扩充方法、训练方法及相关装置 Active CN110781976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911056394.1A CN110781976B (zh) 2019-10-31 2019-10-31 训练图像的扩充方法、训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911056394.1A CN110781976B (zh) 2019-10-31 2019-10-31 训练图像的扩充方法、训练方法及相关装置

Publications (2)

Publication Number Publication Date
CN110781976A true CN110781976A (zh) 2020-02-11
CN110781976B CN110781976B (zh) 2021-01-05

Family

ID=69388359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911056394.1A Active CN110781976B (zh) 2019-10-31 2019-10-31 训练图像的扩充方法、训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN110781976B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192201A (zh) * 2020-04-08 2020-05-22 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及系统
CN113379869A (zh) * 2021-07-23 2021-09-10 浙江大华技术股份有限公司 一种车牌图像生成方法、装置、电子设备及存储介质
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
CN113658116A (zh) * 2021-07-30 2021-11-16 戴建荣 一种生成不同体位医学图像的人工智能方法和系统
CN113837138A (zh) * 2021-09-30 2021-12-24 重庆紫光华山智安科技有限公司 一种着装监控方法、系统、介质及电子终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN109165735A (zh) * 2018-07-12 2019-01-08 杭州电子科技大学 基于生成对抗网络与自适应比例生成新样本的方法
US20190080205A1 (en) * 2016-09-16 2019-03-14 Deep Learning Analytics, LLC Systems and Methods for Deep Model Translation Generation
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110322440A (zh) * 2019-07-08 2019-10-11 东北大学 一种细胞显微图像数据扩充的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080205A1 (en) * 2016-09-16 2019-03-14 Deep Learning Analytics, LLC Systems and Methods for Deep Model Translation Generation
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN109165735A (zh) * 2018-07-12 2019-01-08 杭州电子科技大学 基于生成对抗网络与自适应比例生成新样本的方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110188835A (zh) * 2019-06-05 2019-08-30 国家广播电视总局广播电视科学研究院 基于生成式对抗网络模型的数据增强行人再识别方法
CN110322440A (zh) * 2019-07-08 2019-10-11 东北大学 一种细胞显微图像数据扩充的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XI OUYANG 等: "Pedestrian-Synthesis-GAN: Generating Pedestrian Data in Real Scene and Beyond", 《ARXIV》 *
ZHIQIANG SHEN等: "MEAL: Multi-Model Ensemble via Adversarial Learning", 《ARXIV》 *
牛斌 等: "一种基于生成对抗网络的行为数据集扩展方法", 《计算机技术与发展》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及系统
CN111192201A (zh) * 2020-04-08 2020-05-22 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN111192201B (zh) * 2020-04-08 2020-08-28 腾讯科技（深圳）有限公司 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN113379869A (zh) * 2021-07-23 2021-09-10 浙江大华技术股份有限公司 一种车牌图像生成方法、装置、电子设备及存储介质
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
CN113658116A (zh) * 2021-07-30 2021-11-16 戴建荣 一种生成不同体位医学图像的人工智能方法和系统
CN113658116B (zh) * 2021-07-30 2023-09-15 戴建荣 一种生成不同体位医学图像的人工智能方法和系统
CN113837138A (zh) * 2021-09-30 2021-12-24 重庆紫光华山智安科技有限公司 一种着装监控方法、系统、介质及电子终端
CN113837138B (zh) * 2021-09-30 2023-08-29 重庆紫光华山智安科技有限公司 一种着装监控方法、系统、介质及电子终端

Also Published As

Publication number Publication date
CN110781976B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
US20220058426A1 (en) Object recognition method and apparatus, electronic device, and readable storage medium
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN111950638B (zh) 基于模型蒸馏的图像分类方法、装置和电子设备
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN109583449A (zh) 字符识别方法及相关产品
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN107679466B (zh) 信息输出方法和装置
CN107507153B (zh) 图像去噪方法和装置
CN110135231A (zh) 动物面部识别方法、装置、计算机设备和存储介质
Ou et al. A novel rank learning based no-reference image quality assessment method
US20180197287A1 (en) Process of using machine learning for cannabis plant health diagnostics
CN111414946A (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
Xu et al. Bottom-up saliency detection with sparse representation of learnt texture atoms
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN110414522A (zh) 一种字符识别方法及装置
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
CN110428012A (zh) 脑网络模型建立方法、脑图像分类方法、装置及电子设备
CN112329736B (zh) 人脸识别方法及金融系统
JP7239002B2 (ja) 物体数推定装置、制御方法、及びプログラム
Xu et al. Generative detect for occlusion object based on occlusion generation and feature completing
CN113283388A (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant