CN110825900A - 特征重构层的训练方法、图像特征的重构方法及相关装置 - Google Patents

特征重构层的训练方法、图像特征的重构方法及相关装置 Download PDF

Info

Publication number
CN110825900A
CN110825900A CN201911082061.6A CN201911082061A CN110825900A CN 110825900 A CN110825900 A CN 110825900A CN 201911082061 A CN201911082061 A CN 201911082061A CN 110825900 A CN110825900 A CN 110825900A
Authority
CN
China
Prior art keywords
feature
image
training
reconstruction
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911082061.6A
Other languages
English (en)
Inventor
周涛涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911082061.6A priority Critical patent/CN110825900A/zh
Publication of CN110825900A publication Critical patent/CN110825900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本申请提供一种特征重构层的训练方法、图像特征的重构方法及相关装置，涉及行人重识别领域。该训练方法应用于电子设备，该训练方法包括：根据训练图像集，获取第一特征向量；训练图像集包括至少一张训练图像；根据模糊训练集，获取第二特征向量；模糊训练集包括至少一张第一特征图，第一特征图为通过对训练图像进行图像特征抑制后获得的；根据第一特征向量和第二特征向量，获取重构层更新信息；根据重构层更新信息，获取与模型收敛条件匹配的特征重构层。使用本申请获取的特征重构层，无论待检索图像是清晰图像，或是模糊图像，都可以获得一个较好的图像特征，以便减少图片模糊等对神经网络特征造成的干扰和影响，进而提高行人检索的准确率。

Description

特征重构层的训练方法、图像特征的重构方法及相关装置
技术领域
本申请涉及行人重识别领域，具体而言，涉及特征重构层的训练方法、图像特征的重构方法及相关装置。
背景技术
行人重识别是现在计算机视觉研究非常热门的方向，目前在摄像头安防领域获得了广泛的应用，主要解决跨摄像头不同场景下的行人识别与检索问题，传统的人脸识别技术存在视角狭窄等缺陷。
行人重识别可以作为人脸识别技术的一种重要补充，可以对无法获取清晰人脸的行人进行跨摄像头检索，提高安防监控的覆盖率以及时空连续性。然而在实际应用场景中，检测到的行人数据非常复杂，经常会被各种客观因素所影响，比如无正脸照、光照变化强烈、服装变化、姿态变化、遮挡、拍摄角度不一致、图片模糊等，这些客观因素均会导致行人重识别的难度极大提升。因此，如何获取图像特征提取模型，以便准确的提取图像特征是目前亟需解决的问题。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种特征重构层的训练方法、重构方法及相关装置。
第一方面，实施例提供一种特征重构层的训练方法，应用于电子设备，所述方法包括：根据训练图像集，获取第一特征向量；所述训练图像集包括至少一张训练图像，所述第一特征向量表征所述训练图像的图像特征信息。根据模糊训练集，获取第二特征向量；所述模糊训练集包括至少一张第一特征图，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的，所述第二特征向量表征所述第一特征图的图像特征信息。根据所述第一特征向量和所述第二特征向量，获取重构层更新信息。根据所述重构层更新信息，获取与模型收敛条件匹配的特征重构层。
在可选的实施方式中，在所述根据模糊训练集，获取第二特征向量之前，所述方法还包括：对所述训练图像进行图像特征抑制，获取所述第一特征图；将至少一张所述第一特征图作为所述模糊训练集。
在可选的实施方式中，在所述对所述训练图像进行图像特征抑制，获取所述第一特征图之前，所述方法还包括：将所述训练图像进行图像特征提取，获取训练特征图。所述对所述训练图像进行图像特征抑制，获取所述第一特征图，包括：对所述训练特征图进行水平最大池化处理，获取池化特征图；对所述池化特征图进行图像特征抑制，获取所述第一特征图。
在可选的实施方式中，所述池化特征图的形状为H*W*C，H为高度，W为宽度，C为通道数。所述对所述池化特征图进行图像特征抑制，获取所述第一特征图，包括：将所述池化特征图在H方向进行等分，获取N个等分特征图；N为大于或等于2的自然数；根据所述N个等分特征图，获取符合预设抑制条件的至少一张第一特征图；所述第一特征图的形状为H*C。
在可选的实施方式中，所述根据训练图像集，获取第一特征向量，包括：根据所述训练特征图，获取所述第一特征向量。
在可选的实施方式中，所述根据所述第一特征向量和所述第二特征向量，获取重构层更新信息，包括：获取所述第一特征向量和所述第二特征向量的欧式距离；构建所述欧式距离的代价损失函数；根据所述代价损失函数，获取所述重构层更新信息。
第二方面，实施例提供一种图像特征的重构方法，应用于特征重构层，所述特征重构层为根据重构层更新信息获取的与模型收敛条件匹配的特征提取层，所述重构层更新信息包括第一特征向量和第二特征向量，所述第一特征向量表征训练图像的图像特征信息，所述第二特征向量表征第一特征图的图像特征信息，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的。所述方法包括：获取将待检索图像的图像特征图；将所述图像特征图进行最大池化处理，获取第三特征向量；将所述图像特征图进行平均池化处理，获取第四特征向量；根据所述第三特征向量和所述第四特征向量，获取所述待检索图像的重构特征。
第三方面，实施例提供一种特征重构层的训练装置，包括：处理模块和训练模块。所述处理模块用于根据训练图像集，获取第一特征向量；所述训练图像集包括至少一张训练图像，所述第一特征向量表征所述训练图像的图像特征信息。所述处理模块还用于根据模糊训练集，获取第二特征向量；所述模糊训练集包括至少一张第一特征图，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的，所述第二特征向量表征所述第一特征图的图像特征信息。所述处理模块还用于根据所述第一特征向量和所述第二特征向量，获取重构层更新信息。所述训练模块用于根据所述重构层更新信息，获取与模型收敛条件匹配的特征重构层。
第四方面，实施例提供一种特征重构层，包括特征提取模块和特征处理模块。所述特征重构层为根据重构层更新信息获取的与模型收敛条件匹配的特征提取层，所述重构层更新信息包括第一特征向量和第二特征向量，所述第一特征向量表征训练图像的图像特征信息，所述第二特征向量表征第一特征图的图像特征信息，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的。所述特征提取模块用于获取将待检索图像的图像特征图；所述特征处理模块用于将所述图像特征图进行最大池化处理，获取第三特征向量；所述特征处理模块还用于将所述图像特征图进行平均池化处理，获取第四特征向量；所述特征处理模块还用于根据所述第三特征向量和所述第四特征向量，获取所述待检索图像的重构特征。
第五方面，实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的训练方法或前述实施方式所述的重构方法。
第六方面，实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式任一项所述的训练方法或前述实施方式所述的重构方法。
相对于现有技术而言，本申请具有以下有益效果：
使用本申请获取的特征重构层，无论待检索图像是清晰图像，或是模糊图像，都可以获得一个较好的图像特征，以便减少图片模糊等对神经网络特征造成的干扰和影响，进而提高行人检索的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种特征重构层的训练方法的流程示意图；
图2为本申请实施例提供的另一种特征重构层的训练方法的流程示意图；
图3为本申请实施例提供的另一种特征重构层的训练方法的流程示意图；
图4为本申请实施例提供的一种卷积神经网络的基础模块结构示意图；
图5为本申请实施例提供的另一种特征重构层的训练方法的流程示意图；
图6为本申请实施例提供的另一种特征重构层的训练方法的流程示意图；
图7为本申请实施例提供的一种特征重构层的训练结构示意图；
图8为本申请实施例提供的一种图像特征的重构方法的流程示意图；
图9为本申请实施例提供的一种特征重构层的训练装置的方框示意图；
图10为本申请实施例提供的一种特征重构层的方框示意图；
图11为本申请实施例提供的一种电子设备的方框示意图。
图标：40-训练装置，41-处理模块，42-训练模块，50-特征重构层，51-特征提取模块，52-特征处理模块，60-电子设备，61-存储器，62-处理器，63-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
现有技术中，有通过将视频中的行人从背景中提取出来迁移到其他领域的图片，以此扩充数据样本，提高在目标域的行人检索准确率；也有采用深度学习技术，自动学习出单张行人图像的隐含特征，克服传统的行人重识别的方法采用成对行人图像的耦合问题。但是，以上行人重识别方法和系统均只在一定程度上解决深度学习中网络训练过程行人样本稀缺和准确率低等问题，但都没有解决客观上的行人图片遮挡，空间不对齐，图片模糊等带来的检索准确率低的问题。
基于背景技术和上述的问题，为了获取更为准确的图像特征，本申请实施例提供一种特征重构层的训练方法，请参见图1，图1为本申请实施例提供的一种特征重构层的训练方法的流程示意图。该训练方法应用于电子设备，该训练方法包括：
S200、获取训练图像集。
S202、根据训练图像集，获取第一特征向量。
训练图像集包括至少一张训练图像，第一特征向量表征训练图像的图像特征信息。
S205、根据模糊训练集，获取第二特征向量。
模糊训练集包括至少一张第一特征图，第一特征图为通过对训练图像进行图像特征抑制后获得的，第二特征向量表征第一特征图的图像特征信息。
S206、根据第一特征向量和第二特征向量，获取重构层更新信息。
S207、根据重构层更新信息，获取与模型收敛条件匹配的特征重构层。
应理解，上述的模型收敛条件可以根据实际的特征重构层精度需求进行确定，例如使用重构层更新信息训练特征重构层的次数、训练时间、或是特征提取准确度等。上述的特征重构层可以是，但不限于，长短期记忆网络(Long Short-Term Memory，LSTM)、双向LSTM、门控循环单元(Gated Recurrent Unit，GRU)，递归神经网络(Recurrent NeuralNetwork，RNN)及其各种变种的神经网络。
应理解，为了使训练训练的效果更好，上述的训练图像集可以是清晰无遮挡、完整无残缺的行人图片；在一些数据较少的情况下，也可以选择质量稍次(如少量残缺或少量像素模糊)的行人图片作为训练图像集。可以预见的，在一些情况下，上述的训练图像集准备可以包括：准备行人重识别数据集和行人数据集：行人重识别数据集要求每个行人至少由两个摄像头捕获到，并且在每个摄像头下有多张照片；行人数据集要求行人图片行人完整，无遮挡，无缺失。
特征重构层使用了原有较清晰的训练图像集和模糊训练集进行训练，通过本申请获取的特征重构层，无论待检索图像是清晰图像，或是第一特征图，都可以获得一个较好的图像重构特征，以便减少图片模糊、图片遮挡、图片不完整等对神经网络特征造成的干扰和影响，进而提高行人检索的准确率。
在可选的实施方式中，为了获取模糊训练集，在图1的基础上，给出一种可能的实现方式，请参见图2，图2为本申请实施例提供的另一种特征重构层的训练方法的流程示意图。在S205之前，该训练方法还可以包括：
S203、对训练图像进行图像特征抑制，获取第一特征图。
S204、将至少一张第一特征图作为模糊训练集。
可以理解的，对于较清晰的训练图像，其中具有比较突出的图像特征，通过对训练图像进行图像特征抑制以获取模拟模糊、不完整等行人训练图像的第一特征图，并在后续使用训练图像和第一特征图对特征重构层进行训练，可以获得更优的特征重构层。
在可选的实施方式中，为了对训练图像进行图像特征抑制，在图2的基础上，给出一种可能的实现方式，请参见图3，图3为本申请实施例提供的另一种特征重构层的训练方法的流程示意图。在S203之前，该训练方法还可以包括：
S201、将训练图像进行图像特征提取，获取训练特征图。
上述的S203可以包括：
S203a、对训练特征图进行水平最大池化处理，获取池化特征图。
S203b、对池化特征图进行图像特征抑制，获取第一特征图。
可以理解的，上述的水平最大池化处理使用的池化核的大小可以为(1，W)，其作用为将训练特征图进行水平最大池化。
使用水平最大池化处理训练特征图，获取每个训练特征图对应的至少一张第一特征图，将训练图像集的每张训练图像都进行特征提取、水平最大池化以及图像特征抑制，获取相应的第一特征图，进而实现对特征重构层的训练。
可以理解的，在对训练特征图进行水平最大池化处理之前，还需要对训练图像进行初始的图像特征提取(即训练特征图的获取)，上述的对训练图像进行图像特征提取时，可以使用卷积神经网络。该卷积神经网络可以采用残差模块结合密集连接模块和混合注意力模块的组合结构。为了便于理解上述的卷积神经网络，请参见图4，图4为本申请实施例提供的一种卷积神经网络的基础模块结构示意图。通过交叉熵损失和三元组损失训练卷积神经网络，在训练过程中可以采用随机翻转、随机加噪、随机缩放、随机擦除、色彩增强、色调变换、对比度变化，随机模糊等对图片进行数据增强，提高网络的泛化能力。优化器可以选择SGD，学习率调整可以使用余弦退火策略。可以理解的，卷积神经网络训练完毕并获得初步不错的效果后固定卷积层参数，不参与后面阶段的训练，卷积层参数不再更新。其中损失函数的公式可以为：
l＝λ1lsoftmax+λ2lTriplet
其中λ1和λ2分别为SoftmaxLoss和TtripletLoss的权重，本申请使用的SoftmaxLoss可以为一种改进的Softmax，其作用在角度空间中最大化分类界面，其公式可以是：
Figure BDA0002264277370000081
其中M为行人的数量，N为每个行人的训练图像的数量，cosθ表示为特征向量的余弦夹角，s为特征向量对应的缩放尺度，t为夹角间的Margin。
本发明使用的Triplet Loss为一种改进的三元组损失，其可以用于挖掘样本空间中(训练图像集)的难例，其公式可以是：
lTriplet＝max(d(a,p)-d(a,n)+margin,0)
可以理解的，上述仅为本申请实施例的一种可能的特征提取的卷积神经网络训练方式，其训练特征图的提取过程，本申请不对其进行限定。现有行人重识别技术使用的卷积神经网络一般都是Resnet系列或者Inception系列的网络，本申请针对行人重识别任务设计一种新的特征提取网络基础模块(图4示出的卷积神经网络基础模块)，该网络在残差模块的基础上有效结合了密集连接模块和混合注意力模块，更为有效的提取行人特征，本申请设计的特征提取基础模块组成的卷积网络在Market1501数据集上的mAP可以达到91.5％，处于业界领先水平。
在可选的实施方式中，为了获取第一特征图，在图3的基础上，以池化特征图的形状为H*W*C，H为高度，W为宽度，C为通道数为例，请参见图5，图5为本申请实施例提供的另一种特征重构层的训练方法的流程示意图。上述的S203b可以包括：
S203b-1、将池化特征图在H方向进行等分，获取N个等分特征图。
此处的N为大于或等于2的自然数。可以理解的，训练特征图在经过水平最大池化后获得的池化特征图，其宽度W为1；池化前的训练特征图，其形状可以为H*W*C。
S203b-2、根据N个等分特征图，获取符合预设抑制条件的至少一张第一特征图。至少一张第一特征图的形状为H*C。
可以理解的，上述的预设抑制条件可以根据不同的训练需求进行确定，以获取不同的第一特征图。上述的图像特征抑制过程可以是由整流抑制过滤层(RectifiedSuppression Filter，RSF)完成的，也可以是有其它图像特征抑制层完成的。以上述的图像特征抑制过程是由RSF层完成为例，上述的S203b可以包括：对池化特征图在H方向进行等分；对每一等分特征图的数值进行从大到小排序；根据排序结果记录前百分之P的数值对应的索引位置；对索引位置结果处随机筛选百分之Q；将随机筛选的值大于1的取log对数；将结果组合成新的特征图(重构特征图)。
通过对池化特征图进行等分特征图处理，以获取符合预设抑制条件的第一特征图，进而实现对特征重构层的训练，提高图像特征提取的效果。
在可选的实施方式中，为了获取上述的第一特征向量，在图1的基础上，给出一种可能的实现方式，上述的S202可以包括：根据训练特征图，获取第一特征向量。
可以理解的，可以通过预设图像特征提取网络获取训练图像集的第一特征向量，以便后续对特征重构层进行训练。
在可选的实施方式中，为了获取重构层更新信息，在图1的基础上，给出一种可能的实现方式，请参见图6，图6为本申请实施例提供的另一种特征重构层的训练方法的流程示意图。上述的S206可以包括：
S206a、获取第一特征向量和第二特征向量的欧式距离。
S206b、构建欧式距离的代价损失函数。
S206c、根据代价损失函数，获取重构层更新信息。
可以理解的，本申请实施例使用的欧式距离仅是一种示意，还可以是其它具有特征向量信息的特征来获取重构层更新信息。
为了便于理解上述的训练过程，请参见图7，图7为本申请实施例提供的一种特征重构层的训练结构示意图。在图7中，假设训练图像通过卷积神经网络后的形状为H*W*C(训练特征图)，经水平最大池化后的形状为H*1*C(池化特征图)，池化特征图经过RSF层后的形状为H*C(第一特征图)，再经特征重构层(假设为LSTM循环神经网络层)后的形状为H*C(重构特征图)，对该重构特征图进行全局最大池化和全局平均池化，以获取第二特征向量。可以理解的，对训练特征图进行全局最大池化和全局平均池化，将两个池化的结果求和可以得到第一特征向量；对重构特征图进行全局最大池化和全局平均池化，将两个池化的结果求和可以得到第二特征向量。对第一特征向量和第二特征向量求归一化后的欧式距离，其中特征之间的距离l可以是：
Figure BDA0002264277370000111
其中，xi表征第i维度的第一特征向量，yi表征第i维度的第二特征向量。设该特征间距离为代价损失函数，通过反向传播，更新LSTM层参数，以此训练LSTM循环神经网络模块(特征重构层)。应理解，待LSTM循环神经网络模块(特征重构层)训练完毕后，模型前向推理提取行人特征、前向推理时不经过RSF层，直接将特征图输入LSTM循环神经网络模块(特征重构层)，以达到训练LSTM循环神经网络模块(特征重构层)的目的。本申请在训练特征重构层的时候可以使用任何完整无缺失的行人图片，通过RSF层实现一种无监督的学习方式，通过对特征重构层训练大量的行人图片，在遇到遮挡、残缺、模糊的行人图片时，循环神经网络可以有一定的想象力去想象不存在的特征，一定程度上提高检索匹配的准确率。
为了获取待检索图像的图像特征，本申请实施例提供一种图像特征的重构方法，请参见图8，图8为本申请实施例提供的一种图像特征的重构方法的流程示意图。该重构方法应用于特征重构层，该特征重构层为上述S200～S207任一项提出的特征重构层。该重构方法包括：
S300、获取将待检索图像的图像特征图。
S301、将图像特征图进行最大池化处理，获取第三特征向量。
S302、将图像特征图进行平均池化处理，获取第四特征向量。
S303、根据第三特征向量和第四特征向量，获取待检索图像的重构特征。
使用本申请获取的特征重构层，无论待检索图像是清晰图像，或是模糊图像，都可以获得一个较好的图像重构特征，使用该重构特征可以减少图片模糊等对神经网络特征造成的干扰和影响，进而提高行人检索的准确率。
为了便于理解，请参见图7，在提取待检索图像的图像特征时，将其中的RSF层和获取第一特征向量的那一侧处理过程除去，则可以通过LSTM层(特征重构层)获取较好的初始图像特征信息(图像特征图)，然后对图像特征图分别进行最大池化处理和平均池化处理，以获取第三特征向量和第四特征向量，最大池化的池化核可以为(H，1)，平均池化的池化核可以为(H，1)。将第三特征向量和第四特征向量在相同维度相加，就可以得到待检索图像的重构特征了。应理解，上述仅为一种可能的实现方式，不应理解为对本申请的限定。
为了实现上述的S200～S207，本申请实施例提供一种特征重构层的训练装置，请参加图9，图9为本申请实施例提供的一种特征重构层的训练装置的方框示意图。该训练装置40包括：处理模块41和训练模块42。
处理模块41用于根据训练图像集，获取第一特征向量。训练图像集包括至少一张训练图像，第一特征向量表征训练图像的图像特征信息。
处理模块41还用于根据模糊训练集，获取第二特征向量。模糊训练集包括至少一张第一特征图，第一特征图为通过对训练图像进行图像特征抑制后获得的，第二特征向量表征第一特征图的图像特征信息。
处理模块41还用于根据第一特征向量和第二特征向量，获取重构层更新信息。
训练模块42用于根据重构层更新信息，获取与模型收敛条件匹配的特征重构层。
可以理解的，上述的处理模块41和训练模块42可以协同实现上述S200～S207的训练方法。
为了实现上述的S300～S302，本申请实施例提供一种特征重构层，请参见图10，图10为本申请实施例提供的一种特征重构层的方框示意图。该特征重构层包括特征提取模块51和特征处理模块52。
特征重构层50为根据重构层更新信息获取的与模型收敛条件匹配的特征提取层，重构层更新信息包括第一特征向量和第二特征向量，第一特征向量表征训练图像的图像特征信息，第二特征向量表征第一特征图的图像特征信息，第一特征图为通过对训练图像进行图像特征抑制后获得的。
特征提取模块51用于获取将待检索图像的图像特征图。
特征处理模块52用于将图像特征图进行最大池化处理，获取第三特征向量。
特征处理模块52还用于将图像特征图进行平均池化处理，获取第四特征向量。特征处理模块52还用于根据第三特征向量和第四特征向量，获取待检索图像的重构特征。
可以理解的，上述的特征提取模块51和特征处理模块52可以协同实现上述S300～S302的重构方法。
本申请实施例还提供一种电子设备，如图11，图11为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本申请实施例所提供的任一项训练方法或重构方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一项训练方法或重构方法。该电子设备60可以是，但不限于，手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项训练方法或重构方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供一种特征重构层的训练方法、图像特征的重构方法及相关装置，涉及行人重识别领域。该训练方法应用于电子设备，该训练方法包括：根据训练图像集，获取第一特征向量；训练图像集包括至少一张训练图像；根据模糊训练集，获取第二特征向量；模糊训练集包括至少一张第一特征图，第一特征图为通过对训练图像进行图像特征抑制后获得的；根据第一特征向量和第二特征向量，获取重构层更新信息；根据重构层更新信息，获取与模型收敛条件匹配的特征重构层。使用本申请获取的特征重构层，无论待检索图像是清晰图像，或是模糊图像，都可以获得一个较好的图像特征，以便减少图片模糊等对神经网络特征造成的干扰和影响，进而提高行人检索的准确率。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种特征重构层的训练方法，其特征在于，应用于电子设备，所述方法包括：
根据训练图像集，获取第一特征向量；所述训练图像集包括至少一张训练图像，所述第一特征向量表征所述训练图像的图像特征信息；
根据模糊训练集，获取第二特征向量；所述模糊训练集包括至少一张第一特征图，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的，所述第二特征向量表征所述第一特征图的图像特征信息；
根据所述第一特征向量和所述第二特征向量，获取重构层更新信息；
根据所述重构层更新信息，获取与模型收敛条件匹配的特征重构层。
2.根据权利要求1所述的方法，其特征在于，在所述根据模糊训练集，获取第二特征向量之前，所述方法还包括：
对所述训练图像进行图像特征抑制，获取所述第一特征图；
将至少一张所述第一特征图作为所述模糊训练集。
3.根据权利要求2所述的方法，其特征在于，在所述对所述训练图像进行图像特征抑制，获取所述第一特征图之前，所述方法还包括：
将所述训练图像进行图像特征提取，获取训练特征图；
所述对所述训练图像进行图像特征抑制，获取所述第一特征图，包括：
对所述训练特征图进行水平最大池化处理，获取池化特征图；
对所述池化特征图进行图像特征抑制，获取所述第一特征图。
4.根据权利要求3所述的方法，其特征在于，所述池化特征图的形状为H*W*C，H为高度，W为宽度，C为通道数，所述对所述池化特征图进行图像特征抑制，获取所述第一特征图，包括：
将所述池化特征图在H方向进行等分，获取N个等分特征图；N为大于或等于2的自然数；
根据所述N个等分特征图，获取符合预设抑制条件的至少一张第一特征图；所述第一特征图的形状为H*C。
5.根据权利要求3所述的方法，其特征在于，所述根据训练图像集，获取第一特征向量，包括：
根据所述训练特征图，获取所述第一特征向量。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量，获取重构层更新信息，包括：
获取所述第一特征向量和所述第二特征向量的欧式距离；
构建所述欧式距离的代价损失函数；
根据所述代价损失函数，获取所述重构层更新信息。
7.一种图像特征的重构方法，其特征在于，应用于特征重构层，所述特征重构层为根据重构层更新信息获取的与模型收敛条件匹配的特征提取层，所述重构层更新信息包括第一特征向量和第二特征向量，所述第一特征向量表征训练图像的图像特征信息，所述第二特征向量表征第一特征图的图像特征信息，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的，所述方法包括：
获取将待检索图像的图像特征图；
将所述图像特征图进行最大池化处理，获取第三特征向量；
将所述图像特征图进行平均池化处理，获取第四特征向量；
根据所述第三特征向量和所述第四特征向量，获取所述待检索图像的重构特征。
8.一种特征重构层的训练装置，其特征在于，包括：处理模块和训练模块；
所述处理模块，用于根据训练图像集，获取第一特征向量；所述训练图像集包括至少一张训练图像，所述第一特征向量表征所述训练图像的图像特征信息；
所述处理模块还用于根据模糊训练集，获取第二特征向量；所述模糊训练集包括至少一张第一特征图，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的，所述第二特征向量表征所述第一特征图的图像特征信息；
所述处理模块还用于根据所述第一特征向量和所述第二特征向量，获取重构层更新信息；
所述训练模块，用于根据所述重构层更新信息，获取与模型收敛条件匹配的特征重构层。
9.一种特征重构层，其特征在于，包括特征提取模块和特征处理模块；
所述特征重构层为根据重构层更新信息获取的与模型收敛条件匹配的特征提取层，所述重构层更新信息包括第一特征向量和第二特征向量，所述第一特征向量表征训练图像的图像特征信息，所述第二特征向量表征第一特征图的图像特征信息，所述第一特征图为通过对所述训练图像进行图像特征抑制后获得的；
所述特征提取模块，用于获取将待检索图像的图像特征图；
所述特征处理模块，用于将所述图像特征图进行最大池化处理，获取第三特征向量；
所述特征处理模块还用于将所述图像特征图进行平均池化处理，获取第四特征向量；
所述特征处理模块还用于根据所述第三特征向量和所述第四特征向量，获取所述待检索图像的重构特征。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6任一项所述的训练方法或权利要求7所述的重构方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的训练方法或权利要求7所述的重构方法。
CN201911082061.6A 2019-11-07 2019-11-07 特征重构层的训练方法、图像特征的重构方法及相关装置 Pending CN110825900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082061.6A CN110825900A (zh) 2019-11-07 2019-11-07 特征重构层的训练方法、图像特征的重构方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082061.6A CN110825900A (zh) 2019-11-07 2019-11-07 特征重构层的训练方法、图像特征的重构方法及相关装置

Publications (1)

Publication Number Publication Date
CN110825900A true CN110825900A (zh) 2020-02-21

Family

ID=69553158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082061.6A Pending CN110825900A (zh) 2019-11-07 2019-11-07 特征重构层的训练方法、图像特征的重构方法及相关装置

Country Status (1)

Country Link
CN (1) CN110825900A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524072A (zh) * 2020-04-26 2020-08-11 重庆紫光华山智安科技有限公司 超分辨重构网络训练方法和装置、电子设备及存储介质
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN111754775A (zh) * 2020-07-03 2020-10-09 浙江大学 一种基于特征重构误差的交通流量预测方法
CN112363844A (zh) * 2021-01-12 2021-02-12 之江实验室 一种面向图像处理的卷积神经网络垂直分割方法
CN112860932A (zh) * 2021-02-19 2021-05-28 电子科技大学 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质
TWI769635B (zh) * 2020-08-25 2022-07-01 新加坡商商湯國際私人有限公司 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
CN114821795A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108765293A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种基于稀疏表示的磁共振图像重建方法及系统
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
CN110276418A (zh) * 2019-06-26 2019-09-24 北京达佳互联信息技术有限公司 基于图片的字体识别方法、装置、电子设备及存储介质
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110717947A (zh) * 2019-09-25 2020-01-21 北京理工大学 一种基于外部和内部训练的高质量光谱重构方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108765293A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种基于稀疏表示的磁共振图像重建方法及系统
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110276418A (zh) * 2019-06-26 2019-09-24 北京达佳互联信息技术有限公司 基于图片的字体识别方法、装置、电子设备及存储介质
CN110717947A (zh) * 2019-09-25 2020-01-21 北京理工大学 一种基于外部和内部训练的高质量光谱重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李亚杰: "《多元统计分析》", 30 September 2018, 北京邮电大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524072A (zh) * 2020-04-26 2020-08-11 重庆紫光华山智安科技有限公司 超分辨重构网络训练方法和装置、电子设备及存储介质
CN111539360A (zh) * 2020-04-28 2020-08-14 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111539360B (zh) * 2020-04-28 2022-11-22 重庆紫光华山智安科技有限公司 安全带佩戴识别方法、装置及电子设备
CN111666902A (zh) * 2020-06-10 2020-09-15 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN111754775A (zh) * 2020-07-03 2020-10-09 浙江大学 一种基于特征重构误差的交通流量预测方法
TWI769635B (zh) * 2020-08-25 2022-07-01 新加坡商商湯國際私人有限公司 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
CN112363844A (zh) * 2021-01-12 2021-02-12 之江实验室 一种面向图像处理的卷积神经网络垂直分割方法
CN112860932A (zh) * 2021-02-19 2021-05-28 电子科技大学 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质
CN114821795A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统

Similar Documents

Publication Publication Date Title
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
Cozzolino et al. Noiseprint: A CNN-based camera model fingerprint
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2021043168A1 (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
WO2023082453A1 (zh) 一种图像处理方法及装置
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Lin et al. SAN: Scale-aware network for semantic segmentation of high-resolution aerial images
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN115082966B (zh) 行人重识别模型训练方法、行人重识别方法、装置和设备
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication