CN113128520B - 图像特征提取方法、目标重识别方法、装置及存储介质 - Google Patents

图像特征提取方法、目标重识别方法、装置及存储介质 Download PDF

Info

Publication number
CN113128520B
CN113128520B CN202110465393.3A CN202110465393A CN113128520B CN 113128520 B CN113128520 B CN 113128520B CN 202110465393 A CN202110465393 A CN 202110465393A CN 113128520 B CN113128520 B CN 113128520B
Authority
CN
China
Prior art keywords
image
feature
target
feature extraction
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110465393.3A
Other languages
English (en)
Other versions
CN113128520A (zh
Inventor
钱文
何智群
武伟
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110465393.3A priority Critical patent/CN113128520B/zh
Publication of CN113128520A publication Critical patent/CN113128520A/zh
Application granted granted Critical
Publication of CN113128520B publication Critical patent/CN113128520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本公开涉及图像特征提取方法、目标重识别方法、装置及存储介质，该图像特征提取方法包括从获取到的图像中进行图像特征提取，得到第一特征图；对上述第一特征图进行复合特征提取，得到第一特征信息，上述复合特征提取包括通道特征提取；基于上述第一特征信息中的显著特征，对上述第一特征图进行过滤；提取过滤结果中的第二特征信息；融合上述第一特征信息和上述第二特征信息，得到上述图像的特征提取结果。本公开可以在对图像信息进行充分提取的同时，提升对非显著位置的信息的关注能力，从而使得得到的特征提取结果包含较多的具备判别力的信息。

Description

图像特征提取方法、目标重识别方法、装置及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及图像特征提取方法、目标重识别方法、装置及存储介质。
背景技术
图像特征提取是计算机视觉领域的重要问题，也是基于图像的相关应用的实施基础。相关技术中可能由于视角原因、天气原因、时间原因、视觉遮挡原因或跨摄像头等原因导致图像质量不高，图像库中的图像因此可能存在类间相似度高，类内相似度低的问题，而相关技术中的图像特征提取方案尚难以从图像中提取到充分具有判别力的信息，在一定程度上增加了实施上述相关应用的难度。
发明内容
为了解决上述提出的至少一个技术问题，本公开提出了图像特征提取方法、目标重识别方法、装置及存储介质。
根据本公开的一方面，提供了一种图像特征提取方法，其包括：从获取到的图像中进行图像特征提取，得到第一特征图；对所述第一特征图进行复合特征提取，得到第一特征信息，所述复合特征提取包括通道特征提取；基于所述第一特征信息中的显著特征，对所述第一特征图进行过滤；提取过滤结果中的第二特征信息；融合所述第一特征信息和所述第二特征信息，得到所述图像的特征提取结果。基于上述配置，可以在对图像信息进行充分提取的同时，提升对非显著位置的信息的关注能力，从而使得得到的特征提取结果包含较多的具备判别力的信息。
在一些可能的实施方式中，所述提取过滤结果中的第二特征信息，包括：抑制所述过滤结果中的显著特征，得到第二特征图；所述抑制所述过滤结果中的显著特征，得到第二特征图，包括：对所述过滤结果进行特征提取得到目标特征，对所述目标特征进行复合特征提取得到第一目标特征信息，以及基于所述第一目标特征信息中的显著特征，对所述目标特征进行过滤，得到所述第二特征图；在没有达到预设的停止条件的情况下，根据所述第二特征图更新所述过滤结果，重复所述抑制所述过滤结果中的显著特征，得到第二特征图的步骤；在达到所述停止条件的情况下，将获取到的每一所述第一目标特征信息均作为所述第二特征信息。基于上述配置，可以通过循环挖掘，充分提取到非显著位置的信息，提升第二特征信息的丰富度和判别力。
在一些可能的实施方式中，所述提取过滤结果中的第二特征信息，还包括：获取目标第二特征图，所述目标第二特征图为达到所述停止条件的情况下获取到的第二特征图；对所述目标第二特征图进行复合特征提取，得到第二目标特征信息；将所述第二目标特征信息作为所述第二特征信息。基于上述配置，可以进一步提升第二特征信息的丰富度和判别力。
在一些可能的实施方式中，所述基于所述第一特征信息中的显著特征，对所述第一特征图进行过滤，包括：基于所述第一特征信息中的显著特征，确定显著位置；对所述第一特征图中对应于所述显著位置的特征进行过滤。基于上述配置，通过确定出的显著位置进行特征过滤，以便于后续进一步进行信息挖掘，充分将容易湮没的信息提取出来，最终提升了得到的特征提取结果准确表达图像的能力。
在一些可能的实施方式中，所述基于所述第一特征信息中的显著特征，确定显著位置，包括：对所述第一特征信息进行基于位置的分割，得到分割矩阵；计算所述分割矩阵中每个元素对应区域的显著性得分，得到显著性得分矩阵；根据所述显著性得分矩阵，确定所述显著位置。基于上述配置，可以准确确定显著位置，便于后续通过抑制显著位置的特征，将非显著位置对应的特征挖掘出来，提升特征提取结果中的信息丰满度。
在一些可能的实施方式中，所述对所述第一特征图中对应于所述显著位置的特征进行过滤，包括：根据所述显著位置生成掩码图，所述掩码图用于滤除所述显著位置对应的特征；融合所述掩码图与所述第一特征图。基于上述配置，可以基于掩码图快速得到第一特征图，提升第一特征图的获取速度。
在一些可能的实施方式中，所述对所述第一特征图进行复合特征提取，得到第一特征信息，包括：对所述第一特征图进行图像特征提取，得到第一提取结果；对所述第一特征图进行通道信息提取，得到第二提取结果；融合所述第一提取结果和所述第二提取结果，得到所述第一特征信息。基于上述配置，可以使得得到的第一特征信息既可以保留低阶特征信息，又可以保留高阶的通道间信息，从而包含丰富的具备辨识力的信息。
在一些可能的实施方式中，所述方法通过图像特征提取网络实施，所述图像特征提取网络的训练方法如下：将携带标签的样本图像输入所述图像特征提取网络的至少两个图像特征提取分支，得到样本第一特征信息和样本第二特征信息；基于所述样本第一特征信息、所述样本第二特征信息和所述标签，确定所述图像特征提取网络产生的训练损失；基于所述训练损失优化所述图像特征提取网络；其中，所述训练损失基于以下中的至少一部分构成：每一所述图像特征提取分支产生的单通道损失、每一所述图像特征提取分支之间的跨空间损失、基于对所述图像特征提取分支的输出数据的显著位置预测产生的预测损失、基于对每一所述图像特征提取分支的输出数据的融合产生的融合损失。基于上述配置，可以基于训练损失优化特征提取网络，使得训练得到的特征提取网络可以对图像进行充分的信息挖掘，得到充分具备辨识力的特征。
在一些可能的实施方式中，所述方法还包括确定所述单通道损失，所述确定所述单通道损失，包括：根据所述样本第一特征信息和所述标签，确定单通道第一损失；根据所述样本第二特征信息和所述标签，确定单通道第二损失；根据所述单通道第一损失和所述单通道第二损失，确定所述单通道损失。基于上述配置，通过确定各个特征提取分支产生的单通道损失，可以便于对单特征提取分支的特征提取能力进行提升，最终提升特征提取网路的特征提取能力。
在一些可能的实施方式中，所述方法还包括确定所述跨空间损失，所述确定所述跨空间损失，包括：对所述样本第一特征信息和所述样本第二特征信息进行归一化处理，得到多个样本归一化特征；计算所述多个样本归一化特征之间的跨空间损失，所述跨空间损失包括下述至少之一：所述多个样本归一特征之间的目标跨空间损失、所述多个样本归一特征之间的图像跨空间损失。基于上述配置，通过得到样本归一化特征，使得来自不同特征空间的数据经过处理后可以位于相同特征空间，并且计算样本归一化特征产生的目标跨空间损失和图像跨空间损失。通过约束各个特征提取分支各自关注不同的区域，进一步提升其图像特征提取能力。
在一些可能的实施方式中，所述标签标注有所述样本图像中的目标，所述方法还包括计算所述目标跨空间损失，所述计算所述目标跨空间损失，包括：对所述多个样本归一特征进行基于目标的聚类，得到目标聚类结果，所述目标聚类结果的相同类中的样本归一化特征对应于相同的目标；根据所述目标聚类结果计算目标类内相似度和目标类间相似度；根据所述目标类内相似度和所述目标类间相似度的差值，得到所述目标跨空间损失。基于上述配置，通过计算上述目标跨空间损失从目标的角度约束样本归一特征之间的关系，提升了训练损失计算的准确度。
在一些可能的实施方式中，所述标签标注有所述样本图像中的目标，所述方法还包括计算所述图像跨空间损失，所述计算所述图像跨空间损失，包括：计算任意两个第一相关特征之间的第一距离，所述两个第一相关特征为对应于不同样本图像中相同目标的两个样本归一化特征；计算任意两个第二相关特征之间的第二距离；所述两个第二相关特征为对应于相同样本图像中相同目标的两个样本归一化特征；确定所述第一距离中的最小第一距离；确定所述第二距离中的最大第二距离；根据所述最小第一距离和所述最大第二距离的差值，得到所述图像跨空间损失。基于上述配置，通过计算图像跨空间损失可以使得在训练过程中不同特征提取分支的提取结果之间的距离尽可能拉大，达到了各个特征提取分支关注不同区域的目的。
在一些可能的实施方式中，所述方法还包括确定所述预测损失，所述确定所述预测损失，包括：根据所述样本第一特征信息和所述样本第二特征信息，确定每一显著区域引导层的输入数据；确定所述每一显著区域引导层输出的显著性得分矩阵，所述显著性得分矩阵表征所述输入数据对应的显著位置；对所述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵；根据所述显著性得分参考矩阵和所述显著性得分矩阵，确定所述预测损失。基于上述配置，可以提升对预测损失的计算准确度，基于该预测损失可以优化特征提取网络，提升显著位置的识别准确度。
在一些可能的实施方式中，所述对所述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵，包括：对所述输入数据进行基于区域的抑制，根据抑制结果确定第一得分矩阵；对所述输入数据依次进行基于通道的池化操作和基于空间的池化操作，得到第二得分矩阵；根据所述第一得分矩阵和所述第二得分矩阵，确定所述显著性得分参考矩阵。基于上述配置，通过从目标识别损失的角度计算第一得分矩阵，从输入数据自身分析的角度计算第二得分矩阵，并将根据上述第一得分矩阵和上述第二得分矩阵得到的显著性得分参考矩阵作为参考值计算上述显著区域引导层产生的预测损失，可以提升对预测损失的计算准确度。
在一些可能的实施方式中，所述方法还包括确定融合损失，所述确定融合损失，包括：获取各图像特征提取分支对应的训练精度；获取所述各图像特征提取分支对应的预测置信度得分；根据所述训练精度和所述预测置信度得分，计算所述融合损失。基于上述配置，通过在训练损失中包含上述融合损失，可以使得随着训练的进行，各个特征提取分支的训练精度可以随之提升，从而提升特征提取网络的特征提取能力，得到高质量的图像特征。
根据本公开的第二方面，提供了一种目标重识别方法，所述方法包括：获取待识别图像；基于第一方面中任意一项所述的方法对所述待识别图像进行特征提取，得到所述待识别图像的特征提取结果；基于所述特征提取结果对所述待识别图像中的目标身份进行识别。基于上述配置，可以在图像库中查找到与待识别图像大概率包括相同目标的目标图像，从而完成目标重识别，具备准确度高的显著优势。
根据本公开的第三方面，提供一种图像特征提取装置，所述装置包括：第一特征图获取模块，用于从获取到的图像中进行图像特征提取，得到第一特征图；第一特征信息提取模块，用于对所述第一特征图进行复合特征提取，得到第一特征信息，所述复合特征提取包括通道特征提取；过滤模块，用于基于所述第一特征信息中的显著特征，对所述第一特征图进行过滤；第二特征信息提取模块，用于提取过滤结果中的第二特征信息；融合模块，用于融合所述第一特征信息和所述第二特征信息，得到所述图像的特征提取结果。
在一些可能的实施方式中，所述第二特征信息提取模块用于抑制所述过滤结果中的显著特征，得到第二特征图；所述抑制所述过滤结果中的显著特征，得到第二特征图，包括：对所述过滤结果进行特征提取得到目标特征，对所述目标特征进行复合特征提取得到第一目标特征信息，以及基于所述第一目标特征信息中的显著特征，对所述目标特征进行过滤，得到所述第二特征图；在没有达到预设的停止条件的情况下，根据所述第二特征图更新所述过滤结果，重复所述抑制所述过滤结果中的显著特征，得到第二特征图的步骤；在达到所述停止条件的情况下，将获取到的每一所述第一目标特征信息均作为所述第二特征信息。
在一些可能的实施方式中，所述第二特征信息提取模块还用于获取目标第二特征图，所述目标第二特征图为达到所述停止条件的情况下获取到的第二特征图；对所述目标第二特征图进行复合特征提取，得到第二目标特征信息；将所述第二目标特征信息作为所述第二特征信息。
在一些可能的实施方式中，所述过滤模块，包括：显著位置确定单元，用于基于所述第一特征信息中的显著特征，确定显著位置；过滤单元，用于对所述第一特征图中对应于所述显著位置的特征进行过滤。
在一些可能的实施方式中，所述显著位置确定单元用于对所述第一特征信息进行基于位置的分割，得到分割矩阵；计算所述分割矩阵中每个元素对应区域的显著性得分，得到显著性得分矩阵；根据所述显著性得分矩阵，确定所述显著位置。
在一些可能的实施方式中，所述过滤单元用于根据所述显著位置生成掩码图，所述掩码图用于滤除所述显著位置对应的特征；融合所述掩码图与所述第一特征图。
在一些可能的实施方式中，所述第一特征信息提取模块用于对所述第一特征图进行图像特征提取，得到第一提取结果；对所述第一特征图进行通道信息提取，得到第二提取结果；融合所述第一提取结果和所述第二提取结果，得到所述第一特征信息。
在一些可能的实施方式中，所述装置还包括训练模块，所述训练模块，包括特征提取单元，用于将携带标签的样本图像输入所述图像特征提取网络的至少两个图像特征提取分支，得到样本第一特征信息和样本第二特征信息；损失计算单元，用于基于所述样本第一特征信息、所述样本第二特征信息和所述标签，确定所述图像特征提取网络产生的训练损失；优化单元，用于基于所述训练损失优化所述图像特征提取网络；其中，所述训练损失基于以下中的至少一部分构成：每一所述图像特征提取分支产生的单通道损失、每一所述图像特征提取分支之间的跨空间损失、基于对所述图像特征提取分支的输出数据的显著位置预测产生的预测损失、基于对每一所述图像特征提取分支的输出数据的融合产生的融合损失。
在一些可能的实施方式中，所述损失计算单元包括单通道损失计算单元，所述单通道损失计算单元用于根据所述样本第一特征信息和所述标签，确定单通道第一损失；根据所述样本第二特征信息和所述标签，确定单通道第二损失；根据所述单通道第一损失和所述单通道第二损失，确定所述单通道损失。
在一些可能的实施方式中，所述损失计算单元包括跨空间损失计算单元，所述跨空间损失计算单元用于对所述样本第一特征信息和所述样本第二特征信息进行归一化处理，得到多个样本归一化特征；计算所述多个样本归一化特征之间的跨空间损失，所述跨空间损失包括下述至少之一：所述多个样本归一特征之间的目标跨空间损失、所述多个样本归一特征之间的图像跨空间损失。
在一些可能的实施方式中，所述标签标注有所述样本图像中的目标，所述跨空间损失计算单元还用于对所述多个样本归一特征进行基于目标的聚类，得到目标聚类结果，所述目标聚类结果的相同类中的样本归一化特征对应于相同的目标；根据所述目标聚类结果计算目标类内相似度和目标类间相似度；根据所述目标类内相似度和所述目标类间相似度的差值，得到所述目标跨空间损失。
在一些可能的实施方式中，所述标签标注有所述样本图像中的目标，所述跨空间损失计算单元还用于计算任意两个第一相关特征之间的第一距离，所述两个第一相关特征为对应于不同样本图像中相同目标的两个样本归一化特征；计算任意两个第二相关特征之间的第二距离；所述两个第二相关特征为对应于相同样本图像中相同目标的两个样本归一化特征；确定所述第一距离中的最小第一距离；确定所述第二距离中的最大第二距离；根据所述最小第一距离和所述最大第二距离的差值，得到所述图像跨空间损失。
在一些可能的实施方式中，所述损失计算单元包括预测损失计算单元，所述预测损失计算单元用于根据所述样本第一特征信息和所述样本第二特征信息，确定每一显著区域引导层的输入数据；确定所述每一显著区域引导层输出的显著性得分矩阵，所述显著性得分矩阵表征所述输入数据对应的显著位置；对所述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵；根据所述显著性得分参考矩阵和所述显著性得分矩阵，确定所述预测损失。
在一些可能的实施方式中，所述预测损失计算单元还用于对所述输入数据进行基于区域的抑制，根据抑制结果确定第一得分矩阵；对所述输入数据依次进行基于通道的池化操作和基于空间的池化操作，得到第二得分矩阵；根据所述第一得分矩阵和所述第二得分矩阵，确定所述显著性得分参考矩阵。
在一些可能的实施方式中，所述损失计算单元包括融合损失计算单元，所述融合损失计算单元用于获取各图像特征提取分支对应的训练精度；获取所述各图像特征提取分支对应的预测置信度得分；根据所述训练精度和所述预测置信度得分，计算所述融合损失。
根据本公开的第四方面，提供了一种目标重识别装置，所述装置包括：待识别图像获取模块，用于获取待识别图像；特征提取模块，用于基于第一方面中任意一项所述的方法对所述待识别图像进行特征提取，得到所述待识别图像的特征提取结果；身份识别模块，用于基于所述特征提取结果对所述待识别图像中的目标身份进行识别。
根据本公开的第五方面，提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任意一项所述的图像特征提取方法或第二方面中任意一项所述的目标重识别方法。
根据本公开的第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面中任意一项所述的图像特征提取方法或第二方面中任意一项所述的目标重识别方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1示出根据本公开实施例的的一种图像特征提取方法的流程图；
图2示出根据本公开实施例的图像特征提取方法步骤S30的流程示意图；
图3示出根据本公开实施例的确定显著位置的流程示意图；
图4示出根据本公开实施例的提取过滤结果中的第二特征信息的流程示意图；
图5示出根据本公开实施例的执行上述图像特征提取方法的图像特征提取网络的示意图；
图6示出根据本公开实施例的另一种第二特征信息提取网络的示意图；
图7示出根据本公开实施例的图像特征提取方法中步骤S50的流程示意图；
图8示出根据本公开实施例的图像特征提取网络训练的流程示意图；
图9示出根据本公开实施例的对应于图5中的三个特征提取分支的样本归一特征的示意图；
图10示出根据本公开实施例的图9中的特征信息经过归一化处理后得到的聚类结果的示意图；
图11示出根据本公开实施例的图9中的特征信息经过归一化处理后在图像层面进行约束的示意图；
图12示出根据本公开实施例的图像跨空间损失计算方法的流程示意图；
图13示出根据本公开实施例的显著区域引导层损失计算方法示意图；
图14示出根据本公开实施例的目标重识别方法流程示意图；
图15示出根据本公开实施例的图像特征提取装置框图；
图16示出根据本公开实施例的目标重识别装置的框图；
图17示出根据本公开实施例的一种电子设备的框图；
图18示出根据本公开实施例的另一种电子设备的框图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
目前的图像库可能由于一些客观原因存在不同图像中相同目标的相似度(类内相似度)较低，而不同图像中不同目标的相似度(类间相似度)较高的问题，图像质量的不稳定带来了图像特征挖掘的困难。为此，相关技术中提出了基于局部信息、目标属性结构或注意力的旨在提升图像特征提取能力的方案，但是这些方案额外引入了新的标注信息，造成了样本数据获取的困难，并且挖掘效果依然不甚理想。
有鉴于此，本公开实施例提供一种图像特征提取方法，可以在无需引入新的标注的前提下，充分挖掘出图像中具备判别力的信息。本公开实施例提供的技术方案可以应用于图像或视频的目标检测、目标重识别等应用场景及其扩展，本公开实施例对此不做限定。
示例性的，本公开实施例提供的技术方案可以应用于目标重识别场景中，以车辆重识别场景为例，车辆重识别的目的是在底库中检索出包含目标车辆的重识别图片，这些图片往往是由不同的摄像头拍摄得到。可以对底库中的图片与目标车辆的图片均基于本公开实施例提供的方法进行图像特征提取，通过比较提取结果的相似度即可确定重识别图片，进而还可以基于该重识别图片确认该目标车辆的身份。车辆重识别可以被广泛应用到跨摄像头的车辆追踪，智能交通，城市救援等诸多应用场景。
示例性的，本公开实施例提供的技术方案还可以被应用于目标检测场景中，以人脸检测为例，人脸检测的目的是在底库中检索出包括标准人脸的目标人脸图片，通过对底库中的图片与标准人脸的图片均基于本公开实施例提供的方法进行图像特征提取，比较提取结果的相似度即可确定上述目标人脸图片。人脸检测可以被广泛应用到涉密保护，移动支付以及数据安全等诸多应用场景。
本公开实施例提供的图像特征提取方法以及目标重识别方法可以由终端设备、服务器或其它类型的电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像特征提取方法以及目标重识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以电子设备作为执行主体为例对本公开实施例的图像特征提取方法以及目标重识别方法进行说明。
图1示出根据本公开实施例的一种图像特征提取方法的流程图，如图1所示，上述方法包括：
S10：从获取到的图像中进行图像特征提取，得到第一特征图。
本公开实施例中，可以通过电子设备获取上述图像。或者，电子设备可以从其他设备处获取上述图像，例如，电子设备可以从摄像设备、监控设备等设备处获取上述图像。在一些实现方式中，上述图像可以是视频中的一个图像帧。
本公开实施例并不限定图像特征提取的具体方法，示例性的，可以对上述图像进行至少一级的卷积处理，得到上述第一特征图。在进行卷积处理的过程中，可以得到多个不同尺度的图像特征提取结果，可以融合至少两个不同尺度的上述图像特征提取结果得到上述第一特征图。
S20：对上述第一特征图进行复合特征提取，得到第一特征信息，上述复合特征提取包括通道特征提取。
在一个实施例中，上述对上述第一特征图进行复合特征提取，得到第一特征信息可以包括：对上述第一特征图进行图像特征提取，得到第一提取结果。对上述第一特征图进行通道信息提取，得到第二提取结果。融合上述第一提取结果和上述第二提取结果，得到上述第一特征信息。本公开实施例并不限定对上述第一特征图进行图像特征提取的方法，示例性的，其可以对上述第一特征图进行至少一级卷积处理，得到上述第一提取结果。
本公开实施例中的通道信息提取可以关注第一特征图中的各个通道之间的关系的挖掘。示例性的，其可以基于对多通道的特征进行融合实现。本公开实施例也不限定融合目标，比如，可以按照通道标识进行通道归类，对属于同一类的通道的特征进行融合。举例而言，可以对通道1-10的特征进行第一融合，对通道11-20的特征进行第二融合，第一融合和第二融合可以使用相同的融合方法或不同的融合方法，本公开实施例并不限定在通道信息提取的过程中使用的融合方法的类型和数量。
本公开实施例中的复合特征提取可以通过融合上述第一提取结果和上述第二提取结果，既保留第一特征图本身的低阶信息，又可以充分提取到高阶的通道间信息，提升挖掘出的第一特征信息的信息丰富程度和表达力。在实施复合特征提取的过程中，可能用到至少一种融合方法，本公开实施例不对该融合方法进行限定，降维、加法、乘法、内积、卷积、求平均的至少一种及其组合都可以被用于进行融合。
S30：基于上述第一特征信息中的显著特征，对上述第一特征图进行过滤。
本公开实施例中可以根据上述第一特征信息判断上述第一特征图中较为显著的区域和不甚显著的区域，并将较为显著的区域中的信息过滤掉，得到过滤结果。
在一个实施例中，可以参考图2，其示出根据本公开实施例的图像特征提取方法步骤S30的流程示意图，上述基于上述第一特征信息中的显著特征，对上述第一特征图进行过滤，包括：
S31：基于上述第一特征信息中的显著特征，确定显著位置。
本公开实施例中并不限定确定显著位置的具体方法，在一个实施例中，请参考图3，其示出根据本公开实施例的确定显著位置的流程示意图。上述基于上述第一特征信息中的显著特征，确定显著位置，包括：
S311：对上述第一特征信息进行基于位置的分割，得到分割矩阵。
示例性的，可以对于上述第一特征信息进行基于位置的分割，将其分割为T*T的矩阵，本公开实施例并不限定T的大小,T可以是小于预设阈值的正整数，示例性的，T可以取值为8,即可得到8*8的分割矩阵，显然，上述分割矩阵的每个元素可以映射到第一特征信息中的一块区域。
S312：计算上述分割矩阵中每个元素对应区域的显著性得分，得到显著性得分矩阵。
本公开实施例并不限定显著性得分的计算方法，示例性的，可以基于训练好的显著区域引导层输出该显著性得分矩阵。在一个实施例中，对于任一元素对应区域，可以将上述第一特征信息中对应于该区域的特征信息抑制后得到抑制结果，通过上述抑制结果被用于识别上述图像中的目标的准确度表现，判断被抑制的上述区域的显著程度，根据判断结果计算得到上述显著性得分。若基于上述抑制结果识别出的目标的准确度较高，则可以认为被抑制的上述区域的显著性较低，反之则显著性较高。在另一个实施例中，还可以对上述第一特征信息进行基于通道的池化操作和基于空间的池化操作，得到上述显著性得分。
S313：根据上述显著性得分矩阵，确定上述显著位置。
在一个实施例中，可以遍历上述显著性得分矩阵，将显著性得分高于预设显著性阈值的区域判定为上述显著位置。在另一个实施例中，可以遍历上述显著性得分矩阵，将显著性得分进行降序排列，将排序位置高于预设排位的区域判定为上述显著位置，本公开实施例并不限定上述预设显著性阈值和预设排位的具体数值，可以根据实际需求进行设定。
S32：对上述第一特征图中对应于上述显著位置的特征进行过滤。
在一个实施例中，可以根据上述显著位置生成掩码图，上述掩码图用于滤除上述显著位置对应的特征。融合上述掩码图与上述第一特征图即可实现上述过滤。示例性的，该掩码图可以与上述分割矩阵的大小一致，沿用前文示例，该掩码图也可以被表达为一个T*T的矩阵，将显著位置对应的区域在上述掩码图中所对应的元素设为0，将其它区域对应的元素设为1，从而生成上述掩码图。将上述掩码图调节至与上述第一特征图同大小后直接与上述第一特征图进行逐元素相乘，即可得到对应的过滤结果。
本公开实施例中通过计算每个区域对应的显著性得分可以准确确定出显著位置。通过得到的显著位置可以过滤上述第一特征图中的相关特征，得到准确的过滤结果，以便于在后续处理过程中对于该过滤结果进一步进行信息挖掘，从而将容易湮没的信息挖掘出来，最终提升图像的特征提取结果准确表达该图像的能力。
S40：提取过滤结果中的第二特征信息。
本公开实施例并不限定提取过滤结果的具体方法，示例性的，其可以基于至少一级复合特征提取实现。在一个实施例中，请参考图4，其示出根据本公开实施例的提取过滤结果中的第二特征信息的流程示意图。上述提取过滤结果中的第二特征信息，包括：
S41：抑制上述过滤结果中的显著特征，得到第二特征图；上述抑制上述过滤结果中的显著特征，得到第二特征图，包括：对上述过滤结果进行特征提取得到目标特征，对上述目标特征进行复合特征提取得到第一目标特征信息，以及基于上述第一目标特征信息中的显著特征，对上述目标特征进行过滤，得到上述第二特征图。
本公开实施例中，可以参考步骤S10中的图像特征提取方法对上述过滤结果进行特征提取得到目标特征，参考步骤S20中的复合特征提取方法对上述目标特征进行复合特征提取得到第一目标特征信息。参考步骤S30中的过滤方法基于上述第一目标特征信息中的显著特征，对上述目标特征进行过滤，得到上述第二特征图。
S42：在没有达到预设的停止条件的情况下，根据上述第二特征图更新上述过滤结果，重复上述抑制上述过滤结果中的显著特征，得到第二特征图的步骤。
S43：在达到上述停止条件的情况下，将获取到的每一上述第一目标特征信息均作为上述第二特征信息。
请参考图5，其示出根据本公开实施例的执行上述图像特征提取方法的图像特征提取网络的示意图。上述图像特征提取网络可以包括多个结构相似的图像特征提取分支(示例性的，图5中为网络10至网络30)，以网络20为例，若以上述过滤结果为输入，其中的网络1可以被用于对上述过滤结果进行图像特征提取，得到目标特征；网络2可以被用于对上述目标特征进行复合特征提取，得到第一目标特征信息。上述网络2可以包括一个通道特征提取单元22，在一些实施例中，网络2还包括设置在通道特征提取单元22之前的至少一个图像特征提取单元21。图5中的网络10可以被用于得到上述第一特征信息，网络20和网络30可以被用于得到上述第二特征信息，本公开实施例中可以将用于得到上述第二特征信息的图像特征提取分支形成的网络称为第二特征信息提取网络。
请参考图6，其示出根据本公开实施例的另一种第二特征信息提取网络的示意图。以图6为例，可以通过将上述过滤结果输入特征提取分支100。上述特征提取分支100可以对上述过滤结果进行特征提取得到目标特征，对上述目标特征进行复合特征提取得到第一目标特征信息。进而可以基于上述第一目标特征信息中的显著特征，对上述目标特征进行过滤，得到上述第二特征图。
上述特征提取分支100并不是图6中第二特征信息提取网络的倒数第二个分支，故可以认为尚未到达该预设的停止条件。这种情况下，可以将该第二特征图作为新的过滤结果输入下一个特征提取分支(特征提取分支200)，特征提取分支200的数据处理逻辑与特征提取分支100相同。
对于特征提取分支200，其是图6中第二特征信息提取网络的倒数第二个分支，这种情况下可以认为达到了该预设的停止条件，可以将基于特征提取分支100和特征提取分支200得到第一目标特征信息均作为上述第二特征信息。
在一些实施例中，上述第二特征信息中还可以包括基于上述第二特征信息提取网络的最后一个分支得到的特征信息，示例性的，上述提取过滤结果中的第二特征信息，还包括：
S44：获取目标第二特征图，上述目标第二特征图为达到上述停止条件的情况下获取到的第二特征图。
S45：对上述目标第二特征图进行复合特征提取，得到第二目标特征信息。
以图6为例，基于特征提取分支200得到的第二特征图即为上述目标第二特征图。本公开实施例中，可以将上述目标第二特征图输入特征提取分支300进行复合特征提取，得到第二目标特征信息。
S46：将上述第二目标特征信息作为上述第二特征信息。
相应的，将该第二目标特征信息也作为上述第二特征信息，也就是说上述第二特征信息可以包括上述第二特征信息提取网络中各个非最后分支输出的第一目标特征信息，也包括最后分支输出的第二目标特征信息。本公开实施例不限定上述第二特征信息网络中包括的特征提取分支的数量，并且各特征提取分支的数据处理逻辑基于相同发明构思，在此不再赘述。
基于上述配置，可以基于层级结构逐层过滤显著特征，并基于过滤结果进行包括通道信息提取的复合特征提取，得到包括多个目标特征信息的第二特征信息，通过逐层挖掘具有判别力的信息，提升第二特征信息的有效度和判别力。
S50：融合上述第一特征信息和上述第二特征信息，得到上述图像的特征提取结果。
请参考图5，其中的虚线部分表征步骤S50的融合操作。本公开实施例中通过有效的融合，可以进一步提升上述图像的特征提取结果的准确度。可以参考图7，其示出根据本公开实施例的上述图像特征提取方法中步骤S50的流程示意图，上述融合上述第一特征信息和上述第二特征信息，得到上述图像的特征提取结果，包括：
S51：获取至少一种融合方法。
S52：对于每种上述融合方法，使用上述融合方法对上述第一特征信息和上述第二特征信息进行融合，得到对应的融合目标。
在一个可行的实施例中，对于任一融合方法，上述融合目标即为基于该融合方法融合上述第一特征信息和上述第二特征信息后得到的上述图像的特征提取结果。
S53：基于上述融合目标，确定对应的融合方法的准确度，上述准确度表征上述融合方法对上述图像中的特征进行表达的能力。
本公开实施例中，可以在实际的应用场景中基于上述融合目标，确定对应的融合方法的准确度。以车辆重识别为例，对于某种融合方法，可以基于该融合方法得到底库中每个图片对应的第一融合目标，以及基于该融合方法得到待识别的图像对应的第二融合目标，根据上述第一融合目标和上述第二融合目标得到上述待识别的图像对应的车辆重识别图像，将上述车辆重识别图像的准确度作为上述融合方法的准确度。
S54：将准确度最高的融合方法确定为目标融合方法。
示例性的，基于融合方法1得到的车辆重识别图像的准确度为90％，基于融合方法2得到的车辆重识别图像的准确度为86％，则将上述融合方法1确定为目标融合方法。
S55：使用上述目标融合方法对上述第一特征信息和上述第二特征信息进行融合，得到上述图像的特征提取结果。
本公开实施例中可以通过在实际应用场景中测试各种可能的融合方法在应用中的效果确定目标融合方法，进而基于目标融合方法得到图像的特征提取结果，客观准确地确定在实际场景中表现突出的目标融合方法，进而提升图像的特征提取结果质量。不同的应用场景也可以适应性地选用适配的目标融合方法，提升本公开实施例中技术方案对应用场景的适应能力。
本公开实施例中提供了一种图像特征提取方法，可以在对图像进行特征信息提取的同时，通过抑制显著特征提升对于非显著特征的关注能力，从非显著特征中进一步挖掘具备辨识力的信息，不仅关注到显著区域的信息，也不忽略非显著区域的信息，从而使得得到的图像的特征提取结果具备强判别力。
本公开实施例提供的图像特征提取方法可以利用图像特征提取网络实现，如可以利用图5示出的图像特征提取网络实现，下面对训练图像特征提取网络的过程进行说明。
请参考图8，其示出根据本公开实施例的图像特征提取网络训练的流程示意图，包括：
S101.将携带标签的样本图像输入上述图像特征提取网络的至少两个图像特征提取分支，得到样本第一特征信息和样本第二特征信息。
示例性的，本公开实施例中的样本图像可以以样本图像组的形成组织，即以样本图像做为输入进行训练。本公开实施例中样本图像组中包括具备相同目标的不同图像，也包括具备不同目标的不同图像。样本图像的标签可以标注有上述样本图像中的目标所属的分类。以车辆重识别为例，一个样本图像组可以包括M*N个图像，即样本图像组中包括M个不同的车辆，每个车辆对应有N个图片，该N个图片中均包括该车辆。一个车即为一个分类，可以以车牌号区分不同的车，即区分不同的分类。
本公开实施例可以以样本图像组的形式组织样本图像，上述图像特征提取网络对上述样本图像进行处理，得到样本第一特征信息和样本第二特征信息的具体方式，可以参考前文S10-S40，在此不做赘述。假设一个样本图像组包括64张图像，则可以基于网络10得到样本第一特征图，该样本第一特征图可以被表示为64*64*128*128，其中第一个64表征样本第一特征图来自64张样本图像，第二个64表征每个样本第一特征图具备64个通道，并且每个样本第一特征图长宽均为128，进一步地对样本第一特征图进行复合特征提取，得到样本第一特征信息，示例性的，该样本第一特征信息可以被表示为64*2048*16*16。样本第二特征信息的获取方法请参考前文，在此不再赘述。
S102.基于上述样本第一特征信息、上述样本第二特征信息和上述标签，确定上述图像特征提取网络产生的训练损失。
本公开实施例中，上述训练损失基于以下中的至少一部分构成：每一上述图像特征提取分支产生的单通道损失、每一上述图像特征提取分支之间的跨空间损失、基于对上述图像特征提取分支的输出数据的显著位置预测产生的预测损失、基于对每一上述图像特征提取分支的输出数据的融合产生的融合损失。上述训练损失可以基于上述任一部分得到，也可以基于上述至少两部分的加权结果确定，本公开实施例并不限定权值，可以根据实际情况进行设定。
S103.基于上述训练损失优化上述图像特征提取网络。
本申请实施例中并不限定具体的优化方法，示例性的，可以使用梯度下降法对图像特征提取网络的参数进行调整。在上述训练损失小于损失阈值的情况下，可以判定优化达到要求，这种情况下的图像特征提取网络可以部署应用。在该训练损失大于或者等于上述损失阈值的情况下，可以反馈调节上述图像特征提取网络的参数，直至得到的上述训练损失小于上述损失阈值。其中上述损失阈值可以为根据需求设定的值，如可以为0.1，但不作为本实施例的具体限定。
基于上述配置，可以基于训练损失优化特征提取网络，使得训练得到的特征提取网络可以对图像进行充分的信息挖掘，得到充分具备辨识力的特征。
在一个实施例中，确定上述单通道损失的方法包括：
S201.根据上述样本第一特征信息和上述标签，确定单通道第一损失。
S202.根据上述样本第二特征信息和上述标签，确定单通道第二损失。
本公开实施例中每个特征提取分支都会产生单通道损失，以图5为例，其包括三个特征提取分支，其中，网路10输出样本第一特征信息，故网络10产生的单通道损失即为上述单通道第一损失，网络20输出的样本第一目标特征信息和网络30输出的样本第二目标特征信息构成上述样本第二特征信息，故单通道第二损失包括网络20产生的单通道损失和网络30产生的单通道损失。本公开实施例中，任一单通道损失均可以包括目标识别损失和目标分类损失。
任一特征提取分支产生的单通道损失基于相同构思得到，以网络10产生的单通道损失为例，可以基于上述样本第一特征信息进行目标预测，得到目标预测结果，根据上述目标预测结果与上述标签的差异确定上述目标识别损失。本公开实施例中并不限定目标预测具体方法，其可以基于训练好的预测网络实施。示例性的，样本图像A中的真实目标为第一车牌号对应的车辆，其对应的标签表征上述样本图像A中的车辆属于第一车牌号的概率为1，属于其它车牌号的概率为0；而上述目标预测结果中包括样本图像A中的车辆依次属于第i车牌号的概率(i≤M)，根据上述标注标签与上述目标预测结果的差异可以得到上述目标识别损失，本公开实施例中对上目标识别损失的具体函数不作限定。
对于网络10，可以根据样本图像组的上述目标预测结果和上述样本图像组中样本图像携带的目标，计算目标类内相似度和目标类间相似度。根据上述目标类内相似度和上述目标类间相似度的差值，计算得到上述目标分类损失。具体地，根据上述样本图像组中样本图像携带的目标可以确定样本图像的分类，样本图像组的目标预测结果中包含每个样本图像对应的目标预测结果，获取属于同一类的任意两个样本图像对应的目标预测结果之间的距离，将数值最大的上述距离确定为该类对应的类内相似度，将各个类内相似度的最大值确定为上述目标类内相似度。将隶属于不同类的任意两个样本图像对应的目标预测结果之间的距离的最大值确定为上述目标类间相似度。
S203.根据上述单通道第一损失和上述单通道第二损失，确定上述单通道损失。
本公开实施例中通过确定各个特征提取分支产生的单通道损失，可以便于对单特征提取分支的特征提取能力进行提升，最终提升特征提取网路的特征提取能力。
本公开实施例认为不同的特征提取分支输出的数据属于不同的特征空间，由此产生跨空间损失。确定上述跨空间损失的方法可以包括：
S301.对上述样本第一特征信息和上述样本第二特征信息进行归一化处理，得到多个样本归一化特征。
在一个实施例中，上述样本第一特征信息和上述样本第二特征信息在进行归一化处理之前，还可以进行全局平均池化处理，降低得到的样本归一化特征的维度。请参考图5，可以基于网络g10实施上述归一化处理。
S302.计算上述多个样本归一化特征之间的跨空间损失，上述跨空间损失包括下述至少之一：上述多个样本归一特征之间的目标跨空间损失、上述多个样本归一特征之间的图像跨空间损失。
通过统一进行归一化处理后得到的多个样本归一特征可以被认为处于相同的特征空间。虽然样本归一特征均属于相同的特征空间，但是其来自于不同的特征提取分支，由此，多个样本归一特征之间产生目标跨空间损失和图像跨空间损失。
请参考图9，其示出根据本公开实施例的对应于图5中的三个特征提取分支的样本归一特征的示意图。位于上部深色的特征空间中的数据为图5中网络10输出的样本第一特征信息，左侧浅色特征空间中的数据为图5中网络20输出的样本第一目标特征信息，右侧无填充特征空间中的数据为图5中网络30输出的样本第二目标特征信息。相同填充色对应同一个特征提取分支，即位于同一个特征空间；相同字母代表同一个目标(以车辆场景为例，相同字母可以代表同一辆车)，相同字母不同数字代表同一个目标不同图片。以目标A为例：A1代表包括目标A的一个图片1，A2代表包括目标A的另一个图片2。深色A1、浅色A1、无填充色A1分别代表三个特征提取分支对图片1的进行处理得到的特征信息(样本第一特征信息、样本第一目标特征信息、样本第二目标特征信息均属于上述特征信息)；深色A2、浅色A2、无填充色A2分别代表三个特征提取分支对图片2进行处理得到的特征信息。
请参考图10，其示出根据本公开实施例的图9中的特征信息经过归一化处理后得到的聚类结果的示意图。经过归一化之后各特征信息被转化为样本归一特征，本公开实施例认为以目标作为锚点，也就是说对应于相同目标的样本归一特征彼此间的距离，应该小于对应于不同目标的样本归一特征之间的距离，从这一角度对于样本归一特征进行约束即产生了目标跨空间损失。
请参考图11，其示出根据本公开实施例的图9中的特征信息经过归一化处理后在图像层面进行约束的示意图。以图片作为锚点，也就是说相同图片的不同特征提取分支对应的样本归一特征之间的距离应该小于不同图片相同特征提取分支对应的样本归一特征的距离，从这个角度进行约束就产生了图像跨空间损失。
以A1为例，A1经过两个特征提取分支产生了浅色A1和深色A1；而A2经过两个特征提取分支产生了浅色A2和深色A2，浅色A1和深色A1之间的距离仅仅是由于不同特征提取分支而产生，深色A1和深色A2特征提取分支相同但是图像不同，则浅色A1和深色A1之间的距离应该小于深色A1和深色A2之间的距离，从这一角度对于样本归一特征进行约束即产生了图像跨空间损失。
本公开实施例中步骤S302计算得到的上述跨空间损失可以为目标跨空间损失和图像跨空间损失的总和值，或加权总和值，对此，本公开实施例不做赘述。本公开实施例中通过得到样本归一化特征，使得来自不同特征空间的数据经过处理后可以位于相同特征空间，并且计算样本归一化特征产生的目标跨空间损失和图像跨空间损失。通过约束各个特征提取分支各自关注不同的区域，进一步提升其图像特征提取能力。
在一个实施例中，上述目标跨空间损失的计算方法可以包括：对上述多个样本归一特征进行基于目标的聚类，得到目标聚类结果，上述目标聚类结果的相同类中的样本归一化特征对应于相同的目标；根据上述目标聚类结果计算目标类内相似度和目标类间相似度；根据上述目标类内相似度和上述目标类间相似度的差值，得到上述目标跨空间损失。其中，目标类内相似度和目标类间相似度的计算方法可以参考前文，在此不再赘述。
在一个示例性的实施方式中，可以根据公式Lvcc＝max(D(PV+)-D(PV-)+β1,0)，计算上述目标跨空间损失，其中，Lvcc表示目标跨空间损失，D(PV+)和D(PV-)分别为目标类内相似度和目标类间相似度，β1可以为预设的第一调节常量，本公开实施例不限定其具体数值。本公开实施例通过计算上述目标跨空间损失，从目标的角度约束样本归一特征之间的关系，提升了训练损失计算的准确度。
在一个实施例中，请参考图12，其示出根据本公开实施例的图像跨空间损失计算方法的流程示意图，上述计算上述图像跨空间损失，包括：
S401.计算任意两个第一相关特征之间的第一距离，上述两个第一相关特征为对应于不同样本图像中相同目标的两个样本归一化特征。
S402.计算任意两个第二相关特征之间的第二距离；上述两个第二相关特征为对应于相同样本图像中相同目标的两个样本归一化特征。
S403.确定上述第一距离中的最小第一距离。
S404.确定上述第二距离中的最大第二距离。
S405.根据上述最小第一距离和上述最大第二距离的差值，得到上述图像跨空间损失。
在一个示例性的实施方式中，可以根据公式Licc＝max(D(PI-)-D(PI+)-β2,0)，计算上述图像跨空间损失，其中，Licc表示图像跨空间损失，D(PI-)和D(PI+)分别为最小第一距离和最大第二距离，β2可以为预设的第二调节常量，本公开实施例不限定其具体数值。本公开实施例通过计算图像跨空间损失可以使得在训练过程中不同特征提取分支的提取结果之间的距离尽可能拉大，达到了各个特征提取分支关注不同区域的目的。示例性的，可以使得“浅色A1和深色A1之间的距离”在小于“深色A1和深色A2之间的距离”的基础上趋大，从而能够保持对应同一目标但是来自不同特征提取分支的样本归一特征之间的差异性，保证不同的特征提取分支对不同区域的关注能力。
本公开实施例中的特征提取网络除去最后一个特征提取分支之外，每个特征提取分支产生的特征信息都可以被输入对应的显著区域引导层，每个显著区域引导层也可以对应产生损失，该损失可以被认为是基于对上述图像特征提取分支的输出数据的显著位置预测产生的预测损失。本公开实施例公开一种确定上述预测损失的方法，包括：
S501.根据上述样本第一特征信息和上述样本第二特征信息，确定每一显著区域引导层的输入数据。
示例性的，以图5为例，网络10对应的显著区域引导层y10的输入数据即为上述样本第一特征信息，网络20对应的显著区域引导层y20的输入数据即为上述样本第二特征信息中的样本第一目标特征信息。
S502.确定上述每一显著区域引导层输出的显著性得分矩阵，上述显著性得分矩阵表征上述输入数据对应的显著位置。
请参考图13，其示出根据本公开实施例的显著区域引导层损失计算方法示意图。左上方的图片为上述输入数据的可视化表达，将上述输入数据输入对应的显著区域引导层即可得到上述显著区域引导层输出的显著性得分矩阵，上述显著性得分矩阵中每个元素的值表示上述元素对应的区域的显著性得分。
S503.对上述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵。
请参考前文，可以将输入数据进行基于位置的分割，得到多个区域，进行逐区域的特征信息抑制后得到抑制结果，通过上述抑制结果被用于识别上述样本图像中的目标的准确度表现，确定上述显著性得分参考矩阵。还可以对上述输入数据进行基于通道的池化操作和基于空间的池化操作，得到上述显著性得分参考矩阵。
在一个实施例中，上述确定显著性得分参考矩阵，包括：
S5031.对上述输入数据进行基于区域的抑制，根据抑制结果确定第一得分矩阵。
请参考图13，将上述输入数据进行基于位置的分割，可以得到分割矩阵，对上述分割矩阵中每个元素对应的区域进行抑制，得到对应的区域抑制结果，将其存储在区域抑制结果池中。示例性的，上述显著性得分矩阵可以为8*8矩阵，上述分割矩阵相应的也是8*8矩阵，显然，每个区域抑制结果中也包括8*8个区域。可以将每个元素对应的区域相关信息抹除，得到对应的区域抑制结果。对每个区域抑制结果，基于上述区域抑制结果进行目标识别可以计算其产生的目标识别损失，从而得到各个区域对应的目标识别结果损失，进而可以对应生成8*8的目标识别结果损失矩阵，对上述目标识别结果损失矩阵进行归一化，即可得到上述第一得分矩阵。本公开实施例中目标识别损失的计算方法可以参考前文，在此不再赘述。
S5032.对上述输入数据依次进行基于通道的池化操作和基于空间的池化操作，得到第二得分矩阵。
将输入数据直接进行基于通道的池化操作，可以得到第一池化结果。示例性的，若上述输入数据可以被表达为64*2048*16*16，则上述第一池化结果可以被表征为64*1*16*16，即第一池化结果中只包括一个通道。通过将上述第一池化结果进行基于空间的池化操作，可以得到第二池化结果，即通过对上述第一池化结果进一步进行池化处理，使得得到的第二池化结果对应的矩阵与上述第一得分矩阵具备同样大小。参考前文示例，则第二池化结果可以被表达为64*1*8*8，即第二池化结果可以被表达为64个8*8矩阵，对上述64个8*8矩阵进行归一化操作，即可得到第二得分矩阵。本公开实施例中通过计算第二得分矩阵，可以从对输入数据自身进行分析的角度量化被分割出来的每个区域的显著程度。
S5033.根据上述第一得分矩阵和上述第二得分矩阵，确定上述显著性得分参考矩阵。
在一个实施例中，可以对第一得分矩阵和第二得分矩阵进行融合，得到上述显著性得分参考矩阵。示例性的，可以将上述第一得分矩阵和上述第二得分矩阵的逐元素融合结果作为上述显著性得分参考矩阵。本公开实施例并不对逐元素融合的方法进行限定。示例性的，可以将上述第一得分矩阵和上述第二得分矩阵逐元素取平均值得到的结果，确定为显著性得分参考矩阵。
S504.根据上述显著性得分参考矩阵和上述显著性得分矩阵，确定上述预测损失。
对于每个显著区域引导层，都可以确定其输出的显著性得分矩阵和对应的显著性得分参考矩阵，根据该显著性得分矩阵和对应的显著性得分参考矩阵的差值可以确定该显著区域引导层产生的损失。
本公开实施例中通过从目标识别损失的角度计算第一得分矩阵，从输入数据自身分析的角度计算第二得分矩阵，并将根据上述第一得分矩阵和上述第二得分矩阵得到的显著性得分参考矩阵作为参考值计算上述显著区域引导层产生的预测损失，可以提升对预测损失的计算准确度，基于该预测损失可以优化显著区域引导层，提升显著位置的识别准确度。
为了避免直接对各特征提取分支输出的特征信息进行融合而可能产生的信息冗余，本公开实施例提供确定融合损失的方法。上述确定融合损失，包括：获取各图像特征提取分支对应的训练精度；获取上述各图像特征提取分支对应的预测置信度得分；根据上述训练精度和上述预测置信度得分，计算上述融合损失。
在一个实施例中，可以通过公式
Figure BDA0003043620210000161
计算上述融合损失，其中，Lsoft表示该融合损失，exp表示幂指数，Acc表示训练精度，c表示预测置信度得分，n表示特征提取分支的个数，i和t均为标号。本公开实施例可以通过基于幂指数得到的融合损失扩大不同分支的精度差异，以便于提升融合损失的表达能力。本公开实施例中通过在训练损失中包含上述融合损失，可以使得随着训练的进行，各个特征提取分支的训练精度可以随之提升，从而提升特征提取网络的特征提取能力，得到高质量的图像特征。
本公开提出的图像特征提取方法可以被应用于多种领域，以应用于目标重识别领域为例，本公开实施例进一步提出一种目标重识别方法，如图14所示，其示出根据本公开实施例的目标重识别方法流程示意图。上述目标重识别方法包括：
S10-1：获取待识别图像。
S20-1：基于上述的图像特征提取方法对上述待识别图像进行特征提取，得到上述待识别图像的特征提取结果。
S30-1：基于上述特征提取结果对上述待识别图像中的目标身份进行识别。
具体地，可以基于上文详述的图像特征提取方法对图像库中的图像进行特征提取，得到各图像对应的参考提取结果。计算上述待识别图像的特征提取结果和任一上述参考提取结果之间的距离。根据上述距离在上述图像库中确定目标图像，根据该目标图像中的目标身份确定该待识别图像中的目标身份。
在一些可能的实施方式中，可以将上述图像库中上述距离小于预设距离阈值的图像确定为上述目标图像；或，按照距离升序的顺序对上述图像库中的图像进行排序；根据排序结果确定上述目标图像。
基于上述配置，本公开实施例可以在图像库中查找到与待识别图像大概率包括相同目标的目标图像，从而完成目标重识别，具备准确度高的显著优势。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格地执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
图15示出根据本公开实施例的一种图像特征提取装置的框图；如图15所示，上述装置包括：
第一特征图获取模块10，用于从获取到的图像中进行图像特征提取，得到第一特征图；
第一特征信息提取模块20，用于对上述第一特征图进行复合特征提取，得到第一特征信息，上述复合特征提取包括通道特征提取；
过滤模块30，用于基于上述第一特征信息中的显著特征，对上述第一特征图进行过滤；
第二特征信息提取模块40，用于提取过滤结果中的第二特征信息；
融合模块50，用于融合上述第一特征信息和上述第二特征信息，得到上述图像的特征提取结果。
在一些可能的实施方式中，上述第二特征信息提取模块用于抑制上述过滤结果中的显著特征，得到第二特征图；上述抑制上述过滤结果中的显著特征，得到第二特征图，包括：对上述过滤结果进行特征提取得到目标特征，对上述目标特征进行复合特征提取得到第一目标特征信息，以及基于上述第一目标特征信息中的显著特征，对上述目标特征进行过滤，得到上述第二特征图；在没有达到预设的停止条件的情况下，根据上述第二特征图更新上述过滤结果，重复上述抑制上述过滤结果中的显著特征，得到第二特征图的步骤；在达到上述停止条件的情况下，将获取到的每一上述第一目标特征信息均作为上述第二特征信息。
在一些可能的实施方式中，上述第二特征信息提取模块还用于获取目标第二特征图，上述目标第二特征图为达到上述停止条件的情况下获取到的第二特征图；对上述目标第二特征图进行复合特征提取，得到第二目标特征信息；将上述第二目标特征信息作为上述第二特征信息。
在一些可能的实施方式中，上述过滤模块，包括：显著位置确定单元，用于基于上述第一特征信息中的显著特征，确定显著位置；过滤单元，用于对上述第一特征图中对应于上述显著位置的特征进行过滤。
在一些可能的实施方式中，上述显著位置确定单元用于对上述第一特征信息进行基于位置的分割，得到分割矩阵；计算上述分割矩阵中每个元素对应区域的显著性得分，得到显著性得分矩阵；根据上述显著性得分矩阵，确定上述显著位置。
在一些可能的实施方式中，上述过滤单元用于根据上述显著位置生成掩码图，上述掩码图用于滤除上述显著位置对应的特征；融合上述掩码图与上述第一特征图。
在一些可能的实施方式中，上述第一特征信息提取模块用于对上述第一特征图进行图像特征提取，得到第一提取结果；对上述第一特征图进行通道信息提取，得到第二提取结果；融合上述第一提取结果和上述第二提取结果，得到上述第一特征信息。
在一些可能的实施方式中，上述装置还包括训练模块，上述训练模块，包括特征提取单元，用于将携带标签的样本图像输入上述图像特征提取网络的至少两个图像特征提取分支，得到样本第一特征信息和样本第二特征信息；损失计算单元，用于基于上述样本第一特征信息、上述样本第二特征信息和上述标签，确定上述图像特征提取网络产生的训练损失；优化单元，用于基于上述训练损失优化上述图像特征提取网络；其中，上述训练损失基于以下中的至少一部分构成：每一上述图像特征提取分支产生的单通道损失、每一上述图像特征提取分支之间的跨空间损失、基于对上述图像特征提取分支的输出数据的显著位置预测产生的预测损失、基于对每一上述图像特征提取分支的输出数据的融合产生的融合损失。
在一些可能的实施方式中，上述损失计算单元包括单通道损失计算单元，上述单通道损失计算单元用于根据上述样本第一特征信息和上述标签，确定单通道第一损失；根据上述样本第二特征信息和上述标签，确定单通道第二损失；根据上述单通道第一损失和上述单通道第二损失，确定上述单通道损失。
在一些可能的实施方式中，上述损失计算单元包括跨空间损失计算单元，上述跨空间损失计算单元用于对上述样本第一特征信息和上述样本第二特征信息进行归一化处理，得到多个样本归一化特征；计算上述多个样本归一化特征之间的跨空间损失，上述跨空间损失包括下述至少之一：上述多个样本归一特征之间的目标跨空间损失、上述多个样本归一特征之间的图像跨空间损失。
在一些可能的实施方式中，上述标签标注有上述样本图像中的目标，上述跨空间损失计算单元还用于对上述多个样本归一特征进行基于目标的聚类，得到目标聚类结果，上述目标聚类结果的相同类中的样本归一化特征对应于相同的目标；根据上述目标聚类结果计算目标类内相似度和目标类间相似度；根据上述目标类内相似度和上述目标类间相似度的差值，得到上述目标跨空间损失。
在一些可能的实施方式中，上述标签标注有上述样本图像中的目标，上述跨空间损失计算单元还用于计算任意两个第一相关特征之间的第一距离，上述两个第一相关特征为对应于不同样本图像中相同目标的两个样本归一化特征；计算任意两个第二相关特征之间的第二距离；上述两个第二相关特征为对应于相同样本图像中相同目标的两个样本归一化特征；确定上述第一距离中的最小第一距离；确定上述第二距离中的最大第二距离；根据上述最小第一距离和上述最大第二距离的差值，得到上述图像跨空间损失。
在一些可能的实施方式中，上述损失计算单元包括预测损失计算单元，上述预测损失计算单元用于根据上述样本第一特征信息和上述样本第二特征信息，确定每一显著区域引导层的输入数据；确定上述每一显著区域引导层输出的显著性得分矩阵，上述显著性得分矩阵表征上述输入数据对应的显著位置；对上述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵；根据上述显著性得分参考矩阵和上述显著性得分矩阵，确定上述预测损失。
在一些可能的实施方式中，上述预测损失计算单元还用于对上述输入数据进行基于区域的抑制，根据抑制结果确定第一得分矩阵；对上述输入数据依次进行基于通道的池化操作和基于空间的池化操作，得到第二得分矩阵；根据上述第一得分矩阵和上述第二得分矩阵，确定上述显著性得分参考矩阵。
在一些可能的实施方式中，上述损失计算单元包括融合损失计算单元，上述融合损失计算单元用于获取各图像特征提取分支对应的训练精度；获取上述各图像特征提取分支对应的预测置信度得分；根据上述训练精度和上述预测置信度得分，计算上述融合损失。
图16示出根据本公开实施例的一种目标重识别装置的框图；如图16所示，上述装置包括：
待识别图像获取模块10-1，用于获取待识别图像；
特征提取模块20-1，用于基于上述方法对上述待识别图像进行特征提取，得到上述待识别图像的特征提取结果；
身份识别模块30-1，用于基于上述特征提取结果对上述待识别图像中的目标身份进行识别。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，上述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图17示出根据本公开实施例的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图17，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在上述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如上述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图18示出根据本公开实施例的另一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图18，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，上述编程语言包括面向对象的编程语言—诸如Smalltalk、C+等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，上述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种图像特征提取方法，其特征在于，所述方法包括：
从获取到的图像中进行图像特征提取，得到第一特征图；
对所述第一特征图进行复合特征提取，得到第一特征信息，所述复合特征提取包括通道特征提取和图像特征提取；
滤除所述第一特征图中与所述第一特征信息中的显著特征相关的信息，得到过滤结果；
提取所述过滤结果中的第二特征信息；
融合所述第一特征信息和所述第二特征信息，得到所述图像的特征提取结果。
2.根据权利要求1所述的方法，其特征在于，所述提取所述过滤结果中的第二特征信息，包括：
抑制所述过滤结果中的显著特征，得到第二特征图；所述抑制所述过滤结果中的显著特征，得到第二特征图，包括：对所述过滤结果进行特征提取得到目标特征，对所述目标特征进行复合特征提取得到第一目标特征信息，以及基于所述第一目标特征信息中的显著特征，对所述目标特征进行过滤，得到所述第二特征图；
在没有达到预设的停止条件的情况下，根据所述第二特征图更新所述过滤结果，重复所述抑制所述过滤结果中的显著特征，得到第二特征图的步骤；
在达到所述停止条件的情况下，将获取到的每一所述第一目标特征信息均作为所述第二特征信息。
3.根据权利要求2所述的方法，其特征在于，所述提取所述过滤结果中的第二特征信息，还包括：
获取目标第二特征图，所述目标第二特征图为达到所述停止条件的情况下获取到的第二特征图；
对所述目标第二特征图进行复合特征提取，得到第二目标特征信息；
将所述第二目标特征信息作为所述第二特征信息。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述滤除所述第一特征图中与所述第一特征信息中的显著特征相关的信息，得到过滤结果，包括：
基于所述第一特征信息中的显著特征，确定显著位置；
对所述第一特征图中对应于所述显著位置的特征进行过滤。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征信息中的显著特征，确定显著位置，包括：
对所述第一特征信息进行基于位置的分割，得到分割矩阵；
计算所述分割矩阵中每个元素对应区域的显著性得分，得到显著性得分矩阵；
根据所述显著性得分矩阵，确定所述显著位置。
6.根据权利要求4或5所述的方法，其特征在于，所述对所述第一特征图中对应于所述显著位置的特征进行过滤，包括：
根据所述显著位置生成掩码图，所述掩码图用于滤除所述显著位置对应的特征；
融合所述掩码图与所述第一特征图。
7.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图进行复合特征提取，得到第一特征信息，包括：
对所述第一特征图进行图像特征提取，得到第一提取结果；
对所述第一特征图进行通道信息提取，得到第二提取结果；
融合所述第一提取结果和所述第二提取结果，得到所述第一特征信息。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述方法通过图像特征提取网络实施，所述图像特征提取网络的训练方法如下：
将携带标签的样本图像输入所述图像特征提取网络的至少两个图像特征提取分支，得到样本第一特征信息和样本第二特征信息；
基于所述样本第一特征信息、所述样本第二特征信息和所述标签，确定所述图像特征提取网络产生的训练损失；
基于所述训练损失优化所述图像特征提取网络；
其中，所述训练损失基于以下中的至少一部分构成：每一所述图像特征提取分支产生的单通道损失、每一所述图像特征提取分支之间的跨空间损失、基于对所述图像特征提取分支的输出数据的显著位置预测产生的预测损失、基于对每一所述图像特征提取分支的输出数据的融合产生的融合损失。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括确定所述单通道损失，所述确定所述单通道损失，包括：
根据所述样本第一特征信息和所述标签，确定单通道第一损失；
根据所述样本第二特征信息和所述标签，确定单通道第二损失；
根据所述单通道第一损失和所述单通道第二损失，确定所述单通道损失。
10.根据权利要求8或9所述的方法，其特征在于，所述方法还包括确定所述跨空间损失，所述确定所述跨空间损失，包括：
对所述样本第一特征信息和所述样本第二特征信息进行归一化处理，得到多个样本归一化特征；
计算所述多个样本归一化特征之间的跨空间损失，所述跨空间损失包括下述至少之一：所述多个样本归一特征之间的目标跨空间损失、所述多个样本归一特征之间的图像跨空间损失。
11.根据权利要求10所述的方法，其特征在于，所述标签标注有所述样本图像中的目标，所述方法还包括计算所述目标跨空间损失，所述计算所述目标跨空间损失，包括：
对所述多个样本归一特征进行基于目标的聚类，得到目标聚类结果，所述目标聚类结果的相同类中的样本归一化特征对应于相同的目标；
根据所述目标聚类结果计算目标类内相似度和目标类间相似度；
根据所述目标类内相似度和所述目标类间相似度的差值，得到所述目标跨空间损失。
12.根据权利要求10或11所述的方法，其特征在于，所述标签标注有所述样本图像中的目标，所述方法还包括计算所述图像跨空间损失，所述计算所述图像跨空间损失，包括：
计算任意两个第一相关特征之间的第一距离，所述两个第一相关特征为对应于不同样本图像中相同目标的两个样本归一化特征；
计算任意两个第二相关特征之间的第二距离；所述两个第二相关特征为对应于相同样本图像中相同目标的两个样本归一化特征；
确定所述第一距离中的最小第一距离；
确定所述第二距离中的最大第二距离；
根据所述最小第一距离和所述最大第二距离的差值，得到所述图像跨空间损失。
13.根据权利要求8-12中任意一项所述的方法，其特征在于，所述方法还包括确定所述预测损失，所述确定所述预测损失，包括：
根据所述样本第一特征信息和所述样本第二特征信息，确定每一显著区域引导层的输入数据；
确定所述每一显著区域引导层输出的显著性得分矩阵，所述显著性得分矩阵表征所述输入数据对应的显著位置；
对所述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵；
根据所述显著性得分参考矩阵和所述显著性得分矩阵，确定所述预测损失。
14.根据权利要求13所述的方法，其特征在于，所述对所述输入数据进行基于位置的显著性分析，得到显著性得分参考矩阵，包括：
对所述输入数据进行基于区域的抑制，根据抑制结果确定第一得分矩阵；
对所述输入数据依次进行基于通道的池化操作和基于空间的池化操作，得到第二得分矩阵；
根据所述第一得分矩阵和所述第二得分矩阵，确定所述显著性得分参考矩阵。
15.根据权利要求8-14中任意一项所述的方法，其特征在于，所述方法还包括确定融合损失，所述确定融合损失，包括：
获取各图像特征提取分支对应的训练精度；
获取所述各图像特征提取分支对应的预测置信度得分；
根据所述训练精度和所述预测置信度得分，计算所述融合损失。
16.一种目标重识别方法，其特征在于，所述方法包括：
获取待识别图像；
基于权利要求1-15中任意一项所述的方法对所述待识别图像进行特征提取，得到所述待识别图像的特征提取结果；
基于所述特征提取结果对所述待识别图像中的目标身份进行识别。
17.一种图像特征提取装置，其特征在于，所述装置包括：
第一特征图获取模块，用于从获取到的图像中进行图像特征提取，得到第一特征图；
第一特征信息提取模块，用于对所述第一特征图进行复合特征提取，得到第一特征信息，所述复合特征提取包括通道特征提取和图像特征提取；
过滤模块，用于滤除所述第一特征图中与所述第一特征信息中的显著特征相关的信息，得到过滤结果；
第二特征信息提取模块，用于提取所述过滤结果中的第二特征信息；
融合模块，用于融合所述第一特征信息和所述第二特征信息，得到所述图像的特征提取结果。
18.一种目标重识别装置，其特征在于，所述装置包括：
待识别图像获取模块，用于获取待识别图像；
特征提取模块，用于基于权利要求1-15中任意一项所述的方法对所述待识别图像进行特征提取，得到所述待识别图像的特征提取结果；
身份识别模块，用于基于所述特征提取结果对所述待识别图像中的目标身份进行识别。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-15中任意一项所述的图像特征提取方法，或权利要求16所述的目标重识别方法。
20.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-15中任意一项所述的图像特征提取方法，或权利要求16所述的目标重识别方法。
CN202110465393.3A 2021-04-28 2021-04-28 图像特征提取方法、目标重识别方法、装置及存储介质 Active CN113128520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110465393.3A CN113128520B (zh) 2021-04-28 2021-04-28 图像特征提取方法、目标重识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465393.3A CN113128520B (zh) 2021-04-28 2021-04-28 图像特征提取方法、目标重识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113128520A CN113128520A (zh) 2021-07-16
CN113128520B true CN113128520B (zh) 2022-11-11

Family

ID=76780965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110465393.3A Active CN113128520B (zh) 2021-04-28 2021-04-28 图像特征提取方法、目标重识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113128520B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645107B (zh) * 2021-07-27 2022-12-02 广州市威士丹利智能科技有限公司 一种基于智能家居的网关端冲突解决方法及系统
CN113592817A (zh) * 2021-07-30 2021-11-02 深圳市商汤科技有限公司 检测呼吸率的方法、装置、存储介质及电子设备
CN113576451A (zh) * 2021-07-30 2021-11-02 深圳市商汤科技有限公司 呼吸率检测方法、装置、存储介质及电子设备
CN113576452A (zh) * 2021-07-30 2021-11-02 深圳市商汤科技有限公司 基于热成像的呼吸率检测方法、装置及电子设备
CN113807457A (zh) * 2021-09-26 2021-12-17 北京市商汤科技开发有限公司 确定路网表征信息的方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517186A (zh) * 2019-07-30 2019-11-29 金蝶软件（中国）有限公司 消除发票印章的方法、装置、存储介质和计算机设备
CN111488475A (zh) * 2019-01-29 2020-08-04 北京三星通信技术研究有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN111488475A (zh) * 2019-01-29 2020-08-04 北京三星通信技术研究有限公司 图像检索方法、装置、电子设备及计算机可读存储介质
CN110517186A (zh) * 2019-07-30 2019-11-29 金蝶软件（中国）有限公司 消除发票印章的方法、装置、存储介质和计算机设备
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"A Gallery-Guided Graph Architecture for Sequential Impurity Detection";WENHAO HE 等;《IEEE》;20191011;全文 *
"MULTI-HIERARCHICAL INDEPENDENT CORRELATION FILTERS FOR VISUAL TRACKING";Shuai Bai 等;《IEEE》;20200609;全文 *
"基于卷积神经网络的端到端的高速追踪算法研究";何智群;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815;全文 *
"基于特征融合与在线学习的行人检测算法研究与实现";单玉泽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;全文 *

Also Published As

Publication number Publication date
CN113128520A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113128520B (zh) 图像特征提取方法、目标重识别方法、装置及存储介质
CN111310616B (zh) 图像处理方法及装置、电子设备和存储介质
CN110287874B (zh) 目标追踪方法及装置、电子设备和存储介质
CN110009090B (zh) 神经网络训练与图像处理方法及装置
KR20210019537A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN111753822A (zh) 文本识别方法及装置、电子设备和存储介质
CN109615006B (zh) 文字识别方法及装置、电子设备和存储介质
CN109635142B (zh) 图像选择方法及装置、电子设备和存储介质
CN112149740B (zh) 目标重识别方法、装置、存储介质及设备
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
CN109543536B (zh) 图像标识方法及装置、电子设备和存储介质
CN113326768B (zh) 训练方法、图像特征提取方法、图像识别方法及装置
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN109671051B (zh) 图像质量检测模型训练方法及装置、电子设备和存储介质
CN111582383B (zh) 属性识别方法及装置、电子设备和存储介质
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
CN110781323A (zh) 多媒体资源的标签确定方法、装置、电子设备及存储介质
CN110930984A (zh) 一种语音处理方法、装置和电子设备
CN112906484B (zh) 一种视频帧处理方法及装置、电子设备和存储介质
CN110781813A (zh) 图像识别方法及装置、电子设备和存储介质
CN109101542B (zh) 图像识别结果输出方法及装置、电子设备和存储介质
US20220383517A1 (en) Method and device for target tracking, and storage medium
CN114332503A (zh) 对象重识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant