CN115346053A - 一种图像特征提取方法、装置、电子设备及存储介质 - Google Patents

一种图像特征提取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115346053A
CN115346053A CN202211026735.2A CN202211026735A CN115346053A CN 115346053 A CN115346053 A CN 115346053A CN 202211026735 A CN202211026735 A CN 202211026735A CN 115346053 A CN115346053 A CN 115346053A
Authority
CN
China
Prior art keywords
feature
tensor
target object
image
initial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211026735.2A
Other languages
English (en)
Inventor
何磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211026735.2A priority Critical patent/CN115346053A/zh
Publication of CN115346053A publication Critical patent/CN115346053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及图像处理技术领域，提供了一种图像特征提取方法、装置、电子设备及存储介质，该方法包括：将包含目标对象的待识别图像进行转化，获得所述待识别图像对应的初始图像张量；基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征；基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。本实施例基于上述第一特征以及第二特征，得到保留待识别图像的原有的几何结构且包含特定特征数的目标特征，该目标特征能够精准表征待识别图像中的目标对象。

Description

一种图像特征提取方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像特征提取方法、 装置、电子设备及存储介质。
背景技术
随着科技的发展，身份识别技术被应用到多个领域中。身份识别技术包含 特征物品识别、特殊知识识别以及生物特征识别等。生物特征识别需要对采集 的包含目标对象的图像进行特征提取，基于特征提取结果对该目标对象进行识 别。
相关技术中，采用局部感受的方式，依据从采集的图像中确定的指定数目 的局部特征，将其进行组合以获得更充分的图像特征。
然而，上述过程中提取的是图像的局部特征，对局部特征进行组合后，获 得的图像特征往往无法准确包含图像中原有的结构信息，因此获得的图像特征 不够精确，影响对象识别准确性。
发明内容
本申请实施例提供了一种图像特征提取方法、装置、电子设备及存储介质， 用以精准地从图像中提取对象特征。
第一方面，本申请实施例提供了一种图像特征提取方法，该方法包括：
将包含目标对象的待识别图像进行转化，获得所述待识别图像对应的初始 图像张量；
基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述 目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始图像张量 进行局部特征提取，确定所述目标对象的第二特征；
基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
一些可选的实施方式中，基于所述第一特征以及所述第二特征，确定所述 目标对象的目标特征，包括：
将所述第一特征以及所述第二特征进行组合，得到所述目标对象的目标特 征；其中，所述目标特征的特征数为所述第一特征的特征数与所述第二特征的 特征数之和。
一些可选的实施方式中，所述第一识别模型包括多个缩并过滤器；基于预 设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述目标对象的 第一特征，包括：
针对任一缩并过滤器，将所述初始图像张量，与所述缩并过滤器进行缩并， 获得所述缩并过滤器对应的混合矩阵；
基于预设特征阶数，对获得的所有混合矩阵进行聚合，确定所述目标对象 的第一特征。
一些可选的实施方式中，将所述初始图像张量，与所述缩并过滤器进行缩 并，获得所述缩并过滤器对应的混合矩阵，包括：
对所述初始图像张量，与所述缩并过滤器对应的预设数据指标进行求和， 获得所述缩并过滤器对应的混合矩阵。
一些可选的实施方式中，所述第二识别模型包括多个卷积核；基于预设的 第二识别模型，对所述初始图像张量进行局部特征提取，确定所述目标对象的 第二特征，包括：
针对任一卷积核，基于所述卷积核对所述初始图像张量中对应的像素点进 行局部特征提取以及池化操作，确定所述卷积核对应的局部特征；
对所有卷积核对应的局部特征进行全连接操作，确定所述目标对象的第二 特征。
一些可选的实施方式中，还包括：
将所述目标特征与各预设特征信息进行匹配，并基于匹配结果确定所述目 标对象的身份信息。
第二方面，本申请实施例还提供了一种图像特征提取装置，该装置包括：
张量确定模块，用于将包含目标对象的待识别图像进行转化，获得所述待 识别图像对应的初始图像张量；
特征确定模块，用于基于预设的第一识别模型，对所述初始图像张量进行 张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模型， 对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征；
特征组合模块，用于基于所述第一特征以及所述第二特征，确定所述目标 对象的目标特征。
第三方面，本申请实施例提供一种电子设备，包括至少一个处理器以及至 少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理 器执行时，使得所述处理器执行上述第一方面任一所述的图像特征提取方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其存储有可由计 算机执行的计算机程序，当所述程序在所述计算机上运行时，使得所述计算机 执行上述第一方面任一所述的图像特征提取方法。
第五方面，本申请实施例提供了一种计算机程序产品，包含有计算机可执 行指令，所述计算机可执行指令用于使计算机执行如第一方面任一所述的图像 特征提取方法。
本申请实施例提供了一种图像特征提取方法、装置、电子设备及存储介质， 通过第一识别模型对初始图像张量进行张量缩并处理，将提取出的高阶张量作 为第一特征，该第一特征保留待识别图像的原有的几何结构；还通过第二识别 模型对初始图像张量进行局部特征提取，得到所需特征数的第二特征；进而基 于第一特征以及第二特征，得到保留待识别图像的原有的几何结构且包含特定 特征数的目标特征，该目标特征能够精准表征待识别图像中的目标对象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的 一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图；
图2为本申请实施例提供的第一种图像特征提取方法的流程示意图；
图3为本申请实施例提供的特征组合过程示意图；
图4为本申请实施例提供的第一特征提取方法的流程示意图；
图5为本申请实施例提供的一种张量缩并操作的示意图；
图6为本申请实施例提供的一种初始图像张量的缩并过程示意图；
图7为本申请实施例提供的第二特征提取方法的流程示意图；
图8为本申请实施例提供的第二种图像特征提取方法的流程示意图；
图9为本申请实施例提供的图像特征提取装置的结构示意图；
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申 请作进一步地详细描述，显然，所描述的实施例仅仅是本申请的一部分实施例， 而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“连 接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连， 可以是两个器件内部的连通。对于本领域的普通技术人员而言，可以根据具体 情况理解上述术语在本申请中的具体含义。
术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对 重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第 二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例 的描述中，除非另有说明，“多个”的含义是两个或两个以上。
身份识别技术包含特征物品识别、特殊知识识别以及生物特征识别等。生 物特征识别需要对采集的包含目标对象的图像进行特征提取，基于特征提取结 果对该目标对象进行识别。
相关技术中，采用局部感受的方式，依据从采集的图像中确定的指定数目 的局部特征，将其进行组合以获得更充分的图像特征。
然而，上述过程中提取的是图像的局部特征，对局部特征进行组合后，获 得的图像特征往往无法准确包含图像中原有的结构信息，因此获得的图像特征 不够精确，影响对象识别准确性。
鉴于此，本申请实施例提出一种图像特征提取方法、装置、电子设备及存 储介质，该方法包括：将包含目标对象的待识别图像进行转化，获得所述待识 别图像对应的初始图像张量；基于预设的第一识别模型，对所述初始图像张量 进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模 型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征； 基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
上述方案，通过第一识别模型对初始图像张量进行张量缩并处理，将提取 出的高阶张量作为第一特征，该第一特征保留待识别图像的原有的几何结构； 还通过第二识别模型对初始图像张量进行局部特征提取，得到所需特征数的第 二特征；进而基于第一特征以及第二特征，得到保留待识别图像的原有的几何 结构且包含特定特征数的目标特征，该目标特征能够精准表征待识别图像中的 目标对象。
为便于理解，首先对本申请实施例进行描述的过程中出现的部分名词或术 语作如下解释：
术语“张量”指定义在向量空间和对偶空间的笛卡尔积上的多重线性映射， 可表征为d阶的高维数组，例如，存在张量A，记作
Figure RE-RE-GDA0003896674610000051
术语“张量缩并”指针对两个不同张量的相同的数据维度(记为张量的轴) 进行的代数运算，例如，存在张量
Figure RE-RE-GDA0003896674610000061
张量
Figure RE-RE-GDA0003896674610000062
其中， 具有In＝Jm，则在上述相同的轴上进行缩并运算后，可得到一个具有(N+M-2) 阶的张量C，记作
Figure RE-RE-GDA0003896674610000063
如下式所示：
Figure RE-RE-GDA0003896674610000064
需要特别注意的是，只有在两个张量存在相同的数据维度，且该数据维度 为特定数据维度的情况下，上述张量缩并才能生效。
进一步的，当张量A,B完全一致时
Figure RE-RE-GDA0003896674610000065
对于除第k个轴以外 的所有轴上进行的张量缩并，可以由下式表示：
Figure RE-RE-GDA0003896674610000066
此时，所计算结果
Figure RE-RE-GDA0003896674610000067
表征为获得的二阶数组(即表征为矩阵)， 且存在如下关系：
Figure RE-RE-GDA0003896674610000068
其中，A(k)，B(k)分别表征为张量A,B的模n展开，即分别将张量A,B的元 素进行重新排序后形成的相应元素矩阵，分别记为
Figure RE-RE-GDA0003896674610000069
进一步的，当存在张量B为二阶张量(即矩阵)时，并对其大小限制为J×In， 在特定轴In下，对张量A,B进行张量缩并时，可得结果如下所示：
Figure RE-RE-GDA00038966746100000610
可以发现，在进行张量缩并的张量B为二阶张量，且该张量B的大小为 J×In的情况下，张量A,B间的张量缩并还可表示为两者间的模n乘积 (A×nB)i1，……，in-1，in，in+1，……，iM，即将张量的模n乘积体现为张量缩并的一种特 殊形式，其中，需要理解的是，张量的模n乘积主要用于减小数据的维数，而 张量缩并主要用于减少数据的阶数。
多维张量缩并操作层(MTCOL)：指一种基于张量缩并的神经网络层， 该操作层的主要计算方式为上述提到的张量缩并，其中，MTCOL的基本运算 定义如下所示：
Figure RE-RE-GDA0003896674610000071
其中，
Figure RE-RE-GDA0003896674610000072
为存在相同的数据维度，且该数据维度为特定数据维度的高阶张量，则MTCOL基本操作的梯度如下：
Figure RE-RE-GDA0003896674610000073
基于上述运算定义可知，通过多维张量缩并操作层中的张量缩并操作，可 将相应的初始图像张量Ai转化为对应的混合矩阵。
本申请实施例中获取的数据(如待识别图像)均符合法律规定。
基于上述名词或术语解释，下面将结合附图对本申请实施例提供的图像识 别方法作出进一步详细说明。
参阅图1所示，为本申请实施例提供的一种可能的应用场景，该应用场景 包括图像采集设备100以及电子设备200；其中，图像采集设备100与电子设 备200之间可进行数据传输，本实施例对图像采集设备100与电子设备200之 间的具体通信方式不做限定；
图像采集设备100用于采集包含目标对象的待识别图像，并将该待识别图 像发送给电子设备200；
电子设备200用于将包含目标对象的待识别图像进行转化，获得所述待识 别图像对应的初始图像张量；基于预设的第一识别模型，对所述初始图像张量 进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模 型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征； 基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
一些可选的实施方式中，上述图像采集设备100为可以向用户提供语音和 /或数据连通性的设备，包括具有无线连接功能的手持式电子设备、车载电子设 备等；
电子设备200可以是：手机、电脑、无线电子设备等设置有上述第一识别 模型以及第二识别模型的设备。
实施中，上述电子设备可与一个或多个图像采集设备连接。
上述应用场景只是示例性说明，本申请对具体应用场景不做限定，例如在 其他场景中，电子设备为具备图像采集功能的设备，则该应用场景中可以不包 含额外的图像采集设备，电子设备执行图像采集的步骤以及图像特征提取的步 骤。
下面将结合附图及具体实施例，对本申请的技术方案以及本申请的技术方 案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结 合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本申请实施例提供第一种图像特征提取方法，应用于上述电子设备，如图 2所示，包括以下步骤：
步骤S201：将包含目标对象的待识别图像进行转化，获得所述待识别图像 对应的初始图像张量。
示例性的，针对图像采集设备或者电子设备采集到的待识别图像，在确定 该待识别图像中包含目标对象后，可基于该图像的指定图像参数，将其转化为 对应的初始图像张量。例如：对于RGB 3个通道的待识别图像，基于待识别图 像的图像高度h(待识别图像包含h行像素点)、图像宽度w(待识别图像包 含w列像素点)以及颜色深度信息(RGB值)，将其转化为对应的初始图像 张量[h,w,c1]。
步骤S202：基于预设的第一识别模型，对所述初始图像张量进行张量缩并， 确定所述目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始 图像张量进行局部特征提取，确定所述目标对象的第二特征。
示例性的，第一识别模型具有全局感受域，通过第一识别模型，对初始图 像张量进行张量缩并，得到保留待识别图像的原有的几何结构的第一特征；然 而该第一特征与初始图像张量的特征数相同，如果初始图像张量的特征数较少 时，第一特征的特征数也比较少，影响后续对目标对象进行身份识别；
第二识别模型具有局部感受野，通过第二识别模型，对初始图像张量进行 局部特征提取，得到与待识别图像的几何结构不同的第二特征(将张量转为矢 量)，通过对第二识别模型进行设置，可调整第二特征的特征数。
步骤S203：基于所述第一特征以及所述第二特征，确定所述目标对象的目 标特征。
如上所述，通过第一识别模型提取的第一特征保留了初始图像张量所具有 的结构信息以及多线性信息，但特征数受到限制；通过第二识别模型提取的第 二特征会对初始图像张量展平得到数据矢量，但第二特征的特征数的设置较为 灵活；
基于此，本实施例基于第一特征以及第二特征，可得到保留待识别图像的 原有的几何结构且包含特定特征数的目标特征，弥补了第一特征的特征数较少， 以及第二特征缺失信息较多的问题。
上述方案，通过第一识别模型对初始图像张量进行张量缩并处理，将提取 出的高阶张量作为第一特征，该第一特征保留待识别图像的原有的几何结构； 还通过第二识别模型对初始图像张量进行局部特征提取，得到所需特征数的第 二特征；进而基于第一特征以及第二特征，得到保留待识别图像的原有的几何 结构且包含特定特征数的目标特征，该目标特征能够精准表征待识别图像中的 目标对象。
一些可选的实施方式中，上述步骤S203可通过但不限于如下方式实现：
将所述第一特征以及所述第二特征进行组合，得到所述目标对象的目标特 征；其中，所述目标特征的特征数为所述第一特征的特征数与所述第二特征的 特征数之和。
示例性的，在第一特征的特征数较少时，可基于特定的特征数(也就是上 述目标特征的特征数)以及第一特征的特征数，确定第二特征的特征数，即第 二特征的特征数c2＝c3-c1，c3为目标特征的特征数，c1为第一特征的特征数。
参阅图3所示，将初始图像张量A[h,w,c1]分别输入第一识别模型以及第二 识别模型；第一识别模型对A[h,w,c1]进行张量缩并，得到第一特征B[h,w,c1]，第 二识别模型对A[h,w,c1]进行局部特征提取，得到第二特征C[h,w,c2]；将B[h,w,c1]与C[h,w,c2]进行组合，得到目标特征D[h,w,c3]，c3＝c1+c2。
上述方案，将第一特征以及第二特征进行组合，通过调整第二特征的特征 数，可得到特定数量的目标特征的特征数，弥补第一特征的特征数不足的问题。
一些可选的实施方式中，第一识别模型包括多个缩并过滤器，对应的，本 申请实施例提供一种第一特征提取方法，如图4所示，包括以下步骤：
步骤S401：针对任一缩并过滤器，将所述初始图像张量，与所述缩并过滤 器进行缩并，获得所述缩并过滤器对应的混合矩阵。
具体来说，通过第一识别模型中的训练张量，对初始图像张量进行相应的 缩并操作，从而在保留初始图像张量的结构信息的同时，降低了初始图像张量 的数据阶数，清除了冗余参数，从而减少了第一识别模型所需的训练参数。
本申请实施例中，为便于描述，将每个与初始图像张量进行缩并操作的训 练张量视作相应多维张量缩并操作层中的一个缩并过滤器，由上述MTCOL的 基本运算定义可知，为实现初始图像张量在特定轴下的参数收缩，每个缩并过 滤器应与上述初始图像张量位于相同的数据阶数，且每个缩并过滤器应包含至 少一个与初始图像张量相同的数据指标，则基于每个设定好的缩并过滤器与初 始图像张量进行的收缩操作，将初始图像张量在其指定的各个数据轴中分别收 缩为对应的混合矩阵。
可以理解的是，参阅图5所示，由于张量的缩并表征为两个不同张量在相 同的数据指标上的所有数据的总和，因此，本申请实施例中的每个缩并过滤器， 可以通过所有位置要素的加权总和来计算每个位置的表示形式，与使用局部感 受野中的卷积过滤器不同，上述方式使得缩并过滤器具有全局感受野，从而使 得每个缩并过滤器对初始图像张量的缩并操作能够同时提取出待识别图像所 包含的所有可识别信息，保证了提取的第一特征的准确性。
具体来讲，上述缩并过滤器对初始图像张量的缩并操作可以是基于求和协 议(Einstein summation convention)进行的，其表征为将初始图像张量与一个 缩并过滤器的相同的数据指标进行求和，上述求和协议如下所示：
Figure RE-RE-GDA0003896674610000111
进一步的，在一种可选的实施例中，为使得提取到的目标特征更加丰富， 可基于预设的M个缩并过滤器，分别对初始图像张量进行缩并，从而在多个 不同角度及不同视野的情况下，提取到目标对象更有区别性的多角度第一特征， 其中，M为大于等于一的整数。
步骤S402：基于预设特征阶数，对获得的所有混合矩阵进行聚合，确定所 述目标对象的第一特征。
进一步的，为保留待识别图像存在的原始结构信息，本申请实施例中，将 上述M个混合矩阵依据指定的数据阶数聚合得到的高阶张量，作为目标识别 模型针对目标对象的第一特征；上述方式保留了初始图像张量所具有的结构信 息以及多线性信息，确保了提取出集成区别信息的第一特征。
参阅图6所示，为上述初始图像张量与设定的M个缩并过滤器的缩并过 程示意图，由图示所知，基于每个缩并过滤器与初始图像张量进行的缩并操作， 分别获得初始图像张量在各个指定数据轴下各自对应的混合矩阵，可以理解的 是，由于每两个混合矩阵间的数据通常是相似的，因此，本申请实施例中，将 获得的多个混合矩阵依据指定的数据阶数进行聚合，以进一步获得目标对象在 多角度及多视野下的具有区别性的第一特征。
一些可选的实施方式中，第二识别模型包括多个卷积核，对应的，本申请 实施例提供一种第二特征提取方法，如图7所示，包括以下步骤：
步骤S701：针对任一卷积核，基于所述卷积核对所述初始图像张量中对应 的像素点进行局部特征提取以及池化操作，确定所述卷积核对应的局部特征；
步骤S702：对所有卷积核对应的局部特征进行全连接操作，确定所述目标 对象的第二特征。
第二识别模型包括多个具有不同局部感受野的卷积核，将初始图像张量输 入第二识别模型后，各卷积核(也称作过滤器)依据其设定步长对初始图像张 量进行局部特征提取，确定各卷积核对应的特征；
将各卷积核对应的特征进行池化操作(如计算卷积核对应的特征的最大值 或平均值)，得到各卷积核对应的局部特征；
对所有卷积核对应的局部特征进行全连接操作，将张量转为矢量，得到目 标对象的第二特征。
本申请实施例提供第二种图像特征提取方法，如图8所示，包括以下步骤：
步骤S801：将包含目标对象的待识别图像进行转化，获得所述待识别图像 对应的初始图像张量；
步骤S802：基于预设的第一识别模型，对所述初始图像张量进行张量缩并， 确定所述目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始 图像张量进行局部特征提取，确定所述目标对象的第二特征；
步骤S803：基于所述第一特征以及所述第二特征，确定所述目标对象的目 标特征。
该步骤S801～S803的具体实现方式可参照上述实施例，此处不再赘述。
步骤S804：将所述目标特征与各预设特征信息进行匹配，并基于匹配结果 确定所述目标对象的身份信息。
示例性的，本实施例设置有特征信息库，该特征信息库中有多个预设对象 的预设特征信息与预设对象的身份信息之间的对应关系；将上述目标特征与各 预设特征信息进行匹配，基于匹配结果确定上述目标对象的身份信息。
一些可选的实施方式中，分别确定目标特征与各预设特征信息之间的相似 度，将相似度最高的预设特征信息对应的身份信息确定为上述目标对象的身份 信息。
实施中，可能没有与目标特征信息较为匹配的预设特征信息，基于此，从 预设特征信息中选择相似度最高的预设特征信息后，先确定目标特征与该预设 特征信息之间的相似度达到相似度阈值，再将该预设特征信息对应的身份信息 确定为上述目标对象的身份信息，否则确定对该目标对象身份识别失败。
预设特征信息的确定方式与上述目标特征的确定过程类似，此处不再赘述。
上述方案，在确定出精准表征目标对象的目标特征后，通过将目标特征与 预设特征信息进行匹配，精准、高效地确定出目标对象的身份信息。
基于相同的发明构思，本申请实施例提供一种图像特征提取装置，参阅图 9所示，图像特征提取装置900包括：
张量确定模块901，用于将包含目标对象的待识别图像进行转化，获得所 述待识别图像对应的初始图像张量；
特征确定模块902，用于基于预设的第一识别模型，对所述初始图像张量 进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模 型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征；
特征组合模块903，用于基于所述第一特征以及所述第二特征，确定所述 目标对象的目标特征。
一些可选的实施方式中，特征组合模块903具体用于：
将所述第一特征以及所述第二特征进行组合，得到所述目标对象的目标特 征；其中，所述目标特征的特征数为所述第一特征的特征数与所述第二特征的 特征数之和。
一些可选的实施方式中，所述第一识别模型包括多个缩并过滤器；特征确 定模块902具体用于：
针对任一缩并过滤器，将所述初始图像张量，与所述缩并过滤器进行缩并， 获得所述缩并过滤器对应的混合矩阵；
基于预设特征阶数，对获得的所有混合矩阵进行聚合，确定所述目标对象 的第一特征。
一些可选的实施方式中，特征确定模块902具体用于：
对所述初始图像张量，与所述缩并过滤器对应的预设数据指标进行求和， 获得所述缩并过滤器对应的混合矩阵。
一些可选的实施方式中，所述第二识别模型包括多个卷积核；特征确定模 块902具体用于：
针对任一卷积核，基于所述卷积核对所述初始图像张量中对应的像素点进 行局部特征提取以及池化操作，确定所述卷积核对应的局部特征；
对所有卷积核对应的局部特征进行全连接操作，确定所述目标对象的第二 特征。
一些可选的实施方式中，图像特征提取装置900还包括身份识别模块904， 用于：
将所述目标特征与各预设特征信息进行匹配，并基于匹配结果确定所述目 标对象的身份信息。
由于该装置即是本申请实施例中的方法中的装置，并且该装置解决问题的 原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘 述。
基于相同的技术构思，本申请实施例还提供了一种电子设备1000，如图 10所示，包括至少一个处理器1001，以及与至少一个处理器连接的存储器1002， 本申请实施例中不限定处理器1001与存储器1002之间的具体连接介质，图10 中处理器1001和存储器1002之间通过总线1003连接为例。总线可以分为地 址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示， 但并不表示仅有一根总线或一种类型的总线。
其中，处理器1001是电子设备的控制中心，可以利用各种接口和线路连 接电子设备的各个部分，通过运行或执行存储在存储器1002内的指令以及调 用存储在存储器1002内的数据，从而实现数据处理。可选的，处理器1001可 包括一个或多个处理单元，处理器1001可集成应用处理器和调制解调处理器， 其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理 器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处 理器1001中。在一些实施例中，处理器1001和存储器1002可以在同一芯片 上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1001可以是通用处理器，例如中央处理器(CPU)、数字信号处 理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可 编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件 组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通 用处理器可以是微处理器或者任何常规的处理器等。结合图像特征提取方法实 施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器 中的硬件及软件模块组合执行完成。
存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失 性软件程序、非易失性计算机可执行程序以及模块。存储器1002可以包括至 少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、 随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除 可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory， EEPROM)、磁性存储器、磁盘、光盘等等。存储器1002是能够用于携带或 存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何 其他介质，但不限于此。本申请实施例中的存储器1002还可以是电路或者其 它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
在本申请实施例中，存储器1002存储有计算机程序，当该程序被处理器 1001执行时，使得处理器1001执行：
将包含目标对象的待识别图像进行转化，获得所述待识别图像对应的初始 图像张量；
基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述 目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始图像张量 进行局部特征提取，确定所述目标对象的第二特征；
基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
一些可选的实施方式中，处理器1001具体执行：
将所述第一特征以及所述第二特征进行组合，得到所述目标对象的目标特 征；其中，所述目标特征的特征数为所述第一特征的特征数与所述第二特征的 特征数之和。
一些可选的实施方式中，所述第一识别模型包括多个缩并过滤器；处理器 1001具体执行：
针对任一缩并过滤器，将所述初始图像张量，与所述缩并过滤器进行缩并， 获得所述缩并过滤器对应的混合矩阵；
基于预设特征阶数，对获得的所有混合矩阵进行聚合，确定所述目标对象 的第一特征。
一些可选的实施方式中，处理器1001具体执行：
对所述初始图像张量，与所述缩并过滤器对应的预设数据指标进行求和， 获得所述缩并过滤器对应的混合矩阵。
一些可选的实施方式中，所述第二识别模型包括多个卷积核；处理器1001 具体执行：
针对任一卷积核，基于所述卷积核对所述初始图像张量中对应的像素点进 行局部特征提取以及池化操作，确定所述卷积核对应的局部特征；
对所有卷积核对应的局部特征进行全连接操作，确定所述目标对象的第二 特征。
一些可选的实施方式中，处理器1001还执行：
将所述目标特征与各预设特征信息进行匹配，并基于匹配结果确定所述目 标对象的身份信息。
由于该电子设备即是本申请实施例中的方法中的电子设备，并且该电子设 备解决问题的原理与该方法相似，因此该电子设备的实施可以参见方法的实施， 重复之处不再赘述。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质， 其存储有可由计算机执行的计算机程序，当所述程序在所述计算机上运行时， 使得所述计算机执行上述图像特征提取方法的步骤。
在一些可选的实施方式中，本申请提供的图像特征提取方法的各个方面还 可以实现为一种程序产品的形式，其包含有计算机可执行指令，当程序产品在 计算机设备上运行时，计算机可执行指令用于使计算机设备执行本说明书上述 描述的根据本申请各种示例性实施方式的图像特征提取方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计 算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流 程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方 框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框 的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理 机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其 他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基 本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要 求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申 请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及 其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像特征提取方法，其特征在于，包括：
将包含目标对象的待识别图像进行转化，获得所述待识别图像对应的初始图像张量；
基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征；
基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
2.如权利要求1所述的方法，其特征在于，基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征，包括：
将所述第一特征以及所述第二特征进行组合，得到所述目标对象的目标特征；其中，所述目标特征的特征数为所述第一特征的特征数与所述第二特征的特征数之和。
3.如权利要求1所述的方法，其特征在于，所述第一识别模型包括多个缩并过滤器；基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述目标对象的第一特征，包括：
针对任一缩并过滤器，将所述初始图像张量，与所述缩并过滤器进行缩并，获得所述缩并过滤器对应的混合矩阵；
基于预设特征阶数，对获得的所有混合矩阵进行聚合，确定所述目标对象的第一特征。
4.如权利要求3所述的方法，其特征在于，将所述初始图像张量，与所述缩并过滤器进行缩并，获得所述缩并过滤器对应的混合矩阵，包括：
对所述初始图像张量，与所述缩并过滤器对应的预设数据指标进行求和，获得所述缩并过滤器对应的混合矩阵。
5.如权利要求1所述的方法，其特征在于，所述第二识别模型包括多个卷积核；基于预设的第二识别模型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征，包括：
针对任一卷积核，基于所述卷积核对所述初始图像张量中对应的像素点进行局部特征提取以及池化操作，确定所述卷积核对应的局部特征；
对所有卷积核对应的局部特征进行全连接操作，确定所述目标对象的第二特征。
6.如权利要求1-5任一项所述的方法，其特征在于，还包括：
将所述目标特征与各预设特征信息进行匹配，并基于匹配结果确定所述目标对象的身份信息。
7.一种图像特征提取装置，其特征在于，该装置包括：
张量确定模块，用于将包含目标对象的待识别图像进行转化，获得所述待识别图像对应的初始图像张量；
特征确定模块，用于基于预设的第一识别模型，对所述初始图像张量进行张量缩并，确定所述目标对象的第一特征；以及，基于预设的第二识别模型，对所述初始图像张量进行局部特征提取，确定所述目标对象的第二特征；
特征组合模块，用于基于所述第一特征以及所述第二特征，确定所述目标对象的目标特征。
8.一种电子设备，其特征在于，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如权利要求1至6任一所述的方法。
9.一种计算机可读存储介质，其特征在于，其存储有可由计算机执行的计算机程序，当所述程序在所述计算机上运行时，使得所述计算机执行如权利要求1至6任一所述的方法。
10.一种计算机程序产品，其特征在于，包含有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一所述的方法。
CN202211026735.2A 2022-08-25 2022-08-25 一种图像特征提取方法、装置、电子设备及存储介质 Pending CN115346053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211026735.2A CN115346053A (zh) 2022-08-25 2022-08-25 一种图像特征提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211026735.2A CN115346053A (zh) 2022-08-25 2022-08-25 一种图像特征提取方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115346053A true CN115346053A (zh) 2022-11-15

Family

ID=83954236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211026735.2A Pending CN115346053A (zh) 2022-08-25 2022-08-25 一种图像特征提取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115346053A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187401A (zh) * 2023-04-26 2023-05-30 首都师范大学 神经网络的压缩方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187401A (zh) * 2023-04-26 2023-05-30 首都师范大学 神经网络的压缩方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109344618B (zh) 一种基于深度森林的恶意代码分类方法
CN110781923B (zh) 特征提取方法及装置
CN110598788B (zh) 目标检测方法、装置、电子设备及存储介质
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111768457B (zh) 图像数据压缩方法、装置、电子设备和存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN114969417B (zh) 图像重排序方法、相关设备及计算机可读存储介质
CN111274999A (zh) 数据处理、图像处理方法、装置及电子设备
CN115346053A (zh) 一种图像特征提取方法、装置、电子设备及存储介质
CN114782686A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN113918598A (zh) 一种乘积量化搜索方法、装置、终端和存储介质
CN110197117B (zh) 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN111680716B (zh) 一种识别对比方法、装置、计算机设备和存储介质
CN116310462B (zh) 一种基于秩约束自表示的图像聚类方法及装置
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN111222558B (zh) 图像处理方法及存储介质
CN114677286A (zh) 一种图像处理方法、装置、存储介质及终端设备
CN110633630B (zh) 一种行为识别方法、装置及终端设备
CN112424787B (zh) 提取图像关键点的方法及装置
CN114549429B (zh) 基于超图结构的深度数据质量评价方法及装置
CN115294361A (zh) 一种特征提取的方法及装置
CN115205613A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113705587A (zh) 图像质量评分方法、装置、存储介质以及电子设备
CN113160942A (zh) 影像数据质量评估方法、装置、终端设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination