CN117830615A - 基于全局高阶关系的目标重识别方法及装置 - Google Patents
基于全局高阶关系的目标重识别方法及装置 Download PDFInfo
- Publication number
- CN117830615A CN117830615A CN202311722781.0A CN202311722781A CN117830615A CN 117830615 A CN117830615 A CN 117830615A CN 202311722781 A CN202311722781 A CN 202311722781A CN 117830615 A CN117830615 A CN 117830615A
- Authority
- CN
- China
- Prior art keywords
- attention
- network
- vector
- feature map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 151
- 239000011159 matrix material Substances 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种基于全局高阶关系的目标重识别方法及装置。该方法包括:利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;将训练图像输入目标重识别模型:通过切片及向量压平网络处理训练图像,得到图像特征向量;通过多头自注意力网络处理图像特征向量,得到注意力特征图;通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;通过分类网络处理全局高阶特征图,得到识别结果;基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数。采用上述技术手段,解决现有技术中,因缺乏图片特征之间的全局依赖关系导致目标重识别错误的问题。
Description
技术领域
本公开涉及目标检测技术领域,尤其涉及一种基于全局高阶关系的目标重识别方法及装置。
背景技术
目标重识别是指在视频集或者图片集中进行目标检索,其应用场景非常广泛。当图片关键特征被遮挡时,往往会出现误识别,这是因为没有建立图片特征之间的全局依赖关系。然而目前并没有解决该问题的有效方法。
发明内容
有鉴于此,本公开实施例提供了一种基于全局高阶关系的目标重识别方法、装置、电子设备及计算机可读存储介质,以解决现有技术中,因缺乏图片特征之间的全局依赖关系导致目标重识别错误的问题。
本公开实施例的第一方面,提供了一种基于全局高阶关系的目标重识别方法,包括:构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;获取训练图像,将训练图像输入目标重识别模型:通过切片及向量压平网络处理训练图像,得到图像特征向量;通过多头自注意力网络处理图像特征向量,得到注意力特征图;通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;通过分类网络处理全局高阶特征图,得到识别结果;基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。
本公开实施例的第二方面,提供了一种基于全局高阶关系的目标重识别装置,包括:构建模块,被配置为构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;获取模块,被配置为获取训练图像,将训练图像输入目标重识别模型:第一处理模块,被配置为通过切片及向量压平网络处理训练图像,得到图像特征向量;第二处理模块,被配置为通过多头自注意力网络处理图像特征向量,得到注意力特征图;第三处理模块,被配置为通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;第四处理模块,被配置为通过分类网络处理全局高阶特征图,得到识别结果;优化模块,被配置为基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:因为本公开实施例通过构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;获取训练图像,将训练图像输入目标重识别模型:通过切片及向量压平网络处理训练图像,得到图像特征向量;通过多头自注意力网络处理图像特征向量,得到注意力特征图;通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;通过分类网络处理全局高阶特征图,得到识别结果;基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。采用上述技术手段,可以解决现有技术中,因缺乏图片特征之间的全局依赖关系导致目标重识别错误的问题,进而提高目标重识别的准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于全局高阶关系的目标重识别方法的流程示意图;
图2是本公开实施例提供的另一种基于全局高阶关系的目标重识别方法的流程示意图
图3是本公开实施例提供的一种基于全局高阶关系的目标重识别装置的结构示意图;
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种基于全局高阶关系的目标重识别方法和装置。
图1是本公开实施例提供的一种基于全局高阶关系的目标重识别方法的流程示意图。图1的基于全局高阶关系的目标重识别方法可以由计算机或服务器,或者计算机或服务器上的软件执行。如图1所示,该基于全局高阶关系的目标重识别方法包括:
S101,构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;
S102,获取训练图像,将训练图像输入目标重识别模型:
S103,通过切片及向量压平网络处理训练图像,得到图像特征向量;
S104,通过多头自注意力网络处理图像特征向量,得到注意力特征图;
S105,通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;
S106,通过分类网络处理全局高阶特征图,得到识别结果;
S107,基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。
需要说明的是,多头自注意力网络选择常用的多头自注意力网络即可。分类网络可以用全连接层和激活层构建(常用的分类网络)。依次串行连接切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络,得到目标重识别模型。训练图像包含多个对象,对目标重识别模型的训练,是训练目标重识别模型从训练图像包含的多个对象中确定出特定的对象。目标重识别最常见的是行人重识别,目标重识别模型可以是行人重识别模型。
根据本申请实施例提供的技术方案,构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;获取训练图像,将训练图像输入目标重识别模型:通过切片及向量压平网络处理训练图像,得到图像特征向量;通过多头自注意力网络处理图像特征向量,得到注意力特征图;通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;通过分类网络处理全局高阶特征图,得到识别结果;基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。采用上述技术手段,可以解决现有技术中,因缺乏图片特征之间的全局依赖关系导致目标重识别错误的问题,进而提高目标重识别的准确率。
进一步地,通过切片及向量压平网络处理训练图像,得到图像特征向量,包括:切片及向量压平网络对训练图像进行如下处理:对训练图像进行切片处理,得到多个小图像;提取各个小图像的图像特征,并将各个小图像的图像特征转换一维特征向量,其中,图像特征为多维特征向量;对所有小图像的一维特征向量进行拼接处理,得到图像特征向量。
提取各个小图像的图像特征,可以是提取各个小图像的哈希特征。将各个小图像的图像特征转换一维特征向量可以使用Flatten层,Flatten层用来将特征向量“压平”,即把多维特征向量一维化。
比如,将训练图像切片为9个小图像(长宽各三等分),提取每个小图像的图像特征,用Flatten层将各个小图像的图像特征转换一维特征向量,总共得到9个一维特征向量,将9个一维特征向量拼接起来得到图像特征向量。
上述实施例是从算法侧阐述的切片及向量压平网络,从结构层来看,切片及向量压平网络内部依次包括:切片层,特征提取层,Flatten层,拼接层。切片层用于对训练图像进行切片处理,特征提取层用于提取各个小图像的图像特征,Flatten层用于将各个小图像的图像特征转换一维特征向量,拼接层用于对所有小图像的一维特征向量进行拼接处理。
进一步地,通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图,包括:全局高阶关系感知网络对注意力特征图进行如下处理:对注意力特征图进行正则化处理,得到正则化特征图;对正则化特征图进行自注意力计算,得到第一自注意力特征图;对第一自注意力特征图分别进行动态卷积处理和逐层卷积处理,得到动态卷积特征图和逐层卷积特征图;对动态卷积特征图和逐层卷积特征图求和,得到相加特征图;对相加特征图进行自注意力计算,得到第二自注意力特征图;对第一自注意力特征图和第二自注意力特征图求和,得到全局高阶特征图。
动态卷积处理和逐层卷积处理是两种常用的卷积操作,在此不再赘述。本公开实施例通过两次自注意力计算,得到表示图像特征的全局依赖关系的全局高阶特征图。当图像中存在遮挡时,即使是关键特征被遮挡,因为全局高阶特征图中特征与特征之间存在全局依赖关系,所以可以根据没被遮挡的特征进行识别,减少遮挡特征对识别结果的影响。
更进一步地,对正则化特征图进行自注意力计算,得到第一自注意力特征图,包括:利用正则化特征图分别与查询矩阵、键矩阵和值矩阵计算第一查询向量、第一键向量和第一值向量;计算第一查询向量和第一键向量之间的第一相似度矩阵;依据第一相似度矩阵和第一值矩阵计算第一自注意力特征图。
一般查询矩阵、键矩阵和值矩阵分别用query、key、value表示。第一查询向量、第一键向量和第一值向量分别是Q向量、K向量、V向量。具体来说,Q表示查询向量,它代表当前输入的上下文信息,用于与其他输入进行比较,以计算它们之间的相似度得分。K表示键向量,它代表每个输入的特征,用于与Q进行比较,以计算注意力权重。V表示值向量,它表示每个输入的值,用于生成最终的输出。
正则化特征图与查询矩阵进行矩阵乘法运算,得到第一查询向量;正则化特征图与键矩阵进行矩阵乘法运算,得到第一键向量;正则化特征图与值矩阵进行矩阵乘法运算,得到第一值向量。第一查询向量和第一键向量进行矩阵乘法运算,得到第一相似度矩阵;第一相似度矩阵和第一值矩阵进行矩阵乘法运算,得到第一自注意力特征图。
更进一步地,对相加特征图进行自注意力计算,得到第二自注意力特征图,包括:利用相加特征图分别与查询矩阵、键矩阵和值矩阵计算第二查询向量、第二键向量和第二值向量;计算第二查询向量和第二键向量之间的第二相似度矩阵;依据第二相似度矩阵和第二值矩阵计算第二自注意力特征图。
相加特征图与查询矩阵进行矩阵乘法运算,得到第二查询向量;相加特征图与键矩阵进行矩阵乘法运算,得到第二键向量;相加特征图与值矩阵进行矩阵乘法运算,得到第二值向量。第二查询向量和第二键向量进行矩阵乘法运算,得到第二相似度矩阵;第二相似度矩阵和第二值矩阵进行矩阵乘法运算,得到第二自注意力特征图。
进一步地,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型,包括:利用一个多头自注意力网络和多个全局高阶关系感知网络构建自注意力全局高阶感知网络;利用切片及向量压平层、多个自注意力全局高阶感知网络和分类网络构建目标重识别模型。
串行连接一个多头自注意力网络和多个全局高阶关系感知网络,得到自注意力全局高阶感知网络。串行连接一个切片及向量压平层、多个自注意力全局高阶感知网络和一个分类网络,得到目标重识别模型。
进一步地,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型,包括:依次串行连接一个多头自注意力网络和两个全局高阶关系感知网络,得到自注意力全局高阶感知网络;依次串行连接切片及向量压平层、两个自注意力全局高阶感知网络和分类网络构建目标重识别模型。
依次串行连接一个切片及向量压平层、两个自注意力全局高阶感知网络和一个分类网络构建目标重识别模型。
图2是本公开实施例提供的另一种基于全局高阶关系的目标重识别方法的流程示意图,如图2所示,该方法包括:
S201,获取待检测的目标图像,将目标图像输入目标重识别模型:
S202,通过切片及向量压平网络处理目标图像,得到目标图像特征向量;
S203,通过多头自注意力网络处理目标图像特征向量,得到目标注意力特征图;
S204,通过全局高阶关系感知网络处理目标注意力特征图,得到目标全局高阶特征图;
S205,通过分类网络处理目标全局高阶特征图,得到目标图像中目标对象的识别结果,以完成对目标对象的目标重识别。
在一些实施例中,还可以利用训练视频对目标重识别模型进行训练,训练后的目标重识别模型可以对目标视频进行目标对象的目标重识别。训练视频包含多个对象,对目标重识别模型的训练,是训练目标重识别模型从训练视频包含的多个对象中确定出特定的对象。
基于识别结果和训练图像的标签,利用交叉熵损失函数计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是本公开实施例提供的一种基于全局高阶关系的目标重识别装置的示意图。如图3所示,该基于全局高阶关系的目标重识别装置包括:
构建模块301,被配置为构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;
获取模块302,被配置为获取训练图像,将训练图像输入目标重识别模型:
第一处理模块303,被配置为通过切片及向量压平网络处理训练图像,得到图像特征向量;
第二处理模块304,被配置为通过多头自注意力网络处理图像特征向量,得到注意力特征图;
第三处理模块305,被配置为通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;
第四处理模块306,被配置为通过分类网络处理全局高阶特征图,得到识别结果;
优化模块307,被配置为基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。
根据本申请实施例提供的技术方案,构建切片及向量压平网络和全局高阶关系感知网络,利用切片及向量压平层、多头自注意力网络、全局高阶关系感知网络和分类网络构建目标重识别模型;获取训练图像,将训练图像输入目标重识别模型:通过切片及向量压平网络处理训练图像,得到图像特征向量;通过多头自注意力网络处理图像特征向量,得到注意力特征图;通过全局高阶关系感知网络处理注意力特征图,得到全局高阶特征图;通过分类网络处理全局高阶特征图,得到识别结果;基于识别结果和训练图像的标签计算损失,依据损失优化目标重识别模型的模型参数,以完成对目标重识别模型的训练。采用上述技术手段,可以解决现有技术中,缺乏图片特征之间的全局依赖关系导致目标重识别错误的问题,进而提高目标重识别的准确率。
在一些实施例中,第一处理模块303还被配置为利用切片及向量压平网络对训练图像进行如下处理:对训练图像进行切片处理,得到多个小图像;提取各个小图像的图像特征,并将各个小图像的图像特征转换一维特征向量,其中,图像特征为多维特征向量;对所有小图像的一维特征向量进行拼接处理,得到图像特征向量。
切片及向量压平网络内部依次包括:切片层,特征提取层,Flatten层,拼接层。切片层用于对训练图像进行切片处理,特征提取层用于提取各个小图像的图像特征,Flatten层用于将各个小图像的图像特征转换一维特征向量,拼接层用于对所有小图像的一维特征向量进行拼接处理。
在一些实施例中,第三处理模块305还被配置为利用全局高阶关系感知网络对注意力特征图进行如下处理:对注意力特征图进行正则化处理,得到正则化特征图;对正则化特征图进行自注意力计算,得到第一自注意力特征图;对第一自注意力特征图分别进行动态卷积处理和逐层卷积处理,得到动态卷积特征图和逐层卷积特征图;对动态卷积特征图和逐层卷积特征图求和,得到相加特征图;对相加特征图进行自注意力计算,得到第二自注意力特征图;对第一自注意力特征图和第二自注意力特征图求和,得到全局高阶特征图。
在一些实施例中,第三处理模块305还被配置为利用正则化特征图分别与查询矩阵、键矩阵和值矩阵计算第一查询向量、第一键向量和第一值向量;计算第一查询向量和第一键向量之间的第一相似度矩阵;依据第一相似度矩阵和第一值矩阵计算第一自注意力特征图。
在一些实施例中,第三处理模块305还被配置为利用相加特征图分别与查询矩阵、键矩阵和值矩阵计算第二查询向量、第二键向量和第二值向量;计算第二查询向量和第二键向量之间的第二相似度矩阵;依据第二相似度矩阵和第二值矩阵计算第二自注意力特征图。
在一些实施例中,构建模块301还被配置为利用一个多头自注意力网络和多个全局高阶关系感知网络构建自注意力全局高阶感知网络;利用切片及向量压平层、多个自注意力全局高阶感知网络和分类网络构建目标重识别模型。
在一些实施例中,构建模块301还被配置为依次串行连接一个多头自注意力网络和两个全局高阶关系感知网络,得到自注意力全局高阶感知网络;依次串行连接切片及向量压平层、两个自注意力全局高阶感知网络和分类网络构建目标重识别模型。
依次串行连接一个切片及向量压平层、两个自注意力全局高阶感知网络和一个分类网络构建目标重识别模型。
在一些实施例中,优化模块307还被配置为获取待检测的目标图像,将目标图像输入目标重识别模型:通过切片及向量压平网络处理目标图像,得到目标图像特征向量;通过多头自注意力网络处理目标图像特征向量,得到目标注意力特征图;通过全局高阶关系感知网络处理目标注意力特征图,得到目标全局高阶特征图;通过分类网络处理目标全局高阶特征图,得到目标图像中目标对象的识别结果,以完成对目标对象的目标重识别。
在一些实施例中,优化模块307还被配置为利用训练视频对目标重识别模型进行训练,训练后的目标重识别模型可以对目标视频进行目标对象的目标重识别。训练视频包含多个对象,对目标重识别模型的训练,是训练目标重识别模型从训练视频包含的多个对象中确定出特定的对象。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于全局高阶关系的目标重识别方法,其特征在于,包括:
构建切片及向量压平网络和全局高阶关系感知网络,利用所述切片及向量压平层、多头自注意力网络、所述全局高阶关系感知网络和分类网络构建目标重识别模型;
获取训练图像,将所述训练图像输入所述目标重识别模型:
通过所述切片及向量压平网络处理所述训练图像,得到图像特征向量;
通过所述多头自注意力网络处理所述图像特征向量,得到注意力特征图;
通过所述全局高阶关系感知网络处理所述注意力特征图,得到全局高阶特征图;
通过所述分类网络处理全局高阶特征图,得到识别结果;
基于所述识别结果和所述训练图像的标签计算损失,依据所述损失优化所述目标重识别模型的模型参数,以完成对所述目标重识别模型的训练。
2.根据权利要求1所述的方法,其特征在于,通过所述切片及向量压平网络处理所述训练图像,得到图像特征向量,包括:
所述切片及向量压平网络对所述训练图像进行如下处理:
对所述训练图像进行切片处理,得到多个小图像;
提取各个小图像的图像特征,并将各个小图像的图像特征转换一维特征向量,其中,所述图像特征为多维特征向量;
对所有小图像的一维特征向量进行拼接处理,得到所述图像特征向量。
3.根据权利要求1所述的方法,其特征在于,通过所述全局高阶关系感知网络处理所述注意力特征图,得到全局高阶特征图,包括:
所述全局高阶关系感知网络对所述注意力特征图进行如下处理:
对所述注意力特征图进行正则化处理,得到正则化特征图;
对所述正则化特征图进行自注意力计算,得到第一自注意力特征图;
对所述第一自注意力特征图分别进行动态卷积处理和逐层卷积处理,得到动态卷积特征图和逐层卷积特征图;
对所述动态卷积特征图和所述逐层卷积特征图求和,得到相加特征图;
对所述相加特征图进行所述自注意力计算,得到第二自注意力特征图;
对所述第一自注意力特征图和所述第二自注意力特征图求和,得到所述全局高阶特征图。
4.根据权利要求3所述的方法,其特征在于,对所述正则化特征图进行自注意力计算,得到第一自注意力特征图,包括:
利用所述正则化特征图分别与查询矩阵、键矩阵和值矩阵计算第一查询向量、第一键向量和第一值向量;
计算所述第一查询向量和所述第一键向量之间的第一相似度矩阵;
依据所述第一相似度矩阵和所述第一值矩阵计算所述第一自注意力特征图。
5.根据权利要求3所述的方法,其特征在于,对所述相加特征图进行所述自注意力计算,得到第二自注意力特征图,包括:
利用所述相加特征图分别与查询矩阵、键矩阵和值矩阵计算第二查询向量、第二键向量和第二值向量;
计算所述第二查询向量和所述第二键向量之间的第二相似度矩阵;
依据所述第二相似度矩阵和所述第二值矩阵计算所述第二自注意力特征图。
6.根据权利要求1所述的方法,其特征在于,利用所述切片及向量压平层、多头自注意力网络、所述全局高阶关系感知网络和分类网络构建目标重识别模型,包括:
利用一个所述多头自注意力网络和多个所述全局高阶关系感知网络构建自注意力全局高阶感知网络;
利用所述切片及向量压平层、多个自注意力全局高阶感知网络和所述分类网络构建所述目标重识别模型。
7.根据权利要求1所述的方法,其特征在于,利用所述切片及向量压平层、多头自注意力网络、所述全局高阶关系感知网络和分类网络构建目标重识别模型,包括:
依次串行连接一个所述多头自注意力网络和两个所述全局高阶关系感知网络,得到自注意力全局高阶感知网络;
依次串行连接所述切片及向量压平层、两个自注意力全局高阶感知网络和所述分类网络构建所述目标重识别模型。
8.一种基于全局高阶关系的目标重识别装置,其特征在于,包括:
构建模块,被配置为构建切片及向量压平网络和全局高阶关系感知网络,利用所述切片及向量压平层、多头自注意力网络、所述全局高阶关系感知网络和分类网络构建目标重识别模型;
获取模块,被配置为获取训练图像,将所述训练图像输入所述目标重识别模型:
第一处理模块,被配置为通过所述切片及向量压平网络处理所述训练图像,得到图像特征向量;
第二处理模块,被配置为通过所述多头自注意力网络处理所述图像特征向量,得到注意力特征图;
第三处理模块,被配置为通过所述全局高阶关系感知网络处理所述注意力特征图,得到全局高阶特征图;
第四处理模块,被配置为通过所述分类网络处理全局高阶特征图,得到识别结果;
优化模块,被配置为基于所述识别结果和所述训练图像的标签计算损失,依据所述损失优化所述目标重识别模型的模型参数,以完成对所述目标重识别模型的训练。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311722781.0A CN117830615A (zh) | 2023-12-14 | 2023-12-14 | 基于全局高阶关系的目标重识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311722781.0A CN117830615A (zh) | 2023-12-14 | 2023-12-14 | 基于全局高阶关系的目标重识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117830615A true CN117830615A (zh) | 2024-04-05 |
Family
ID=90516729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311722781.0A Pending CN117830615A (zh) | 2023-12-14 | 2023-12-14 | 基于全局高阶关系的目标重识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830615A (zh) |
-
2023
- 2023-12-14 CN CN202311722781.0A patent/CN117830615A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110929780A (zh) | 视频分类模型构建、视频分类的方法、装置、设备及介质 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
CN114241585A (zh) | 一种跨年龄人脸识别模型训练方法、识别方法及装置 | |
CN111382760B (zh) | 图片类别的识别方法、装置及计算机可读存储介质 | |
CN117830615A (zh) | 基于全局高阶关系的目标重识别方法及装置 | |
CN112861874B (zh) | 一种基于多滤波器去噪结果的专家场去噪方法及系统 | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
CN113705589A (zh) | 数据处理方法、装置及设备 | |
CN117474037B (zh) | 基于空间距离对齐的知识蒸馏方法及装置 | |
CN117372818B (zh) | 目标重识别方法及装置 | |
CN116912518B (zh) | 图像的多尺度特征处理方法及装置 | |
CN116912634B (zh) | 目标追踪模型的训练方法及装置 | |
CN115147871B (zh) | 遮挡环境下行人再识别方法 | |
CN116912920B (zh) | 表情识别方法及装置 | |
CN116912635B (zh) | 目标追踪方法及装置 | |
CN116935167B (zh) | 目标追踪模型的训练方法及装置 | |
CN116523028B (zh) | 基于图像空间位置的图像表征模型训练方法及装置 | |
CN118071985A (zh) | 基于局部特征监督的目标重识别方法及装置 | |
CN118135189A (zh) | 基于特征一致性的目标重识别方法及装置 | |
CN116912633B (zh) | 目标追踪模型的训练方法及装置 | |
CN117456562B (zh) | 姿态估计方法及装置 | |
CN117475215A (zh) | 目标识别模型的训练方法及装置 | |
CN118015537A (zh) | 人群计数模型的训练方法及装置 | |
CN118036704A (zh) | 基于跨层特征对齐的知识蒸馏方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |