CN114419408A - 目标重识别方法、终端设备及计算机可读存储介质 - Google Patents
目标重识别方法、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114419408A CN114419408A CN202111652139.0A CN202111652139A CN114419408A CN 114419408 A CN114419408 A CN 114419408A CN 202111652139 A CN202111652139 A CN 202111652139A CN 114419408 A CN114419408 A CN 114419408A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- features
- processed
- word vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本申请适用于图像处理技术领域,提供了一种目标重识别方法、装置、终端设备及计算机可读存储介质,包括:根据训练后的特征提取模型获取待处理图像的第一图像特征;将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征;将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征;拼接所述第一融合特征,得到所述待处理图像的第二图像特征;根据所述第二图像特征对所述待处理图像进行目标重识别。通过上述方法,可以有效提高目标重识别的识别精度。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及目标重识别方法、装置、终端设备及计算机可读存储介质。
背景技术
目标重识别技术,是指判断图像或视频序列中是否存在特定目标的技术。与其他图像识别技术不同,目标重识别不仅关注图像中的局部特征,同样关注图像中的全局特征。现有的目标重识别方法,通常利用卷积神经网络提取待处理图像的特征信息。由于卷积神经网络更关注图像的局部特征,对全局特征的捕捉能力较弱,但是对于人体重识别任务而言,必须结合人体的全局特征和局部特征综合考虑,否则将会影响目标重识别的识别精度。
发明内容
本申请实施例提供了一种目标重识别方法、装置、终端设备及计算机可读存储介质,可以有效提高目标重识别的识别精度。
第一方面,本申请实施例提供了一种目标重识别方法,包括:
根据训练后的特征提取模型获取待处理图像的第一图像特征;
将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征;
将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征;
拼接所述第一融合特征,得到所述待处理图像的第二图像特征;
根据所述第二图像特征对所述待处理图像进行目标重识别。
在本申请实施例中,获得待处理图像的图像特征后,将图像特征划分为全局特征和多组局部特征,然后将多组局部特征分别和全局特征进行特征融合,相当于在每组局部特征中融入了全局特征;最后根据将融合特征拼接后的图像特征进行目标重识别。上述方法中,相当于在执行目标重识别任务时考虑了多种局部信息来进行区别判断,有助于提高识别的准确度;进一步的,在每种局部信息上融入了全局特征,以提高对全局信息的捕捉能力。通过上述方法,有效提高了目标重识别的识别精度。
在第一方面的一种可能的实现方式中,所述根据训练后的特征提取模型获取待处理图像的第一图像特征,包括:
将所述待处理图像切分为多个图像块;
生成所述多个图像块各自对应的第一词向量;
根据多个所述第一词向量生成词向量序列;
将所述词向量序列输入所述特征提取模型,获取所述第一图像特征。
在第一方面的一种可能的实现方式中,所述根据多个所述第一词向量生成词向量序列,包括:
生成所述多个图像块各自对应的位置编码;
将所述位置编码生成与所述第一词向量的维度相同的编码向量;
将多个所述第一词向量分别与各自对应的所述编码向量相加,获得多个所述第一词向量各自对应的第二词向量;
将训练后的分类词向量和多个所述第二词向量拼接为所述词向量序列,其中,所述分类词向量对应所述第一全局特征。
在第一方面的一种可能的实现方式中,所述特征提取模型包括依次连接的多个编码器,每个所述编码器中包括注意力模块、多层全连接模块和层归一化模块;
所述将所述词向量序列输入所述特征提取模型,获取所述第一图像特征,包括:
对于每个编码器,将所述词向量序列输入所述编码器的所述层归一化模块,输出第一结果;
将所述第一结果输入所述注意力模块,获得第二结果;
将所述第二结果与所述词向量序列残差相加,获得第三结果;
将所述第三结果输入所述层归一化模块,获得第四结果;
将所述第四结果输入所述多层全连接模块,获得第五结果;
将所述第五结果与所述第三结果残差相加,获得所述编码器的输出结果,其中,所述第一图像特征为最后一个所述编码器的输出结果。
在第一方面的一种可能的实现方式中,所述将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征,包括:
对于每组所述第一局部特征,计算所述第一局部特征与所述第一全局特征的平均特征;
将计算出的所述平均特征确定为所述第一局部特征对应的所述第一融合特征。
在第一方面的一种可能的实现方式中,所述根据所述第二图像特征对所述待处理图像进行目标重识别,包括:
分别计算所述第二图像特征与预设特征库中每组样本图像特征之间特征相似度;
按照所述特征相似度从大到小的顺序,对所述样本图像特征进行排序,获得特征序列;
将所述特征序列中前N个所述样本图像特征各自对应的样本图像确定为与所述待处理图像相匹配的目标图像。
在第一方面的一种可能的实现方式中,在根据训练后的特征提取模型获取待处理图像的第一图像特征之前,所述方法还包括:
根据所述特征提取模型获取训练图像的第四图像特征;
将所述第四图像特征划分为第二全局特征和多组第二局部特征;
将所述多组第二局部特征分别与所述第二全局特征进行特征融合,获得所述多组第二局部特征各自对应的第二融合特征;
计算每组所述第二融合特征的损失值;
根据计算出的所述第二融合特征的损失值更新所述特征提取模型的模型参数和所述分类词向量,直到获得训练后的所述特征提取模型和所述分类词向量。
第二方面,本申请实施例提供了一种目标重识别装置,包括:
特征获取单元,用于根据训练后的特征提取模型获取待处理图像的第一图像特征;
特征划分单元,用于将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征;
特征融合单元,用于将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征;
特征拼接单元,用于拼接所述第一融合特征,得到所述待处理图像的第二图像特征;
目标识别单元,用于根据所述第二图像特征对所述待处理图像进行目标重识别。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的目标重识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的目标重识别方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的目标重识别方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标重识别方法的流程示意图;
图2是本申请实施例挺的编码器的结构示意图;
图3是本申请实施例提供的多头注意力机制的示意图;
图4是本申请实施例提供的模型训练流程示意图;
图5是本申请实施例提供的目标重识别装置的结构框图;
图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
目标重识别技术,是指判断图像或视频序列中是否存在特定目标的技术。目标重识别过程包括底库建立、模型训练和识别。在底库建立过程中,通过检测模型从摄像头原始图像中检测出包含目标对象的图像,并将这些图像组成底库。在训练过程中,需要采集大量的包含目标对象的训练图像(可以利用底库中的图片进行训练),来训练一个特征提取模型。在识别过程中,将待处理图像输入训练后的特征提取模型中,获得待处理图像的图像特征;根据待处理图像的图像特征和底库中图像的图像特征(由训练后的特征提取模型获取)的特征距离,从底库图像中选择出与待处理图像相匹配的目标图像。
由上述可知,目标重识别的识别精度与特征提取模型的特征提取精度高度相关。现有的目标重识别方法中,通常利用卷积神经网络提取待处理图像的特征信息。虽然卷积神经网络更关注图像的局部特征,但是对于图像的全局特征的捕捉能力较弱。因此,利用现有的卷积神经网络作为目标重识别中的特征提取模型,将会忽略图像的全局特征信息,进而影响特征提取精度。
为了解决上述问题,本申请实施例中提供了一种目标重识别方法。参见图1,是本申请实施例提供的目标重识别方法的流程示意图,作为示例而非限定,所述方法可以包括以下步骤:
S101,根据训练后的特征提取模型获取待处理图像的第一图像特征。
在S101之前,需要预先训练特征提取模型,具体的训练过程可参见图4实施例中的描述,在此不再赘述。
在一个实施例中,第一图像特征的获取方法包括:
S1011,将所述待处理图像切分为多个图像块。
示例性的,假设待处理图像的维度为384×128,以16x16为每一图像块固定面积将待处理图像从左到右、从上到下顺序划分为24×8大小的图像块,共192块。
由于获取到的待处理图像的尺寸可能是不同的,因此,在对待处理图像切分之前,可以先将待处理图像进行尺寸调整,调整为预设尺寸的图像,之后再进行切分。
S1012,生成所述多个图像块各自对应的第一词向量。
图像块转换为词向量的过程,可以通过现有的转换方法实现,如投影转换方法,或利用神经网络实现等。
S1013,根据多个所述第一词向量生成词向量序列。
可选的,词向量序列的一种生成方式包括:可以将多个第一词向量拼接为词向量序列。
由于第一词向量是图像块的词向量,而图像块是待处理图像的局部图像,因此,第一词向量相当于表示了待处理图像的局部信息。如果按照上述方式拼接,得到的词向量序列中仅包括了第一词向量所表示的局部信息。为了考虑图像的全局信息,将表示全局信息的分类词向量添加到词向量序列中。本申请实施例中的分类词向量也通过训练获得,具体的训练过程可参见图4实施例中的描述。
另外,待处理图像实际是多个图像块顺序拼接得到的,如果图像块的排列顺序发生了变化,则无法复原得到待处理图像。换言之,图像块的排列顺序(即位置)也包含了一些特征信息。为了体现图像块的位置特征,本申请实施例中在生成词向量序列时,通过位置编码将图像块的位置特征添加进来。
可选的,词向量序列的另一种生成方式包括:
生成所述多个图像块各自对应的位置编码;将所述位置编码生成与所述第一词向量的维度相同的编码向量;将多个所述第一词向量分别与各自对应的所述编码向量相加,获得多个所述第一词向量各自对应的第二词向量;将训练后的分类词向量和多个所述第二词向量拼接为所述词向量序列,其中,所述分类词向量对应所述第一全局特征。
可以按照一定的顺序对图像块进行编号。例如,按照图像块在待处理图像中从左到右、从上到下的排列顺序,对图像块赋予1到N的位置数字。通过现有的编码方法(如word2vec算法等)将位置数字生成对应的编码向量。再将编码向量与其对应的第一词向量相加。例如,第一词向量的维度为1×512,其对应的位置数字为2,将2生成的编码向量的维度也为1×512、且每个元素的数值均为2,将这个1×512的编码向量与1×512的第一词向量进行向量相加,得到该第一词向量对应的第二词向量,第二词向量的维度也为1×512。
对于分类词向量,其维度与第一词向量的维度相同。例如,可以将分类词向量添加到第二词向量序列的头部。共有192个1×512的第二词向量,分类词向量的维度也为1×512,生成的词向量序列可以看作是193×512的矩阵。该矩阵中,第1行表示分类词向量,第2行到第193行为第二词向量。词向量序列的表示如下所示:
S1014,将所述词向量序列输入所述特征提取模型,获取所述第一图像特征。
在一个实施例中,特征提取模型可以包括依次连接的多个编码器,每个所述编码器中包括注意力模块、多层全连接模块和层归一化模块。参见图2,是本申请实施例挺的编码器的结构示意图。如图2所示,每个编码器中的数据处理过程包括:
将所述词向量序列(图2所示的图片块编码序列)输入所述编码器的所述层归一化模块(图2所示的层归一化),输出第一结果;
将所述第一结果输入所述注意力模块(图2所示的多头注意力机制),获得第二结果;
将所述第二结果与所述词向量序列残差相加(图2所示的残差连接),获得第三结果;
将所述第三结果输入所述层归一化模块,获得第四结果;
将所述第四结果输入所述多层全连接模块(图2所述的多层全连接),获得第五结果;
将所述第五结果与所述第三结果残差相加,获得所述编码器的输出结果。
上述过程用公式表示如下:
其中b代表当前编码器的层数;MSA表示多头注意力机制;MLA表示多层全连接层;LN表示层归一化。
继续S101中的示例,将待处理图像划分为192个图像块,每个图像块对应的第一词向量的维度为1×512。则词向量序列的维度为193×512。参见图3,是本申请实施例提供的多头注意力机制的示意图。如图3所示,上述的第一结果为193×512的特征,将该特征输入多头注意力模块;分别经过多套Q、K、V投影参数,各自进行自注意力操作后再重新拼接,再经过多层全连接层投影到与输入同样维度。
自注意力可以产生更具可解释性的模型,可以从模型中检查注意力分布,各个注意头(attention head)可以学会执行不同的任务。通过上述多头注意力机制,突破了循环神经网络模型不能并行计算的限制。
编码器的层数可以根据实际需要设定。优选的,本申请实施例中,使用12层的堆叠编码器。第一个编码器的输出作为第二个编码器的输入,依次类推。最后一个编码器的输出结果即为第一图像特征。
S102,将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征。
与常规的图像分类任务不同的是,考虑到人体重识别任务的特殊性,当需要分辨两张图像是否为同一个人时,可以通过头部、上衣、裤子等多个信息进行区别判断。基于这一考虑,本申请实施例中,对第一图像特征进行横向切分,得到多个特征块。如S101中所述,将待处理图像划分为192个图像块;相应的,经过特征提取模型后,每个图像块对应一个特征块。在S102中,将每个特征块横向划分为k个特征子块,每个特征子块为一组第一局部特征。例如,共有192个特征块,将每个特征块再划分为6个4×8的特征子块。
如S101所述,输入特征提取模型的词向量序列中包括训练后的分类词向量,该分类词向量可以表征图像的全局特征。S102中的第一全局特征为根据特征提取模型获取到的分类词向量的特征。
S103,将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征。
在一个实施例中,特征融合的过程包括:
对于每组所述第一局部特征,计算所述第一局部特征与所述第一全局特征的平均特征;将计算出的所述平均特征确定为所述第一局部特征对应的所述第一融合特征。
通过上述步骤,相当于在每组局部特征中融入了全局特征。
S104,拼接所述第一融合特征,得到所述待处理图像的第二图像特征。
融合特征拼接的顺序与S102中划分特征的顺序一致。
可以通过全连接层将第一融合特征拼接为第二图像特征。
S105,根据所述第二图像特征对所述待处理图像进行目标重识别。
本申请实施例中,目标重识别的过程包括:
分别计算所述第二图像特征与预设特征库中每组样本图像特征之间特征相似度(余弦相似度等);按照所述特征相似度从大到小的顺序,对所述样本图像特征进行排序,获得特征序列;将所述特征序列中前N个所述样本图像特征各自对应的样本图像确定为与所述待处理图像相匹配的目标图像,N为正整数。
在本申请实施例中,获得待处理图像的图像特征后,将图像特征划分为全局特征和多组局部特征,然后将多组局部特征分别和全局特征进行特征融合,相当于在每组局部特征中融入了全局特征;最后根据将融合特征拼接后的图像特征进行目标重识别。上述方法中,相当于在执行目标重识别任务时考虑了多种局部信息来进行区别判断,有助于提高识别的准确度;进一步的,在每种局部信息上融入了全局特征,以提高对全局信息的捕捉能力。通过上述方法,有效提高了目标重识别的识别精度。
在一个实施例中,在S101之前,需要预先对特征提取模型进行训练。示例性的,参见图4,是本申请实施例提供的模型训练流程示意图。如图4所示,训练过程包括:
S401,将训练图像划分为多个图像块。
S402,生成多个图像块对应的位置编码,并生成训练图像的词向量序列。
对于第一次训练过程,该步骤中词向量序列中的分类词向量为初始向量。
S403,将词向量序列输入编码器,获得第四图像特征。
S401-S403步骤与S101步骤相同,具体可参见上述S101实施例中的描述。
S404,将第四图像特征进行位置切分,将所述第四图像特征划分为第二全局特征和多组第二局部特征。
S405,将所述多组第二局部特征分别与所述第二全局特征进行特征融合(特征平均),获得所述多组第二局部特征各自对应的第二融合特征。
S404-S405步骤与S102-S103步骤相同,具体可参见上述S102-S103实施例中的描述。
S406,每组第二融合特征分别输入各自对应的全连接分类层,获得损失值。
S407,根据预设的损失函数和各个损失值,计算总损失。
S408,根据总损失更新编码器的参数以及分类词向量。
当损失值达到预设精度时,训练完成。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法,图5是本申请实施例提供的目标重识别装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图5,该装置包括:
特征获取单元51,用于根据训练后的特征提取模型获取待处理图像的第一图像特征。
特征划分单元52,用于将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征。
特征融合单元53,用于将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征。
特征拼接单元54,用于拼接所述第一融合特征,得到所述待处理图像的第二图像特征。
目标识别单元55,用于根据所述第二图像特征对所述待处理图像进行目标重识别。
可选的,特征获取单元51还用于:
将所述待处理图像切分为多个图像块;
生成所述多个图像块各自对应的第一词向量;
根据多个所述第一词向量生成词向量序列;
将所述词向量序列输入所述特征提取模型,获取所述第一图像特征。
可选的,特征获取单元51还用于:
生成所述多个图像块各自对应的位置编码;
将所述位置编码生成与所述第一词向量的维度相同的编码向量;
将多个所述第一词向量分别与各自对应的所述编码向量相加,获得多个所述第一词向量各自对应的第二词向量;
将训练后的分类词向量和多个所述第二词向量拼接为所述词向量序列,其中,所述分类词向量对应所述第一全局特征。
可选的,所述特征提取模型包括依次连接的多个编码器,每个所述编码器中包括注意力模块、多层全连接模块和层归一化模块。
相应的,特征获取单元51还用于:
对于每个编码器,将所述词向量序列输入所述编码器的所述层归一化模块,输出第一结果;
将所述第一结果输入所述注意力模块,获得第二结果;
将所述第二结果与所述词向量序列残差相加,获得第三结果;
将所述第三结果输入所述层归一化模块,获得第四结果;
将所述第四结果输入所述多层全连接模块,获得第五结果;
将所述第五结果与所述第三结果残差相加,获得所述编码器的输出结果,其中,所述第一图像特征为最后一个所述编码器的输出结果。
可选的,特征融合单元53还用于:
计算每组所述第一局部特征与所述第一全局特征的平均特征;
将计算出的多组所述平均特征拼接为所述第一融合特征。
可选的,目标识别单元55还用于:
分别计算所述第二图像特征与预设特征库中每组样本图像特征之间特征相似度;
按照所述特征相似度从大到小的顺序,对所述样本图像特征进行排序,获得特征序列;
将所述特征序列中前N个所述样本图像特征各自对应的样本图像确定为与所述待处理图像相匹配的目标图像。
可选的,装置5还包括:
模型训练单元56,用于根据所述特征提取模型获取训练图像的第四图像特征;
将所述第四图像特征划分为第二全局特征和多组第二局部特征;
将所述多组第二局部特征分别与所述第二全局特征进行特征融合,获得所述多组第二局部特征各自对应的第二融合特征;
计算每组所述第二融合特征的损失值;
根据计算出的所述第二融合特征的损失值更新所述特征提取模型的模型参数和所述分类词向量,直到获得训练后的所述特征提取模型和所述分类词向量。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
另外,图5所示的目标重识别装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元,也可以作为独立的挂件集成到所述终端设备中,还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图6是本申请实施例提供的终端设备的结构示意图。如图6所示,该实施例的终端设备6包括:至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时实现上述任意各个目标重识别方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图6仅仅是终端设备6的举例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种目标重识别方法,其特征在于,包括:
根据训练后的特征提取模型获取待处理图像的第一图像特征;
将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征;
将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征;
拼接所述第一融合特征,得到所述待处理图像的第二图像特征;
根据所述第二图像特征对所述待处理图像进行目标重识别。
2.如权利要求1所述的目标重识别方法,其特征在于,所述根据训练后的特征提取模型获取待处理图像的第一图像特征,包括:
将所述待处理图像切分为多个图像块;
生成所述多个图像块各自对应的第一词向量;
根据多个所述第一词向量生成词向量序列;
将所述词向量序列输入所述特征提取模型,获取所述第一图像特征。
3.如权利要求2所述的目标重识别方法,其特征在于,所述根据多个所述第一词向量生成词向量序列,包括:
生成所述多个图像块各自对应的位置编码;
将所述位置编码生成与所述第一词向量的维度相同的编码向量;
将多个所述第一词向量分别与各自对应的所述编码向量相加,获得多个所述第一词向量各自对应的第二词向量;
将训练后的分类词向量和多个所述第二词向量拼接为所述词向量序列,其中,所述分类词向量对应所述第一全局特征。
4.如权利要求2所述的目标重识别方法,其特征在于,所述特征提取模型包括依次连接的多个编码器,每个所述编码器中包括自注意力模块、多层全连接模块和层归一化模块;
所述将所述词向量序列输入所述特征提取模型,获取所述第一图像特征,包括:
对于每个编码器,将所述词向量序列输入所述编码器的所述层归一化模块,输出第一结果;
将所述第一结果输入所述注意力模块,获得第二结果;
将所述第二结果与所述词向量序列残差相加,获得第三结果;
将所述第三结果输入所述层归一化模块,获得第四结果;
将所述第四结果输入所述多层全连接模块,获得第五结果;
将所述第五结果与所述第三结果残差相加,获得所述编码器的输出结果,其中,所述第一图像特征为最后一个所述编码器的输出结果。
5.如权利要求1所述的目标重识别方法,其特征在于,所述将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征,包括:
对于每组所述第一局部特征,计算所述第一局部特征与所述第一全局特征的平均特征;
将计算出的所述平均特征确定为所述第一局部特征对应的所述第一融合特征。
6.如权利要求1所述的目标重识别方法,其特征在于,所述根据所述第二图像特征对所述待处理图像进行目标重识别,包括:
分别计算所述第二图像特征与预设特征库中每组样本图像特征之间特征相似度;
按照所述特征相似度从大到小的顺序,对所述样本图像特征进行排序,获得特征序列;
将所述特征序列中前N个所述样本图像特征各自对应的样本图像确定为与所述待处理图像相匹配的目标图像。
7.如权利要求3所述的目标重识别方法,其特征在于,在根据训练后的特征提取模型获取待处理图像的第一图像特征之前,所述方法还包括:
根据所述特征提取模型获取训练图像的第四图像特征;
将所述第四图像特征划分为第二全局特征和多组第二局部特征;
将所述多组第二局部特征分别与所述第二全局特征进行特征融合,获得所述多组第二局部特征各自对应的第二融合特征;
计算每组所述第二融合特征的损失值;
根据计算出的所述第二融合特征的损失值更新所述特征提取模型的模型参数和所述分类词向量,直到获得训练后的所述特征提取模型和所述分类词向量。
8.一种目标重识别装置,其特征在于,包括:
特征获取单元,用于根据训练后的特征提取模型获取待处理图像的第一图像特征;
特征划分单元,用于将所述待处理图像的第一图像特征划分为第一全局特征和多组第一局部特征;
特征融合单元,用于将所述多组第一局部特征分别与所述第一全局特征进行特征融合,获得所述多组第一局部特征各自对应的第一融合特征;
特征拼接单元,用于拼接所述第一融合特征,得到所述待处理图像的第二图像特征;
目标识别单元,用于根据所述第二图像特征对所述待处理图像进行目标重识别。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111652139.0A CN114419408A (zh) | 2021-12-30 | 2021-12-30 | 目标重识别方法、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111652139.0A CN114419408A (zh) | 2021-12-30 | 2021-12-30 | 目标重识别方法、终端设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419408A true CN114419408A (zh) | 2022-04-29 |
Family
ID=81269635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111652139.0A Pending CN114419408A (zh) | 2021-12-30 | 2021-12-30 | 目标重识别方法、终端设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419408A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114694185A (zh) * | 2022-05-31 | 2022-07-01 | 浪潮电子信息产业股份有限公司 | 一种跨模态目标重识别方法、装置、设备及介质 |
CN114820592A (zh) * | 2022-06-06 | 2022-07-29 | 北京医准智能科技有限公司 | 图像处理装置、电子设备及介质 |
CN115019071A (zh) * | 2022-05-19 | 2022-09-06 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
CN116912924A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 一种目标图像识别方法和装置 |
-
2021
- 2021-12-30 CN CN202111652139.0A patent/CN114419408A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019071A (zh) * | 2022-05-19 | 2022-09-06 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
CN115019071B (zh) * | 2022-05-19 | 2023-09-19 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
CN114694185A (zh) * | 2022-05-31 | 2022-07-01 | 浪潮电子信息产业股份有限公司 | 一种跨模态目标重识别方法、装置、设备及介质 |
CN114694185B (zh) * | 2022-05-31 | 2022-11-04 | 浪潮电子信息产业股份有限公司 | 一种跨模态目标重识别方法、装置、设备及介质 |
CN114820592A (zh) * | 2022-06-06 | 2022-07-29 | 北京医准智能科技有限公司 | 图像处理装置、电子设备及介质 |
CN116912924A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 一种目标图像识别方法和装置 |
CN116912924B (zh) * | 2023-09-12 | 2024-01-05 | 深圳须弥云图空间科技有限公司 | 一种目标图像识别方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114419408A (zh) | 目标重识别方法、终端设备及计算机可读存储介质 | |
CN109657533A (zh) | 行人重识别方法及相关产品 | |
CN114170516B (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
CN113015022A (zh) | 行为识别方法、装置、终端设备及计算机可读存储介质 | |
CN111428805A (zh) | 显著性物体的检测方法、装置、存储介质及电子设备 | |
CN111400550A (zh) | 一种目标运动轨迹构建方法、设备以及计算机存储介质 | |
CN115578590A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
CN110298302B (zh) | 一种人体目标检测方法及相关设备 | |
CN115083435A (zh) | 音频数据处理方法、装置、计算机设备和存储介质 | |
CN112287923A (zh) | 卡证信息识别方法、装置、设备及存储介质 | |
CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
CN116189109A (zh) | 模型训练方法、道路事件检测方法、装置及相关设备 | |
CN115861927A (zh) | 电力设备巡检图像的图像识别方法、装置和计算机设备 | |
CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
CN113139561A (zh) | 一种垃圾分类方法、装置、终端设备及存储介质 | |
CN113542866B (zh) | 视频处理方法、装置、设备及计算机可读存储介质 | |
WO2024037660A1 (zh) | 确定异常分拣区域的方法、装置、电子设备及存储介质 | |
CN112329925B (zh) | 模型生成方法、特征提取方法、装置及电子设备 | |
CN116452600B (zh) | 实例分割方法、系统、模型训练方法、介质及电子设备 | |
CN117314938B (zh) | 一种基于多尺度特征融合译码的图像分割方法及装置 | |
CN117435739B (zh) | 图像文本分类的方法及装置 | |
CN114118075B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
CN117788981A (zh) | 基于多模态的零样本图像分割模型训练方法及装置 | |
CN114708381A (zh) | 一种基于三维模型的运动轨迹生成方法、装置以及服务器 | |
CN117274176A (zh) | 基于YOLOv5s模型的可变数据印刷缺陷检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |