CN114519863A - 人体重识别方法、人体重识别装置、计算机设备及介质 - Google Patents
人体重识别方法、人体重识别装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN114519863A CN114519863A CN202111682643.5A CN202111682643A CN114519863A CN 114519863 A CN114519863 A CN 114519863A CN 202111682643 A CN202111682643 A CN 202111682643A CN 114519863 A CN114519863 A CN 114519863A
- Authority
- CN
- China
- Prior art keywords
- human body
- training
- feature
- feature extraction
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供一种人体重识别方法、人体重识别装置、计算机设备及介质。人体重识别方法包括:获取待检测的人体图像。通过预先训练好的人体重识别模型,提取人体图像的第一人体特征,人体重识别模型基于单摄像头采集的人体训练图像进行训练。将第一人体特征与预置数据库中的多个人体特征进行对比,确定与第一人体特征相似度最高的第二人体特征。当相似度大于或者等于指定阈值时,将第二人体特征对应的人体类别匹配为人体图像最相似的人体类别。通过本发明,基于单摄像头训练的人体重识别模型进行人体重识别检测,有助于在预置的数据库中的多个人体特征中为待检测的人体图像匹配出最相似人体类别,进而减少误识别的情况发生。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种人体重识别方法、人体重识别装置、计算机设备及介质。
背景技术
人体重识别技术是一种利用计算机视觉技术对给定图像进行非重叠摄像头检索,从而识别出属于同一个人体图像的技术。随着人工智能技术的发展与进步,人体重识别技术能够实现跨越时间和空间对同一人体进行跟踪、匹配与身份鉴定,已经大量应用于社会生活中的方方面面,是近年来计算机视觉领域的研究热点之一。
相关技术中,基于深度学习模型训练人体重识别模型时,是利用深度学习模型学习人体之间的关系以提取特征和搜索,模型性能严重依赖于数据质量和数量。但用于训练人体重识别模型的训练数据需要跨摄像头标注行人关系,进而导致人体重识别模型的训练成本高、难度大。
发明内容
因此,本发明要解决的技术问题在于克服现有技术中利用人体重识别模型在进行人体重识别时过于依赖数据质量和数量的缺陷,从而提供一种人体重识别方法、人体重识别装置、计算机设备及介质。
在第一方面,本发明提供一种人体重识别方法,所述方法包括:获取待检测的人体图像。通过预先训练好的人体重识别模型,提取所述人体图像的第一人体特征,所述人体重识别模型基于单摄像头采集的人体训练图像进行训练。将所述第一人体特征与预置数据库中的多个人体特征进行对比,确定与所述第一人体特征相似度最高的第二人体特征。当所述相似度大于或者等于指定阈值时,将所述第二人体特征对应的人体类别匹配为所述人体图像最相似的人体类别。
在该方式中,在对待检测的人体图像进行人体重识别检测时,能够基于单摄像头采集的人体训练图像进行训练的人体重识别模型,进而在预置的数据库中的多个人体特征中为待检测的人体图像匹配出最相似人体类别,进而提高人体类别识别的准确性,减少误识别的情况发生。
在第二方面,本发明还提供一种人体重识别装置,所述装置包括:获取单元,用于获取待检测的人体图像。提取单元,用于通过预先训练好的人体重识别模型,提取所述人体图像的第一人体特征,所述人体重识别模型基于单摄像头采集的人体训练图像进行训练。对比单元,用于将所述第一人体特征与预置数据库中的多个人体特征进行对比,确定与所述第一人体特征相似度最高的第二人体特征。确定单元,用于当所述相似度大于或者等于指定阈值时,将所述第二人体特征对应的人体类别匹配为所述人体图像最相似的人体类别。
结合第二方面,在第二方面的第一实施例中,所述人体重识别模型基于单摄像头采集的人体训练图像采用下述单元进行训练:第一获取单元,用于获取多组第一人体训练图像集,不同组的第一人体训练图像集由不同摄像头采集,不同第一人体训练图像集之间包括的人体类别相同。第一训练单元,用于将各所述第一人体训练图像集分别输入至待训练的特征提取网络中,训练所述特征提取网络提取各所述人体类别对应的人体特征,得到第一特征提取模型。第二获取单元,用于获取与所述第一人体训练图像集包括的人体类别相同的第二人体训练图像集和人体训练特征集,所述人体训练特征集中包括的多个人体训练特征为各组人体图像集对应第一人体训练图像的总人体特征。第二训练单元,用于将所述第二人体训练图像集输入至所述第一特征提取模型,根据所述人体训练特征集训练所述第一特征提取模型,得到所述人体重识别模型。
根据第三方面,本发明实施方式还提供一种计算机设备,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面及其可选实施方式中任一项的人体重识别方法。
根据第四方面,本发明实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行第一方面及其可选实施方式中任一项的人体重识别方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提出的一种人体重识别方法的流程图。
图2是根据一示例性实施例提出的一种人体重识别模型的训练方法的流程图。
图3是根据一示例性实施例提出的一种第一特征提取模型的训练方法的流程图。
图4是根据一示例性实施例提出的另一种第一特征提取模型的训练方法的流程图。
图5是根据一示例性实施例提出的一种人体训练特征集的获取方法的流程图。
图6是根据一示例性实施例提出的另一种人体训练特征集的获取方法的流程图。
图7是根据一示例性实施例提出的另一种人体重识别模型的训练方法的流程图。
图8是根据一示例性实施例提出的又一种人体训练特征集的获取方法的流程图。
图9是根据一示例性实施例提出的一种人体训练图像集的获取方法的流程图。
图10是根据一示例性实施例提出的一种人体重识别装置的结构框图。
图11是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,在对人体重识别模型进行训练时,是通过检测模型从由多个摄像头拍摄得到的原始图片中检测出人体图片并组成底库。使用已有模型对底库图片进行人体特征提取,并用聚类方法将对底库特征分类。对聚类结果中的每一簇进行人工核对筛选。计算人工筛选结果中簇与簇之间的相似性,生成簇之间相似性大于设置阈值的推荐组合,再交由人工核对合并,最终生成人工标注结果。根据人工标注结果训练一个特征提取网络,将行人图片输入特征提取网络中以获取高维向量特征表示,根据特征所计算的度量距离和交叉熵得到损失值,选取优化器迭代找到损失函数最小值,并不断更新网络的参数达到优化学习的效果,得到最终的人体重识别模型。
由于同一人体可能在不同摄像头之间反复出现,每个摄像头中出现的人体数目多,因此,但采用该种方式训练人体重识别模型时,需要将不同摄像头中出现的同一个人体匹配出来,排列组合数目十分巨大,进而导致需要大量的时间成本进行训练。
为解决上述问题,本发明实施例中提供一种人体重识别方法,用于计算机设备中,需要说明的是,其执行主体可以是人体重识别装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为存储设备的部分或者全部,其中,该计算机设备可以是终端或客户端或服务器,服务器可以是一台服务器,也可以为由多台服务器组成的服务器集群,本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。
本发明实施例中的计算机设备,应用于对未知人体类别的人体图像进行人体重识别检测的使用场景。通过本发明提供的人体重识别方法,在对待检测的人体图像进行人体重识别检测时,能够基于单摄像头采集的人体训练图像进行训练的人体重识别模型,进而在预置的数据库中的多个人体特征中为待检测的人体图像匹配出最相似人体类别,进而提高人体类别识别的准确性,减少误识别的情况发生。
图1是根据一示例性实施例提出的一种人体重识别方法的流程图。如图1所示,分布式集群扩容方法包括如下步骤S101至步骤S104。
在步骤S101中,获取待检测的人体图像。
在本发明实施例中,待检测的人体图像可以理解为是未明确该人体图像具体对应人体类别的图像。人体类别可以理解为是用于区分不同人体的类别,每一个独立的个人对应一个人体类别。例如:行人A和行人B即为两个不同的人体类别。在一例中,为便于记录,可以采用身份标识号(Identity document,id)的形式记录和区分各人体类别。例如:id1对应第一个人体类别,id2对应第一个人体类别。
在步骤S102中,通过预先训练好的人体重识别模型,提取人体图像的第一人体特征。
在本发明实施例中,预先训练好的人体重识别模型基于单摄像头采集的人体训练图像进行训练得到的,进而采用该种人体重识别模型提取人体图像的第一人体特征时,能够基于单摄像头的拍摄特性提高人体特征提取的准确度,进而后续匹配该人体图像对应的人体类别时,有助于提高匹配准确度。
在步骤S103中,将第一人体特征与预置数据库中的多个人体特征进行对比,确定与第一人体特征相似度最高的第二人体特征。
在本发明实施例中,预置数据库中的多个人体特征对应的人体类别是已知的,可以明确各人体类别对应的人体特征。将第一人体特征与预置数据库中的多个人体特征进行对比,以便确定在已知人体类别的多个人体特征中是否包括与该第一人体特征相似的人体特征。由于相似度越高,则表征二者属于同一人体类别的可能性越大,因此,基于对比结果,在多个人体特征中确定与第一人体特征相似度最高的第二人体特征,以便通过该第二人体特征确定第一人体特征对应的人体类别。在一示例中,确定第一人体特征与各人体特征之间的相似度时,可以通过余弦相似度、欧几里得距离或者闵可夫斯基距离进行确定。
在步骤S104中,当相似度大于或者等于指定阈值时,将第二人体特征对应的人体类别匹配为人体图像最相似的人体类别。
在本发明实施例中,由于同一人体类别在不同场景下进行拍摄时,所提取到的人体特征可能存在差异。故指定阈值可以理解为是用于确定第一人体特征与第二人体特征是否属于同一人体类别的容错阈值。当相似度大于或者等于该指定阈值,则表征第一人体特征与第二人体特征之间过于相似,第一人体特征与第二人体特征可能属于同一人体类别。当相似度小于该指定阈值,则表征第一人体特征与第二人体特征之间的相似度较低,可以确定第一人体特征与第二人体特征不属于同一人体类别。因此,当相似度大于或者等于指定阈值时,可以将第二人体特征对应的人体类别匹配为人体图像最相似的人体类别,以便后续根据匹配到的人体类别明确该人体图像最终对应的人体类别。在一例中,若存在多个相似度大于或者等于指定阈值的第二人体特征时,则将相似度值最大的第二人体特征对应的人体类别确定为是该人体图像最相似的人体类别。
通过上述实施例,在对待检测的人体图像进行人体重识别检测时,能够基于单摄像头采集的人体训练图像进行训练的人体重识别模型,进而在预置的数据库中的多个人体特征中为待检测的人体图像匹配出最相似人体类别,从而有助于提高人体类别识别的准确性,减少误识别的情况发生。
在一实施例中,若第一人体特征与第二人体特征之间的相似度小于指定阈值,则可以确定该人体图像对应的人体类别是新出现的人体类别,进而可以将该人体图像的第一人体特征以及对应的人体类别存储至预置的数据库中,以便后续进行人体重识别追踪时,能够提高识别、追踪的准确性。
以下实施例将说明人体重识别模型的具体训练过程。
图2是根据一示例性实施例提出的一种人体重识别模型的训练方法的流程图。如图2所示,人体重识别模型的训练方法包括如下步骤。
在步骤S201中,获取多组第一人体训练图像集。
在本发明实施例中,不同组的第一人体训练图像集由不同摄像头采集,不同第一人体训练图像集之间包括的人体类别相同。即,不同组第一人体训练图像集中包括的人体类别是相同的,但不同组的第一人体训练图像集是通过不同摄像头采集得到的。例如:A组的第一人体训练图像集是由摄像头A采集得到的,B组的第一人体训练图像集是由摄像头B采集得到的。A组的第一人体训练图像集包括的人体类别与B组的第一人体训练图像集包括的人体类别相同。
在步骤S202中,将各第一人体训练图像集分别输入至待训练的特征提取网络中,训练特征提取网络提取各人体类别对应的人体特征,得到第一特征提取模型。
在本发明实施例中,在训练特征提取网络时,将各第一人体训练图像集分别输入至待训练的特征提取网络中,由特征提取网络针对各摄像头采集的第一人体训练图像集分别进行人体特征提取,进而根据提取到的人体特征,训练该特征提取网络,得到第一特征提取模型。例如:获取的第一人体训练图像集分别为A、B和C三组。在训练特征提取网络时,将A、B和C分别输入至特征提取网络中进行人体特征提取,由该特征提取网络分别提取A对应的包括的各人体类别的人体特征a、提取B对应的包括的各人体类别的人体特征b以及提取C对应的包括的各人体类别的人体特征c,进而基于a、b和c训练特征提取网络提取各人体类别对应的人体特征,得到第一特征提取模型。
在进行第一特征提取模型训练时,所采用的人体训练图像均是已标注人体类别的图像。在对特征提取模型进行训练时,由于是将各摄像头采集的第一人体训练图像集分开输入至特征网络模型中进行训练,进而预先在对人体训练图像进行标注时,无需跨摄像头标注,只针对当前摄像头进行标注即可,从而降低标注难度,节省标注时间,有助于提升标注效率。
在步骤S203中,获取与第一人体训练图像集包括的人体类别相同的第二人体训练图像集和人体训练特征集。
在本发明实施例中,人体训练特征集中包括的多个人体训练特征为各组人体图像集对应第一人体训练图像的总人体特征。在一示例中,通过第一特征提取模型,分别对第一人体训练图像集进行人体特征提取,得到各第一人体训练图像集对应的人体特征集,将各人体特征集合并,得到该人体训练特征集。
人体训练特征集中所包括的人体类别与第一人体训练图像集包括的人体类别相同,进而后续训练第一特征提取模型能够跨摄像头进行特征识别时,能够进行针对性的训练。
在一示例中,第二人体训练图像集可以是将各组第一人体训练图像集进行合并后得到的人体训练图像集。
在步骤S204中,将第二人体训练图像集输入至第一特征提取模型,根据人体训练特征集训练第一特征提取模型,得到人体重识别模型。
在本发明实施例中,由于第一特征训练模型是针对单摄像头采集的第一人体训练图像集训练得到的,而在实际应用中,用于人体重识别的人体重识别模型需要从多个摄像头所采集的人体图像中对待检测的人体图像进行人体重识别。因此,为使第一特征提取模型能够实现跨摄像头的人体重识别,则将获取的第二人体训练图像集输入至第一特征提取模型中,根据获取的人体训练特征集,训练该第一特征提取模型学习同一人体类型在不同摄像头下所采集的人体图像中的人体特征,进而得到用于人体重识别的人体重识别模型。
通过上述实施例,将训练人体重识别模型的过程分为两个阶段,基于单摄像头采集的第一人体训练图像集训练第一特征提取模型阶段时,有助于增强第一特征提取模型学习提取单摄像头采集人体图像对应人体特征的鲁棒性,进而后续训练第一特征提取模型学习同一人体类型在不同摄像头下所采集的人体图像中的人体特征时,有助于增强提取人体特征的鲁棒性,从而在实际使用中进行人体特征提取时,更具有准确性。
以下实施例将说明第一特征提取模型的具体训练过程。
图3是根据一示例性实施例提出的一种第一特征提取模型的训练方法的流程图。如图3所示,第一特征提取模型的训练方法包括如下步骤。
在步骤S301中,将当前组第一人体训练图像集输入至待训练的特征提取网络中进行人体特征提取,并将特征提取结果输入至预置的第一分类网络中进行特征分类,得到第一分类结果。
在本发明实施例中,待训练的特征提取网络是用于特征提取的网络模型,若仅根据特征提取网络输出的人体特征,无法确定提取的人体特征是否准确,提取到的人体特征是否能够体现出不同人体类别的差异。因此,在训练特征提取网络时,结合预置的第一分类网络,对该特征提取网络对各第一人体训练图像进行人体特征提取输出的特征提取结果进行分类,得到各人体特征对应的第一分类结果,以便后续根据各第一人体训练图像对应第一分类结果以及对应的人体类别调整特征提取网络的参数,从而得到第一特征提取模型。在一例中,特征提取网络可以是骨干特征提取网络(一种神经网络),其网络架构包括卷积层和池化层。其中,卷积层用于对输入的图像进行降维和特征提取,池化层用于缩减模型规模,增强鲁棒性。由于骨干特征提取网络的结构相对简单,且迭代速度快,因此,在进行训练时,有助于提高训练效率,进而有助于降低训练成本。
在一示例中,第一分类网络可以是与特征提取网络的输出端连接的全连接分类层,用于辅助特征提取网络进行人体特征提取的训练。
在另一示例中,全连接分类层的数量与第一人体训练图像集的组数相同,且与各组第一人体训练图像集一一对应,全连接分类层计算的分类数量也与对应第一人体训练图像集包括的人体类别的数量相同。可以理解为,在训练特征提取网络时,当前第一人体训练图像集输入至特征提取网络后,将特征提取网络输出的特征提取结果输入至该当前第一人体训练图像集对应的全连接分类层中进行特征分类,得到提取当前第一人体训练图像集的第一分类结果。
在步骤S302中,基于第一分类结果和第一人体训练图像集包括的人体类别,训练特征提取网络提取各人体类别对应的人体特征,得到第一特征提取模型。
在本发明实施例中,根据第一分类结果和第一人体训练图像集包括的人体类别,通过损失函数,确定第一分类网络进行分类时所产生的损失,进而对特征提取网络的参数相应调整,并根据调整后的参数训练特征提取网络提取各人体类别对应的人体特征,从而得到第一特征提取模型。在一例中,所采用的损失函数可以包括Arcface损失、交叉熵损失函数或者三元组损失函数。
通过上述实施例,在训练特征提取网络时,基于第一分类网络进行训练,有助于提高特征提取网络学习提取人体特征的准确性,进而使通过第一特征提取模型提取的人体特征能够更好的表达出人体类别的差异,为后续训练人体重识别模型奠定良好的特征提取基础,从而增强人体重识别模型的鲁棒性。
在一实施场景中,第一特征提取模型的训练过程可以如图4所示。图4是根据一示例性实施例提出的另一种第一特征提取模型的训练方法的流程图。其中,用于训练骨干特征提取网络的第一人体训练图像集的组数为n,分别对应n个摄像头,n>1,且n为整数。为便于描述,以下将以摄像头1对应的第一人体训练图像集训练骨干特征提取网络的过程为例进行描述。
将摄像头1对应的第一人体训练图像集输入至骨干特征提取网络中进行人体特征提取,并将输出的特征提取结果输入至与摄像头1对应全连接分类层1中进行特征分类,得到第一分类结果,并计算分类损失,进而对特征提取网络的参数相应调整,并根据调整后的参数训练特征提取网络提取各人体类别对应的人体特征。
以摄像头2至n中任意一个摄像头对应的第一人体训练图像集训练骨干特征提取网络的过程,与以摄像头1对应的第一人体训练图像集训练骨干特征提取网络的过程相同,在此不在进行赘述。
当针对各组第一人体训练图像集的训练均结束后,得到第一特征提取模型。
在另一实施场景中,若第一人体训练图像集中的人体类别数量较少时,则可以采用交叉熵损失函数计算损失。计算公式如下:其中,lossn为第n个摄像头对应的损失值,P为全连接分类层的预测概率,i,m分别对应单个摄像头的某一人体类别和人体类别的总数量。
以下实施例将说明人体训练特征集的具体获取过程。
图5是根据一示例性实施例提出的一种人体训练特征集的获取方法的流程图。如图5所示,人体训练特征集的获取方法包括如下步骤。
在步骤S501中,通过第一特征提取模型,分别提取各第一人体训练图像集对应的人体特征集。
在步骤S502中,将当前人体特征集中的第一人体特征与下一人体特征集中的各第二人体特征依次进行匹配,确定下一人体特征集中与所述第一人体特征匹配度最高的第二人体特征。
在本发明实施例中,在进行匹配融合时,将当前人体特征集中的第一人体特征依次与下一人体特征集中的各第二人体特征进行匹配,确定下一人体特征集中与第一人体特征相似度最高的第二人体特征。
在步骤S503中,将各第一人体特征融合至对应匹配度最高的第二人体特征中,得到新的第二人体特征,并生成与各新的第二人体特征对应人体类别的伪标签。
在本发明实施例中,由于各第一人体训练图像集中包括的人体类别相同,因此,可以将与第一人体特征相似度最高的第二人体特征对应的人体类别,确定为是与第一人体特征对应的人体类别相同的人体类别,进而可以将第一人体特征和与第一人体特征相似度最高的第二人体特征进行融合,得到新的第二人体特征,并生成该新的第二人体特征对应的伪标签。其中,伪标签可以理解为是该新的第二人体特征对应的人体类别。
在步骤S504中,依次轮循各人体特征集,直至得到包括各组人体特征集中各人体类别对应的新的第二人体特征以及对应的伪标签,得到人体训练特征集。
在本发明实施例中,依次确定当前人体特征集中各第一人体特征在下一人体特征集中对应的第二人体特征,并将各第一人体特征融合至对应的第二人体特征中,得到多个新的第二人体特征。当当前人体特征集中的各第一人体特征均完成融合后,取消当前人体特征集,将包括多个新的第二人体特征的下一人体特征集作为新的当前人体特征集,并将该新的当前人体特征集中的各新的第二人体特征作为第一人体特征,与下一人体特征集中的各第二人体特征进行对比,确定与各第一人体特征对应的第二人体特征。依次类推,将各第一人体特征融合至对应的第二人体特征中,直至得到包括各组人体特征集中各人体类别对应的新的第二人体特征以及对应的伪标签,得到人体训练特征集。即,在人体训练特征集中的任一人体训练特征包括该人体训练特征对应伪标签在各人体特征集中的总人体特征,人体训练特征即为最终生成的新的第二人体特征。
通过上述实施例,将各摄像头采集的人体特征融合至同一人体训练特征中,有助于后续训练第一特征提取模型时,能够使第一特征提取模型充分学习各人体类别的人体特征,进而使得到的人体重识别模型在进行特征提取时,能够降低由于摄像头不同而导致人体特征检测的差异,从而有助于提高检测结果的准确性。
在一实施场景中,人体训练特征集的获取过程可以如图6所示。图6是根据一示例性实施例提出的另一种人体训练特征集的获取方法的流程图。其中,id表示人体类别,idm表示摄像头n对应人体特征集中的第一人体特征,idk表示摄像头p对应人体特征集中的第二人体特征。将摄像头n中idm对应的第一人体特征,分别与摄像头p对应人体特征集中的各第二人体特征进行对比,确定摄像头p对应人体特征集中与idm相似度最高的idk,将idm和idk合并,并生成对应的伪标签。
以下实施例将说明通过第一特征提取模型训练人体重识别模型的具体训练过程。
图7是根据一示例性实施例提出的另一种人体重识别模型的训练方法的流程图。如图7所示,人体重识别模型的训练方法包括如下步骤。
在步骤S701中,将第二人体训练图像集输入至第一特征提取模型中进行人体特征提取,并将特征提取结果输入至预置的第二分类网络中进行特征分类,得到第二分类结果。
在本发明实施例中,第二分类网络可以是与第一特征提取模型的输出端连接的全连接分类层,通过对第一特征提取模型的输出结果进行分类,根据得到的第二分类结果辅助第一特征提取模型进行人体特征提取的训练。在一示例中,第二分类网络模型和第一分类网络模型可以为同一分类网络模型。在另一示例中,第二分类网络模型和第一分类网络模型可以为两个不同的分类网络模型,分别用在不同训练阶段。其中,训练阶段包括:通过训练特征提取网络,得到第一特征提取模型的训练阶段,以及通过训练第一特征提取模型,得到人体重识别模型阶段的训练阶段。
在步骤S702中,基于第二分类结果和人体训练特征集,训练第一特征提取模型提取第二人体训练图像集中各人体特征,得到人体重识别模型。
在本发明实施例中,根据第二分类结果和各人体训练特征对应的伪标签,通过损失函数,确定第二分类网络进行分类时所产生的损失,进而对第一特征提取模型的参数相应调整,并根据调整后的参数训练第一特征提取模型提取各人体类别对应的人体特征,从而得到人体重识别模型。在一例中,所采用的损失函数可以包括Arcface损失、交叉熵损失函数或者三元组损失函数。
在一示例中,在调整第一特征提取模型的参数时,可以通过梯度反传不断迭代更新网络参数的方式进行参数调整。
通过上述实施例,基于包括各多个摄像头对应提取的人体训练特征训练第一特征提取模型,有助于第一特征提取模型充分学习同一人体类别在不同拍摄场景下所对应的人体特征,进而使得到人体重识别模型在提取人体特征时,能够充分表达出不同人体类型对应的人体特征,从而提高人体重识别检测的准确性。
在一实施例中,将第二人体训练图像集输入至第一特征提取模型之前,可以将第二人体训练图像集中的各第二人体训练图像缩放至同一指定尺寸后,进而后续提取人体特征时,有助于节省计算成本。
在一实施场景中,人体重识别模型的训练过程可以如图8所示。图8是根据一示例性实施例提出的又一种人体重识别模型的训练方法的流程图。
在步骤S801中,将第二人体训练图像集中的第二人体训练图像缩放至指定尺寸。
在步骤S802中,将缩放至指定尺寸的第二人体训练图像输入至第一特征提取模型进行特征提取,得到特征提取结果。
在步骤S803中,将特征提取结果输入至全连接分类层进行分类,确定第二人体训练图像对应的伪标签。
在步骤S804中,确定全连接分类层确定第二人体训练图像对应的伪标签的分类损失。
在另一实施场景中,若输出的分类损失未达到训练要求,则调整第一特征提取模型的参数,根据调整后的参数继续进行训练。
在一实施例中,第一人体训练图像集中各第一人体训练图像,是当前摄像头拍摄的视频中首次出现的人体类别进行标注,通过目标跟踪算法,提取各人体类别在该视频中对应的多个第一人体训练图像,得到第一人体训练图像集,使在对第一人体训练图像进行标注时,无需关注摄像头之间出现的相同人体,从而有助于降低标注难度。并且,多名标注人员也可以对多个视频同时进行标注,从而有助于提高标注效率。
在一示例中,目标跟踪算法可以包括检测跟踪算法(Tracking By Detection,TBD)或者SORT算法(一种在线实时多目标跟踪算法),在本发明中不进行限定。
在一实施场景中,获取第一人体训练图像集的过程可以如图9所示。图9是根据一示例性实施例提出的一种人体训练图像集的获取方法的流程图。
在步骤S901中,获取当前摄像头拍摄的视频。
在步骤S902中,判断当前人体类别是否为首次出现在视频中。
在步骤S903中,若当前人体类别是首次出现在视频中,则标注并提取当前人体类别出现在首帧图像中的第一人体训练图像。
在步骤S904中,通过目标跟踪,提取当前人体类别在其他帧图像中的第一人体训练图像,得到第一人体训练图像集。
基于相同发明构思,本发明还提供一种人体重识别装置。
图10是根据一示例性实施例提出的一种人体重识别装置的结构框图。如图10所示,人体重识别装置包括获取单元1001、提取单元1002、对比单元1003和确定单元1004。
获取单元1001,用于获取待检测的人体图像;
提取单元1002,用于通过预先训练好的人体重识别模型,提取人体图像的第一人体特征,人体重识别模型基于单摄像头采集的人体训练图像进行训练;
对比单元1003,用于将第一人体特征与预置数据库中的多个人体特征进行对比,确定与第一人体特征相似度最高的第二人体特征;
确定单元1004,用于当相似度大于或者等于指定阈值时,将第二人体特征对应的人体类别匹配为人体图像最相似的人体类别。
在一实施例中,人体重识别模型基于单摄像头采集的人体训练图像采用下述单元进行训练:第一获取单元,用于获取多组第一人体训练图像集,不同组的第一人体训练图像集由不同摄像头采集,不同第一人体训练图像集之间包括的人体类别相同。第一训练单元,用于将各第一人体训练图像集分别输入至待训练的特征提取网络中,训练特征提取网络提取各人体类别对应的人体特征,得到第一特征提取模型。第二获取单元,用于获取与第一人体训练图像集包括的人体类别相同的第二人体训练图像集和人体训练特征集,人体训练特征集中包括的多个人体训练特征为各组人体图像集对应第一人体训练图像的总人体特征。第二训练单元,用于将第二人体训练图像集输入至第一特征提取模型,根据人体训练特征集训练第一特征提取模型,得到人体重识别模型。
在另一实施例中,第一训练单元包括:第一提取单元,用于将当前组第一人体训练图像集输入至待训练的特征提取网络中进行人体特征提取,并将特征提取结果输入至预置的第一分类网络中进行特征分类,得到第一分类结果。第一训练子单元,用于基于第一分类结果和第一人体训练图像集包括的人体类别,训练特征提取网络提取各人体类别对应的人体特征,得到第一特征提取模型。
在又一实施例中,第二获取单元包括:第二提取单元,用于通过第一特征提取模型,分别提取各第一人体训练图像集对应的人体特征集。第一匹配单元,用于将当前人体特征集中的第一人体特征与下一人体特征集中的各第二人体特征依次进行匹配,确定下一人体特征集中与所述第一人体特征匹配度最高的第二人体特征。融合单元,用于将各第一人体特征融合至对应匹配度最高的第二人体特征中,得到新的第二人体特征,并生成与各新的第二人体特征对应人体类别的伪标签。第二获取子单元,用于依次轮循各人体特征集,直至得到包括各组人体特征集中各人体类别对应的新的第二人体特征以及对应的伪标签,得到人体训练特征集。
在又一实施例中,第二训练单元包括:第三提取单元,用于将第二人体训练图像集输入至第一特征提取模型中进行人体特征提取,并将特征提取结果输入至预置的第二分类网络中进行特征分类,得到第二分类结果。第二训练子单元,用于基于第二分类结果和人体训练特征集,训练第一特征提取模型提取第二人体训练图像集中各人体特征,得到人体重识别模型。
在又一实施例中,第二获取单元,包括:确定单元,用于根据当前摄像头拍摄的视频,确定并标注首次出现的人体类别。第一图像提取单元,用于通过目标跟踪算法,提取各所述人体类别在所述视频中对应的多个第一人体训练图像,得到当前摄像头对应的第一人体训练图像集。
在又一实施例中,第二获取单元包括:合并单元,用于将各所述第一人体训练图像集进行合并,得到第二人体训练图像集。
上述人体重识别装置的具体限定以及有益效果可以参见上文中对于人体重识别方法的限定,在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图11是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。如图11所示,该设备包括一个或多个处理器1110以及存储器1120,存储器1120包括持久内存、易失内存和硬盘,图11中以一个处理器1110为例。该设备还可以包括:输入装置1130和输出装置1140。
处理器1110、存储器1120、输入装置1130和输出装置1140可以通过总线或者其他方式连接,图11中以通过总线连接为例。
处理器1110可以为中央处理器(Central Processing Unit,CPU)。处理器1110还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1120作为一种非暂态计算机可读存储介质,包括持久内存、易失内存和硬盘,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的业务管理方法对应的程序指令/模块。处理器1110通过运行存储在存储器1120中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述任意一种人体重识别方法。
存储器1120可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据、需要使用的数据等。此外,存储器1120可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器1120可选包括相对于处理器1110远程设置的存储器,这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1130可接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键信号输入。输出装置1140可包括显示屏等显示设备。
一个或者多个模块存储在存储器1120中,当被一个或者多个处理器1110执行时,执行如图1-9所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,具体可参见如图1-9所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的认证方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种人体重识别方法,其特征在于,所述方法包括:
获取待检测的人体图像;
通过预先训练好的人体重识别模型,提取所述人体图像的第一人体特征,所述人体重识别模型基于单摄像头采集的人体训练图像进行训练;
将所述第一人体特征与预置数据库中的多个人体特征进行对比,确定与所述第一人体特征相似度最高的第二人体特征;
当所述相似度大于或者等于指定阈值时,将所述第二人体特征对应的人体类别匹配为所述人体图像最相似的人体类别。
2.根据权利要求1所述的方法,其特征在于,所述人体重识别模型基于单摄像头采集的人体训练图像进行训练,包括:
获取多组第一人体训练图像集,不同组的第一人体训练图像集由不同摄像头采集,不同第一人体训练图像集之间包括的人体类别相同;
将各所述第一人体训练图像集分别输入至待训练的特征提取网络中,训练所述特征提取网络提取各所述人体类别对应的人体特征,得到第一特征提取模型;
获取与所述第一人体训练图像集包括的人体类别相同的第二人体训练图像集和人体训练特征集,所述人体训练特征集中包括的多个人体训练特征为各组人体图像集对应第一人体训练图像的总人体特征;
将所述第二人体训练图像集输入至所述第一特征提取模型,根据所述人体训练特征集训练所述第一特征提取模型,得到所述人体重识别模型。
3.根据权利要求2所述的方法,其特征在于,所述将各所述第一人体训练图像集分别输入至待训练的特征提取网络中,训练所述特征提取网络提取各所述人体类别对应的人体特征,得到第一特征提取模型,包括:
将当前组第一人体训练图像集输入至待训练的特征提取网络中进行人体特征提取,并将特征提取结果输入至预置的第一分类网络中进行特征分类,得到第一分类结果;
基于所述第一分类结果和所述第一人体训练图像集包括的人体类别,训练所述特征提取网络提取各所述人体类别对应的人体特征,得到第一特征提取模型。
4.根据权利要求3所述的方法,其特征在于,获取所述人体训练特征集,包括:
通过所述第一特征提取模型,分别提取各所述第一人体训练图像集对应的人体特征集;
将当前人体特征集中的第一人体特征与下一人体特征集中的各第二人体特征依次进行匹配,确定所述下一人体特征集中与所述第一人体特征匹配度最高的第二人体特征;
将各所述第一人体特征融合至对应匹配度最高的第二人体特征中,得到新的第二人体特征,并生成与各所述新的第二人体特征对应人体类别的伪标签;
依次轮循各所述人体特征集,直至得到包括各组人体特征集中各人体类别对应的新的第二人体特征以及对应的伪标签,得到人体训练特征集。
5.根据权利要求4所述的方法,其特征在于,所述将所述第二人体训练图像集输入至所述第一特征提取模型,根据所述人体训练特征集训练所述第一特征提取模型,得到所述人体重识别模型,包括:
将所述第二人体训练图像集输入至所述第一特征提取模型中进行人体特征提取,并将特征提取结果输入至预置的第二分类网络中进行特征分类,得到第二分类结果;
基于所述第二分类结果和所述人体训练特征集,训练所述第一特征提取模型提取所述第二人体训练图像集中各人体特征,得到所述人体重识别模型。
6.根据权利要求2-5中任一项所述的方法,其特征在于,所述获取多组第一人体训练图像集,包括:
根据当前摄像头拍摄的视频,确定并标注首次出现的人体类别;
通过目标跟踪算法,提取各所述人体类别在所述视频中对应的多个第一人体训练图像,得到所述当前摄像头对应的第一人体训练图像集。
7.根据权利要求6所述的方法,其特征在于,所述获取与所述第一人体训练图像集包括的人体类别相同的第二人体训练图像集,包括:
将各所述第一人体训练图像集进行合并,得到第二人体训练图像集。
8.一种人体重识别装置,其特征在于,所述装置包括:
获取单元,用于获取待检测的人体图像;
提取单元,用于通过预先训练好的人体重识别模型,提取所述人体图像的第一人体特征,所述人体重识别模型基于单摄像头采集的人体训练图像进行训练;
对比单元,用于将所述第一人体特征与预置数据库中的多个人体特征进行对比,确定与所述第一人体特征相似度最高的第二人体特征;
确定单元,用于当所述相似度大于或者等于指定阈值时,将所述第二人体特征对应的人体类别匹配为所述人体图像最相似的人体类别。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的人体重识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的人体重识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682643.5A CN114519863A (zh) | 2021-12-30 | 2021-12-30 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
PCT/CN2022/100384 WO2023123923A1 (zh) | 2021-12-30 | 2022-06-22 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682643.5A CN114519863A (zh) | 2021-12-30 | 2021-12-30 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114519863A true CN114519863A (zh) | 2022-05-20 |
Family
ID=81596037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111682643.5A Pending CN114519863A (zh) | 2021-12-30 | 2021-12-30 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114519863A (zh) |
WO (1) | WO2023123923A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188919A (zh) * | 2023-04-25 | 2023-05-30 | 之江实验室 | 一种测试方法、装置、可读存储介质及电子设备 |
WO2023123923A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳云天励飞技术股份有限公司 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118351340B (zh) * | 2024-06-17 | 2024-08-20 | 中国海洋大学 | 基于样本挖掘的双分支无监督目标重识别方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101717729B1 (ko) * | 2012-12-17 | 2017-03-17 | 한국전자통신연구원 | 영상에서의 휴먼 인지 장치 및 방법 |
CN112052819A (zh) * | 2020-09-15 | 2020-12-08 | 浙江智慧视频安防创新中心有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
CN112801116B (zh) * | 2021-01-27 | 2024-05-21 | 商汤集团有限公司 | 图像的特征提取方法及装置、电子设备和存储介质 |
CN112861695B (zh) * | 2021-02-02 | 2023-10-24 | 北京大学 | 行人身份再识别方法、装置、电子设备及存储介质 |
CN114519863A (zh) * | 2021-12-30 | 2022-05-20 | 深圳云天励飞技术股份有限公司 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
-
2021
- 2021-12-30 CN CN202111682643.5A patent/CN114519863A/zh active Pending
-
2022
- 2022-06-22 WO PCT/CN2022/100384 patent/WO2023123923A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023123923A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳云天励飞技术股份有限公司 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
CN116188919A (zh) * | 2023-04-25 | 2023-05-30 | 之江实验室 | 一种测试方法、装置、可读存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023123923A1 (zh) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021017606A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN111310731B (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
CN114519863A (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
CN109522872A (zh) | 一种人脸识别方法、装置、计算机设备及存储介质 | |
CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
Huang et al. | Identification of the source camera of images based on convolutional neural network | |
JP7089045B2 (ja) | メディア処理方法、その関連装置及びコンピュータプログラム | |
CN114612987B (zh) | 一种表情识别方法及装置 | |
CN113869282B (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
CN111209897A (zh) | 视频处理的方法、装置和存储介质 | |
CN110765841A (zh) | 基于混合注意力机制的群组行人重识别系统及终端 | |
CN112052771B (zh) | 一种对象重识别方法及装置 | |
CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
Wong et al. | Multi-Camera Face Detection and Recognition in Unconstrained Environment | |
CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
Sokolova et al. | Methods of gait recognition in video | |
CN113706550A (zh) | 图像场景识别和模型训练方法、装置和计算机设备 | |
El‐Masry et al. | Action recognition by discriminative EdgeBoxes | |
CN113824989B (zh) | 一种视频处理方法、装置和计算机可读存储介质 | |
Abayomi-Alli et al. | Facial image quality assessment using an ensemble of pre-trained deep learning models (EFQnet) | |
CN112487927A (zh) | 一种基于物体关联注意力的室内场景识别实现方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |