CN109145766B - 模型训练方法、装置、识别方法、电子设备及存储介质 - Google Patents
模型训练方法、装置、识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109145766B CN109145766B CN201810851349.4A CN201810851349A CN109145766B CN 109145766 B CN109145766 B CN 109145766B CN 201810851349 A CN201810851349 A CN 201810851349A CN 109145766 B CN109145766 B CN 109145766B
- Authority
- CN
- China
- Prior art keywords
- training
- feature vector
- pedestrian
- reid model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000007621 cluster analysis Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 42
- 238000012795 verification Methods 0.000 claims description 14
- 238000005065 mining Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001061106 Sargocentron rubrum Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种模型训练方法、装置、识别方法、电子设备及存储介质,涉及图像识别技术领域。该方法包括获取第一特征向量,第一特征向量是由训练样本对第一ReID模型训练获得的全局特征构成的;根据第一ReID模型对训练样本进行聚类分析获得训练样本中的难样本;根据难样本和损失函数训练第二ReID模型,直至第二ReID模型符合预设要求,获得第二特征向量,第二特征向量包括全局特征和局部特征。装置用于执行上述方法。本发明实施例通过利用难样本训练第二ReID模型,并利用损失函数使得第二ReID模型输出的第二特征向量中既包含全局特征又包含布局特征,从而在进行图像重识别是能够同时兼顾一般样例和高度相似样例。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种模型训练方法、装置、识别方法、电子设备及存储介质。
背景技术
行人重识别(Person Re-identification,简称ReID),是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术,即是指在照射区域无重叠的多摄像头画面下自动匹配同一行人的技术,用以快速准确地发现行人对象在多摄像头下的活动画面和轨迹。目前行人重识别技术在学术界和工业界已经得到广泛的关注与应用。
早期的ReID研究大家还主要关注点在全局特征(global feature)上,就是用整图得到一个特征向量进行图像检索。但是后来大家逐渐发现全局特征遇到了瓶颈,于是开始渐渐研究起局部特征(local feature)。由此,便带来了新的问题,就是现有技术中,对ReID模型进行训练时,要么只依赖全局特征,要么只依赖局部特征,这将导致训练好的模型在进行识别时,不能够同时在一般样例及高度相似样例上有较好的表现。
发明内容
有鉴于此,本发明实施例的目的在于提供一种一种模型训练方法、装置、识别方法、电子设备及存储介质,以解决上述技术问题。
第一方面,本发明实施例提供了一种模型训练方法,包括:
获取第一ReID模型对应的第一特征向量,所述第一特征向量是通过训练样本对第一ReID模型训练获得的全局特征构成的;
根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本;
根据所述难样本和损失函数训练第二ReID模型,若本次训练的第二ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二ReID模型进行下一次训练,依此循环,直至第二ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征。
进一步地,所述根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本,包括:
根据所述第一ReID模型获取所述训练样本的至少一个聚类中心点,根据所述聚类中心点对所述训练样本进行聚类;
计算每个聚类中的训练样本与对应聚类中心点之间的第一距离,将所述第一距离大于第一预设阈值的训练样本作为所述难样本。
进一步地,所述根据所述难样本和损失函数训练第二ReID模型,包括:
根据所述难样本对所述第二ReID模型进行训练,获得所述第二特征向量;
计算所述第二特征向量与所述第一特征向量之间的第二距离,并利用所述损失函数对所述第二ReID模型中的参数进行优化,直到优化后的第二Reid模型输出的所述第二特征向量与所述第一特征向量之间的所述第二距离小于第二预设阈值。
进一步地,所述计算所述第二特征向量与所述第一特征向量之间的第二距离,包括:
分别对所述第一特征向量和所述第二特征向量进行压缩处理;
计算压缩后的第二特征向量与压缩后的第一特征向量之间的所述第二距离。
进一步地,所述方法,还包括:
根据所述训练样本,采用预设算法对所述第一ReID模型进行训练;其中,所述预设算法包括以下任意一种:对比损失学习算法、三元组损失学习算法、四元组损失学习算法、难样本采样三元组损失学习算法和边界挖掘损失学习算法。
进一步地,所述第二ReID模型符合预设要求,包括:
通过验证集对所述第二ReID模型进行验证,若验证结果精度大于预设精度,则所述第二ReID模型符合预设要求。
进一步地,所述第一ReID模型和所述第二ReID模型为多层卷积神经网络。
第二方面,本发明实施例提供了一种模型训练装置,包括:
获取模块,用于获取第一ReID模型对应的第一特征向量,所述第一特征向量是由训练样本对第一ReID模型训练获得的全局特征构成的;
聚类模块,用于根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本;
难样本训练模块,用于根据所述难样本和损失函数训练第二ReID模型,若本次训练的第二ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二ReID模型进行下一次训练,依此循环,直至第二ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征。
第三方面,本发明实施例提供一种电子设备,包括:处理器和存储器,其中,
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法步骤。
第五方面,本发明实施例提供一种基于第一方面的训练方法获得的第二ReID模型进行行人重识别的方法,包括:
获取待识别图像;
将所述待识别图像输入训练好的第二ReID模型中进行识别,获得所述待识别图像对应的第二特征向量,其中,所述第二特征向量包括所述待识别图像对应的局部特征和全局特征。
本发明实施例通过训练样本对第一ReID模型训练获得的全局特征构成的第一特征向量,然后从训练样本中获取难样本,再用难样本训练第二ReID模型,并利用损失函数使得第二ReID模型输出的第二特征向量中既包含全局特征又包含布局特征,从而在进行图像重识别是能够同时兼顾一般样例和高度相似样例。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种电子设备结构示意图;
图2为本发明实施例提供的一种模型训练方法流程示意图;
图3为本发明另一实施例提供的一种模型训练方法流程示意图;
图4为本发明实施例提供的一种模型训练装置结构示意图;
图5为本发明实施例提供的一种行人重识别方法流程示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
首先,参照图1来描述用于实现本发明实施例的模型训练方法及装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及模型训练装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的装置功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述模型训练装置110可以通过训练样本训练得到第二ReID模型。
示例性地,用于实现根据本发明实施例的模型训练方法及装置的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。
当把属于同一个人的图片输入传统的行人重识别模型后,产生对应的ReID特征,在训练过程中一般采用类似三元组损失(Triple Hard Loss)的方法,在每个迷你批处理(mini-batch)中选择较难分辨的样本进行训练。我们在训练过程中发现,当mini-batch变大的时候,传统的行人重识别模型的效果先提高后降低。这说明在模型学习过程中,开始学习分辨一些易于分辨的例子,可以依赖于整体的信息;当开始学习难样本的时候,主要集中于一些细节信息,从而对整体信息有所忽略。
图2为本发明实施例提供的一种模型训练方法流程示意图,如图2所示,该方法包括:
步骤202:获取第一ReID模型对应的第一特征向量,所述第一特征向量是由训练样本对第一ReID模型训练获得的全局特征构成的。
在上述实施例的基础上,首先获取第一特征向量,应当说明的是,第一特征向量是训练样本通过训练第一ReID模型得到的,且第一ReID模型可以识别训练样本中的全局特征,第一特征向量是由全局特征构成的。训练样本可以是包含有行人的图像,全局特征可以是这个行人的性别、上衣颜色、下衣颜色等。
步骤204:根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本。
在上述实施例的基础上,根据第一ReID模型能够识别出的全局特征的个数对训练样本进行聚类分析。例如:第一ReID模型能够识别出4个全局特征,则将训练样本按照这4个全局特征进行聚类分析,在聚类分析之后能够获得每个聚类对应的训练样本,假设某个聚类表征的是穿红色上衣的行人特征,此时,聚类后,会将所有穿红色上衣的行人聚为一类,但是,有些行人的红色上衣上会有LOGO、花色图案等,LOGO越大或花色图案越多则在聚类时离聚类中心点的距离越大,从每个聚类中获取距离较大的作为难样本。因此,可以获取到多个难样本。应当说明的是,聚类分析时,可以划分为至少一个聚类,具体聚类个数根据第一ReID模型确定。
步骤206:根据所述难样本和损失函数训练第二ReID模型,若本次训练的第二ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二ReID模型进行下一次训练,依次循环,直至第二ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征。
在上述实施例的基础上,由于第一ReID模型只能识别全局特征,例如:红色上衣的行人,对于图像中的局部特征并不能识别出来,局部特征可以为带有LOGO,或带有花色图案。因此,在获取到难样本后,利用难样本来训练第二ReID模型,为了防止训练得到的第二ReID模型只关注局部特征而忽略了全局特征,因此,需要在第二ReID模型中加入损失函数,通过损失函数来调整第二ReID模型中的参数,使得第二ReID模型输出的第二特征向量既包括第一ReID模型对应的全局特征,也包括局部特征。然后,判断获得的第二ReID模型是否符合预设要求,如果不符合,则再对本次训练所用的难样本进行聚类分析,从难样本中更新获得更难的难样本和更新的损失函数,然后再根据更新的难样本和更新的损失函数进行下一次训练,获得第二ReID模型,如此循环,直到第二ReID模型符合预设要求为止。因此,最终训练得到的第二ReID模型能够同时识别全局特征和局部特征。应当说明的是,第一ReID模型和第二ReID模型可以为多层卷积神经网络。
本发明实施例通过训练样本对第一ReID模型训练获得的全局特征构成的第一特征向量,然后从训练样本中获取难样本,再用难样本训练第二ReID模型,并利用损失函数使得第二ReID模型输出的第二特征向量中既包含全局特征又包含布局特征,从而在进行图像重识别是能够同时兼顾一般样例和高度相似样例。
在上述实施例的基础上,所述根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本,包括:
根据所述第一ReID模型获取所述训练样本的至少一个聚类中心点,根据所述聚类中心点对所述训练样本进行聚类;
计算每个聚类中的训练样本与对应聚类中心点之间的第一距离,将所述第一距离大于第一预设阈值的训练样本作为所述难样本。
在具体的实施工程中,在聚类的过程中,首先根据第一ReID模型确定聚类中心个数以及聚类中心点,然后利用聚类算法对训练样本进行聚类,其中,聚类算法可以是K-MEANS、层次聚类算法、SOM聚类算法以及FCM聚类算法等等,聚类后可以获得每个聚类对应的训练样本。然后依次对每一个聚类中的训练样本到聚类中心点的第一距离进行计算,应当说明的是,该距离可以是欧式距离。与聚类中心点的第一距离越远,说明该训练样本与聚类中心点的特征差别越大,但是还是将该训练样本划分为与聚类中心点一类,因此,将与聚类中心点的第一距离大于第一预设阈值的训练样本作为难样本。
本发明实施例通过根据第一ReID模型对训练样本进行聚类,根据聚类中心点到训练样本之间的第一距离来获取难样本,再利用难样本训练第二ReID模型,使得训练得到的第二ReID模型能够同时输出全局特征和局部特征,从而能够较为准确的识别一般样例和高度相似的样例。
在上述实施例的基础上,所述根据所述难样本和损失函数训练第二ReID模型,包括:
根据所述难样本对所述第二ReID模型进行训练,获得所述第二特征向量;
计算所述第二特征向量与所述第一特征向量之间的第二距离,并利用所述损失函数对所述第二ReID模型中的参数进行优化,直到优化后的第二Reid模型输出的所述第二特征向量与所述第一特征向量之间的所述第二距离小于第二预设阈值。
在具体的实施过程中,在获取到难样本后,通过难样本重新训练出第二ReID模型,第二ReID模型能够输出第二特征向量,为了能够使第二ReID模型输出的第二特征向量中同时包括全局特征和局部特征,因此,在第二ReID模型中加入损失函数,通过损失函数来调整第二ReID模型中的参数,从而使得第二ReID模型输出的第二特征向量与第一特征向量类似,所谓类似是指,第二特征向量与第一特征向量之间的第二距离小于第二预设阈值,应当说明的是,第二距离可以是第二特征向量与第一特征向量之间的欧式距离,并且第二预设阈值可以根据具体情况预先设定。
本发明实施例通过难样本来训练第二ReID模型,并在第二ReID模型加入损失函数,使得输出的第二特征向量中包括全局向量和局部向量。
在上述实施例的基础上,所述计算所述第二特征向量与所述第一特征向量之间的第二距离,包括:
分别对所述第一特征向量和所述第二特征向量进行压缩处理;
计算压缩后的第二特征向量与压缩后的第一特征向量之间的所述第二距离。
在具体的实施过程中,在获取到第一特征向量后可以对第一特征向量进行压缩,且在对第二ReID模型训练后得到的第二特征向量之后,也对第二特征向量进行压缩,使得压缩后的第一特征向量与压缩后的第二特征向量的维度相同。然后计算压缩后的第二特征向量与压缩后的第一特征向量之间的第二距离。具体计算第二距离时,可以是先将压缩后的第二特征向量减去压缩后的第一特征向量,然后求平方和,进一步再开方,最后得到第二距离。
本发明实施例通过将第一特征向量和第二特征向量压缩处理,然后在计算第二距离,降低了计算复杂度,从而提高了模型训练的效率。
在上述实施例的基础上,图3为本发明另一实施例提供的一种模型训练方法流程示意图,如图3所示,所述方法,还包括:
步骤200:根据所述训练样本,采用预设算法对所述第一ReID模型进行训练;其中,所述预设算法包括以下任意一种:对比损失学习算法、三元组损失学习算法、四元组损失学习算法、难样本采样三元组损失学习算法和边界挖掘损失学习算法。
在具体的实施过程中,首先需要根据训练样本,采用传统的预设算法训练得到第一ReID模型,在训练一段时间之后,模型收敛,得到第一特征向量。应当说明的是,预设算法可以是对比损失学习算法、三元组损失学习算法、四元组损失学习算法、难样本采样三元组损失学习算法和边界挖掘损失学习算法,还可以是其他常用算法,本发明实施例对此不作具体限定。通过上述算法获得的第一ReID模型能够识别出训练样本中的全局特征。应当说明的是步骤202-步骤206的具体实施方式与上述实施例一致,此处不再赘述。
在上述实施例的基础上,所述第二ReID模型符合预设要求,包括:
通过验证集对所述第二ReID模型进行验证,若验证结果精度大于预设精度,则所述第二ReID模型符合预设要求。
在具体的实施过程中,在对第二ReID模型进行循环训练时,若要判断是否训练完成,可以通过验证集对第二ReID模型进行验证,如果通过验证集验证后获得的验证结果的精度大于预设精度,则说明第二ReID模型满足了预设要求,此时可以终止训练。另外,还可以预先设定循环次数,训练的循环次数达到后则可停止训练;再有,可以判断前后两次训练得到的二ReID模型,在通过验证集进行验证时的收敛情况,若已经收敛,则可停止训练。
本发明实施例通过训练样本对第一ReID模型训练获得的全局特征构成的第一特征向量,然后从训练样本中获取难样本,再用难样本训练第二ReID模型,并利用损失函数使得第二ReID模型输出的第二特征向量中既包含全局特征又包含布局特征,从而在进行图像重识别是能够同时兼顾一般样例和高度相似样例。
图4为本发明实施例提供的一种模型训练装置结构示意图,如图4所示,该装置包括:获取模块402、聚类模块404和难样本训练模块406;其中,
获取模块402用于获取第一ReID模型对应的第一特征向量,所述第一特征向量是由训练样本对第一ReID模型训练获得的全局特征构成的;聚类模块404用于根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本;难样本训练模块406用于根据所述难样本和损失函数训练第二ReID模型,若本次训练的第二ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二ReID模型进行下一次训练,直至所述第二ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征。
在上述实施例的基础上,所述聚类模块,具体用于:
根据所述第一ReID模型获取所述训练样本的至少一个聚类中心点,根据所述聚类中心点对所述训练样本进行聚类;
计算每个聚类中的训练样本与对应聚类中心点之间的第一距离,将所述第一距离大于第一预设阈值的训练样本作为所述难样本。
在上述实施例的基础上,所述难样本训练模块,具体用于:
根据所述难样本对所述第二ReID模型进行训练,获得所述第二特征向量;
计算所述第二特征向量与所述第一特征向量之间的第二距离,并利用所述损失函数对所述第二ReID模型中的参数进行优化,直到优化后的第二ReID模型输出的所述第二特征向量与所述第一特征向量之间的所述第二距离小于所述第二预设阈值。
在上述实施例的基础上,难样本训练模块,具体用于:
分别对所述第一特征向量和所述第二特征向量进行压缩处理;
计算压缩后的第二特征向量与压缩后的第一特征向量之间的所述第二距离。
在上述实施例的基础上,所述装置,还包括:初始训练模块,用于:
根据所述训练样本,采用预设算法对所述第一ReID模型进行训练;其中,所述预设算法包括以下任意一种:对比损失学习算法、三元组损失学习算法、四元组损失学习算法、难样本采样三元组损失学习算法和边界挖掘损失学习算法。
在上述实施例的基础上,所述难样本训练模块,具体用于:
通过验证集对所述第二ReID模型进行验证,若验证结果精度大于预设精度,则所述第二ReID模型符合预设要求。
在上述各实施例的基础上,所述第一ReID模型和所述第二ReID模型为多层卷积神经网络。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例通过训练样本对第一ReID模型训练获得的全局特征构成的第一特征向量,然后从训练样本中获取难样本,再用难样本训练第二ReID模型,并利用损失函数使得第二ReID模型输出的第二特征向量中既包含全局特征又包含布局特征,从而在进行图像重识别是能够同时兼顾一般样例和高度相似样例。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取第一特征向量,所述第一特征向量是通过训练样本第一ReID模型训练获得的全局特征构成的;根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本;根据所述难样本和损失函数训练第二ReID模型,获得第二特征向量,直至所述第二ReID模型符合预设要求;其中,所述第二特征向量包括所述全局特征和局部特征。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取第一特征向量,所述第一特征向量是通过训练样本第一ReID模型训练获得的全局特征构成的;根据所述第一ReID模型对所述训练样本进行聚类分析,获得所述训练样本中的难样本;根据所述难样本和损失函数训练第二ReID模型,获得第二特征向量,直至所述第二ReID模型符合预设要求;其中,所述第二特征向量包括所述全局特征和局部特征。
图5为本发明实施例提供的一种行人重识别方法流程示意图,如图5所示,该方法包括:
步骤502:获取待识别图像;
步骤504:将所述待识别图像输入训练好的第二ReID模型中进行识别,获得所述待识别图像对应的第二特征向量,其中,所述第二特征向量包括所述待识别图像对应的局部特征和全局特征。
在具体的实施过程中,若要对某个待识别图像进行行人重识别时,首先获取该待识别图像,然后将待识别图像输入第二ReID模型中,第二ReID模型对待识别图像进行行人重识别,并输出待识别图像对应的第二特征向量。应当说明的是,第二ReID模型通过上述各实施例提供的训练方法获得,待识别图像可以是包括行人的图像,第二特征向量中包括全局特征和局部特征,其中,全局特征可以包括待识别图像中行人的性别、上衣颜色、下衣颜色等,局部特征可以包括上衣LOGO,下衣图案等。
本发明实施例通过第二ReID模型对待识别图像进行识别,从而能够同时输出待识别图像对应的全局特征和局部特征,提高了行人重识别的可靠性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种模型训练方法,其特征在于,包括:
获取第一行人重识别ReID模型对应的第一特征向量,所述第一特征向量是由训练样本对所述第一行人重识别ReID模型训练获得的全局特征构成的;
根据所述第一行人重识别ReID模型获取所述训练样本的至少一个聚类中心点,根据所述聚类中心点对所述训练样本进行聚类;计算每个聚类中的训练样本与对应聚类中心点之间的第一距离,将所述第一距离大于第一预设阈值的训练样本作为难样本;
根据所述难样本和损失函数训练第二行人重识别ReID模型,若本次训练的第二行人重识别ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二行人重识别ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二行人重识别ReID模型进行下一次训练,依此循环,直至第二行人重识别ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征;
所述根据所述难样本和损失函数训练第二行人重识别ReID模型,包括:
根据所述难样本对所述第二行人重识别ReID模型进行训练,获得所述第二特征向量;计算所述第二特征向量与所述第一特征向量之间的第二距离,并利用所述损失函数对所述第二行人重识别ReID模型中的参数进行优化,直到优化后的第二行人重识别ReID模型输出的所述第二特征向量与所述第一特征向量之间的所述第二距离小于第二预设阈值。
2.根据权利要求1所述的训练方法,其特征在于,所述计算所述第二特征向量与所述第一特征向量之间的第二距离,包括:
分别对所述第一特征向量和所述第二特征向量进行压缩处理;
计算压缩后的第二特征向量与压缩后的第一特征向量之间的所述第二距离。
3.根据权利要求1所述的训练方法,其特征在于,所述方法,还包括:
根据所述训练样本,采用预设算法对所述第一行人重识别ReID模型进行训练;其中,所述预设算法包括以下任意一种:对比损失学习算法、三元组损失学习算法、四元组损失学习算法、难样本采样三元组损失学习算法和边界挖掘损失学习算法。
4.根据权利要求1所述的训练方法,其特征在于,所述第二行人重识别ReID模型符合预设要求,包括:
通过验证集对第二行人重识别ReID模型进行验证,若验证结果精度大于预设精度,则第二行人重识别ReID模型符合预设要求。
5.根据权利要求1-4任一项所述的训练方法,其特征在于,所述第一行人重识别ReID模型和所述第二行人重识别ReID模型为多层卷积神经网络。
6.一种模型训练装置,其特征在于,包括:
获取模块,用于获取第一特征向量,所述第一特征向量是由训练样本对第一行人重识别ReID模型训练获得的全局特征构成的;
聚类模块,用于根据所述第一行人重识别ReID模型获取所述训练样本的至少一个聚类中心点,根据所述聚类中心点对所述训练样本进行聚类;计算每个聚类中的训练样本与对应聚类中心点之间的第一距离,将所述第一距离大于第一预设阈值的训练样本作为难样本;
难样本训练模块,用于根据所述难样本和损失函数训练第二行人重识别ReID模型,若本次训练的第二行人重识别ReID模型不符合预设要求,则对本次训练中所用的难样本进行聚类分析,更新获得下次训练所需的难样本,以及根据本次训练的第二行人重识别ReID模型更新下次训练所需的损失函数,根据更新的难样本和更新的损失函数对第二行人重识别ReID模型进行下一次训练,直至所述第二行人重识别ReID模型符合预设要求,获得第二特征向量;其中,第二特征向量包括局部特征和所述第一特征向量中的全局特征;根据所述难样本对所述第二行人重识别ReID模型进行训练,获得所述第二特征向量;计算所述第二特征向量与所述第一特征向量之间的第二距离,并利用所述损失函数对所述第二行人重识别ReID模型中的参数进行优化,直到优化后的第二行人重识别ReID模型输出的所述第二特征向量与所述第一特征向量之间的所述第二距离小于第二预设阈值。
7.一种电子设备,其特征在于,包括:处理器和存储器,其中,
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-5任一项所述的方法。
8.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1-5任一项所述的方法。
9.一种基于权利要求1-5任一项所述的训练方法获得的第二行人重识别ReID模型进行行人重识别的方法,其特征在于,包括:
获取待识别图像;
将所述待识别图像输入训练好的第二行人重识别ReID模型中进行识别,获得所述待识别图像对应的第二特征向量,其中,所述第二特征向量包括所述待识别图像对应的局部特征和全局特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810851349.4A CN109145766B (zh) | 2018-07-27 | 2018-07-27 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810851349.4A CN109145766B (zh) | 2018-07-27 | 2018-07-27 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145766A CN109145766A (zh) | 2019-01-04 |
CN109145766B true CN109145766B (zh) | 2021-03-23 |
Family
ID=64799219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810851349.4A Active CN109145766B (zh) | 2018-07-27 | 2018-07-27 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145766B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110216671A (zh) * | 2019-05-14 | 2019-09-10 | 苏州软体机器人科技有限公司 | 一种基于计算机仿真的机械抓手训练方法及系统 |
CN110147845B (zh) * | 2019-05-23 | 2021-08-06 | 北京百度网讯科技有限公司 | 基于特征空间的样本采集方法和样本采集系统 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110414587A (zh) * | 2019-07-23 | 2019-11-05 | 南京邮电大学 | 基于渐进学习的深度卷积神经网络训练方法与系统 |
CN110688976A (zh) * | 2019-10-09 | 2020-01-14 | 创新奇智(北京)科技有限公司 | 基于图像识别的门店比对方法 |
CN111091177B (zh) * | 2019-11-12 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 一种模型压缩方法、装置、电子设备和存储介质 |
CN111104867B (zh) * | 2019-11-25 | 2023-08-25 | 北京迈格威科技有限公司 | 基于部件分割的识别模型训练、车辆重识别方法及装置 |
CN111667050B (zh) * | 2020-04-21 | 2021-11-30 | 佳都科技集团股份有限公司 | 度量学习方法、装置、设备及存储介质 |
CN111523469B (zh) * | 2020-04-23 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
CN111582107B (zh) * | 2020-04-28 | 2023-09-29 | 浙江大华技术股份有限公司 | 目标重识别模型的训练方法、识别方法、电子设备及装置 |
CN111881757B (zh) * | 2020-06-29 | 2023-09-01 | 浪潮电子信息产业股份有限公司 | 一种行人重识别方法、装置、设备及介质 |
CN111860670B (zh) * | 2020-07-28 | 2022-05-17 | 平安科技(深圳)有限公司 | 域自适应模型训练、图像检测方法、装置、设备及介质 |
CN112818888B (zh) * | 2021-02-09 | 2024-09-06 | 广州市百果园信息技术有限公司 | 视频审核模型训练方法、视频审核方法及相关装置 |
CN113887526A (zh) * | 2021-11-04 | 2022-01-04 | 泰康保险集团股份有限公司 | 行人图像识别方法及装置 |
CN114782767A (zh) * | 2022-03-04 | 2022-07-22 | 北京旷视科技有限公司 | 模型训练方法、电子设备及存储介质 |
CN115984671B (zh) * | 2023-03-17 | 2023-06-20 | 中科慧远视觉技术(北京)有限公司 | 模型在线更新方法、装置、电子设备及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521578A (zh) * | 2011-12-19 | 2012-06-27 | 中山爱科数字科技股份有限公司 | 一种入侵检测和识别方法 |
CN105718882A (zh) * | 2016-01-19 | 2016-06-29 | 上海交通大学 | 一种分辨率自适应特征提取与融合的行人重识别方法 |
CN107133575A (zh) * | 2017-04-13 | 2017-09-05 | 中原智慧城市设计研究院有限公司 | 一种基于时空特征的监控视频行人重识别方法 |
CN107704838A (zh) * | 2017-10-19 | 2018-02-16 | 北京旷视科技有限公司 | 目标对象的属性识别方法及装置 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN107844753A (zh) * | 2017-10-20 | 2018-03-27 | 珠海习悦信息技术有限公司 | 视频图像中的行人重识别方法、装置、存储介质及处理器 |
CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
CN108268855A (zh) * | 2018-02-05 | 2018-07-10 | 北京信息科技大学 | 一种面向行人再识别的函数模型的优化方法及装置 |
CN108288051A (zh) * | 2018-02-14 | 2018-07-17 | 北京市商汤科技开发有限公司 | 行人再识别模型训练方法及装置、电子设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229041B2 (en) * | 2009-05-26 | 2012-07-24 | Broadcom Corporation | Direct detection of wireless interferers in a communication device for multiple modulation types |
US9858679B2 (en) * | 2014-11-04 | 2018-01-02 | Hewlett-Packard Development Company, L.P. | Dynamic face identification |
US9911198B2 (en) * | 2015-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
-
2018
- 2018-07-27 CN CN201810851349.4A patent/CN109145766B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521578A (zh) * | 2011-12-19 | 2012-06-27 | 中山爱科数字科技股份有限公司 | 一种入侵检测和识别方法 |
CN105718882A (zh) * | 2016-01-19 | 2016-06-29 | 上海交通大学 | 一种分辨率自适应特征提取与融合的行人重识别方法 |
CN107133575A (zh) * | 2017-04-13 | 2017-09-05 | 中原智慧城市设计研究院有限公司 | 一种基于时空特征的监控视频行人重识别方法 |
CN107729818A (zh) * | 2017-09-21 | 2018-02-23 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN107704838A (zh) * | 2017-10-19 | 2018-02-16 | 北京旷视科技有限公司 | 目标对象的属性识别方法及装置 |
CN107844753A (zh) * | 2017-10-20 | 2018-03-27 | 珠海习悦信息技术有限公司 | 视频图像中的行人重识别方法、装置、存储介质及处理器 |
CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
CN108268855A (zh) * | 2018-02-05 | 2018-07-10 | 北京信息科技大学 | 一种面向行人再识别的函数模型的优化方法及装置 |
CN108288051A (zh) * | 2018-02-14 | 2018-07-17 | 北京市商汤科技开发有限公司 | 行人再识别模型训练方法及装置、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
In Defense of the Triplet Loss for Person Re-Identification;Alexander Hermans 等;《arXiv:1703.07737v4》;20171121;第1-17页 * |
Training region-based object detectors with online hard example mining;Abhinav Shrivastava 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161212;第761-769页 * |
基于特征融合的行人重识别方法;张耿宁 等;《计算机工程与应用》;20171231;第53卷(第12期);第185-189、240页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109145766A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145766B (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
CN109961009B (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
CN111797893B (zh) | 一种神经网络的训练方法、图像分类系统及相关设备 | |
Xu et al. | Reasoning-rcnn: Unifying adaptive global reasoning into large-scale object detection | |
CN109657533B (zh) | 行人重识别方法及相关产品 | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
CN108537136B (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
US10891465B2 (en) | Methods and apparatuses for searching for target person, devices, and media | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
WO2018121287A1 (zh) | 目标再识别方法和装置 | |
CN110555428B (zh) | 行人重识别方法、装置、服务器以及存储介质 | |
Kumar et al. | Indian classical dance classification with adaboost multiclass classifier on multifeature fusion | |
BR102014023780B1 (pt) | Método para classificação multiclasse em cenários abertos e usos do mesmo | |
CN111931859B (zh) | 一种多标签图像识别方法和装置 | |
CN108875487A (zh) | 行人重识别网络的训练及基于其的行人重识别 | |
US20210019547A1 (en) | System and a method for efficient image recognition | |
Yang et al. | Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory | |
CN113378852A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
Nasri et al. | A novel approach for dynamic hand gesture recognition using contour-based similarity images | |
CN114937285B (zh) | 动态手势识别方法、装置、设备及存储介质 | |
Hsu et al. | Human body motion parameters capturing using kinect | |
CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
CN113139540B (zh) | 背板检测方法及设备 | |
Choudhury et al. | An adaptive thresholding-based movement epenthesis detection technique using hybrid feature set for continuous fingerspelling recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |