CN110321965A - 物体重识别模型的训练方法、物体重识别的方法及装置 - Google Patents

物体重识别模型的训练方法、物体重识别的方法及装置 Download PDF

Info

Publication number
CN110321965A
CN110321965A CN201910621764.5A CN201910621764A CN110321965A CN 110321965 A CN110321965 A CN 110321965A CN 201910621764 A CN201910621764 A CN 201910621764A CN 110321965 A CN110321965 A CN 110321965A
Authority
CN
China
Prior art keywords
image
loss function
training
identification model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910621764.5A
Other languages
English (en)
Other versions
CN110321965B (zh
Inventor
王伟农
裴文杰
曹琼
刘枢
沈小勇
戴宇榮
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910621764.5A priority Critical patent/CN110321965B/zh
Publication of CN110321965A publication Critical patent/CN110321965A/zh
Application granted granted Critical
Publication of CN110321965B publication Critical patent/CN110321965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种物体重识别模型的训练方法,包括:获取待训练图像集合;通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合;获取类别中心集合;根据图像特征集合以及类别中心集合确定目标损失函数,其中,目标损失函数包括第一损失函数以及第二损失函数,第一损失函数用于约束相同类别图像所对应的图像特征,第二损失函数用于约束不同的类别中心;采用目标损失函数对待训练物体重识别模型进行训练,得到物体重识别模型。本申请还公开了一种物体重识别的方法及装置。本申请除了能够采用第一损失函数约束同类别图像的图像特征,还引入了第二损失函数来约束不同的类别中心,从而提升物体重识别模型的鲁棒性。

Description

物体重识别模型的训练方法、物体重识别的方法及装置
技术领域
本申请涉及人工智能领域,尤其涉及物体重识别模型的训练方法、物体重识别的方法及装置。
背景技术
物体重识别技术在智能视频监控、机器人以及自动驾驶等领域发挥着必不可少的作用。给定待检索物体的图像,物体重识别技术可以从不同相机拍摄到的图像中检索出与该物体相同的相关图像。但是相机视角、物体姿态以及遮挡等方面的影响使得物体重识别任务具有相当的挑战性。
得益于深度学习技术的涌现,物体重识别技术在近几年发展迅速。目前,在训练物体重识别模型的过程中,增加了训练样本经过网络映射后,在特征空间中与各自维持的类中心之间的距离约束,以达到类内聚合的目的。
然而,目前提供的物体重识别模型虽然增强了类内的紧凑性,使得同一类的特征可以和各自的类中心特征在欧式距离上更接近,但是忽略了各个类中心之间的分离性,从而降低了物体重识别模型的鲁棒性。
发明内容
本申请实施例提供了一种物体重识别模型的训练方法、物体重识别的方法及装置,在训练物体重识别模型的过程中,可使同一类的图像特征可以和各自的类中心特征更接近,还可使不同类别的图像能够分离地更明显,从而提升物体重识别模型的鲁棒性。
有鉴于此,本申请第一方面提供一种物体重识别模型的训练方法,包括:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
本申请第二方面提供一种物体重识别的方法,包括:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述第一方面提供的物体重识别模型的训练方法训练而成的;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
本申请第三方面提供一种物体重识别模型训练装置,包括:
获取模块,用于获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
所述获取模块,还用于通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
所述获取模块,还用于获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
确定模块,用于根据所述获取模块获取的所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
训练模块,用于采用所述确定模块确定的所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
在一种可能的设计中,在本申请实施例的第三方面的第一种实现方式中,
所述获取模块,具体用于通过所述待训练物体重识别模型的全连接层获取权重参数矩阵;
根据所述权重参数矩阵获取所述M个类别中心,其中,所述权重参数矩阵包括M个权重参数,所述权重参数与所述类别中心具有一一对应的关系。
在一种可能的设计中,在本申请实施例的第三方面的第二种实现方式中,
所述确定模块,具体用于从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
根据所述待训练图像子集合中每个样本图像的图像特征以及所述每个样本图像的类别中心,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
在一种可能的设计中,在本申请实施例的第三方面的第三种实现方式中,
所述确定模块,具体用于采用如下方式计算所述第一损失函数:
其中,所述Lintra表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述vi表示所述第i个样本图像的图像特征,所述cyi表示所述第i个样本图像的类别中心。
可选地,所述训练模块,具体用于采用所述第一损失函数对所述待训练物体重识别模型进行训练,直至所述第一损失函数达到收敛状态。
在一种可能的设计中,在本申请实施例的第三方面的第四种实现方式中,
所述确定模块,具体用于从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
获取所述待训练图像子集合中每个样本图像的d维度图像特征,其中,所述d为大于或等于1的整数;
获取所述待训练图像子集合中所述每个样本图像的d维度类别中心;
根据所述待训练图像子集合中所述每个样本图像的d维度图像特征、所述每个样本图像的d维度类别中心以及采样概率,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
在一种可能的设计中,在本申请实施例的第三方面的第五种实现方式中,
所述确定模块,具体用于采用如下方式计算所述第一损失函数:
其中,所述表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述表示所述第i个样本图像的第k个维度的图像特征,所述表示所述第i个样本图像的第k个维度的类别中心,所述k为大于或等于1,且小于或等于所述d的整数,所述U()表示伯努利分布,所述p表示所述伯努利分布中的所述采样概率。
在一种可能的设计中,在本申请实施例的第三方面的第六种实现方式中,
所述确定模块,具体用于采用如下方式计算所述第二损失函数:
C=(c1,c2,...,cM);
其中,所述Linter表示所述第二损失函数,所述C表示所述类别中心集合,所述CT表示所述C的转置,所述I表示所述单位矩阵,所述λ表示第一超参数,所述ci表示第i个类别中心,所述i为大于或等于1,且小于或等于所述M的整数,所述M表示所述类别中心集合中类别中心的总数。
可选地,所述训练模块,具体用于采用所述第二损失函数对所述待训练物体重识别模型进行训练,直至所述第二损失函数达到收敛状态。
在一种可能的设计中,在本申请实施例的第三方面的第七种实现方式中,
所述确定模块,具体用于采用如下方式计算所述目标损失函数:
其中,所述Ltotal表示所述目标损失函数,所述Lsoftmax表示softmax损失函数,所述Ltriplet表示triplet损失函数,所述表示所述第一损失函数,所述Linter表示所述第二损失函数,所述α1表示第二超参数,所述α2表示第三超参数,所述α3表示第四超参数。
可选地,所述训练模块,具体用于采用所述第一损失函数以及所述第二损失函数对所述待训练物体重识别模型进行训练,直至所述第一损失函数与所述第二损失函数均达到收敛状态。
在一种可能的设计中,在本申请实施例的第三方面的第八种实现方式中,
所述获取模块,具体用于通过所述待训练物体重识别模型的卷积神经网络,提取所述待训练图像集合所对应的待处理图像特征集合,其中,所述待处理图像特征集合包括N个待处理图像特征,所述待处理图像特征与所述样本图像具有对应关系;
通过全局最大池化获取所述待处理图像特征集合所对应的第一待处理图像特征集合,其中,所述第一待处理图像特征集合包括N个第一待处理图像特征,所述第一待处理图像特征与所述待处理图像特征具有对应关系;
通过全局平均池化获取所述待处理图像特征集合所对应的第二待处理图像特征集合,其中,所述第二待处理图像特征集合包括N个第二待处理图像特征,所述第二待处理图像特征与所述待处理图像特征具有对应关系;
根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;
采用如下方式计算所述图像特征集合:
其中,所述vi表示所述图像特征集合的第i个样本图像的图像特征,所述表示所述第i个样本图像的第一待处理图像特征,所述表示所述第i个样本图像的第二待处理图像特征。
本申请第四方面提供一种物体重识别装置,包括:
获取模块,用于获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
所述获取模块,还用于通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述第一方面提供的所述物体重识别模型的训练方法训练而成的;
所述获取模块,还用于通过所述物体重识别模型获取所述目标图像的第二图像特征;
确定模块,用于根据所述获取模块获取的所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
本申请第五方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请第六方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述第一方面提供的所述物体重识别模型的训练方法训练而成的;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请的第七方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种物体重识别模型的训练方法,首先获取待训练图像集合,然后通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合,接下来获取类别中心集合,根据图像特征集合以及类别中心集合确定目标损失函数,目标损失函数包括第一损失函数以及第二损失函数,第一损失函数用于约束相同类别图像所对应的图像特征,第二损失函数用于约束不同的类别中心,最后采用目标损失函数对待训练物体重识别模型进行训练,得到物体重识别模型,其中,物体重识别模型用于识别相同的目标物体。通过上述方式,在训练物体重识别模型的过程中,除了能够采用第一损失函数约束同类别图像的图像特征,使得同一类的图像特征可以和各自的类中心特征更接近,还引入了第二损失函数来约束不同的类别中心,使得不同类别的图像能够分离地更明显,从而提升物体重识别模型的鲁棒性。
附图说明
图1为本申请实施例中物体重识别模型训练系统的一个架构示意图;
图2为本申请实施例中正交子空间中心学习框架的一个示意图;
图3为本申请实施例中物体重识别模型的训练方法一个实施例示意图;
图4为本申请实施例中待训练图像集合的一个示意图;
图5为本申请实施例中正则化全局池化的一个实施例示意图;
图6为本申请实施例中物体重识别的方法一个实施例示意图;
图7为本申请实施例中基于物体重识别模型的一个物体重识别流程示意图;
图8为本申请实施例中物体重识别模型训练装置的一个实施例示意图;
图9为本申请实施例中物体重识别装置的一个实施例示意图;
图10为本申请实施例中服务器的一个结构示意图;
图11为本申请实施例中终端设备的一个结构示意图。
具体实施方式
本申请实施例提供了一种物体重识别模型的训练方法、物体重识别的方法及装置,在训练物体重识别模型的过程中,可使同一类的图像特征可以和各自的类中心特征更接近,还可使不同类别的图像能够分离地更明显,从而提升物体重识别模型的鲁棒性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请提供的物体重识别方法可以应用于零售、智能安防、自动驾驶和刑侦等诸多领域,比如,在零售领域中,物体重识别方法具体可以是行人重识别(PersonRe-identification,ReID),商家采用行人重识别方法可以获取有效的顾客轨迹,并深入挖掘其中的商业价值。在智能安防领域中,采用行人重识别方法可以用来对行人进行跨摄像头跟踪和指定行人检索,进行及时的行为预警和提高刑侦效率,保障社会效益。在自动驾驶领域中,采用行人重识别方法能够识别出不同类型的行人,当然,重识别方法不仅限于对行人,还可以对车辆或者其他物体进行重识别,在自动驾驶的过程能够对特定的车辆类型进行识别,从而提升自动驾驶的安全性。此外,在人机交互领域中,采用行人重识别方法可以针对特定的用户进行人机交互,进而提供不同的互动模式。在相册聚类领域中,采用物体重识别方法可以将属于同一个对象(比如同一个人,同一个地方或同一个动物)的照片归为一类,无需用户手动对每张照片进行分类,节省分类时间,提升分类效率。
以物体为行人为例,在行人重识别方法中,利用计算机视觉技术判断图像或者视频序列中是否存在特定行人。行人重识别方法广泛被认为是一个图像检索的子问题,即给定一个监控行人图像,检索跨设备下的该行人图像。在监控视频中,由于相机分辨率和拍摄角度的缘故,通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下,行人重识别就成为了一个非常重要的手段。
为了便于理解,本申请提出了一种物体重识别的方法,该方法应用于图1所示的物体重识别系统,请参阅图1,图1为本申请实施例中物体重识别模型训练系统的一个架构示意图,如图所示,本申请涉及了一种基于正交子空间中心学习和正则化池化方式的模型训练方法:首先,设计了新的类别中心学习模块,该类别中心学习模块实现了在减少类内差异的同时,利用正交化的方式解耦了类别中心的关联,从热增大类间距离,进一步地,还提出了一种子空间掩模机制来生成中心子空间,以此增强类别中心的泛化性能。最后,还设计了一种正则化的池化方式,充分挖掘全局平均池化和全局最大池化方式的功能,由此训练得到物体重识别模型。
基于在线状态的情况下,终端设备将采集到的图像发送至服务器,由服务器采用训练得到的物体重识别模型对这些图像进行重识别,从而检索出不同摄像头下的相同物体的图像。基于离线状态的情况下,服务器将训练得到的物体重识别模型下发给终端设备,终端设备采用训练得到的物体重识别模型对采集到的图像进行重识别,从而检索出不同摄像头下的相同物体的图像。
需要说明的是,终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备、个人电脑(personal computer,PC)、车辆以及机器人,此处不做限定。其中,语音交互设备包含但不仅限于智能音响以及智能家电。
应理解,本申请所提供的物体重识别模型训练方法可以应用于正交子空间中心学习框架,请参阅图2,图2为本申请实施例中正交子空间中心学习框架的一个示意图,如图所述,待训练图像集合包括N个样本图像,将待训练图像集合输入至卷积神经网络后,提供每个样本图像所对应的图像特征,然后将提取到的图像特征送入基本的损失函数,即softmax损失函数和triplet损失函数,通过中心学习模块来监督整个模型的优化过程。中心学习模块可以同时优化增加类内紧凑性,并利用正交约束减小类间相关性。
结合上述介绍,下面将对本申请中物体重识别模型的训练方法进行介绍,请参阅图3,本申请实施例中物体重识别模型的训练方法一个实施例包括:
101、获取待训练图像集合,其中,待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,N为大于或等于1的整数;
本实施例中,在模型训练的过程中,首先物体重识别模型训练装置获取待训练图像集合,可以理解的是,物体重识别模型训练装置可以部署在服务器上,也可以部署在终端设备上,考虑到模型训练的计算量较大,本申请可将物体重识别模型训练装置部署在服务器上进行训练,然而这不应理解为对本申请的限定。
为了便于理解,请再次参阅图2,下面将结合图2对待训练图像集合的选择进行介绍。具体地,待训练图像集合包括N个样本图像,待训练图像集合可以表示为X,即其中,xi表示第i个样本图像。每个样本图像对应一个类别标签yi,因此,待训练图像集合所对应的类别标签表示为为了便于说明,请参阅图4,图4为本申请实施例中待训练图像集合的一个示意图,如图所示,假设待训练图像集合包括6个样本图像,分别为1号图像、2号图像、3号图像、4号图像、5号图像和6号图像,其中,1号图像、2号图像和3号图像都对应对象A,因此,1号图像、2号图像和3号图像的类别标签相同,可以为0000,类似地,4号图像、5号图像和6号图像都对应对象A,因此,4号图像、5号图像和6号图像的类别标签相同,可以为0001。
102、通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合,其中,图像特征集合包括N个图像特征,图像特征与样本图像具有对应关系;
本实施例中,物体重识别模型训练装置将待训练图像集合中的每个样本图像输入至待训练物体重识别模型中的卷积神经网络(Convolutional Neural Network,CNN),由CNN提取每个样本图像所对应的图像特征。可以理解的是,本申请中的CNN可以特征提取模块,具体可以采用残差网络(Residual Neural Network,ResNet),或者密集卷积网络(DenseNet)等网络结构。
为了便于理解,请再次参阅图2,下面将结合图2对图像特征的提取进行介绍。具体地,待训练图像集合包括N个样本图像,对每个样本图像提取到的图像特征为vi(i=1,2,...,N),当提取了N个样本图像的图像特征之后,即得到图像特征集合。
103、获取类别中心集合,其中,类别中心集合包括M个类别中心,其中,M为大于或等于1,且小于或等于N的整数;
本实施例中,物体重识别模型训练装置根据待训练物体重识别模型的全连接(fullconnection,FC)层,获取类别中心集合。为了便于理解,请再次参阅图2,下面将结合图2对类别中心集合的生成进行介绍。具体地,类别中心集合包括M个类别中心,类别中心集合可以表示为C,即C={c1,c2,...,cM},其中,ci表示第i个类别中心。
104、根据图像特征集合以及类别中心集合确定目标损失函数,其中,目标损失函数包括第一损失函数以及第二损失函数,第一损失函数用于约束相同类别图像所对应的图像特征,第二损失函数用于约束不同的类别中心;
本实施例中,物体重识别模型训练装置根据图像特征集合以及类别中心集合生成目标损失函数,其中,目标损失函数至少包括第一损失函数以及第二损失函数,其中,第一损失函数用于约束相同类别图像所对应的图像特征,即第一损失函数为类内损失函数。第二损失函数用于约束不同的类别中心,即第二损失函数为类间损失函数。
105、采用目标损失函数对待训练物体重识别模型进行训练,得到物体重识别模型,其中,物体重识别模型用于识别相同的目标物体。
本实施例中,物体重识别模型训练装置采用目标损失函数对待训练物体重识别模型进行训练,可以理解的是,当目标损失函数的结果达到收敛时,可以认为已完成模型的训练。或者,当训练迭代的次数达到预设门限时,也可以认为已完成模型的训练。从而得到物体重识别模型,物体重识别模型能够识别具有相同目标物体的至少两张图像,比如目标物体可以为人物、车辆或者动物等。
本申请实施例中,提供了一种物体重识别模型的训练方法,首先获取待训练图像集合,然后通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合,接下来获取类别中心集合,根据图像特征集合以及类别中心集合确定目标损失函数,目标损失函数包括第一损失函数以及第二损失函数,第一损失函数用于约束相同类别图像所对应的图像特征,第二损失函数用于约束不同的类别中心,最后采用目标损失函数对待训练物体重识别模型进行训练,得到物体重识别模型,其中,物体重识别模型用于识别相同的目标物体。通过上述方式,在训练物体重识别模型的过程中,除了能够采用第一损失函数约束同类别图像的图像特征,使得同一类的图像特征可以和各自的类中心特征更接近,还引入了第二损失函数来约束不同的类别中心,使得不同类别的图像能够分离地更明显,从而提升物体重识别模型的鲁棒性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第一个可选实施例中,获取类别中心集合,可以包括:
通过待训练物体重识别模型的全连接层获取权重参数矩阵;
根据权重参数矩阵获取M个类别中心,其中,权重参数矩阵包括M个权重参数,权重参数与类别中心具有一一对应的关系。
本实施例中,介绍了一种获取类别中心集合的方法,物体重识别模型训练装置可以通过待训练物体重识别模型的全连接层获取权重参数矩阵,即共享类别中心和softmax损失函数之前的线性变换的权重参数矩阵,即:
ci=W(:,i);
其中,ci表示第i个类别中心,W表示全连接层的权重参数矩阵,W∈Rd×M中的d表示特征的维度,比如可以取值为2048,M表示类别中心集合中的类别中心总数,W(:,i)表示权重参数矩阵W的第i列参数,类别中心集合可以表示为C,即C={c1,c2,...,cM}。
由此可见,本申请实现了softmax损失函数和中心学习模块协作优化的过程。
其次,本申请实施例中,提供了一种获取类别中心集合的方法,即先通过待训练物体重识别模型的全连接层获取权重参数矩阵,然后根据权重参数矩阵获取M个类别中心。通过上述方式,利用待训练物体重识别模型中已有的全连接层的参数,能够直接获取类别中心,共享了类别中心以及softmax损失函数的参数,从而减少了模型计算的参数量,提升了模型训练的效率。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第二个可选实施例中,根据图像特征集合以及类别中心集合确定目标损失函数,可以包括:
从待训练图像集合中获取待训练图像子集合,其中,待训练图像子集合包括B个样本图像,B为大于或等于1,且小于或等于N的整数;
根据待训练图像子集合中每个样本图像的图像特征以及每个样本图像的类别中心,确定第一损失函数;
根据类别中心集合以及单位矩阵,确定第二损失函数;
根据第一损失函数以及第二损失函数,生成目标损失函数。
本实施例中,介绍了一种确定目标损失函数的方法,首先,物体重识别模型训练装置可以从待训练图像集合中获取待训练图像子集合,假设待训练图像集合包括N个样本图像,那么待训练图像子集合中包括B个样本图像,且B为大于或等于1,且小于或等于N的整数。因此,一个待训练图像子集合即为一个批次中用于训练的样本图像。
物体重识别模型训练装置需要根据待训练图像子集合中每个样本图像的图像特征以及每个样本图像的类别中心,确定第一损失函数,其中,样本图像的图像特征可以表示为vi,样本图像的类别中心可以表示为cyi,第i个样本图像的类别中心cyi与第i个类别中心ci的获取方式类似,也可以从全连接层的权重参数矩阵W中获取,此次不做赘述。
物体重识别模型训练装置还需要根据类别中心集合以及单位矩阵,确定第二损失函数,其中,单位矩阵在矩阵的乘法中起着特殊的作用,如同数的乘法中的1,单位矩阵是个方阵,从左上角到右下角的对角线(称为主对角线)上的元素均为1,除此以外全都为0。最后,物体重识别模型训练装置根据第一损失函数以及第二损失函数,生成目标损失函数。
其次,本申请实施例中,提供了一种确定目标损失函数的方法,即从待训练图像集合中获取待训练图像子集合,然后根据待训练图像子集合中每个样本图像的图像特征以及每个样本图像的类别中心,确定第一损失函数,此外,可以根据类别中心集合以及单位矩阵,确定第二损失函数,然后根据第一损失函数以及第二损失函数,生成目标损失函数。通过上述方式,设计了新的类别中心学习模块,在实现了减少类内差异的同时,还增大了类间距离,从而提升了模型的性能。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第三个可选实施例中,根据待训练图像子集合中每个样本图像的图像特征以及每个样本图像的类别中心,确定第一损失函数,可以包括:
采用如下方式计算第一损失函数:
其中,Lintra表示第一损失函数,B表示待训练图像子集合的样本图像总数,i表示待训练图像子集合中的第i个样本图像,i为大于或等于1,且小于或等于B的整数,vi表示第i个样本图像的图像特征,cyi表示第i个样本图像的类别中心。
可选地,采用目标损失函数对待训练物体重识别模型进行训练,可以包括:
采用第一损失函数对待训练物体重识别模型进行训练,直至第一损失函数达到收敛状态。
本实施例中,介绍了一种第一损失函数的具体计算方式,物体重识别模型训练装置可以采用每个样本图像的图像特征以及每个样本图像的类别中心,计算第一损失函数,即:
其中,Lintra表示第一损失函数,B表示待训练图像子集合的样本图像总数,比如等于1000,i表示待训练图像子集合中的第i个样本图像,i为大于或等于1,且小于或等于B的整数,vi表示第i个样本图像的图像特征,cyi表示第i个样本图像的类别中心,由此可见,每个样本图像对应一个图像特征,且每个样本图像对应一个类别中心,第一损失函数可以计算出相同类型中,各个样本图像之间的图像特征距离,图像特征之间的距离越小,表示同类图像的差异越小。反之,图像特征之间的距离越大,表示同类图像的差异越大。
在生成第一损失函数之后,需要采用该第一损失函数对待训练物体重识别模型进行训练,直至第一损失函数达到收敛状态。其中,收敛状态表示在一定条件下,第一损失函数趋向于稳定状态。
再次,本申请实施例中,提供了一种第一损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第四个可选实施例中,根据图像特征集合以及类别中心集合确定目标损失函数,可以包括:
从待训练图像集合中获取待训练图像子集合,其中,待训练图像子集合包括B个样本图像,B为大于或等于1,且小于或等于N的整数;
获取待训练图像子集合中每个样本图像的d维度图像特征,其中,d为大于或等于1的整数;
获取待训练图像子集合中每个样本图像的d维度类别中心;
根据待训练图像子集合中每个样本图像的d维度图像特征、每个样本图像的d维度类别中心以及采样概率,确定第一损失函数;
根据类别中心集合以及单位矩阵,确定第二损失函数;
根据第一损失函数以及第二损失函数,生成目标损失函数。
本实施例中,介绍了另一种确定目标损失函数的方法,首先,物体重识别模型训练装置可以从待训练图像集合中获取待训练图像子集合,假设待训练图像集合包括N个样本图像,那么待训练图像子集合中包括B个样本图像,且B为大于或等于1,且小于或等于N的整数。因此,一个待训练图像子集合即为一个批次中用于训练的样本图像。
物体重识别模型训练装置需要获取待训练图像子集合中每个样本图像的d维度图像特征,其中,d为大于或等于1的整数,本申请中可以将d设置为2048,物体重识别模型训练装置还需要获取待训练图像子集合中每个样本图像的d维度类别中心,其中,样本图像d维度图像特征中的第k维图像特征可以表示为样本图像的d维度类别中心的第k维类别中心可以表示为第i个样本图像的d维度类别中心与第i个类别中心ci的获取方式类似,也可以从全连接层的权重参数矩阵W中获取,此次不做赘述。
物体重识别模型训练装置根据待训练图像子集合中每个样本图像的d维度图像特征、每个样本图像的d维度类别中心以及采样概率,确定第一损失函数,其中,采样概率可以是根据正态分布生成的,或者根据泊松分布生成的,又或者根据伯努利分布生成的,可以理解的是,本申请的采样概率是根据伯努利分布生成的,然而这不应理解为对本申请的限定。
其中,如果随机变量X只取0和1两个值,并且相应的概率为:
Pr(X=1)=p,Pr(X=0)=1-p,0<p<1;
则称随机变量X服从参数为p的伯努利分布,若令q=1-p,则X的概率函数可写为:
伯努利分布的期望E(X)=p,D(X)=p(1-p)。
n重伯努利分布的期望E(X)=np,D(X)=np(1-p)。
基于上述介绍可以生成第一损失函数,物体重识别模型训练装置还可以根据类别中心集合以及单位矩阵,生成第二损失函数。最后,根据第一损失函数以及第二损失函数,生成目标损失函数。
其次,本申请实施例中,提供了另一种确定目标损失函数的方法,即从待训练图像集合中获取待训练图像子集合,然后获取待训练图像子集合中每个样本图像的d维度图像特征,再获取待训练图像子集合中每个样本图像的d维度类别中心,根据待训练图像子集合中每个样本图像的d维度图像特征、每个样本图像的d维度类别中心以及采样概率,确定第一损失函数,最后根据类别中心集合以及单位矩阵,确定第二损失函数,根据第一损失函数以及第二损失函数,生成目标损失函数。通过上述方式,利用子空间掩模机制来生成中心子空间,以此增强类别中心的泛化性能,这是由于子空间掩模是在每个类别中心的随机子空间进行加强类内紧凑型的操作,从而让模型学习到更泛化的特征。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第五个可选实施例中,根据待训练图像子集合中每个样本图像的图像特征、每个样本图像的类别中心以及采样概率,确定第一损失函数,可以包括:
采用如下方式计算第一损失函数:
其中,表示第一损失函数,B表示待训练图像子集合的样本图像总数,i表示待训练图像子集合中的第i个样本图像,i为大于或等于1,且小于或等于B的整数,表示第i个样本图像的第k个维度的图像特征,表示第i个样本图像的第k个维度的类别中心,k为大于或等于1,且小于或等于d的整数,U()表示伯努利分布,p表示伯努利分布中的采样概率。
本实施例中,介绍了另一种第一损失函数的具体计算方式,物体重识别模型训练装置利用子空间掩模机制来生成中心子空间,在该子空间中优化类内紧凑性,具体地,采用如下方式进行计算;
采用作为第一损失函数,可以进一步提升类别中心的泛化性能。
再次,本申请实施例中,提供了另一种第一损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第六个可选实施例中,根据类别中心集合以及单位矩阵,确定第二损失函数,可以包括:
采用如下方式计算第二损失函数:
C=(c1,c2,...,cM);
其中,Linter表示第二损失函数,C表示类别中心集合,CT表示C的转置,I表示单位矩阵,λ表示第一超参数,ci表示第i个类别中心,i为大于或等于1,且小于或等于M的整数,M表示类别中心集合中类别中心的总数。
可选地,采用目标损失函数对待训练物体重识别模型进行训练,可以包括:
采用第二损失函数对待训练物体重识别模型进行训练,直至第二损失函数达到收敛状态。
本实施例中,介绍了第二损失函数的计算方式,本申请可以采用如下几种方式计算第二损失函数。
第一种方式为正交约束,采用如下方式计算第二损失函数:
C=(c1,c2,...,cM);
其中,Linter表示第二损失函数,C表示类别中心集合,CT表示C的转置,I表示单位矩阵,λ表示第一超参数,ci表示第i个类别中心,i为大于或等于1,且小于或等于M的整数,M表示类别中心集合中类别中心的总数。
第二种方式也为正交约束,当待训练图像集合中样本图像数量非常大的情况下,可以采用下式尽可能地保证类别中心之间能够实现正交,采用如下方式计算第二损失函数:
L'inter=λ||CTC-I||
C=(c1,c2,...,cM);
其中,L'inter表示第二损失函数,C表示类别中心集合,CT表示C的转置,I表示单位矩阵,λ表示第一超参数,ci表示第i个类别中心,i为大于或等于1,且小于或等于M的整数,M表示类别中心集合中类别中心的总数。∞表示无穷,也就是类别中心之间能够尽可能实现正交。
第三种方式为Hinge约束,即利用Hinge损失函数最大化类中心间的距离,采用如下方式计算第二损失函数:
其中,Linter-euclid表示第二损失函数,B表示待训练图像子集合的样本图像总数,比如等于1000,i表示待训练图像子集合中的第i个样本图像,i为大于或等于1,且小于或等于B的整数,j表示待训练图像子集合中的第j个样本图像,j为大于或等于1,且小于或等于B的整数,且j不等于i。cyi表示第i个样本图像的类别中心,cyj表示第j个样本图像的类别中心。
在生成第二损失函数之后,需要采用该第二损失函数对待训练物体重识别模型进行训练,直至第二损失函数达到收敛状态。其中,收敛状态表示在一定条件下,第二损失函数趋向于稳定状态。
进一步地,本申请实施例中,提供了一种第二损失函数的计算方式,通过上述方式,具体介绍了如何计算第二损失函数,即利用正交化的方式解耦了类别中心的关联,从而增大类间距离。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第七个可选实施例中,根据第一损失函数以及第二损失函数,生成目标损失函数,可以包括:
采用如下方式计算目标损失函数:
其中,Ltotal表示目标损失函数,Lsoftmax表示softmax损失函数,Ltriplet表示triplet损失函数,表示第一损失函数,Linter表示第二损失函数,α1表示第二超参数,α2表示第三超参数,α3表示第四超参数。
可选地,采用目标损失函数对待训练物体重识别模型进行训练,可以包括:
采用第一损失函数以及第二损失函数对待训练物体重识别模型进行训练,直至第一损失函数与第二损失函数均达到收敛状态。
本实施例中,介绍了一种目标损失函数的具体计算方式,在模型训练的过程中,当目标损失函数达到收敛的状态时,即表示该目标损失函数的结果达到最小化。
具体地,在第一损失函数和第二损失函数之后,采用如下方式计算目标损失函数:
其中,Ltotal表示目标损失函数,Lsoftmax表示softmax损失函数,Ltriplet表示triplet损失函数,表示第一损失函数,Linter表示第二损失函数,α1表示第二超参数,α2表示第三超参数,α3表示第四超参数。可以理解的是,第二超参数α1、第三超参数α2和第四超参数α3均可以进行人为调整,即根据实际需求,设定不同的权重比例。
可选地,目标损失函数还可以表示为:
Ltotal=Lsoftmax1Ltriplet2Lintra3Linter
即第一损失函数的生成未利用子空间掩模机制。
在生成第一损失函数和第二损失函数之后,需要采用该第一损失函数和第二损失函数数对待训练物体重识别模型进行训练,直至第一损失函数和第二损失函数达到收敛状态。其中,收敛状态表示在一定条件下,第一损失函数和第二损失函数均趋向于稳定状态。
再次,本申请实施例中,提供了一种目标损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图3对应的各个实施例的基础上,本申请实施例提供的物体重识别模型的训练方法第八个可选实施例中,通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合,可以包括:
通过待训练物体重识别模型的卷积神经网络,提取待训练图像集合所对应的待处理图像特征集合,其中,待处理图像特征集合包括N个待处理图像特征,待处理图像特征与样本图像具有对应关系;
通过全局最大池化获取待处理图像特征集合所对应的第一待处理图像特征集合,其中,第一待处理图像特征集合包括N个第一待处理图像特征,第一待处理图像特征与待处理图像特征具有对应关系;
通过全局平均池化获取待处理图像特征集合所对应的第二待处理图像特征集合,其中,第二待处理图像特征集合包括N个第二待处理图像特征,第二待处理图像特征与待处理图像特征具有对应关系;
根据第一待处理图像特征集合以及第二待处理图像特征集合,确定图像特征集合,
根据第一待处理图像特征集合以及第二待处理图像特征集合,确定图像特征集合,可以包括:
采用如下方式计算图像特征集合:
其中,vi表示图像特征集合的第i个样本图像的图像特征,表示第i个样本图像的第一待处理图像特征,表示第i个样本图像的第二待处理图像特征。
本实施例中,介绍了一种获取的图像特征集合的方法,为了便于介绍,请参阅图5,图5为本申请实施例中正则化全局池化的一个实施例示意图,如图所示,具体地,假设待训练图像集合包括N个样本图像,且每个样本图像的像素可以表示为384*128*3。下面将以一个样本图像为例进行说明,可以理解的是,待训练图像集合中N个样本图像的处理方式类似,故此处不做赘述。
将样本图像输入至待训练物体重识别模型的CNN中,通过CNN提取样本图像的待处理图像特征,可以理解的是,对于N个样本图像而言,即可提取待处理图像特征集合,每个样本图像具有一个待处理图像特征。接下来,利用不同的卷积操作创建两个不同的分支,然后分别利用两种池化方式,分别为全局最大池化(average-pooling)方式和全局平均池化(mean-pooling)方式。其中,全局最大池化方式能减小一类误差(即卷积层参数误差造成估计均值的偏移),从而更多的保留纹理信息。而全局平均池化能减小另一种误差(即邻域大小受限造成的估计值方差增大),从而更多的保留图像的背景信息,
基于上述介绍,请继续参阅图5,通过全局最大池化获取每个样本图像所对应的第一待处理图像特征可以理解的是,对于N个样本图像而言,即可提取第一待处理图像特征集合vMP,每个样本图像具有一个第一待处理图像特征。通过全局平均池化获取每个样本图像所对应的第二待处理图像特征可以理解的是,对于N个样本图像而言,即可提取第二待处理图像特征集合vAP,每个样本图像具有一个第二待处理图像特征。通过分别产生的第一待处理图像特征以及第二待处理图像特征将这两个特征进行如下操作,即可生成样本图像的图像特征vi,即根据第一待处理图像特征集合以及第二待处理图像特征集合,确定图像特征集合,具体采用如下方式计算图像特征集合:
其中,vi表示图像特征集合的第i个样本图像的图像特征,表示第i个样本图像的第一待处理图像特征,表示第i个样本图像的第二待处理图像特征。
此外,为了进一步发挥两种池化方式的优势,还可以采用递增学习的方式,具体地,即对第一待处理图像特征以及第二待处理图像特征同时添加监督损失函数,包含但不仅限于采用softmax损失函数或者triplet损失函数等,在本申请中,可以默认采用triplet损失函数,最后,将样本图像的图像特征vi输入至正交子空间中心学习模块中,采用目标损失函数Ltotal进行训练。
其次,本申请实施例中,提供了一种获取的图像特征集合的方法,首先通过待训练物体重识别模型的卷积神经网络,提取待训练图像集合所对应的待处理图像特征集合,然后通过全局最大池化获取待处理图像特征集合所对应的第一待处理图像特征集合,并且通过全局平均池化获取待处理图像特征集合所对应的第二待处理图像特征集合,最后根据第一待处理图像特征集合以及第二待处理图像特征集合,确定图像特征集合。通过上述方式,利用全局平均池化进行降维操作,可以使网络学习到对应全局信息的特征,利用全局最大池化更容易捕捉局部的信息,因此,采用正则化的池化方式提取图像特征,能够得到表达性更好的图像特征。
结合上述介绍,下面将对本申请中物体重识别的方法进行介绍,请参阅图6,本申请实施例中物体重识别的方法一个实施例包括:
201、获取待识别图像以及目标图像,其中,目标图像包括目标物体;
本实施例中,首先,物体重识别装置获取待识别图像以及目标图像,可以理解的是,物体重识别装置部署于终端设备上,或,物体重识别装置也可以部署于服务器上,本申请以物体重识别装置部署于终端设备上为例进行说明,然而这不应理解为对本申请的限定。
其中,目标图像中包括了目标物体,目标物体包含但不仅限于人物、车辆、动物以及静态物体等,此次不做限定。
202、通过物体重识别模型获取待识别图像的第一图像特征;
本实施例中,物体重识别装置在将待识别图像输入至预先训练得到的物体重识别模型中,由该物体重识别模型输出待识别图像所对应的第一图像特征。
需要说明的是,本实施例中的物体重识别模型为,采用图3所对应的各个实施例所生成的物体重识别模型。
203、通过物体重识别模型获取目标图像的第二图像特征;
本实施例中,物体重识别装置在将目标图像输入至预先训练得到的物体重识别模型中,由该物体重识别模型输出目标图像所对应的第二图像特征。
可以理解的是,步骤202与步骤203的执行顺序可以是,先执行步骤202,再执行步骤203,或者,先执行步骤203,再执行步骤202,也可以同时执行步骤202以及步骤203,此次不做限定。
204、根据第一图像特征以及第二图像特征,确定待识别图像与目标图像的重识别结果。
本实施例中,物体重识别装置根据提取到的第一图像特征以及第二图像特征,计算两者的相似度,即得到待识别图像与目标图像之间的相似度,将所述相似度大于预设阈值的待识别图像与目标图像认定为同一个目标对象。
为了便于介绍,请参阅图7,图7为本申请实施例中基于物体重识别模型的一个物体重识别流程示意图,具体地,假设获取了一张待识别图像以及一张目标图像,其中,目标图像中展示了一个正在前进的人物A,待识别图像中展示了一个正在颠球的人物B,此时,将待识别图像与目标图像均输入至已经训练好的物体重识别模型,如果输出的结果为“1”,则表示人物A和人物B实际上是同一个人物。如果输出结果为“0”,则表示人物A和人物B实际上并非同一个人物。
在实际应用中,除了可以对人物进行重识别,还可以对车辆进行重识别,所谓车辆重识别技术是指在不同摄像头拍摄下的视频或图像中的车辆进行处理,判断是否为同一车辆对象。因为摄像头的角度、光照、尺寸和清晰度的问题,车辆距离以及行驶角度问题,拍摄环境等无法避免的因素存在,对于车辆重识别技术的发展存在很大的影响。比如对车牌标识进行识别,对车辆的全局特征进行识别,对车辆的兴趣区域进行识别等,此处不做限定。
本申请实施例中,提供了一种物体重识别的方法,首先获取待识别图像以及目标图像,其中,目标图像包括目标物体,然后通过物体重识别模型获取待识别图像的第一图像特征,其中,该物体重识别模型是采用本申请提供的训练方法训练而成的,与此同时,还通过物体重识别模型获取目标图像的第二图像特征,最后根据第一图像特征以及第二图像特征,确定待识别图像与目标图像的重识别结果。通过上述方式,采用本申请提供的物体重识别模型能够增强对遮挡、光照变化、分辨率低、位姿与视角变化等因素的鲁棒性和泛化性,不需要高规格的抓拍枪机,从而降低了拍摄成本。
下面对本申请中的物体重识别模型训练装置进行详细描述,请参阅图8,图8为本申请实施例中物体重识别模型训练装置一个实施例示意图,物体重识别模型训练装置30包括:
获取模块301,用于获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
所述获取模块301,还用于通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
所述获取模块301,还用于获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
确定模块302,用于根据所述获取模块301获取的所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
训练模块303,用于采用所述确定模块302确定的所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
本实施例中,获取模块301获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数,所述获取模块301通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系,所述获取模块301获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数,确定模块302根据所述获取模块301获取的所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心,训练模块303采用所述确定模块302确定的所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
本申请实施例中,提供了一种物体重识别模型训练装置,首先获取待训练图像集合,然后通过待训练物体重识别模型获取待训练图像集合所对应的图像特征集合,接下来获取类别中心集合,根据图像特征集合以及类别中心集合确定目标损失函数,目标损失函数包括第一损失函数以及第二损失函数,第一损失函数用于约束相同类别图像所对应的图像特征,第二损失函数用于约束不同的类别中心,最后采用目标损失函数对待训练物体重识别模型进行训练,得到物体重识别模型,其中,物体重识别模型用于识别相同的目标物体。通过上述方式,在训练物体重识别模型的过程中,除了能够采用第一损失函数约束同类别图像的图像特征,使得同一类的图像特征可以和各自的类中心特征更接近,还引入了第二损失函数来约束不同的类别中心,使得不同类别的图像能够分离地更明显,从而提升物体重识别模型的鲁棒性。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述获取模块301,具体用于通过所述待训练物体重识别模型的全连接层获取权重参数矩阵;
根据所述权重参数矩阵获取所述M个类别中心,其中,所述权重参数矩阵包括M个权重参数,所述权重参数与所述类别中心具有一一对应的关系。
其次,本申请实施例中,提供了一种获取类别中心集合的方法,即先通过待训练物体重识别模型的全连接层获取权重参数矩阵,然后根据权重参数矩阵获取M个类别中心。通过上述方式,利用待训练物体重识别模型中已有的全连接层的参数,能够直接获取类别中心,共享了类别中心以及softmax损失函数的参数,从而减少了模型计算的参数量,提升了模型训练的效率。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
根据所述待训练图像子集合中每个样本图像的图像特征以及所述每个样本图像的类别中心,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
其次,本申请实施例中,提供了一种确定目标损失函数的方法,即从待训练图像集合中获取待训练图像子集合,然后根据待训练图像子集合中每个样本图像的图像特征以及每个样本图像的类别中心,确定第一损失函数,此外,可以根据类别中心集合以及单位矩阵,确定第二损失函数,然后根据第一损失函数以及第二损失函数,生成目标损失函数。通过上述方式,设计了新的类别中心学习模块,在实现了减少类内差异的同时,还增大了类间距离,从而提升了模型的性能。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于采用如下方式计算所述第一损失函数:
其中,所述Lintra表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述vi表示所述第i个样本图像的图像特征,所述cyi表示所述第i个样本图像的类别中心。
再次,本申请实施例中,提供了一种第一损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
获取所述待训练图像子集合中每个样本图像的d维度图像特征,其中,所述d为大于或等于1的整数;
获取所述待训练图像子集合中所述每个样本图像的d维度类别中心;
根据所述待训练图像子集合中所述每个样本图像的d维度图像特征、所述每个样本图像的d维度类别中心以及采样概率,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
其次,本申请实施例中,提供了另一种确定目标损失函数的方法,即从待训练图像集合中获取待训练图像子集合,然后获取待训练图像子集合中每个样本图像的d维度图像特征,再获取待训练图像子集合中每个样本图像的d维度类别中心,根据待训练图像子集合中每个样本图像的d维度图像特征、每个样本图像的d维度类别中心以及采样概率,确定第一损失函数,最后根据类别中心集合以及单位矩阵,确定第二损失函数,根据第一损失函数以及第二损失函数,生成目标损失函数。通过上述方式,利用子空间掩模机制来生成中心子空间,以此增强类别中心的泛化性能,这是由于子空间掩模是在每个类别中心的随机子空间进行加强类内紧凑型的操作,从而让模型学习到更泛化的特征。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于采用如下方式计算所述第一损失函数:
其中,所述表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述表示所述第i个样本图像的第k个维度的图像特征,所述表示所述第i个样本图像的第k个维度的类别中心,所述k为大于或等于1,且小于或等于所述d的整数,所述U()表示伯努利分布,所述p表示所述伯努利分布中的所述采样概率。
再次,本申请实施例中,提供了另一种第一损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于采用如下方式计算所述第二损失函数:
C=(c1,c2,...,cM);
其中,所述Linter表示所述第二损失函数,所述C表示所述类别中心集合,所述CT表示所述C的转置,所述I表示所述单位矩阵,所述λ表示第一超参数,所述ci表示第i个类别中心,所述i为大于或等于1,且小于或等于所述M的整数,所述M表示所述类别中心集合中类别中心的总数。
进一步地,本申请实施例中,提供了一种第二损失函数的计算方式,通过上述方式,具体介绍了如何计算第二损失函数,即利用正交化的方式解耦了类别中心的关联,从而增大类间距离。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述确定模块302,具体用于采用如下方式计算所述目标损失函数:
其中,所述Ltotal表示所述目标损失函数,所述Lsoftmax表示softmax损失函数,所述Ltriplet表示triplet损失函数,所述表示所述第一损失函数,所述Linter表示所述第二损失函数,所述α1表示第二超参数,所述α2表示第三超参数,所述α3表示第四超参数。
再次,本申请实施例中,提供了一种目标损失函数的具体计算方式,通过上述方式,为方案的实现提供了可行的依据,从而增强了方案的可操作性。
可选地,在上述图8所对应的实施例的基础上,本申请实施例提供的物体重识别模型训练装置30的另一实施例中,
所述获取模块301,具体用于通过所述待训练物体重识别模型的卷积神经网络,提取所述待训练图像集合所对应的待处理图像特征集合,其中,所述待处理图像特征集合包括N个待处理图像特征,所述待处理图像特征与所述样本图像具有对应关系;
通过全局最大池化获取所述待处理图像特征集合所对应的第一待处理图像特征集合,其中,所述第一待处理图像特征集合包括N个第一待处理图像特征,所述第一待处理图像特征与所述待处理图像特征具有对应关系;
通过全局平均池化获取所述待处理图像特征集合所对应的第二待处理图像特征集合,其中,所述第二待处理图像特征集合包括N个第二待处理图像特征,所述第二待处理图像特征与所述待处理图像特征具有对应关系;
根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;
采用如下方式计算所述图像特征集合:
其中,所述vi表示所述图像特征集合的第i个样本图像的图像特征,所述表示所述第i个样本图像的第一待处理图像特征,所述表示所述第i个样本图像的第二待处理图像特征。
其次,本申请实施例中,提供了一种获取的图像特征集合的方法,首先通过待训练物体重识别模型的卷积神经网络,提取待训练图像集合所对应的待处理图像特征集合,然后通过全局最大池化获取待处理图像特征集合所对应的第一待处理图像特征集合,并且通过全局平均池化获取待处理图像特征集合所对应的第二待处理图像特征集合,最后根据第一待处理图像特征集合以及第二待处理图像特征集合,确定图像特征集合。通过上述方式,利用全局平均池化进行降维操作,可以使网络学习到对应全局信息的特征,利用全局最大池化更容易捕捉局部的信息,因此,采用正则化的池化方式提取图像特征,能够得到表达性更好的图像特征。
下面对本申请中的物体重识别装置进行详细描述,请参阅图9,图9为本申请实施例中物体重识别装置一个实施例示意图,物体重识别装置40包括:
获取模块401,用于获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
所述获取模块401,还用于通过物体重识别模型获取所述待识别图像的第一图像特征;
所述获取模块401,还用于通过所述物体重识别模型获取所述目标图像的第二图像特征;
确定模块402,用于根据所述获取模块401获取的所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
本实施例中,获取模块401获取待识别图像以及目标图像,其中,所述目标图像包括目标物体,所述获取模块401通过物体重识别模型获取所述待识别图像的第一图像特征,所述获取模块401通过所述物体重识别模型获取所述目标图像的第二图像特征,确定模块402根据所述获取模块401获取的所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
本申请实施例中,提供了一种物体重识别的方法,首先获取待识别图像以及目标图像,其中,目标图像包括目标物体,然后通过物体重识别模型获取待识别图像的第一图像特征,其中,该物体重识别模型是采用本申请提供的训练方法训练而成的,与此同时,还通过物体重识别模型获取目标图像的第二图像特征,最后根据第一图像特征以及第二图像特征,确定待识别图像与目标图像的重识别结果。通过上述方式,采用本申请提供的物体重识别模型能够增强对遮挡、光照变化、分辨率低、位姿与视角变化等因素的鲁棒性和泛化性,不需要高规格的抓拍枪机,从而降低了拍摄成本。
图10是本申请实施例提供的一种服务器结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作系统541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。
在本申请实施例中,该服务器所包括的CPU 522还具有以下功能:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
可选地,CPU 522具体用于执行如下步骤:
通过所述待训练物体重识别模型的全连接层获取权重参数矩阵;
根据所述权重参数矩阵获取所述M个类别中心,其中,所述权重参数矩阵包括M个权重参数,所述权重参数与所述类别中心具有一一对应的关系。
可选地,CPU 522具体用于执行如下步骤:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
根据所述待训练图像子集合中每个样本图像的图像特征以及所述每个样本图像的类别中心,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
可选地,CPU 522具体用于执行如下步骤:
采用如下方式计算所述第一损失函数:
其中,所述Lintra表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述vi表示所述第i个样本图像的图像特征,所述cyi表示所述第i个样本图像的类别中心。
可选地,CPU 522具体用于执行如下步骤:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
获取所述待训练图像子集合中每个样本图像的d维度图像特征,其中,所述d为大于或等于1的整数;
获取所述待训练图像子集合中所述每个样本图像的d维度类别中心;
根据所述待训练图像子集合中所述每个样本图像的d维度图像特征、所述每个样本图像的d维度类别中心以及采样概率,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
可选地,CPU 522具体用于执行如下步骤:
采用如下方式计算所述第一损失函数:
其中,所述表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述表示所述第i个样本图像的第k个维度的图像特征,所述表示所述第i个样本图像的第k个维度的类别中心,所述k为大于或等于1,且小于或等于所述d的整数,所述U()表示伯努利分布,所述p表示所述伯努利分布中的所述采样概率。
可选地,CPU 522具体用于执行如下步骤:
采用如下方式计算所述第二损失函数:
C=(c1,c2,...,cM);
其中,所述Linter表示所述第二损失函数,所述C表示所述类别中心集合,所述CT表示所述C的转置,所述I表示所述单位矩阵,所述λ表示第一超参数,所述ci表示第i个类别中心,所述i为大于或等于1,且小于或等于所述M的整数,所述M表示所述类别中心集合中类别中心的总数。
可选地,CPU 522具体用于执行如下步骤:
采用如下方式计算所述目标损失函数:
其中,所述Ltotal表示所述目标损失函数,所述Lsoftmax表示softmax损失函数,所述Ltriplet表示triplet损失函数,所述表示所述第一损失函数,所述Linter表示所述第二损失函数,所述α1表示第二超参数,所述α2表示第三超参数,所述α3表示第四超参数。
可选地,CPU 522具体用于执行如下步骤:
通过所述待训练物体重识别模型的卷积神经网络,提取所述待训练图像集合所对应的待处理图像特征集合,其中,所述待处理图像特征集合包括N个待处理图像特征,所述待处理图像特征与所述样本图像具有对应关系;
通过全局最大池化获取所述待处理图像特征集合所对应的第一待处理图像特征集合,其中,所述第一待处理图像特征集合包括N个第一待处理图像特征,所述第一待处理图像特征与所述待处理图像特征具有对应关系;
通过全局平均池化获取所述待处理图像特征集合所对应的第二待处理图像特征集合,其中,所述第二待处理图像特征集合包括N个第二待处理图像特征,所述第二待处理图像特征与所述待处理图像特征具有对应关系;
根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;
采用如下方式计算所述图像特征集合:
其中,所述vi表示所述图像特征集合的第i个样本图像的图像特征,所述表示所述第i个样本图像的第一待处理图像特征,所述表示所述第i个样本图像的第二待处理图像特征。
在本申请实施例中,该服务器所包括的CPU 522还具有以下功能:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
本申请实施例还提供了另一种图像显示控制装置,如图11所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端设备(point of sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图11示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图11,手机包括:射频(radio frequency,RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity,WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图11中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图11对手机的各个构成部件进行具体的介绍:
RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(liquid crystaldisplay,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图11中,触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路660、扬声器661,传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经RF电路610以发送给比如另一手机,或者将音频数据输出至存储器620以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块670,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;可选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池),可选的,电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端设备所包括的处理器680还具有以下功能:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
在本申请实施例中,该终端设备所包括的处理器680还具有以下功能:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
可选地,处理器680具体用于执行如下步骤:
通过所述待训练物体重识别模型的全连接层获取权重参数矩阵;
根据所述权重参数矩阵获取所述M个类别中心,其中,所述权重参数矩阵包括M个权重参数,所述权重参数与所述类别中心具有一一对应的关系。
可选地,处理器680具体用于执行如下步骤:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
根据所述待训练图像子集合中每个样本图像的图像特征以及所述每个样本图像的类别中心,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
可选地,处理器680具体用于执行如下步骤:
采用如下方式计算所述第一损失函数:
其中,所述Lintra表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述vi表示所述第i个样本图像的图像特征,所述cyi表示所述第i个样本图像的类别中心。
可选地,处理器680具体用于执行如下步骤:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
获取所述待训练图像子集合中每个样本图像的d维度图像特征,其中,所述d为大于或等于1的整数;
获取所述待训练图像子集合中所述每个样本图像的d维度类别中心;
根据所述待训练图像子集合中所述每个样本图像的d维度图像特征、所述每个样本图像的d维度类别中心以及采样概率,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
可选地,处理器680具体用于执行如下步骤:
采用如下方式计算所述第一损失函数:
其中,所述表示所述第一损失函数,所述B表示所述待训练图像子集合的样本图像总数,所述i表示所述待训练图像子集合中的第i个样本图像,所述i为大于或等于1,且小于或等于所述B的整数,所述表示所述第i个样本图像的第k个维度的图像特征,所述表示所述第i个样本图像的第k个维度的类别中心,所述k为大于或等于1,且小于或等于所述d的整数,所述U()表示伯努利分布,所述p表示所述伯努利分布中的所述采样概率。
可选地,处理器680具体用于执行如下步骤:
采用如下方式计算所述第二损失函数:
C=(c1,c2,...,cM);
其中,所述Linter表示所述第二损失函数,所述C表示所述类别中心集合,所述CT表示所述C的转置,所述I表示所述单位矩阵,所述λ表示第一超参数,所述ci表示第i个类别中心,所述i为大于或等于1,且小于或等于所述M的整数,所述M表示所述类别中心集合中类别中心的总数。
可选地,处理器680具体用于执行如下步骤:
采用如下方式计算所述目标损失函数:
其中,所述Ltotal表示所述目标损失函数,所述Lsoftmax表示softmax损失函数,所述Ltriplet表示triplet损失函数,所述表示所述第一损失函数,所述Linter表示所述第二损失函数,所述α1表示第二超参数,所述α2表示第三超参数,所述α3表示第四超参数。
可选地,处理器680具体用于执行如下步骤:
通过所述待训练物体重识别模型的卷积神经网络,提取所述待训练图像集合所对应的待处理图像特征集合,其中,所述待处理图像特征集合包括N个待处理图像特征,所述待处理图像特征与所述样本图像具有对应关系;
通过全局最大池化获取所述待处理图像特征集合所对应的第一待处理图像特征集合,其中,所述第一待处理图像特征集合包括N个第一待处理图像特征,所述第一待处理图像特征与所述待处理图像特征具有对应关系;
通过全局平均池化获取所述待处理图像特征集合所对应的第二待处理图像特征集合,其中,所述第二待处理图像特征集合包括N个第二待处理图像特征,所述第二待处理图像特征与所述待处理图像特征具有对应关系;
根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;
采用如下方式计算所述图像特征集合:
其中,所述vi表示所述图像特征集合的第i个样本图像的图像特征,所述表示所述第i个样本图像的第一待处理图像特征,所述表示所述第i个样本图像的第二待处理图像特征。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种物体重识别模型的训练方法,其特征在于,包括:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
2.根据权利要求1所述的训练方法,其特征在于,所述获取类别中心集合,包括:
通过所述待训练物体重识别模型的全连接层获取权重参数矩阵;
根据所述权重参数矩阵获取所述M个类别中心,其中,所述权重参数矩阵包括M个权重参数,所述权重参数与所述类别中心具有一一对应的关系。
3.根据权利要求1所述的训练方法,其特征在于,所述根据所述图像特征集合以及所述类别中心集合确定目标损失函数,包括:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
根据所述待训练图像子集合中每个样本图像的图像特征以及所述每个样本图像的类别中心,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
4.根据权利要求3所述的训练方法,其特征在于,所述采用所述目标损失函数对所述待训练物体重识别模型进行训练,包括:
采用所述第一损失函数对所述待训练物体重识别模型进行训练,直至所述第一损失函数达到收敛状态。
5.根据权利要求1所述的训练方法,其特征在于,所述根据所述图像特征集合以及所述类别中心集合确定目标损失函数,包括:
从所述待训练图像集合中获取待训练图像子集合,其中,所述待训练图像子集合包括B个样本图像,所述B为大于或等于1,且小于或等于所述N的整数;
获取所述待训练图像子集合中每个样本图像的d维度图像特征,其中,所述d为大于或等于1的整数;
获取所述待训练图像子集合中所述每个样本图像的d维度类别中心;
根据所述待训练图像子集合中所述每个样本图像的d维度图像特征、所述每个样本图像的d维度类别中心以及采样概率,确定所述第一损失函数;
根据所述类别中心集合以及单位矩阵,确定所述第二损失函数;
根据所述第一损失函数以及所述第二损失函数,生成所述目标损失函数。
6.根据权利要求3至5中任一项所述的训练方法,其特征在于,所述采用所述目标损失函数对所述待训练物体重识别模型进行训练,包括:
采用所述第二损失函数对所述待训练物体重识别模型进行训练,直至所述第二损失函数达到收敛状态。
7.根据权利要求6所述的训练方法,其特征在于,所述采用所述目标损失函数对所述待训练物体重识别模型进行训练,包括:
采用所述第一损失函数以及所述第二损失函数对所述待训练物体重识别模型进行训练,直至所述第一损失函数与所述第二损失函数均达到收敛状态。
8.根据权利要求1所述的训练方法,其特征在于,所述通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,包括:
通过所述待训练物体重识别模型的卷积神经网络,提取所述待训练图像集合所对应的待处理图像特征集合,其中,所述待处理图像特征集合包括N个待处理图像特征,所述待处理图像特征与所述样本图像具有对应关系;
通过全局最大池化获取所述待处理图像特征集合所对应的第一待处理图像特征集合,其中,所述第一待处理图像特征集合包括N个第一待处理图像特征,所述第一待处理图像特征与所述待处理图像特征具有对应关系;
通过全局平均池化获取所述待处理图像特征集合所对应的第二待处理图像特征集合,其中,所述第二待处理图像特征集合包括N个第二待处理图像特征,所述第二待处理图像特征与所述待处理图像特征具有对应关系;
根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;
所述根据所述第一待处理图像特征集合以及第二待处理图像特征集合,确定所述图像特征集合;包括:
采用如下方式计算所述图像特征集合:
其中,所述vi表示所述图像特征集合的第i个样本图像的图像特征,所述表示所述第i个样本图像的第一待处理图像特征,所述表示所述第i个样本图像的第二待处理图像特征。
9.一种物体重识别的方法,其特征在于,包括:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述权利要求1至8中任一项所述的物体重识别模型的训练方法训练而成的;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
10.一种物体重识别模型训练装置,其特征在于,包括:
获取模块,用于获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
所述获取模块,还用于通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
所述获取模块,还用于获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
确定模块,用于根据所述获取模块获取的所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
训练模块,用于采用所述确定模块确定的所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体。
11.一种物体重识别装置,其特征在于,包括:
获取模块,用于获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
所述获取模块,还用于通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述权利要求1至9中任一项所述的物体重识别模型的训练方法训练而成的
所述获取模块,还用于通过所述物体重识别模型获取所述目标图像的第二图像特征;
确定模块,用于根据所述获取模块获取的所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果。
12.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练图像集合,其中,所述待训练图像集合包括N个样本图像,每个样本图像对应一个类别标签,所述N为大于或等于1的整数;
通过待训练物体重识别模型获取所述待训练图像集合所对应的图像特征集合,其中,所述图像特征集合包括N个图像特征,所述图像特征与所述样本图像具有对应关系;
获取类别中心集合,其中,所述类别中心集合包括M个类别中心,其中,所述M为大于或等于1,且小于或等于所述N的整数;
根据所述图像特征集合以及所述类别中心集合确定目标损失函数,其中,所述目标损失函数包括第一损失函数以及第二损失函数,所述第一损失函数用于约束相同类别图像所对应的图像特征,所述第二损失函数用于约束不同的类别中心;
采用所述目标损失函数对所述待训练物体重识别模型进行训练,得到物体重识别模型,其中,所述物体重识别模型用于识别相同的目标物体;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
13.一种终端设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待识别图像以及目标图像,其中,所述目标图像包括目标物体;
通过物体重识别模型获取所述待识别图像的第一图像特征,其中,所述物体重识别模型为采用上述权利要求1至9中任一项所述的物体重识别模型的训练方法训练而成的;
通过所述物体重识别模型获取所述目标图像的第二图像特征;
根据所述第一图像特征以及所述第二图像特征,确定所述待识别图像与所述目标图像的重识别结果;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
14.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至8中任一项所述的方法,或,执行如权利要求9所述的方法。
CN201910621764.5A 2019-07-10 2019-07-10 物体重识别模型的训练方法、物体重识别的方法及装置 Active CN110321965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910621764.5A CN110321965B (zh) 2019-07-10 2019-07-10 物体重识别模型的训练方法、物体重识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910621764.5A CN110321965B (zh) 2019-07-10 2019-07-10 物体重识别模型的训练方法、物体重识别的方法及装置

Publications (2)

Publication Number Publication Date
CN110321965A true CN110321965A (zh) 2019-10-11
CN110321965B CN110321965B (zh) 2021-06-18

Family

ID=68123318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910621764.5A Active CN110321965B (zh) 2019-07-10 2019-07-10 物体重识别模型的训练方法、物体重识别的方法及装置

Country Status (1)

Country Link
CN (1) CN110321965B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633407A (zh) * 2020-12-31 2021-04-09 深圳云天励飞技术股份有限公司 分类模型的训练方法、装置、电子设备及存储介质
CN112784749A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 目标模型的训练方法、目标对象的识别方法、装置及介质
WO2021147938A1 (en) * 2020-01-22 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for image processing
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN115858846A (zh) * 2023-02-16 2023-03-28 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN109447146A (zh) * 2018-10-24 2019-03-08 厦门美图之家科技有限公司 分类优化方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN109447146A (zh) * 2018-10-24 2019-03-08 厦门美图之家科技有限公司 分类优化方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAIBO JIN等: "Deep Person Re-Identification with Improved Embedding and Efficient Training", 《HTTPS://ARXIV.ORG/ABS/1705.03332》 *
YANDONG WEN等: "A Discriminative Feature Learning Approach for Deep Face Recognition", 《ECCV 2016》 *
YANG FU等: "Horizontal Pyramid Matching for Person Re-identification", 《HTTPS://ARXIV.ORG/ABS/1804.05275》 *
倪旭: "基于标签平滑正则化的行人重识别研究", 《电脑知识与技术》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
WO2021147938A1 (en) * 2020-01-22 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for image processing
CN112633407B (zh) * 2020-12-31 2023-10-13 深圳云天励飞技术股份有限公司 分类模型的训练方法、装置、电子设备及存储介质
CN112633407A (zh) * 2020-12-31 2021-04-09 深圳云天励飞技术股份有限公司 分类模型的训练方法、装置、电子设备及存储介质
CN112784749B (zh) * 2021-01-22 2023-11-10 北京百度网讯科技有限公司 目标模型的训练方法、目标对象的识别方法、装置及介质
CN112784749A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 目标模型的训练方法、目标对象的识别方法、装置及介质
CN115858846A (zh) * 2023-02-16 2023-03-28 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统
CN115858846B (zh) * 2023-02-16 2023-04-21 云南派动科技有限公司 一种基于深度学习的滑雪者图像检索方法和系统

Also Published As

Publication number Publication date
CN110321965B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110321965A (zh) 物体重识别模型的训练方法、物体重识别的方法及装置
CN110009052B (zh) 一种图像识别的方法、图像识别模型训练的方法及装置
JP7265003B2 (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN103400108B (zh) 人脸识别方法、装置和移动终端
CN109993125A (zh) 模型训练方法、人脸识别方法、装置、设备及存储介质
CN109325967A (zh) 目标跟踪方法、装置、介质以及设备
CN110162799A (zh) 模型训练方法、机器翻译方法以及相关装置和设备
CN106156807A (zh) 卷积神经网络模型的训练方法及装置
CN108419145A (zh) 一种视频摘要的生成方法和装置以及计算机可读存储介质
CN104143097B (zh) 分类函数获取方法、人脸年龄识别方法、装置和设备
CN109376781A (zh) 一种图像识别模型的训练方法、图像识别方法和相关装置
CN110738211A (zh) 一种对象检测的方法、相关装置以及设备
CN109145809A (zh) 一种记谱处理方法和装置以及计算机可读存储介质
CN110263939A (zh) 一种表示学习模型的评估方法、装置、设备及介质
CN105975833A (zh) 一种指纹解锁方法及终端
CN107493426A (zh) 一种信息采集方法、设备和计算机可读存储介质
CN107241552A (zh) 一种图像获取方法、装置、存储介质和终端
CN106959761A (zh) 一种终端拍照方法、装置及终端
CN107102878A (zh) 一种应用启动方法、移动终端以及计算机可读存储介质
CN104200249A (zh) 一种衣物自动搭配的方法,装置及系统
CN109993234A (zh) 一种无人驾驶训练数据分类方法、装置及电子设备
CN107908770A (zh) 一种照片搜索方法及移动终端
CN110516113A (zh) 一种视频分类的方法、视频分类模型训练的方法及装置
CN115588131B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN107451450A (zh) 生物识别方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant