CN109063607A - 用于重识别的损失函数确定的方法及装置 - Google Patents
用于重识别的损失函数确定的方法及装置 Download PDFInfo
- Publication number
- CN109063607A CN109063607A CN201810783980.5A CN201810783980A CN109063607A CN 109063607 A CN109063607 A CN 109063607A CN 201810783980 A CN201810783980 A CN 201810783980A CN 109063607 A CN109063607 A CN 109063607A
- Authority
- CN
- China
- Prior art keywords
- picture
- loss function
- anchor
- feature
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
提供了一种用于重识别的损失函数确定的方法及装置。该方法包括:针对图片集中的每一锚图片计算得到对应的损失函数;将所有锚图片的损失函数求和得到用于重识别的损失函数。其中计算与锚图片对应的损失函数包括:将图片集中除锚图片之外的剩余图片分为与锚图片具有相同姿态的第一类图片和与锚图片具有不同姿态的第二类图片;根据第一算法计算第一类图片中每一图片的特征并根据第二算法计算第二类图片中每一图片的特征;进一步确定与锚图片对应的损失函数。由此可见,本发明实施例在确定用于重识别的损失函数时,考虑了不同姿态的特征空间差异,能够减小由于不同姿态导致的重识别的误差,进而能够保证重识别的精度。
Description
技术领域
本发明涉及图像处理领域,更具体地涉及一种用于重识别的损失函数确定的方法及装置。
背景技术
在视频结构化的应用中,对具有相同标识(ID)的对象的重新识别(re-identification,ReID)是十分重要的。特别地,在实际应用中,同一对象可能在不同环境中以不同的姿态出现,以汽车为例,有些图像采集装置可能从前方拍摄,而有些图像采集装置可能从后方或者侧部拍摄,这会导致不同姿态特征空间的差异以及不同姿态相同特征的有限性。
在对用于重识别的网络进行训练时,一般地基于损失函数判断训练过程是否结束。由于不同姿态特征空间的差异,损失函数会有较大的误差,进而会导致重识别的精度。
发明内容
本发明提供了一种用于重识别的损失函数确定的方法及装置,能够减小由于不同姿态导致的重识别的误差,进而能够保证重识别的精度。
根据本发明的一方面,提供了一种用于重识别的损失函数确定的方法,所述方法包括:
针对图片集中的每一锚图片,计算得到对应的损失函数;
将所有锚图片的损失函数求和,得到用于重识别的损失函数;
其中,通过如下方式计算与所述锚图片对应的损失函数:
将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态;
根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征;
根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
在本发明的一种实现方式中,所述根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数,包括:
计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,所述第一损失函数表示为所述剩余图片中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值,所述第二损失函数表示为所述剩余图片中与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值;
根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数。
在本发明的一种实现方式中,所述根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征,包括:
使用第一特征提取算法计算所述第一类图片中每一图片的初始特征,并使用第二特征提取算法计算所述第二类图片中每一图片的初始特征;
使用对应的迁移网络将每一个初始特征转换到相同的特征空间,得到所述第一类图片和所述第二类图片中每一图片的特征。
在本发明的一种实现方式中,所述对应的迁移网络为全连接层。
在本发明的一种实现方式中,所述第一类图片中任一图片i的特征表示为:f(i)=transfer0(feature0(i));
所述第二类图片中任一图片j的特征表示为:f(j)=transfer1(feature1(j));
其中,feature0表示所述第一特征提取算法,transfer0表示与所述第一特征提取算法对应的迁移网络,feature1表示所述第二特征提取算法,transfer1表示与所述第二特征提取算法对应的迁移网络。
在本发明的一种实现方式中,所述计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,包括:
计算得到所述第一损失函数为pos(A)=maxk1∈S1∪D1dist(f(A),f(k1)),得到第二损失函数为neg(A)=mink2∈S2∪D2dist(f(A),f(k2));
其中,A表示所述锚图片,S1表示所述第一类图片中与所述锚图片具有相同ID的图片的集合,S2表示所述第一类图片中与所述锚图片具有不同ID的图片的集合,D1表示所述第二类图片中与所述锚图片具有相同ID的图片的集合,D2表示所述第二类图片中与所述锚图片具有不同ID的图片的集合,dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离,dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
在本发明的一种实现方式中,根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数,包括:
确定与所述锚图片A对应的损失函数为所述第一损失函数与所述第二损失函数的差。
根据本发明的另一方面,提供了一种用于重识别的损失函数确定的装置,所述装置用于实现前述方面或任一实现方式所述方法的步骤,所述装置包括:
计算模块,用于针对图片集中的每一锚图片,计算得到对应的损失函数;
确定模块,用于将所有锚图片的损失函数求和,得到用于重识别的损失函数;
其中,所述计算模块包括:
分类单元,用于将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态;
第一计算单元,用于根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征;
第二计算单元,用于根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
根据本发明的又一方面,提供了一种用于重识别的损失函数确定的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述方面或任一实现方式所述的用于重识别的损失函数确定的方法的步骤。
根据本发明的再一方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述方面或任一实现方式所述的用于重识别的损失函数确定的方法的步骤。
由此可见,本发明实施例在确定用于重识别的损失函数时,考虑了不同姿态的特征空间差异,通过转换到相同特征空间的不同姿态图片的相同特征来确定损失函数,能够减小由于不同姿态导致的重识别的误差,进而能够保证重识别的精度。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图;
图2是本发明实施例的用于重识别的损失函数确定的方法的一个示意性流程图;
图3是本发明实施例的通过迁移网络得到相同特征空间的特征的一个示意图;
图4是本发明实施例的用于重识别的损失函数确定的装置的一个示意性框图;
图5是是本发明实施例的用于重识别的损失函数确定的装置的另一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备,图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114,这些组件通过总线系统112和/或其它形式互连。应当注意,图1所示的电子设备10的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit,CPU)1021和图形处理单元(Graphics Processing Unit,GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如现场可编程门阵列(Field-Programmable GateArray,FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine,ARM)等,并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory,ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令,处理器102可以运行所述程序指令,以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意,图1所示的电子设备10的组件和结构只是示例性的,尽管图1示出的电子设备10包括多个不同的装置,但是根据需要,其中的一些装置可以不是必须的,其中的一些装置的数量可以更多等等,本发明对此不限定。
重识别(ReID)也称为再识别,可以应用于安防、刑侦等相关领域,主要用于在一组图像中找到和目标最像的一张图像。其中的目标可以是各种对象,诸如行人、汽车等。同一个对象在不同的环境中可能会以不同的姿态出现,针对具有不同姿态的图像进行特征提取会存在较大的差异。
用于重识别的神经网络可以在训练集的基础上通过训练得到,具体地在训练过程中可以构建损失函数,并基于损失函数判断训练过程是否结束。可见,损失函数与用于重识别的神经网络的性能(诸如精度等)有直接的关系。由于损失函数是基于所提取的特征所构建的,因此可以理解,由于姿态不同所在成的特征差异会对损失函数,进而对网络性能,产生影响。
本发明实施例提供了一种用于重识别的损失函数的确定方法,其示意性流程图可以如图2所示。图2所示的方法可以由图1所示的电子设备10执行,具体地由处理器102执行。图2所示的方法可以包括:
S10,针对图片集中的每一锚图片,计算得到对应的损失函数。具体地可以通过如下方式计算与所述锚图片对应的损失函数:
S110,将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态。
S120,根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征。
S130,根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
S20,将所有锚图片的损失函数求和,得到用于重识别的损失函数。
本发明实施例中,图片集即训练集,在针对某训练集计算用于重识别的损失函数时,可以首先选取该训练集中的任一图片作为锚图片(anchor),进而该训练集中除锚图片之外的剩余图片可以按照姿态被分为第一类图片和第二类图片(或者也可以分别被称为第一图片集和第二图片集),其中,第一类图片中的任一图片均与锚图片具有相同姿态,第二类图片中的任一图片均与锚图片具有不同姿态。
这样,对任一锚图片,都存在与其对应的第一类图片和第二类图片。不失一般性,假设针对第一锚图片A1,与其对应的第一类图片和第二类图片分别表示为J11和J12;针对第二锚图片A2,与其对应的第一类图片和第二类图片分别表示为J21和J22。可理解,若A1与A2具有相同的姿态,则J11与J21不同(J11包括A2,而J21包括A1),J12与J22相同。若A1与A2具有不同的姿态,则J11与J21不同,且J12与J22不同。
以下仅以一个锚图片为例进行阐述S10,为方便描述,将该锚图片表示为A。假设锚图片A具有某种姿态,可以根据其姿态选取合适的特征提取算法,假设该特征提取算法可以表示为feature0,相应地,锚图片A的初始特征可以为feature0(A),或者简单表示为f0(A)。
一般地,训练集中含有大量的图片,S110中可以将剩余图片分为与A具有相同姿态的第一类图片以及与A具有不同姿态的第二类图片。
示例性地,第一类图片(表示为S)可以包括与A具有相同ID的第一部分图片(表示为S1)和与A具有不同ID的第二部分图片(表示为S2)。第二类图片(表示为D)可以包括与A具有相同ID的第三部分图片(表示为D1)和与A具有不同ID的第四部分图片(表示为D2)。其中,与A具有相同ID的图片和A是同一对象的图片,例如均为人脸a的图片。与A具有不同ID的图片和A是不同对象的图片,例如A为人脸a的图片,与A具有不同ID的图片是人脸b的图片。也就是说,S1和D1是与A具有相同ID的图片的集合,S2和D2是与A具有不同ID的图片的集合。
本发明实施例中,S120可以包括:使用第一特征提取算法计算所述第一类图片中每一图片的初始特征,并使用第二特征提取算法计算所述第二类图片中每一图片的初始特征;使用对应的迁移网络将每一个初始特征转换到相同的特征空间,得到所述第一类图片和所述第二类图片中每一图片的特征。
具体地,可以根据图片的姿态选取合适的特征提取算法。假设得到第一类图片中的图片的初始特征所使用的特征提取算法为第一特征提取算法,而得到第二类图片中的图片的初始特征所使用的特征提取算法为第二特征提取算法。且第二特征提取算法不同于第一特征提取算法。由于第一类图片中的对象与A中的对象具有相同的姿态,而根据A的姿态所确定的特征提取算法表示为feature0,因此第一特征提取算法也可以为feature0。为了区分,第二特征提取算法可以表示为feature1。
因此针对第一类图片所使用的特征提取算法可以为feature0,所提取的初始特征可以表示为feature0(*),或者简单表示为f0(*)。针对第二类图片所使用的特征提取算法可以表示为feature1,所提取的初始特征可以表示为feature1(*),或者简单表示为f1(*)。
本发明实施例中,所提取的初始特征可以为高维向量,如256维特征向量;或者所提取的初始特征也可以是其它维度的向量等,本发明对此不限定。
为了将使用不同的特征提取算法得到的初始特征转换到相同的特征空间,可以使用与特征提取算法对应的迁移网络来实现。示例性地,可以将与特征提取算法feature0对应的迁移网络表示为transfer0,将与特征提取算法feature1对应的迁移网络表示为transfer1。
其中,可以根据transfer0(feature0(*))=transfer1(feature1(*))来分别确定transfer0和transfer1。可选地,作为一种实现方式,transfer0和transfer1可以分别为全连接层。示例性地,通过迁移网络得到相同特征空间的特征的过程可以如图3所示。图3中,s表示第一类图片S中的任一图片,d表示第二类图片D中的任一图片。
可见,S120中可以通过迁移网络将不同姿态的特征经过迁移转换到相同的特征空间,经过这样的特征迁移,特征空间中包含的是不同姿态图片的相同特征。由于该相同特征来源于各姿态独有的特征空间,因此精度更高。
这样,在S120中可以得到第一类图片和第二类图片中的每一图片的特征,即能够得到剩余图片中每一图片的特征。具体地,第一类图片中任一图片i的特征表示为:f(i)=transfer0(feature0(i))。第二类图片中任一图片j的特征表示为:f(j)=transfer1(feature1(j))。也就是说,第一算法可以包括第一特征提取算法以及与之对应的迁移网络,可以表示为transfer0(feature0(*))。第二算法可以包括第二特征提取算法以及与之对应的迁移网络,可以表示为transfer1(feature1(*))。
来自不同姿态的图片进行特征迁移之后,已经在某种程度上消除了由于姿态不同所产生的特征空间的偏差,因此在此之后,可以无视姿态进行特征比较。
如上所述,剩余图片包括与锚图片A具有相同ID的S1和D1的集合,以及与锚图片A具有不同ID的S2和D2的集合。
示例性地,S130可以包括:计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,所述第一损失函数表示为所述剩余图片中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值,所述第二损失函数表示为所述剩余图片中与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值;根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数。
具体地,可以得到第一损失函数为:
pos(A)=maxk1∈S1∪D1dist(f(A),f(k1)),
得到第二损失函数为:
neg(A)=mink2∈S2∪D2dist(f(A),f(k2))。
其中,dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离,dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
也就是说,第一损失函数表示S1与D1的集合中的图片的特征与A的特征之间的距离的最大值。第二损失函数表示S2与D2的集合中的图片的特征与A的特征之间的距离的最小值。
f(A)、f(k1)、f(k2)通过S120的计算方式得到,具体地:
f(A)=transfer0(feature0(A)),
若k1属于S1,则f(k1)=transfer0(feature0(k1)),若k1属于D1,则f(k1)=transfer1(feature1(k1))。若k2属于S2,则f(k2)=transfer0(feature0(k2)),若k2属于D2,则f(k2)=transfer1(feature1(k2))。
进一步地,在S130中,可以确定与锚图片A对应的损失函数为所述第一损失函数与所述第二损失函数的差。可以表示为:
loss(A)=pos(A)-neg(A)。
参照S110至S130可以得到任一锚图片所对应的损失函数,例如可以将训练集中的图片依次作为锚图片从而得到每一锚图片所对应的损失函数,进而在S20中可以通过求和得到用于重识别的损失函数为:
应理解,本发明实施例所述的距离可以是两个特征之间的几何距离、欧式距离等等,也可以通过其他的方式计算两个特征之间的距离,本发明对此不限定。
由此可见,本发明实施例在确定用于重识别的损失函数时,考虑了不同姿态的特征空间差异,通过转换到相同特征空间的不同姿态图片的相同特征来确定损失函数,能够减小由于不同姿态导致的重识别的误差,进而能够保证重识别的精度。
图4是本发明实施例的用于重识别的损失函数确定的装置的一个示意性框图。图4所示的装置40可以包括计算模块401和确定模块402。其中计算模块401包括分类单元4011、第一计算单元4012和第二计算单元4013。
计算模块401,用于针对图片集中的每一锚图片,计算得到对应的损失函数。
确定模块402,用于将所有锚图片的损失函数求和,得到用于重识别的损失函数。
其中,计算模块401包括:
分类单元4011,用于将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态;
第一计算单元4012,用于根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征;
第二计算单元4013,用于根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
示例性地,第一计算单元4012可以包括:第一计算子单元和第二计算子单元。其中,第一计算子单元用于使用第一特征提取算法计算所述第一类图片中每一图片的初始特征,并使用第二特征提取算法计算所述第二类图片中每一图片的初始特征。第二计算子单元用于使用对应的迁移网络将每一个初始特征转换到相同的特征空间,得到所述第一类图片和所述第二类图片中每一图片的特征。
其中,所述对应的迁移网络可以为全连接层。
其中,所述第一类图片中任一图片i的特征可以表示为:f(i)=transfer0(feature0(i));所述第二类图片中任一图片j的特征表示为:f(j)=transfer1(feature1(j))。其中,feature0表示所述第一特征提取算法,transfer0表示与所述第一特征提取算法对应的迁移网络,feature1表示所述第二特征提取算法,transfer1表示与所述第二特征提取算法对应的迁移网络。
示例性地,第二计算单元4013可以具体用于:计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,所述第一损失函数表示为所述剩余图片中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值,所述第二损失函数表示为所述剩余图片中与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值;根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数。
具体地,第二计算单元4013可以具体用于:计算得到所述第一损失函数为pos(A)=maxk1∈S1∪D1dist(f(A),f(k1)),得到第二损失函数为neg(A)=mink2∈S2∪D2dist(f(A),f(k2))。其中,A表示所述锚图片,S1表示所述第一类图片中与所述锚图片具有相同ID的图片的集合,S2表示所述第一类图片中与所述锚图片具有不同ID的图片的集合,D1表示所述第二类图片中与所述锚图片具有相同ID的图片的集合,D2表示所述第二类图片中与所述锚图片具有不同ID的图片的集合,dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离,dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
示例性地,第二计算单元4013可以具体用于:确定与所述锚图片A对应的损失函数为所述第一损失函数与所述第二损失函数的差。可以表示为:
loss(A)=pos(A)-neg(A)。
图4所示的装置40能够实现前述图2或图3所示的用于重识别的损失函数确定的方法,为避免重复,这里不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
另外,本发明实施例还提供了另一种用于重识别的损失函数确定的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,处理器执行所述程序时实现前述图2或图3所示的用于重识别的损失函数确定的方法的步骤。
如图5所示,该装置50可以包括存储器510和处理器520。存储器510存储用于实现根据本发明实施例的用于重识别的损失函数确定的方法中的相应步骤的计算机程序代码。处理器520用于运行存储器510中存储的计算机程序代码,以执行根据本发明实施例的用于重识别的损失函数确定的方法的相应步骤,并且用于实现根据本发明实施例的图4所述的装置中的计算模块401和确定模块402。
示例性地,在所述计算机程序代码被处理器520运行时执行以下步骤:针对每一锚图片,计算得到对应的损失函数;将所有锚图片的损失函数求和,得到用于重识别的损失函数。
另外,本发明实施例还提供了一种电子设备,该电子设备可以包括图4所示的装置40。该电子设备可以实现前述图2或图3所示的用于重识别的损失函数确定的方法。
另外,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序。当所述计算机程序由处理器执行时,可以实现前述图2或图3所示的用于重识别的损失函数确定的方法的步骤。例如,该计算机存储介质为计算机可读存储介质。
计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合,例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码,另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。
由此可见,本发明实施例在确定用于重识别的损失函数时,考虑了不同姿态的特征空间差异,通过转换到相同特征空间的不同姿态图片的相同特征来确定损失函数,能够减小由于不同姿态导致的重识别的误差,进而能够保证重识别的精度。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing,DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种用于重识别的损失函数确定的方法,其特征在于,所述方法包括:
针对图片集中的每一锚图片,计算得到对应的损失函数;
将所有锚图片的损失函数求和,得到用于重识别的损失函数;
其中,通过如下方式计算与所述锚图片对应的损失函数:
将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态;
根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征;
根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数,包括:
计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,所述第一损失函数表示为所述剩余图片中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值,所述第二损失函数表示为所述剩余图片中与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值;
根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数。
3.根据权利要求1或2所述的方法,其特征在于,所述根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征,包括:
使用第一特征提取算法计算所述第一类图片中每一图片的初始特征,并使用第二特征提取算法计算所述第二类图片中每一图片的初始特征;
使用对应的迁移网络将每一个初始特征转换到相同的特征空间,得到所述第一类图片和所述第二类图片中每一图片的特征。
4.根据权利要求3所述的方法,其特征在于,所述对应的迁移网络为全连接层。
5.根据权利要求3所述的方法,其特征在于,
所述第一类图片中任一图片i的特征表示为:f(i)=transfer0(feature0(i));
所述第二类图片中任一图片j的特征表示为:f(j)=transfer1(feature1(j));
其中,feature0表示所述第一特征提取算法,transfer0表示与所述第一特征提取算法对应的迁移网络,feature1表示所述第二特征提取算法,transfer1表示与所述第二特征提取算法对应的迁移网络。
6.根据权利要求2所述的方法,其特征在于,所述计算所述剩余图片中与所述锚图片具有相同ID的图片的第一损失函数,并计算所述剩余图片中与所述锚图片具有不同ID的图片的第二损失函数,包括:
计算得到所述第一损失函数为pos(A)=maxk1∈S1∪D1dist(f(A),f(k1)),得到第二损失函数为neg(A)=mink2∈S2∪D2dist(f(A),f(k2));
其中,A表示所述锚图片,S1表示所述第一类图片中与所述锚图片具有相同ID的图片的集合,S2表示所述第一类图片中与所述锚图片具有不同ID的图片的集合,D1表示所述第二类图片中与所述锚图片具有相同ID的图片的集合,D2表示所述第二类图片中与所述锚图片具有不同ID的图片的集合,dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离,dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
7.根据权利要求2或6所述的方法,其特征在于,根据所述第一损失函数和所述第二损失函数确定与所述锚图片对应的损失函数,包括:
确定与所述锚图片A对应的损失函数为所述第一损失函数与所述第二损失函数的差。
8.一种用于重识别的损失函数确定的装置,其特征在于,所述装置用于实现权利要求1至7中任一项所述方法的步骤,所述装置包括:
计算模块,用于针对图片集中的每一锚图片,计算得到对应的损失函数;
确定模块,用于将所有锚图片的损失函数求和,得到用于重识别的损失函数;
其中,所述计算模块包括:
分类单元,用于将所述图片集中除所述锚图片之外的剩余图片分为第一类图片和第二类图片,所述第一类图片中的对象与所述锚图片中的对象具有相同的姿态,所述第二类图片中的对象与所述锚图片中的对象具有不同的姿态;
第一计算单元,用于根据第一算法计算所述第一类图片中每一图片的特征,并根据第二算法计算所述第二类图片中每一图片的特征;
第二计算单元,用于根据所述剩余图片中每一图片的特征,确定与所述锚图片对应的损失函数。
9.一种用于重识别的损失函数确定的装置,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810783980.5A CN109063607B (zh) | 2018-07-17 | 2018-07-17 | 用于重识别的损失函数确定的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810783980.5A CN109063607B (zh) | 2018-07-17 | 2018-07-17 | 用于重识别的损失函数确定的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109063607A true CN109063607A (zh) | 2018-12-21 |
CN109063607B CN109063607B (zh) | 2022-11-25 |
Family
ID=64816874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810783980.5A Active CN109063607B (zh) | 2018-07-17 | 2018-07-17 | 用于重识别的损失函数确定的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063607B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948561A (zh) * | 2019-03-25 | 2019-06-28 | 广东石油化工学院 | 基于迁移网络的无监督图像视频行人重识别的方法及系统 |
CN110751022A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技(深圳)有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514443A (zh) * | 2013-10-15 | 2014-01-15 | 中国矿业大学 | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 |
CN104268583A (zh) * | 2014-09-16 | 2015-01-07 | 上海交通大学 | 基于颜色区域特征的行人重识别方法及系统 |
US20160379092A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | System for building a map and subsequent localization |
CN107122707A (zh) * | 2017-03-17 | 2017-09-01 | 山东大学 | 基于外貌特征紧凑表示的视频行人再识别方法及系统 |
CN107145852A (zh) * | 2017-04-28 | 2017-09-08 | 深圳市唯特视科技有限公司 | 一种基于同源余弦损失函数的人物识别方法 |
CN107704838A (zh) * | 2017-10-19 | 2018-02-16 | 北京旷视科技有限公司 | 目标对象的属性识别方法及装置 |
CN107832672A (zh) * | 2017-10-12 | 2018-03-23 | 北京航空航天大学 | 一种利用姿态信息设计多损失函数的行人重识别方法 |
CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
CN108256439A (zh) * | 2017-12-26 | 2018-07-06 | 北京大学 | 一种基于循环生成式对抗网络的行人图像生成方法及系统 |
CN108280481A (zh) * | 2018-01-26 | 2018-07-13 | 深圳市唯特视科技有限公司 | 一种基于残差网络的联合目标分类和三维姿态估计方法 |
-
2018
- 2018-07-17 CN CN201810783980.5A patent/CN109063607B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514443A (zh) * | 2013-10-15 | 2014-01-15 | 中国矿业大学 | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 |
CN104268583A (zh) * | 2014-09-16 | 2015-01-07 | 上海交通大学 | 基于颜色区域特征的行人重识别方法及系统 |
US20160379092A1 (en) * | 2015-06-26 | 2016-12-29 | Intel Corporation | System for building a map and subsequent localization |
CN107122707A (zh) * | 2017-03-17 | 2017-09-01 | 山东大学 | 基于外貌特征紧凑表示的视频行人再识别方法及系统 |
CN107145852A (zh) * | 2017-04-28 | 2017-09-08 | 深圳市唯特视科技有限公司 | 一种基于同源余弦损失函数的人物识别方法 |
CN107832672A (zh) * | 2017-10-12 | 2018-03-23 | 北京航空航天大学 | 一种利用姿态信息设计多损失函数的行人重识别方法 |
CN107704838A (zh) * | 2017-10-19 | 2018-02-16 | 北京旷视科技有限公司 | 目标对象的属性识别方法及装置 |
CN108108754A (zh) * | 2017-12-15 | 2018-06-01 | 北京迈格威科技有限公司 | 重识别网络的训练、重识别方法、装置和系统 |
CN108256439A (zh) * | 2017-12-26 | 2018-07-06 | 北京大学 | 一种基于循环生成式对抗网络的行人图像生成方法及系统 |
CN108280481A (zh) * | 2018-01-26 | 2018-07-13 | 深圳市唯特视科技有限公司 | 一种基于残差网络的联合目标分类和三维姿态估计方法 |
Non-Patent Citations (1)
Title |
---|
刘映希: "人脸图像特征提取和姿态重构方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948561A (zh) * | 2019-03-25 | 2019-06-28 | 广东石油化工学院 | 基于迁移网络的无监督图像视频行人重识别的方法及系统 |
CN110751022A (zh) * | 2019-09-03 | 2020-02-04 | 平安科技(深圳)有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
WO2021043073A1 (zh) * | 2019-09-03 | 2021-03-11 | 平安科技(深圳)有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
CN110751022B (zh) * | 2019-09-03 | 2023-08-22 | 平安科技(深圳)有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109063607B (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875522B (zh) | 人脸聚类方法、装置和系统及存储介质 | |
CN107169454B (zh) | 一种人脸图像年龄估算方法、装置及其终端设备 | |
CN108595585B (zh) | 样本数据分类方法、模型训练方法、电子设备及存储介质 | |
CA2789887C (en) | Face feature vector construction | |
CN108875533A (zh) | 人脸识别的方法、装置、系统及计算机存储介质 | |
CN109146830A (zh) | 用于生成训练数据的方法、装置、系统和存储介质 | |
CN110909611A (zh) | 一种关注区域检测方法、装置、可读存储介质及终端设备 | |
CN108875932A (zh) | 图像识别方法、装置和系统及存储介质 | |
CN108875493A (zh) | 人脸识别中相似度阈值的确定方法以及确定装置 | |
CN110222607B (zh) | 人脸关键点检测的方法、装置及系统 | |
CN108875535A (zh) | 图像检测方法、装置和系统及存储介质 | |
CN108875509A (zh) | 活体检测方法、装置和系统及存储介质 | |
CN108876893A (zh) | 三维人脸重建的方法、装置、系统及计算机存储介质 | |
CN111209774A (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
CN110428394A (zh) | 用于目标移动侦测的方法、装置及计算机存储介质 | |
CN113592390A (zh) | 一种基于多传感器融合的仓储数字孪生的方法与系统 | |
CN109063607A (zh) | 用于重识别的损失函数确定的方法及装置 | |
CN108875519A (zh) | 对象检测方法、装置和系统及存储介质 | |
CN108389053B (zh) | 支付方法、装置、电子设备及可读存储介质 | |
CN110188602A (zh) | 视频中的人脸识别方法及装置 | |
CN113869496A (zh) | 一种神经网络的获取方法、数据处理方法以及相关设备 | |
CN110490058A (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
CN108875764A (zh) | 模型训练方法、装置、系统和计算机可读介质 | |
CN109214271A (zh) | 用于重识别的损失函数确定的方法及装置 | |
CN112734772B (zh) | 图像处理方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |