CN114092958A - 目标重识别的方法、系统、电子设备和可读存储介质 - Google Patents
目标重识别的方法、系统、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114092958A CN114092958A CN202010762607.9A CN202010762607A CN114092958A CN 114092958 A CN114092958 A CN 114092958A CN 202010762607 A CN202010762607 A CN 202010762607A CN 114092958 A CN114092958 A CN 114092958A
- Authority
- CN
- China
- Prior art keywords
- target
- identification
- image
- frame
- identification frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种目标重识别方法,该方法包括:对原图像进行目标识别;根据识别后的图像,获得目标图像,其中,目标图像为所述识别后的图像中目标的识别框标示的图像;当目标图像为包括非完整目标的图像时,根据目标的识别框确定目标的重识别信息;当目标图像为包括完整目标的图像时,根据目标的识别框或目标的特征确定目标的重识别信息。上述方法可以有效地提高目标重识别的正确率,并有效地减少资源的浪费。
Description
技术领域
本申请涉及人工智能(artificial intelligence,AI)领域,尤其涉及一种目标重识别的方法、系统、电子设备和可读存储介质。
背景技术
随着人工智能的兴起,平安城市、园区安防相继成为技术人员研究的热点。其中,监控作为一种重要的技术手段,对提升城市及园区的运营效率、服务水平和安全保障等具有重要意义。对于某个需要被监控的场景,通常会部署一个或多个摄像头,通过对摄像头拍摄到的图像能够识别出该场景中的不同目标(例如:行人、车辆等),从而实现对该场景的监控。
但是,同一个目标在不同的摄像头拍摄的图像中展示出的特征可能存在较大差异,这将给目标的重识别带来重重困难。现有技术主要通过从不同的图像中提取更为有效的特征来提高目标重识别的精度,该方法存在可迁移性差的问题,因此如何对监控场景中的目标进行高效且准确地重识别仍是目前有待解决的问题。
发明内容
本申请提供了一种目标重识别的方法、系统、电子设备和可读存储介质,通过该方法能够对监控场景中的目标实现更高效、准确地重识别。
第一方面,本申请提供了一种目标重识别的方法,该方法包括以下步骤:
对原图像进行目标识别;
根据识别后的图像,获得目标图像,其中,目标图像为所述识别后的图像中目标的识别框标示的图像;
当所述目标图像为包括非完整目标的图像时,根据所述目标的识别框确定所述目标的重识别信息。
上述目标重识别方法中,首先对原图像进行目标识别,再根据识别后的图像获得目标图像,当确定目标图像为包括非完整目标的图像时,可以根据目标图像对应的目标的识别框确定目标的重识别信息。可以理解的,由于非完整目标的图像中包括的目标的特征不足以准确地表征该目标,因此对于非完整目标的图像来说,利用目标的特征得到的目标的重识别信息的正确率较低。而本申请提供的方法是通过目标的识别框对非完整目标的图像进行目标重识别,因此,利用上述方法能够有效地提高非完整目标的图像的重识别正确率。
在一些可能的设计中,当所述目标图像为包括非完整目标的图像时,根据目标的识别框确定目标的重识别信息,包括:当目标图像为包括非完整目标的图像时,将目标的识别框与第一信息库中的目标的识别框进行比较,确定目标的重识别信息,其中,目标的重识别信息包括目标的身份标识ID。
在一些可能的设计中,第一信息库包括第一识别框集合和第二识别框集合,第一识别框集合包括一个或多个完整目标的识别框,第二识别框集合包括一个或多个非完整目标的识别框。因此,将所述目标的识别框与第一信息库中的目标的识别框进行比较,确定目标的重识别信息,包括:将目标的识别框与所述第一信息库中的第一识别框集合和/或第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。
可以看出,第一信息库中包括第一识别框集合和第二识别框集合,第一识别框集合中的识别框均为完整目标的识别框,第二识别框集合中的识别框均为非完整目标的识别框。通过这样设置第一信息库,可以使得在将目标图像对应的目标的识别框在与第一信息库中的目标的识别框进行比较时,能够分别和第一信息库中的所有完整目标的识别框(第一识别框集合中的目标的识别框)、所有非完整目标的识别框(第二识别框集合中的目标的识别框)分别进行匹配,从而提高目标的识别框与第一信息库中的目标的识别框匹配的效率,进一步提高目标重识别的效率。例如,当目标图像为包括完整目标的图像时,目标的识别框为完整目标的识别框时,这时可以只需将目标的识别框与第一识别框集合中的识别框进行匹配,从而大大缩短了根据目标的识别框确定目标的重识别信息的时间。
在一些可能的设计中,当匹配成功后,上述方法还包括:将目标的识别框存储至匹配成功的目标的识别框所在的识别框集合中。
可以看出,当目标的识别框与第一信息库中的某一个目标的识别框匹配成功后,通过将目标的识别框存储至匹配成功的目标的识别框所在的识别框集合中,从而达到及时地更新第一信息库的目的,使得在目标的识别框与第一信息库中的目标的识别框进行匹配时,匹配的正确率更高,以使得根据目标的识别框确定目标的重识别信息的正确率更高。
在一些可能的设计中,上述方法还包括:判断目标的识别框是否满足预设条件,当目标的识别框不满足预设条件时,确定目标图像为包括非完整目标的图像,其中,预设条件包括以下条件中的一种或多种:目标的识别框的长宽比满足预设的长宽比范围,目标的识别框的尺寸满足预设的尺寸范围,目标的识别框与原图像的边缘的距离大于预设距离,目标的识别框的形状满足预设的形状约束。
可以看出,目标的识别框的形状可以是多种多样的,例如,目标的识别框的形状可以是矩形、椭圆形、还可以是与该目标本身的形状相匹配的形状(人形、车形)等等,因此预设的形状约束可以具体包括矩形、椭圆形、人形、车形等。可以理解的,不同预设形状对应的预设长宽比、预设尺寸不同,因此本申请中只要目标的识别框不满足预设条件,目标图像便是包括非完整目标的图像,也就是说,本申请提供的判断目标图像是否为包括完整目标的图像的预设条件具有适应性,能够适用于多种场景的目标重识别。
在一些可能的设计中,上述方法还包括:当目标的识别框满足预设条件时,确定目标图像为包括完整目标的图像;当目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标的重识别信息,其中,目标的特征是对目标图像进行特征提取得到的。
在一些可能的设计中,当所述目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标的重识别信息,包括:当目标图像为包括完整目标的图像时,比较目标的特征与第二信息库中的目标的特征,确定目标的重识别信息;或,当目标图像为包括完整目标的图像时,比较目标的识别框与第一信息库中的第一识别框集合中的识别框,确定目标的重识别信息。
可以看出,当目标图像为包括完整目标的图像时,可以通过将目标的特征与第二信息库中的目标的特征进行比较来确定目标的重识别信息,也可以通过将目标的识别框与第一信息库中的第一识别框集合中的识别框进行比较来确定目标的重识别信息。因此,利用上述方法可以从多个方面确定目标的重识别信息,从而提高了完整目标的图像的目标重识别的正确率。
在一些可能的设计中,第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应上述目标ID指示的目标的特征。
可以看出,将每个目标的特征按照不同的摄像头进行存储,在根据目标的特征确定目标的重识别信息时,能够通过目标的特征与第二信息库中与目标图像的摄像头ID不同摄像头ID对应的目标的特征进行比较,从而确定该目标是否出现在所述不同摄像头ID指示的摄像头下,进一步确定目标的重识别信息。当确定该目标并未出现在所述不同摄像头ID指示的摄像头下,还可以通过将目标的特征与第二信息库中与目标图像的摄像头ID相同摄像头ID对应的目标的特征进行比较,从而确定该目标是否出现在所述相同摄像头ID指示的摄像头下,进一步确定目标的重识别信息。
在一些可能的设计中,当目标图像为包括完整目标的图像时,比较目标的特征与第二信息库中的目标的特征,确定目标的重识别信息,包括:获取拍摄目标图像的摄像头ID;当目标图像为包括完整目标的图像时,根据摄像头ID,在第二信息库中查找与摄像头ID不同的摄像头ID对应的目标的特征;将目标的特征和第二信息库中与目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,获得第一比较结果;当第一比较结果满足第一比较条件时,确定目标的重识别信息。
在一些可能的设计中,上述方法还包括:当比较结果不满足预设的第一比较条件时,将目标的特征和第二信息库中与目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,获得第二比较结果;当第二比较结果满足第二比较条件时,确定目标的重识别信息。
可以看出,当目标的特征和第二信息库中与目标图像的摄像头ID不同的摄像头ID对应的目标的特征匹配失败时,说明目标并未出现在不同摄像头ID指示的摄像头下,这时还可以进一步将目标的特征和第二信息库中与目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而确定目标是否出现在相同摄像头ID指示的摄像头下,并确定目标的重识别信息。
在一些可能的设计中,第一比较条件和第二比较条件不同,上述方法还包括:根据第一比较结果更新第一比较条件,和/或,根据第二比较结果更新第二比较条件。
可以看出,通过更新第一比较条件和第二比较条件,使得后续根据目标的特征确定目标的重识别信息时得到的结果更为准确。值得注意的是,无论第一比较结果是否满足第一比较条件都需要根据第一比较结果更新第一比较条件,无论第二比较结果是否满足第二比较条件都需要根据第二比较结果更新第二比较条件。
第二方面,本申请提供了一种目标重识别系统,该系统包括输入单元和计算单元,其中,
输入单元用于对原图像进行目标识别;
输入单元还用于根据识别后的图像,获得目标图像,目标图像为识别后的图像中目标的识别框标示的图像;
计算单元用于当目标图像为包括非完整目标的图像时,根据目标的识别框确定目标的重识别信息。
在一些可能的设计中,计算单元具体用于:当目标图像为包括非完整目标的图像时,将目标的识别框与第一信息库中的目标的识别框进行比较,确定目标的重识别信息,其中,目标的重识别信息包括目标的身份标识ID。
在一些可能的设计中,第一信息库包括第一识别框集合和第二识别框集合,第一识别框集合包括一个或多个完整目标的识别框,第二识别框集合包括一个或多个非完整目标的识别框。计算单元具体用于:将目标的识别框与第一信息库中的第一识别框集合和/或第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。
在一些可能的设计中,计算单元还用于:当匹配成功后,将目标的识别框存储至匹配成功的目标的识别框所在的识别框集合中。
在一些可能的设计中,计算单元还用于:判断目标的识别框是否满足预设条件,当目标的识别框不满足预设条件时,确定目标图像为包括非完整目标的图像,其中,预设条件包括以下条件中的一种或多种:目标的识别框的长宽比满足预设的长宽比范围,目标的识别框的尺寸满足预设的尺寸范围,目标的识别框与原图像的边缘的距离大于预设距离,目标的识别框的形状满足预设的形状约束。
在一些可能的设计中,计算单元还用于:当目标的识别框满足预设条件时,确定目标图像为包括完整目标的图像;当目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标的重识别信息,其中,目标的特征是对目标图像进行特征提取得到的。
在一些可能的设计中,计算单元具体用于:当目标图像为包括完整目标的图像时,比较目标的特征与第二信息库中的目标的特征,确定目标的重识别信息;或,当目标图像为包括完整目标的图像时,比较目标的识别框与第一信息库中的第一识别框集合中的识别框,确定目标的重识别信息。
在一些可能的设计中,第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应上述目标ID指示的目标的特征。
在一些可能的设计中,计算单元具体用于:获取拍摄目标图像的摄像头ID;当目标图像为包括完整目标的图像时,根据摄像头ID,在第二信息库中查找与摄像头ID不同的摄像头ID对应的目标的特征;将目标的特征和第二信息库中与目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,获得第一比较结果;当第一比较结果满足第一比较条件时,确定目标的重识别信息。
在一些可能的设计中,计算单元还用于:当比较结果不满足预设的第一比较条件时,将目标的特征和第二信息库中与目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,获得第二比较结果;当第二比较结果满足第二比较条件时,确定目标的重识别信息。
在一些可能的设计中,第一比较条件和第二比较条件不同,计算单元还用于:根据第一比较结果更新第一比较条件,和/或,根据第二比较结果更新第二比较条件。
第三方面,本申请提供了一种计算机可读存储介质,包括指令,当指令在计算设备上运行时,使得计算设备执行如第一方面所描述的部分或全部步骤。
第四方面,本申请提供了一种电子设备,包括处理器和存储器,处理器执行存储器中的代码以实现如第一方面所描述的部分或全部步骤。
第五方面,本申请提供了一种计算机程序产品,包括计算机程序,当计算机程序被计算设备读取并执行时,实现如第一方面所描述的部分或全部步骤。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍
图1是本申请提供的一种目标重识别的应用场景的示意图;
图2是本申请提供的一种获取目标图像的示意图;
图3是本申请提供的一种不同摄像头拍摄同一目标的场景示意图;
图4是本申请提供的一种系统架构示意图;
图5是本申请提供的另一种系统架构示意图;
图6是本申请提供的一种目标重识别系统的结构示意图;
图7是本申请提供的一种目标重识别的方法的流程示意图;
图8(a)是本申请提供的一种完整目标的图像;
图8(b)是本申请提供的一种非完整目标的图像;
图9是本申请提供的一种第一信息库的示意图;
图10是本申请提供的一种确定目标图像中的目标的重识别信息的流程示意图;
图11是本申请提供的一种第二信息库的示意图;
图12是本申请提供的另一种确定目标图像中的目标的重识别信息的流程示意图;
图13是本申请提供的一种另一种目标重识别系统的结构示意图。
具体实施方式
为了方便理解本申请实施例中的技术方案,首先介绍本申请实施例涉及的应用场景:目标重识别的场景,例如,行人重识别(person re-identification,ReID)、车辆重识别等。
目标重识别是一种利用计算机视觉技术判断不同图像或视频序列中是否存在相同目标的技术,例如,目标重识别能够跨多个摄像头检索某一个目标,以此实现对该目标的跟踪。具体实现中,在进行目标重识别时,需要先从摄像头采集到的原图像中提取到待识别的目标图像,再根据已有信息库确定待识别的目标图像中的目标的重识别信息,从而确定待识别的目标图像中的目标是否与已有信息库中某一个目标是同一个目标。
如图1所示,图1示出了一种行人重识别的应用场景。具体地,图1中园区内部署有5个摄像头,分别是摄像头A至摄像头E,目标行人在时刻t1从出发点出发,沿着路线前行,先后经过了摄像头A、摄像头B以及摄像头E,最后在时刻t2离开园区。在时刻t1至时刻t2这段时间内,园区内的每个摄像头都拍摄到一段时长为t2-t1的监控视频。为了确定目标行人在园区内的运动轨迹,摄像头A至摄像头E分别将各自拍摄到的监控视频发送给后端的服务器,服务器通过对获取的监控视频进行行人重识别,从而确定目标行人的运动轨迹。
服务器通过对获取的监控视频进行行人重识别,以摄像头A采集的监控视频A为例,具体过程可以是:
首先,服务器可以按照时间顺序从监控视频A中截取出k帧原图像,即原图像I1,I2,...,Ik。其中,k是自然数,k帧原图像中相邻两帧原图像之间的时间间隔可以是相等的,也可以是不相等的,此处不作具体限定。服务器获取原图像I1,I2,...,Ik之后,分别对原图像I1,I2,...,Ik进行行人检测,并利用边界框(bounding box)将原图像I1,I2,...,Ik中的所有行人框选出来,从而得到边界框B1,B2,...,Bx,其中,一个边界框框选出一个行人。然后,服务器根据边界框B1,B2,...,Bx的位置对原图像I1,I2,...,Ik进行分割,从而将每个边界框框选出的行人从原图像中提取出来,得到目标图像I1′,I2′,...,Ix′。其中,目标图像I1′,I2′,...,Ix′中均包括一个行人。例如,监控视频A中包括原图像Ii,如图2所示,原图像Ii中包括目标行人、奔跑的男孩以及骑自行车的女孩,服务器获取原图像Ii之后,首先将原图像Ii中的行人框选出来,再从原图像Ii中提取出目标图像I1′,I2′,I3′。其中,目标图像I1′为包括目标行人的图像,目标图像I2′为包括奔跑的男孩的图像,目标图像为包括骑自行车的女孩I3′的图像。
接下来,服务器分别对目标图像I1′,I2′,...,Ix′进行特征提取,从而得到目标特征s1,s2,...,sx;服务器分别将目标特征s1,s2,...,sx与当前信息库中的特征进行匹配,从而识别出目标图像I1′,I2′,...,Ix′中的行人。如表1所示,信息库中设置了特征字段和行人标识ID字段,其中,特征字段存储了特征h1,h2,...,hn,行人ID字段存储了行人标识P1,P2,...,Pn,特征h1,h2,...,hn与行人ID P1,P2,...,Pn存在一一对应的关系,一个行人ID指示一个行人,一个特征对应一个行人。
表1
服务器分别将目标特征s1,s2,...,sx与当前信息库中的特征进行匹配,从而识别出目标图像I1′,I2′,...,Ix′中的行人,具体过程为:服务器读取当前信息库中的特征h1,h2,...,hn,然后将目标特征s1分别与当前信息库中的特征h1,h2,...,hn进行匹配。如果目标特征s1与特征h1,h2,...,hn中的任意一个特征(假设特征hm,1≤m≤n且m是正整数)匹配,则确定目标图像I1′中的行人与特征hm对应的行人为同一个行人,目标图像I1′中的行人的ID为行人ID Pm,然后,服务器读取当前信息库中的特征h1,h2,...,hn,将目标特征s2分别与特征h1,h2,...,hn进行匹配。如果目标特征s1与特征h1,h2,...,hn中的任意一个特征都不匹配,则无法识别出目标图像I1′中的行人,此时在信息库的行人标识字段中新建一个行人IDPn+1,并将目标特征s1存储到信息库的特征字段中,且目标特征s1与行人ID Pn+1对应,然后,服务器读取当前信息库中的特征h1,h2,...,hn,s1,将目标特征s2分别与特征h1,h2,...,hn,s1进行匹配。应理解,服务器将目标特征s2,s3,...,sx与当前信息库中的特征进行匹配的过程与服务器将目标特征s1与当前信息库中的特征进行匹配的过程类似,此处不再展开赘述。
从上述行人重识别的过程可以看出,当目标特征与信息库中的任意一个特征匹配时,可以根据与目标特征匹配的特征确定目标图像中的行人的重识别信息(例如,目标图像中的行人的ID);当目标特征与信息库中的任意一个特征都不匹配时,将无法确定目标图像中的行人的重识别信息。
在行人重识别的场景中,不同摄像头的分辨率、放置情况经常不同,行人的行进方向、姿态、服饰、位置以及拍摄环境的光线、遮挡物等经常发生变化,因此针对同一个行人,在不同摄像头或同一个摄像头下采集到的行人特征可能是多种多样的。例如,如图3所示,当摄像头被放置在草丛时,目标特征是摄像头从拍摄高度h1、拍摄角度θ1对行人进行采集得到的;信息库中存储的该行人的特征是被放置在树上的摄像头(拍摄高度h2、拍摄角度θ2)对该行人进行采集得到的。又例如,目标特征为行人戴着帽子奔跑的特征;信息库中存储的特征是该行人不戴帽子行走时的特征。又例如,目标特征为行人的腿部特征;信息库中存储的特征该行人的头部特征等等。这些情况不仅会导致目标特征与信息库中的特征难以匹配成功,影响行人重识别的正确率。另一方面,还会导致信息库中行人ID的数量远大于实际的行人数量,资源浪费较大。
为了解决上述问题,本申请提供了一种目标重识别系统,不仅能够有效地提高目标重识别的正确率,还能够减少资源浪费。
本申请提供的目标重识别系统的部署灵活。如图4所示,目标重识别系统可以部署在云环境,具体可以是云环境上的一个或多个计算设备上(例如,中心服务器)。目标重识别系统也可以部署在边缘环境中,具体为边缘环境中的一个或多个计算设备(边缘计算设备)上,边缘计算设备可以为服务器。需要说明的,云环境是指云服务提供商拥有的,用于提供计算、存储、通信资源的中心计算设备集群;边缘环境是指在地理位置上距离摄像头较近的,用于提供计算、存储、通信资源的边缘计算设备集群。摄像头可以是置于监控区域(例如:机场、街道、商场等)的固定位置,用于以自身视角采集实时的图像或监控视频的设备(例如,网络摄像机)。如图5所示,目标重识别系统包括多个部分(例如包括多个单元模块),因此目标重识别系统的各个部分还可以分布式地部署在不同环境中,例如,可以分别在云环境、边缘环境、摄像头部署一部分,或其中任意两个环境上分别部署目标重识别系统的一部分。
目标重识别系统内部的单元模块可以有多种划分方式,各个模块可以是软件模块,也可以是硬件模块,也可以部分是软件模块部分是硬件模块,本申请不对其进行限制。图6为一种示例性的划分方式,如图6所示,目标重识别系统100包括输入单元110、计算单元120和输出单元130。下面分别介绍每个功能单元的功能。
输入单元110用于获取原图像,并对原图像进行目标识别,以获得目标图像。其中,原图像是由监控区域中的某一摄像头对目标进行拍摄得到的,原图像中通常包括场景和多个目标。场景可以是需要被监控区域中的一部分,例如,交通路口中的左侧、银行的门口、广场的中心等,本申请不作具体限定。多个目标可以包括人、动物、车辆等,本申请对此也不作具体限定。输入单元110获取原图像的方式可以是摄像头直接将拍摄得到的原图像发送至输入单元110,也可以是输入单元从本地文件或云存储服务器中读取的离线图像,本申请不作具体限定。输入单元110获取原图像后,还对原图像中的目标进行目标识别,并利用目标的识别框将原图像中的目标标示出来,然后,根据目标的识别框将目标从原图像中提取出来,从而得到目标图像。
计算单元120用于对目标图像中的目标进行重识别,从而确定目标图像中的目标的重识别信息。具体地,计算单元120获取目标图像后,首先判断目标图像是否为包括完整目标的图像。如果目标图像为包括完整目标的图像,那么计算单元120可以通过目标图像中的目标的特征或目标的识别框确定目标图像中的目标的重识别信息。如果目标图像为包括非完整目标的图像,那么计算单元120可以通过目标的识别框来确定目标图像中的目标的重识别信息。这里提到的完整目标的图像和非完整目标的图像将在后续内容S103中进行详细介绍。
输出单元130用于将目标图像中的目标的重识别信息输出至不同应用场景所对应的处理系统中。例如,在目标追踪的场景下,当输出单元130接收计算单元120发送的目标图像中的目标的重识别信息之后,输出单元130用于将目标图像中的目标的重识别信息发送至目标追踪系统中,以便于目标追踪系统能够根据目标图像中的目标的重识别信息确定该目标的运动轨迹。又例如,在智能安防的场景下,输出单元130还可以将目标图像中的目标的重识别信息发送至监控中心的显示屏幕上,使得监控中心可以直接显示该目标的信息,以便确定该目标是否为可疑人员。又例如,在新零售领域中,输出单元130可以将目标图像中的目标的重识别信息发送至商场的服务器,以便为该目标建立相应的行为数据库,从而为该目标提供定制化服务。应理解,上述举例仅用于说明,并不能构成具体限定。
下面将对本申请提供的目标重识别系统100如何进行目标重识别进行详细介绍。
请参见图7,图7示出了本申请提供的一种目标重识别方法的流程示意图。本申请涉及的目标重识别方法包括但不限于如下步骤:
S101:获取原图像,并对原图像进行目标识别。
可以理解的,原图像通常包括场景和多个目标(例如,人、动物、车辆等),因此,为了提高目标重识别的效率,在目标重识别系统获取一张原图像后,需要首先对原图像进行目标识别,从而将原图像中的所有需要进行重识别的目标检测出来。例如,目标重识别系统需要对监控区域中的行人进行重识别,而原图像中的目标包括行人、车辆,那么目标重识别系统获取原图像后,需要先对原图像进行行人检测,从而将原图像中的所有行人识别出来。同样的,当目标重识别系统需要对监控区域中的车辆进行重识别时,在目标重识别系统获取原图像后,需要先对原图像进行车辆检测,从而将原图像中的所有车辆识别出来。
S102:根据识别后的图像,获得目标图像。其中,目标图像为识别后的图像中目标的识别框标示的图像。
具体地,目标重识别系统对原图像识别后,能够确定原图像中的需要进行目标重识别的目标。然后,目标重识别系统可以利用识别框将原图像中的需要进行重识别的目标标示出来,并根据目标的识别框的位置从原图像中提取出目标图像。例如,以图2为例,当目标重识别系统需要识别原图像Ii中的行人时,目标重识别系统先识别出原图像Ii中的3个行人,再将原图像Ii中的3个行人利用识别框标示出来,最后根据识别框的位置从原图像Ii中提取目标图像I1′,I2′,I3′。
在本申请实施例中,目标的识别框的形状具有多种类型,目标的识别框的形状可以是矩形(如图2所示)、椭圆形等常规形状,还可以是与识别出的目标本身的形状相匹配的形状,例如,人形形状、车形形状等,本申请对此不作具体限定。
S103:判断目标图像是否为包括完整目标的图像。
在本申请实施例中,目标重识别系统可以根据目标的识别框是否满足预设条件来确定目标图像是否为包括完整目标的图像。具体地,当目标的识别框不满足预设条件时,确定目标图像为包括非完整目标的图像;当目标的识别框满足预设条件时,确定目标图像为包括完整目标的图像。其中,预设条件包括以下条件中的一种或多种:目标的识别框的长宽比满足预设的长宽比范围,目标的识别框的尺寸满足预设的尺寸范围,目标的识别框与原图像的边缘的距离大于预设距离,目标的识别框的形状满足预设的形状约束。
可以理解的,目标的识别框的形状不同,目标识别框的长宽比以及目标识别框的尺寸的测量方法不同。例如,当目标的识别框的形状为矩形时,目标的识别框的长宽比可以是矩形框的长与宽的比值,目标的识别框的尺寸可以包括矩形框的面积、矩形框的长度、矩形框的宽度;当目标的识别框的形状为椭圆形时,目标的识别框的长宽比可以是椭圆框的长轴长度与短轴长度的比值,目标的识别框的尺寸可以包括椭圆框的面积、椭圆框的长轴长度、椭圆框的短轴长度;当目标的识别框的形状为人形形状时,目标的识别框的长宽比可以是人形框中行人的身高与肩宽的比值,目标的识别框的尺寸可以包括人形框的面积、人形框中行人的身高、人形框中行人的肩宽等。本申请中预设的形状约束可以是多种,与预设的形状约束对应的预设的长宽比范围、预设的尺寸范围以及预设距离也可以设置为多个,使得上述判断目标图像的是否为包括完整目标的图像的预设条件具有适应性,能够适用于多种场景的目标重识别。
应理解,完整目标的图像和非完整目标的图像是两个相对的概念,完整目标的图像指的是包括目标的大部分部位的图像,可以从图像中提取到较多的目标特征,并且,这些提取到的较多的目标特征能够较准确的反映该目标。非完整目标的图像指的是包括目标的少部分部位的图像,从图像中提取到较少的目标特征,并且,这些提取到的目标的特征无法准确的反映该目标。如图8(a)示出的目标图像包括一个完整的行人,图8(b)中的目标图像包括一个不完整的行人,因此,图8(a)示出的目标图像为包括完整目标的图像,图8(b)示出的目标图像为包括非完整目标的图像。
S104:当目标图像为包括非完整目标的图像时,根据目标的识别框确定目标的重识别信息。
其中,目标的重识别信息可以具体包括目标的身份ID。应理解,目标的身份ID用于唯一地标识该目标,目标的身份ID可以是一个具体的数字、字母或数字与字母的组合等等,此处不作具体限定,例如,图2中的目标图像I1′中目标的目标ID可以是目标ID P1,目标图像I2′中目标的目标ID可以是目标ID P2,目标图像I3′中目标的目标ID可以是目标ID P3,利用目标ID P1,P2,P3来区分目标图像I1′,I2′,I3′中的目标。还应理解,目标的重识别信息还可以包括目标图像被摄像头采集的时间(即目标被摄像头拍摄的时间)、目标所处的位置等等,本申请对此不进行具体限定。
在一具体的实施例中,当目标图像为包括非完整目标的图像时,将目标的识别框与第一信息库中的目标的识别框进行比较,从而确定目标的重识别信息。其中,第一信息库包括第一识别框集合和第二识别框集合,第一识别框集合包括一个或多个完整目标的识别框,第二识别框集合包括一个或多个非完整目标的识别框。
在一更具体的实施例中,当目标图像为包括非完整目标的图像时,将目标的识别框与第一信息库中的目标的识别框进行比较,从而确定目标的重识别信息,包括:将目标的识别框与第一信息库中第一识别框集合和/或第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。该步骤的具体内容将在后文的步骤S201-S204进行具体描述。
可以理解的,由于非完整目标的图像中包括的目标的特征不足以准确地表征该目标,因此对于非完整目标的图像来说,利用目标的特征得到的目标的重识别信息的正确率较低。因此本申请提出利用可以目标的识别框对非完整目标的图像进行目标重识别,从而有效地提高非完整目标的图像的重识别正确率。
S105:当目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标的重识别信息。
其中,目标的特征是对目标图像进行特征提取得到的。具体实现中,可以利用卷积神经网络对目标图像进行特征提取,从而得到目标图像中的目标的特征。
在一具体的实施例中,当目标图像为包括完整目标的图像时,将目标的特征与第二信息库中的目标的特征进行比较,从而确定目标的重识别信息,或当目标图像为包括完整目标的图像时,将目标的识别框与第一信息库中的第一识别框集合中的识别框进行比较,从而确定目标的重识别信息。其中,第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应拍摄的目标ID指示的目标的特征。该步骤的具体内容将在后文的步骤S301-S306进行具体描述。
可以看出,当目标图像为包括完整目标的图像时,目标图像中包括的目标的特征能够较准确地表征该目标,因此本申请提出可以通过目标的特征来确定目标的重识别信息,也可以通过目标的识别框来确定目标的重识别信息。也就是说,可以从多个角度来确定目标的重识别信息,从而提高了完整目标的图像的目标重识别的正确率。
下面结合图9和图10分别对前述步骤S104中的第一信息库以及根据目标的识别框确定目标的重识别信息的具体过程进行详细地解释说明。
本申请中的第一信息库包括第一识别框集合和第二识别框集合。第一识别框集合包括多个目标ID,每个目标ID对应一个或多个所述目标ID指示的完整目标的识别框。第二识别框集合包括多个目标ID,每个目标ID对应一个或多个所述目标ID指示的非完整目标的识别框。需要说明的,当第一识别框集中每个目标ID对应的识别框为多个时,每个目标ID对应的多个识别框为多个相邻的识别框,同样的,当第二识别框集中每个目标ID对应的识别框为多个时,每个目标ID对应的多个识别框也是多个相邻的识别框。其中,相邻的识别框可以这样理解:摄像头对某一目标持续进行拍摄可获得多张相邻的原图像,针对该目标,分别用多个识别框从多张相邻的原图像提取该目标对应的目标图像,此时用于提取该目标的多个识别框为多个相邻的识别框。
如图9所示,图9示出了一种适用于本申请实施例的第一信息库。以图9为例,第一信息库中的第一识别框集合包括目标ID P1,P2,...,Pm,一个目标ID标识一个目标。目标IDPi对应完整目标的识别框Bi1,Bi2,...,Bir,完整目标的识别框Bi1,Bi2,...,Bir均为目标ID Pi标识的目标的完整识别框,其中,1≤i≤m且m和i均为正整数。第一信息库中的第二识别框集合包括目标ID P1,P2,...,Pm,一个目标ID指示一个目标。目标ID Pi对应非完整目标的识别框Bi1,Bi2,...,Bir,非完整目标的识别框Bi1,Bi2,...,Bir均为目标ID Pi标识的目标的非完整识别框。可以理解的,第一信息库中的第一识别框集合还可以设置多个摄像头ID、多个目标图像ID以及多个时间ID中的一种或多种,其中,摄像头ID标识拍摄目标ID指示的目标的摄像头,目标图像ID标识目标的识别框指示的目标图像,时间ID标识摄像头采集目标图像的时间。因此,每个摄像头ID对应一个或多个目标ID,每个目标图像ID对应一个目标的识别框,每个时间ID对应一个或多个目标图像ID。
可以理解的,本申请设计的第一信息库中,完整目标的识别框和非完整目标的识别框分别存储在不同识别框集合中,因此在根据目标的识别框确定目标的重识别信息时,可以使得目标的识别框能够分别和第一信息库中的所有完整目标的识别框(第一识别框集合中的目标的识别框)、所有非完整目标的识别框(第二识别框集合中的目标的识别框)分别进行匹配,从而提高目标的识别框与第一信息库中的目标的识别框匹配的效率,进一步提高目标重识别的效率。例如,当目标图像为包括完整目标的图像时,由于目标的识别框为完整目标的识别框,这时可以只需将目标的识别框与第一识别框集合中的识别框进行匹配,从而大大缩短了根据目标的识别框确定目标的重识别信息的时间。
如图10所示,图10示出了目标重识别系统根据目标的识别框确定目标的重识别信息的具体过程的流程示意图,该过程包括但不限于如下步骤:
S201:判断帧率是否大于预设帧率。其中,帧率是指目标重识别系统每秒获取包括所述原图像在内的多帧图像的速率。
值得注意的是,只有当帧率大于预设帧率时,才能通过比较目标的识别框与第一信息库中的目标的识别框来确定目标的重识别信息,这是因为:帧率越大,说明获取两张相邻的原图像的时间越接近,这两张原图像中的同一个目标所处的位置越接近,那么,对应的两个目标的识别框在对应的原图像中的位置越接近,这两个目标的识别框的交并比(intersection overunion,IOU)越大。相较于同一目标,这两张原图像中不同目标的识别框的交并比较小,因此,当两个目标的识别框的交并比越大时,这两个目标的识别框框选出的目标为同一目标的可能性越大,当两个目标的识别框的交并比越小时,这两个目标的识别框框选出的目标为同一目标的可能性越小。其中,所述两个目标的识别框用于在对应的原图像中将同一个目标框选出来。
在一具体的实施例中,预设帧率可以是用户人为设置的,也可以是根据帧率动态调整的。当预设帧率根据帧率动态调整时,预设帧率与帧率成正比关系,这是因为:帧率越大,表示目标重识别系统获取两张相邻的原图像的时间越接近,这两张原图像中的不同目标所处的位置也可能越接近,从而使得框选出不同目标的识别框的交并比越大。此时,需要将预设帧率设置的足够大,才能保证框选出不同目标的识别框不匹配,而保证框选出同一目标的识别框匹配。
S202:当帧率大于预设帧率时,将目标的识别框与第一信息库中的第一识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。
在本申请实施例中,所述将目标的识别框与第一信息库中的第一识别框集合中的目标的识别框进行匹配指的是:通过计算目标的识别框与第一识别框集合中的目标的识别框之间的交并比,来确定目标的识别框中的目标是否与第一识别框集合中的某一个目标的识别框中的目标相同。具体地,当帧率大于预设帧率时,分别计算目标的识别框与所述第一识别框集合中的所有完整目标的识别框的交并比,从而获得多个交并比,然后,确定多个交并比中的最大值(最大交并比)。当最大交并比大于预设交并比时,确定目标的识别框与最大交并比对应的第一识别框集合中的目标的识别框匹配成功。此时,在第一识别框集合中查找与所述匹配成功的目标的识别框对应的目标ID,从而确定目标的重识别信息为所述目标ID。可以理解的,当最大交并比小于或等于预设交并比时,确定目标的识别框与最大交并比对应的第一识别框集合中的目标的识别框匹配失败,也就是说目标的识别框与第一识别框集合中的目标的识别框匹配失败。
举例说明,以图9示出的第一信息库为例,假设a=2且c=2,即第一信息库中的第一识别框集合包括目标ID P1,P2,目标ID P1对应完整目标的识别框B11,B12,目标ID P2对应完整目标的识别框B21,B22。当目标图像为包括非完整目标的图像时,分别计算目标的识别框与完整目标的识别框B11,B12,B21,B22的交并比,得到交并比IOU1,IOU2,IOU3,IOU4。然后,将交并比IOU1,IOU2,IOU3,IOU4进行比较,确定交并比IOU1,IOU2,IOU3,IOU4中的最大值,假设最大交并比为IOU3。当最大交并比IOU3大于预设交并比时,确定目标的识别框与完整目标的识别框B21匹配成功。然后,在第一识别框集合中查找与完整目标的识别框B21对应的目标ID为目标ID P2,那么,目标的重识别信息为目标ID P2,也就是说,目标图像中的目标与目标IDP2标识的目标为同一个目标。
在本申请实施例中,步骤S202还执行更新第一信息库的操作,具体地,将目标的识别框存储到第一信息库中的第一识别框集合,且目标的识别框与所述匹配成功的目标的识别框对应的目标ID对应。可选的,在将目标的识别框存储到第一信息库中的第一识别框集合之前,先在第一识别框集合中查找到与所述目标ID对应的所有完整目标的识别框,然后按照时间顺序将其中存储时间最长的完整目标的识别框删除,再将目标的识别框存储到第一识别框集合。仍以上述例子进行举例说明,在确定目标的重识别信息为目标ID P2之后,根据目标ID P2,在第一识别框集合中查找到与目标ID P2对应所有完整目标的识别框,也就是完整目标的识别框B21,B22,然后,确定完整目标的识别框B21,B22中存储时间最长的识别框,并将存储时间最长的识别框删除,再将目标的识别框存储到第一识别集合且目标的识别框与目标ID P2对应,从而保证第一识别框集合中与目标ID P2对应的完整目标的识别框的个数不变。
S203:当目标的识别框与第一信息库中的第一识别框集合中的目标的识别框匹配失败时,将目标的识别框与第一信息库中的第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。
可以理解的,步骤S203的具体实现过程与步骤S202的具体实现过程是类似的,具体请参见步骤S202中的相关陈述,此处不再展开赘述。
在本申请实施例中,步骤S203还执行更新第一信息库的操作,具体地,将目标的识别框存储到第一信息库中的第二识别框集合,且目标的识别框对应的目标ID与所述匹配成功的目标的识别框对应的目标ID相同。该过程与步骤S202中执行的更新第一信息库的操作也是类似的,此处不再展开赘述。
S204:当目标的识别框与第一信息库中的第二识别框集合中的目标的识别框匹配失败时,更新第一信息库。
具体地,当目标的识别框与第一信息库中的第二识别框集合中的目标的识别框匹配失败时,目标重识别系统确定目标的识别框中的目标与第一信息库中的目标ID指示的目标均不相同。这时,目标重识别系统在第一信息库中的第二识别框集合中新建一个目标ID,该新建的目标ID用于标识目标图像中的目标,然后,将目标的识别框存储到第一信息库中的第二识别框集合,且目标的识别框与新建的目标ID对应。
可选的,当目标图像为包括非完整目标的图像且帧率大于预设帧率时,还可以先将目标的识别框与第一信息库中第二识别框集合中的目标的识别框进行匹配,当目标的识别框与第一信息库中第二识别框集合中的某一个目标的识别框匹配成功时,根据该匹配成功的目标的识别框的信息确定目标的重识别信息,当目标的识别框与第一信息库中第二识别框集合中的所有目标的识别框都匹配失败时,将目标的识别框与第一信息库中第一识别框集合中的目标的识别框进行匹配。当目标的识别框与第一信息库中第一识别框集合中的某一个目标的识别框匹配成功时,根据该匹配成功的目标的识别框的信息确定目标的重识别信息,当目标的识别框与第一信息库中的第一识别框集合中的所有目标的识别框都匹配失败时,将目标的识别框存储到第一信息库中的第二识别框集合。
上述过程中,当目标的识别框与第一信息库中的某一个目标的识别框匹配成功后,通过将目标的识别框存储至匹配成功的目标的识别框所在的识别框集合中,从而达到及时地更新第一信息库的目的,使得在目标的识别框与第一信息库中的目标的识别框进行匹配时,匹配的正确率更高,进一步使得根据目标的识别框确定目标的重识别信息的正确率更高。当目标的识别框与第一信息库中的所有目标的识别框均无法匹配时,说明目标图像中的目标可能是新出现在监控区域中的目标,此时通过在第一信息库建立该目标的ID以及该目标的识别框,便于后续的该目标的重识别。
值得注意的是,当目标图像为包括非完整目标的图像时,该目标图像对应的目标的特征无法准确地反映该目标,因此在确定该目标图像中的目标的重识别信息后,无需将该目标图像对应的目标的特征存储至第二信息库。这是因为:针对同一个目标,完整目标的特征(从完整目标的图像中提取到的)和非完整目标的特征(从非完整目标的图像中提取到的特征)通常无法匹配,如果将非完整目标的特征存储到第二信息中,这将影响目标重识别过程中根据目标的特征确定目标的重识别信息的正确率,因此,当目标图像为包括非完整目标的图像时,只需将目标的行人框存储到第一信息库。
下面结合图11和图12分别对前述步骤S105中的第二信息库以及根据目标的特征或目标的识别框确定目标的重识别信息的具体过程进行详细地解释说明。
本申请中的第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应的目标ID指示的目标的特征。第二信息库中还可以包括多个目标图像ID、多个时间ID等等中的一种或多种,其中,目标图像ID标识目标的特征对应的目标图像,时间ID标识摄像头采集目标图像的时间。因此,每个目标图像ID对应一个目标的特征,每个时间ID对应一个或多个目标图像ID。第二信息库中的特征均为从包括完整目标的图像中提取到的。
如图11所示,图11示出了一种适用于本申请实施例的第二信息库。图11中,第二信息库包括目标ID P1,P2,...,Pm,一个目标ID标识一个目标。目标ID Pi对应摄像头IDC1,C2,...,Cn,一个摄像头ID标识一个摄像头,其中,1≤i≤m且m和i均为正整数。与目标ID Pi以及摄像头ID Ck对应特征fik1,fik2,...,fikt,其中,1≤k≤n且n和k均为正整数。目标的特征fik1,fik2,...,fikt均为目标ID Pi指示的目标的特征,且目标的特征fik1,fik2,...,fikt均为从摄像头ID Ck指示的摄像头拍摄的目标图像中提取出来的。
可以理解的,在摄像头的数量固定的情况下,第二信息库中存储的每个目标ID对应的特征的数量(t)越多,根据目标的特征获得目标的重识别信息的正确率越高。但是,为了节省计算资源以及存储资源,第二信息库中存储的每个目标ID对应的特征的数量(t)应小于或等于预设数量。当目标重识别系统的算力越大时,预设数量可以设置的越大。
如图12所示,图12示出了目标重识别系统根据目标的特征或目标的识别框确定目标的重识别信息的具体过程的流程示意图,该过程包括但不限于如下步骤:
S301:当目标图像为包括完整目标的图像时,获取拍摄目标图像的摄像头ID。
S302:将目标的特征和第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,从而获得第一比较结果,当第一比较结果满足第一比较条件时,确定目标的重识别信息。
具体地,根据拍摄目标图像的摄像头ID,在第二信息库中查找与拍摄目标图像的摄像头ID不同的摄像头ID对应的目标的特征,然后,将目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征分别进行比较,获得多个比较结果,并确定多个比较结果中的最大值,从而获得第一比较结果,最后,判断第一比较结果是否满足第一比较条件,当第一比较结果满足第一比较条件时,根据第一比较结果对应的第二信息库中的与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征确定目标的重识别信息。
在本申请实施例中,将目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征进行比较,包括:通过分别计算目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度,来将目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征进行比较。更进一步地,可以通过分别计算目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的余弦距离、欧式距离、马氏距离、曼哈顿距离、汉明距离等等来计算目标特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度,本申请不作具体限定。可以理解的,采用不同的距离公式来计算目标特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度时,第一比较条件也会相应地发生改变。例如,利用余弦距离公式计算目标特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度时,由于余弦距离越大表示特征之间的相似度越高,因此第一比较条件可以是:第一比较结果大于第一阈值。又例如,利用欧式距离公式计算目标特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度时,由于欧式距离越小表示特征之间的相似度越高,因此第一比较条件可以是:第一比较结果小于第一阈值。
以图11示出的第二信息库为例,假设拍摄目标图像的摄像头ID为摄像头ID Ck。步骤S302的具体实现过程可以是:根据拍摄目标图像的摄像头ID Ck,在第二信息库中查找与摄像头ID Ck不同的摄像头ID对应的目标的特征,即摄像头ID Cb对应的目标的特征,其中,1≤b≤n且b≠k。然后,分别计算目标的特征与目标ID Pi和摄像头ID Cb对应的特征(即特征fib1,fib2,...,fibt)的相似度,得到相似度dib1,dib2,...,dibt,并求取相似度dib1,dib2,...,dibt的均值,得到相似度dib。当目标重识别系统将目标的特征分别与第二信息库中的所有与摄像头IDCk不同的摄像头ID对应的目标的特征进行比较之后,可以得到相似度d11,...,d1(k-1),d1(k+1)...,d1n;d21,...,d2(k-1),d2(k+1)...,d2n;...;dm1,...,dm(k-1),dm(k+1)...,dmn。然后,将这些相似度进行比较,得到这些相似度中的最大值,也就是前述内容中的第一比较结果。当第一比较结果满足第一比较条件时,假设第一比较结果为相似度d11,那么能够确定目标的特征与目标ID P1对应的摄像头ID C1对应的特征(即特征f111,f112,...,f11t)相似度较高,因此目标的重识别信息为目标ID P1。
在本申请实施例中,当第一比较结果满足第一比较条件时,步骤S302还执行根据第一比较结果更新第一比较条件的操作。具体地,目标重识别系统可以利用以下公式获得更新后的第一比较条件中的第一阈值,从而更新第一比较条件。
其中,表示目标重识别系统根据步骤S302确定的当前所有满足第一比较条件的第一比较结果的累计之和;表示第一比较结果;l表示当前所有满足第一比较条件的第一比较结果的数量;β为滑动参数,0≤β<1,在实际应用中,β通常设置为接近于1的常数;表示目标重识别系统未进行目标重识别之前设置的满足第一比较条件的第一比较结果的初始值,可以是用户根据经验人为设置的,也可以是用户根据大量的训练样本(例如:公开数据集、用户预先采集的数据集)统计到的;的计算方法与的计算方法类似,表示当前所有满足第一比较条件的第一比较结果的平均值,表示当前所有不满足第一比较条件的第一比较结果的平均值;d表示更新后的第一阈值。
为了更好地理解目标重识别系统如何更新第一比较条件,下面对上述公式的具体含义进行阐述:每当目标重识别系统对一张目标图像中的目标进行重识别时,执行步骤S302会得到一个相应的第一比较结果,只要该第一比较结果满足第一比较条件,就将该第一比较结果叠加到(其中,的初始值为),也就是说,表示当前根据步骤S302确定的所有满足第一比较条件的第一比较结果的累计之和。然后,对进行求平均可以计算出 表示当前所有满足第一比较条件的第一比较结果的平均值。之后,又利用滑动参数β对进行滑动平均,目的是为了避免当前与上一次计算得到的的差值较大,而导致更新后的预设阈值变化较大。可以理解的,此时的指示当目标重识别系统能够确定不同摄像头采集的目标图像中的目标为同一个目标时,这两张目标图像中目标的特征的比较结果大概为类似的,指示当目标重识别系统确定不同摄像头采集的目标图像中的目标不是同一个目标时,这两张目标图像中目标的特征的比较结果大概为因此,将根据和求平均得到的d作为第一阈值,能够较好地反映出不同摄像头采集的目标图像中的目标的特征的比较结果至少为多少时才能够确定这两张目标图像中的目标为同一个目标。可以理解的,通过不断更新第一比较条件可以使得第一比较条件能够适用于不同的场景,从而提高目标重识别的正确率。例如,对于行人重识别的场景,第一比较条件用于判断不同目标图像中的行人的特征是否相似,而对于车辆重识别的场景,第一比较条件用于判断不同目标图像中的车辆的特征是否相似,行人的特征与车辆的特征存在很大差别,因此只有不断更新第一比较条件才能提高目标重识别的正确率。
在本申请实施例中,当第一比较结果满足第一比较条件时,步骤S302还执行更新第一信息库和第二信息库的操作。具体地,当第一比较结果满足第一比较条件时,将目标的特征保存到第二信息库,且目标的特征与拍摄所述目标图像的摄像头的ID对应,目标的特征与目标重识别信息中的目标ID对应。可选的,在将目标的特征存储到第二信息库之前,先根据拍摄目标图像的摄像头的ID(即目标图像对应的目标ID)以及目标重识别信息中的目标ID(即目标图像对应的目标ID),在第二信息库中查找到与目标图像对应的目标ID以及与目标图像对应的摄像头ID都对应的特征。然后,判断这些查找到的特征的数量是否大于预设数量,如果大于预设数量,那么按照时间顺序先将这些查找到的特征中存储时间最长的特征删除,再将目标的特征存储到第二信息库,从而保证第二信息库中与目标图像的摄像头ID对应且与目标图像的目标ID对应的特征的个数不变,进而确保目标识别系统能够有效确定目标的重识别信息。继续以图11示出的第二信息库为例,假设第一比较结果为相似度d11,那么当第一比较结果满足第一比较条件时,目标重识别系统先从特征f111,f112,...,f11t(其中,t等于预设数量)中删除一个存储时间最长的特征,再将目标的特征保存到第二信息库,且第二信息库中的目标的特征与摄像头ID Ck对应,第二信息库中的目标的特征与目标ID P1对应。目标重识别系统还将目标的行人框保存到第一信息库中的第一识别框集合,且第一识别框集合中的目标的行人框与目标重识别信息中的目标ID对应。具体地,目标重识别系统更新第一信息库的过程与前述步骤S202中更新第一信息库的过程是类似的,此处不再展开赘述。可以理解的,通过上述操作可以及时地更新第一信息库和第二信息库,使得后续确定完整目标的图像中的目标的重识别信息时,重识别的正确率更高。
S303:当第一比较结果不满足第一比较条件时,判断帧率是否大于预设帧率。
可以理解的,本步骤中帧率的定义与步骤S201中帧率的定义相同,且本步骤中预设帧率与步骤S201中的预设帧率的定义也相同,因此为了简便陈述,此处不再展开赘述。
在本申请实施例中,当第一比较结果不满足第一比较条件时,步骤S303还执行根据第一比较结果更新第一比较条件的操作。具体地,本步骤中更新第一比较条件的方式与步骤S302中更新第一比较条件的方式是类似的,但值得注意的是,在本步骤利用步骤S302中的公式更新第一比较条件时,公式中某些变量的含义发生了变化,具体为:表示目标重识别系统根据步骤S303确定的当前所有不满足第一比较条件的第一比较结果的累计之和;l表示当前所有不满足第一比较条件的第一比较结果的数量;表示目标重识别系统未进行目标重识别之前设置的不满足第一比较条件的第一比较结果的初始值;表示当前所有不满足第一比较条件的第一比较结果的平均值,表示当前所有满足第一比较条件的第一比较结果的平均值。为了简便陈述,本步骤将不对公式中的含义未发生变化的变量进行叙述,也不对如何理解更新第一比较条件进行叙述,具体请参考步骤S302。可以理解的,通过上述操作可以及时更新第一比较条件,使得第一比较条件能够适用于不同的场景,从而提高目标重识别的正确率。
S304:当帧率大于预设帧率时,将目标的识别框与第一信息库中的第一识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定目标的重识别信息。
可以理解的,由于目标图像为包括完整目标的图像,因此目标的识别框为包括完整目标的识别框,那么通过将目标的识别框与第一信息库中的第一识别框集合中的完整目标的识别框进行匹配也可以确定目标的重识别信息。并且,本步骤的具体实现过程与步骤S202中的具体实现过程是类似的,此处不再展开赘述。
在本申请实施例中,当匹配成功时,步骤S304还执行更新第一信息库和第二信息库的操作。具体地,当匹配成功时,将目标的特征保存到第二信息库,且目标的特征与拍摄所述目标图像的摄像头的ID对应,目标的特征与目标重识别信息中的目标ID对应。目标重识别系统还将目标的行人框保存到第一信息库中的第一识别框集合,且第一识别框集合中的目标的行人框与目标重识别信息中的目标ID对应。具体地,目标重识别系统更新第一信息库和第二信息库的过程与前述步骤S302中更新第一信息库和第二信息库的过程是类似的,此处不再展开赘述。可以理解的,通过将目标的特征保存至第二信息库,目标的识别框保存至第一信息库,可以及时地更新第一信息库和第二信息库,使得后续确定完整目标的图像中的目标的重识别信息时,重识别的正确率更高。
S305:当帧率小于或等于预设帧率或目标的识别框与第一信息库中的第一识别框集合中的目标的识别框匹配失败时,将目标的特征和第二信息库中与目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而获得第二比较结果,当第二比较结果满足第二比较条件时,确定目标的重识别信息。
可以理解的,当帧率小于或等于预设帧率时,说明利用目标的识别框之间的交并比确定目标的重识别信息并不准确;当目标的识别框与信息库中的第一识别框集合中的目标的识别框匹配失败时,说明无法利用目标的识别框确定目标的重识别信息,在这两种情况下,可以继续将目标的特征和第二信息库中与目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而确定目标的重识别信息。
具体地,根据拍摄目标图像的摄像头ID,在第二信息库中查找与拍摄目标图像的摄像头ID相同的摄像头ID对应的目标的特征,然后,将目标的特征与第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的特征分别进行比较,获得多个比较结果,并确定多个比较结果中的最大值,从而获得第二比较结果,最后,判断第二比较结果是否满足第二比较条件,当第二比较结果满足第二比较条件时,根据第二比较结果对应的第二信息库中的与拍摄目标图像的摄像头ID相同的摄像头ID对应的特征确定目标的重识别信息。可以理解的,与步骤S302类似的,本步骤中也可以通过分别计算目标的特征与第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的特征之间的相似度,将目标的特征与第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的特征分别进行比较。更具体地,可以利用不同的距离公式(例如:余弦距离、欧式距离、马氏距离等)将目标的特征与第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的特征分别进行比较。可以理解的,与步骤S302中的第一比较条件类似的,本步骤中的第二比较条件也会因为采用了不同的距离公式来进行目标特征与第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的特征之间的比较,而发生相应的改变。例如,利用余弦距离公式进行计算时,第二比较条件可以是:第二比较结果大于第二阈值。又例如,利用欧式距离公式进行计算时,第二比较条件可以是:第二比较结果小于第二阈值。
以图11示出的第二信息库为例,假设拍摄目标图像的摄像头ID为摄像头ID Ck。步骤S303的具体实现过程可以是:根据拍摄目标图像的摄像头ID Ck,在第二信息库中查找与摄像头ID Ck相同的摄像头ID对应的目标的特征。然后,分别计算目标的特征与目标ID Pi以及摄像头ID Ck对应的特征(即特征fik1,fik2,...,fikt)的相似度,得到相似度dik1,dik2,...,dikt,并求取相似度dik1,dik2,...,dikt的均值,得到相似度dik。当目标重识别系统将目标的特征分别与第二信息库中的所有与摄像头ID Ck相同的摄像头ID对应的目标的特征进行比较之后,可以得到相似度d1k,d2k,...,dmk。然后,将这些相似度进行比较,得到这些相似度中的最大值,也就是前述内容中的第二比较结果。当第二比较结果满足第二比较条件时,假设第二比较结果为相似度d1k,那么能够确定目标的特征与目标ID P1对应的摄像头ID Ck对应的特征(即特征f1k1,f1k2,...,f1kt)相似度较高,因此目标的重识别信息为目标ID P1。
在本申请实施例中,当第二比较结果满足第二比较条件时,步骤S303还执行根据第二比较结果更新第二比较条件的操作。具体地,本步骤中更新第二比较条件的方式与步骤S302中更新第一比较条件的方式是类似的,但值得注意的是,在本步骤利用步骤S302中的公式更新第一比较条件时,公式中某些变量的含义发生了变化,具体为:表示目标重识别系统根据步骤S305确定的当前所有满足第二比较条件的第二比较结果的累计之和;l表示当前所有满足第二比较条件的第二比较结果的数量;表示目标重识别系统未进行目标重识别之前设置的满足第二比较条件的第二比较结果的初始值;表示当前所有满足第二比较条件的第二比较结果的平均值,表示当前所有不满足第二比较条件的第二比较结果的平均值;d表示更新后的第二阈值。为了简便陈述,本步骤将不对公式中的含义未发生变化的变量进行叙述,也不对如何理解更新第二比较条件进行叙述,具体请参考步骤S302。可以理解的,通过上述操作可以及时更新第二比较条件,使得第二比较条件能够适用于不同的场景,从而提高目标重识别的正确率。
在本申请实施例中,当第二比较结果满足第二比较条件时,步骤S305还执行更新第一信息库和第二信息库的操作。具体地,当第二比较结果满足第二比较条件时,将目标的特征保存到第二信息库,且目标的特征与拍摄所述目标图像的摄像头的ID对应,目标的特征与目标重识别信息中的目标ID对应。目标重识别系统还将目标的行人框保存到第一信息库中的第一识别框集合,且第一识别框集合中的目标的行人框与目标重识别信息中的目标ID对应。其中,目标重识别系统更新第一信息库和第二信息库的过程与前述步骤S302中更新第一信息库和第二信息库的过程是类似的,此处不再展开赘述。可以理解的,通过上述操作可以及时地更新第一信息库和第二信息库,使得后续确定完整目标的图像中的目标的重识别信息时,重识别的正确率更高。
S306:当第二比较结果不满足第二比较条件时,更新第一信息库和第二信息库。
在本申请实施例中,当第二比较结果不满足所述预设的第二比较条件时,更新第一信息库和第二信息库,包括:在第一信息库中的第二识别框集合中新建一个目标ID,并将目标的识别框存储至第一识别框集合,且目标的识别框与新建的目标ID对应;在第二信息库中新建一个目标ID,并将目标的特征存储至第二信息库,其中,目标的特征与新建的目标ID对应,目标的特征与拍摄目标图像的摄像头的ID对应。其中,第一信息库中的第二识别框集合中新建的目标ID与第二信息库中新建的目标ID相同。可以理解的,当第二比较结果不满足第二比较条件时,说明目标图像中的目标可能是新出现在监控区域中的目标,此时通过在第一信息库和第二信息库中建立该目标的ID,并将该目标的识别框存储到第一信息库,将该目标的特征存储到第二信息库,便于后续的该目标的重识别。在本申请实施例中,当第二比较结果不满足第二比较条件时,步骤S306还执行根据第二比较结果更新第二比较条件的操作。具体地,本步骤中更新第二比较条件的方式与步骤S302中更新第一比较条件的方式是类似的,但值得注意的是,在本步骤利用步骤S302中的公式更新第一比较条件时,公式中某些变量的含义发生了变化,具体为:表示目标重识别系统根据步骤S303确定的当前所有不满足第二比较条件的第二比较结果的累计之和;l表示当前所有不满足第二比较条件的第二比较结果的数量;表示目标重识别系统未进行目标重识别之前设置的不满足第二比较条件的第二比较结果的初始值;表示当前所有不满足第二比较条件的第二比较结果的平均值,表示当前所有满足第二比较条件的第二比较结果的平均值;d表示更新后的第二阈值。为了简便陈述,本步骤将不对公式中的含义未发生变化的变量进行叙述,也不对如何理解更新第二比较条件进行叙述,具体请参考步骤S302。可以理解的,通过上述操作可以及时更新第二比较条件,使得第二比较条件能够适用于不同的场景,从而提高目标重识别的正确率。
值得注意的是,当目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标图像中的目标的重识别信息,除了上述步骤S301-S306叙述的方式,还可以包括其他多种方式,例如:
可选的,当目标图像为包括完整目标的图像时,可以先将目标的特征和第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,从而获得第一比较结果,当第一比较结果满足第一比较条件时,确定目标的重识别信息。当第一比较结果不满足第一比较条件时,将目标的特征和第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而获得第二比较结果,当第二比较结果满足第二比较条件时,确定目标的重识别信息。当第二比较结果不满足第二比较条件时,判断帧率是否大于预设帧率,当帧率大于预设帧率时,将目标的识别框与第一信息库中第一识别框集合中的目标的识别框进行匹配,当目标的识别框与第一信息库中第一识别框集合中的某一个目标的识别框匹配成功时,根据该匹配成功的目标的识别框的信息确定目标的重识别信息。当帧率小于或等于预设帧率时,或当目标的识别框与第一信息库中第一识别框集合中的所有目标的识别框都匹配失败时,在第一信息库中的第二识别框集合中新建一个目标ID,并将目标的识别框存储至第一识别框集合;在第二信息库中新建一个目标ID,并将目标的特征存储至第二信息库。其中,第一信息库中的第二识别框集合中新建的目标ID与第二信息库中新建的目标ID相同。
可选的,当目标图像为包括完整目标的图像时,可以先判断帧率是否大于预设帧率,当帧率大于预设帧率时,将目标的识别框与第一信息库中第一识别框集合中的目标的识别框进行匹配,当目标的识别框与第一信息库中第一识别框集合中的某一个目标的识别框匹配成功时,根据该匹配成功的目标的识别框的信息确定目标的重识别信息。当帧率小于或等于预设帧率,或当目标的识别框与第一信息库中第一识别框集合中的所有目标的识别框都匹配失败时,将目标的特征和第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,从而获得第一比较结果,当第一比较结果满足第一比较条件时,确定目标的重识别信息。当第一比较结果不满足第一比较条件时,将目标的特征和第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而获得第二比较结果,当第二比较结果满足第二比较条件时,确定目标的重识别信息。当第二比较结果不满足第二比较条件时,在第一信息库中的第二识别框集合中新建一个目标ID,并将目标的识别框存储至第一识别框集合;在第二信息库中新建一个目标ID,并将目标的特征存储至第二信息库。其中,第一信息库中的第二识别框集合中新建的目标ID与第二信息库中新建的目标ID相同。
可选的,当目标图像为包括完整目标的图像时,可以先将目标的特征和第二信息库中与拍摄目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,从而获得第二比较结果,当第二比较结果满足第二比较条件时,确定目标的重识别信息。当第二比较结果不满足第二比较条件时,判断帧率是否大于预设帧率,当帧率大于预设帧率时,将目标的识别框与第一信息库中第一识别框集合中的目标的识别框进行匹配,当目标的识别框与第一信息库中第一识别框集合中的某一个目标的识别框匹配成功时,根据该匹配成功的目标的识别框的信息确定目标的重识别信息。当帧率小于或等于预设帧率时,或当目标的识别框与第一信息库中第一识别框集合中的所有目标的识别框都匹配失败时,将目标的特征和第二信息库中与拍摄目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,从而获得第一比较结果,当第一比较结果满足第一比较条件时,确定目标的重识别信息。当第一比较结果不满足第一比较条件时,在第一信息库中的第二识别框集合中新建一个目标ID,并将目标的识别框存储至第一识别框集合;在第二信息库中新建一个目标ID,并将目标的特征存储至第二信息库。其中,第一信息库中的第二识别框集合中新建的目标ID与第二信息库中新建的目标ID相同。
应理解,与上述几个列举的实施例相类似,当目标图像为包括完整目标的图像时,根据目标的特征或目标的识别框确定目标图像中的目标的重识别信息的实现方式还存在多种情况,为了简便陈述,本申请对此不再一一展开陈述。
综上可知,本申请提供的目标重识别的方法中,对于目标图像为包括非完整目标的图像来说,通过目标的识别框确定目标的重识别信息,对于目标图像为包括完整目标的图像来说,通过目标的特征或目标的识别框确定目标的重识别信息。并且在对目标图像中的目标进行重识别的过程,及时更新第一信息库、第二信息库、第一比较条件、第二比较条件,不仅能够提高目标重识别的正确率,还能够使得本申请提供的目标重识别的方法的应用场景更广泛。
前述内容详细阐述了本申请实施例的方法,为了更好地实施本申请实施例提供的方法,接下来将介绍本申请实施例提供的用于配合实施上述方法的相关设备。
请参见图13,图13是本申请提供的一种电子设备的结构示意图。图13示出的电子设备200可以是前述内容中的目标重识别系统100,或者是运行目标重识别系统100的硬件设备。电子设备200包括处理器210、通信接口220和存储器230。其中,处理器210、通信接口220以及存储器230通过总线240进行耦合。
处理器210可以是中央处理器(central processing unit,CPU),通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件(programmable logic device,PLD)、晶体管逻辑器件、硬件部件或者其任意组合。处理器210可以实现或执行结合本申请公开内容所描述的各种示例性的方法。具体的,处理器210读取存储器230中存储的程序代码,并与通信接口220配合执行S101-S105、S201-S204以及S301-S306的部分或者全部步骤。
通信接口220可以为有线接口或无线接口,用于与其他模块或设备进行通信,有线接口可以是以太接口、控制器局域网络接口、局域互联网络(local interconnectnetwork,LIN)以及FlexRay接口,无线接口可以是蜂窝网络接口或使用无线局域网接口等。具体的,通信接口220可以与其他设备连接,例如,通信接口220可以与目标追踪系统连接,以便于目标追踪系统能够根据该电子设备确定的目标的重识别信息确定该目标的运动轨迹。
存储器230可以包括易失性存储器,例如随机存取存储器(random accessmemory,RAM);存储器230也可以包括非易失性存储器,例如只读存储器(read onlymemory,ROM)、快闪存储器、硬盘(hard disk drive,HDD)或固态硬盘(solid state drive,SSD),存储器230还可以包括上述种类的存储器的组合。存储器230可以存储有程序代码以及程序数据。其中,程序代码由图6示出的目标重识别系统中的部分或者全部单元的代码组成,例如,输入单元110的代码、计算单元120的代码。程序数据由图6示出的目标重识别系统在运行程序的过程中产生的数据,例如,第一信息库、第二信息库、目标的特征、目标的识别框等等。
总线240可以是控制器局域网络(controller area network,CAN)或其他实现内部总线。总线240可以分为地址总线、数据总线、控制总线等。为了便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例中的电子设备200用于执行上述方法实施例中的目标重识别系统执行的方法,与上述方法实施例属于同一构思,其具体实现过程详见上述方法实施例,这里不再赘述。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算设备(例如电子设备200)上运行时,使得计算设备执行如本申请提供的目标重识别的方法所描述的部分或全部步骤。
本申请还提供了一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被计算设备(例如电子设备200)上运行时,使得计算设备执行如本申请提供的目标重识别的方法所描述的部分或全部步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(如,同轴电缆、光纤、数字用户线)或无线(如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(如,软盘、存储盘、磁带)、光介质(如,DVD)、或者半导体介质(如,SSD)等。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,也可以通过其它的方式实现。例如以上所描述的装置实施例仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可结合或者可以集成到另一个系统,或一些特征可以忽略或不执行。另一点,所显示或讨论的相互之间的间接耦合或者直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例的方案的目的。
另外,在本申请各实施例中的各功能单元可集成在一个处理单元中,也可以是各单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质例如可包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或光盘等各种可存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (24)
1.一种目标重识别的方法,其特征在于,所述方法包括:
对原图像进行目标识别;
根据识别后的图像,获得目标图像,所述目标图像为所述识别后的图像中目标的识别框标示的图像;
当所述目标图像为包括非完整目标的图像时,根据所述目标的识别框确定所述目标的重识别信息。
2.根据权利要求1所述的方法,其特征在于,所述当所述目标图像为包括非完整目标的图像时,根据所述目标的识别框确定所述目标的重识别信息,包括:
当所述目标图像为包括非完整目标的图像时,将所述目标的识别框与第一信息库中的目标的识别框进行比较,确定所述目标的重识别信息,其中,所述目标的重识别信息包括所述目标的身份标识ID。
3.根据权利要求2所述的方法,其特征在于,所述第一信息库包括第一识别框集合和第二识别框集合,所述第一识别框集合包括一个或多个完整目标的识别框,所述第二识别框集合包括一个或多个非完整目标的识别框;
所述将所述目标的识别框与第一信息库中的目标的识别框进行比较,确定所述目标的重识别信息,包括:
将所述目标的识别框与所述第一信息库中的第一识别框集合和/或第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定所述目标的重识别信息。
4.根据权利要求3所述的方法,其特征在于,当匹配成功后,所述方法还包括:将所述目标的识别框存储至所述匹配成功的目标的识别框所在的识别框集合中。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:判断所述目标的识别框是否满足预设条件,当所述目标的识别框不满足所述预设条件时,确定所述目标图像为包括非完整目标的图像,其中,所述预设条件包括以下条件中的一种或多种:所述目标的识别框的长宽比满足预设的长宽比范围,所述目标的识别框的尺寸满足预设的尺寸范围,所述目标的识别框与所述原图像的边缘的距离大于预设距离,所述目标的识别框的形状满足预设的形状约束。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述目标的识别框满足所述预设条件时,确定所述目标图像为包括完整目标的图像;
当所述目标图像为包括完整目标的图像时,根据所述目标的特征或所述目标的识别框确定所述目标的重识别信息,其中,所述目标的特征是对所述目标图像进行特征提取得到的。
7.根据权利要求6所述的方法,其特征在于,所述当所述目标图像为包括完整目标的图像时,根据所述目标的特征或所述目标的识别框确定所述目标的重识别信息,包括:
当所述目标图像为包括完整目标的图像时,比较所述目标的特征与第二信息库中的目标的特征,确定所述目标的重识别信息;或,
当所述目标图像为包括完整目标的图像时,比较所述目标的识别框与所述第一信息库中的第一识别框集合中的识别框,确定所述目标的重识别信息。
8.根据权利要求7所述的方法,其特征在于,所述第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应所述目标ID指示的目标的特征。
9.根据权利要求8所述的方法,其特征在于,所述当所述目标图像为包括完整目标的图像时,比较所述目标的特征与第二信息库中的目标的特征,确定所述目标的重识别信息,包括:
获取拍摄所述目标图像的摄像头ID;
当所述目标图像为包括完整目标的图像时,根据所述摄像头ID,在所述第二信息库中查找与所述摄像头ID不同的摄像头ID对应的目标的特征;
将所述目标的特征和第二信息库中与所述目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,获得第一比较结果;
当所述第一比较结果满足第一比较条件时,确定所述目标的重识别信息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
当所述比较结果不满足所述预设的第一比较条件时,将所述目标的特征和第二信息库中与所述目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,获得第二比较结果;
当所述第二比较结果满足第二比较条件时,确定所述目标的重识别信息。
11.根据权利要求10所述的方法,其特征在于,所述第一比较条件和所述第二比较条件不同,所述方法还包括:
根据所述第一比较结果更新所述第一比较条件,和/或,根据所述第二比较结果更新所述第二比较条件。
12.一种目标重识别系统,其特征在于,所述系统包括输入单元和计算单元,其中,
所述输入单元用于对原图像进行目标识别;
所述输入单元还用于根据识别后的图像,获得目标图像,所述目标图像为所述识别后的图像中目标的识别框标示的图像;
所述计算单元用于当所述目标图像为包括非完整目标的图像时,根据所述目标的识别框确定所述目标的重识别信息。
13.根据权利要求12所述的系统,其特征在于,所述计算单元具体用于:
当所述目标图像为包括非完整目标的图像时,将所述目标的识别框与第一信息库中的目标的识别框进行比较,确定所述目标的重识别信息,其中,所述目标的重识别信息包括所述目标的身份标识ID。
14.根据权利要求13所述的系统,其特征在于,所述第一信息库包括第一识别框集合和第二识别框集合,所述第一识别框集合包括一个或多个完整目标的识别框,所述第二识别框集合包括一个或多个非完整目标的识别框;
所述计算单元具体用于:将所述目标的识别框与所述第一信息库中的第一识别框集合和/或第二识别框集合中的目标的识别框进行匹配,当匹配成功时,根据匹配成功的目标的识别框的信息确定所述目标的重识别信息。
15.根据权利要求14所述的系统,其特征在于,所述计算单元还用于:当匹配成功后,将所述目标的识别框存储至所述匹配成功的目标的识别框所在的识别框集合中。
16.根据权利要求12-15任一项所述的系统,其特征在于,所述计算单元还用于:
判断所述目标的识别框是否满足预设条件,当所述目标的识别框不满足所述预设条件时,确定所述目标图像为包括非完整目标的图像,其中,所述预设条件包括以下条件中的一种或多种:所述目标的识别框的长宽比满足预设的长宽比范围,所述目标的识别框的尺寸满足预设的尺寸范围,所述目标的识别框与所述原图像的边缘的距离大于预设距离,所述目标的识别框的形状满足预设的形状约束。
17.根据权利要求16所述的系统,其特征在于,所述计算单元还用于:
当所述目标的识别框满足所述预设条件时,确定所述目标图像为包括完整目标的图像;
当所述目标图像为包括完整目标的图像时,根据所述目标的特征或所述目标的识别框确定所述目标的重识别信息,其中,所述目标的特征是对所述目标图像进行特征提取得到的。
18.根据权利要求17所述的系统,其特征在于,所述计算单元具体用于:
当所述目标图像为包括完整目标的图像时,比较所述目标的特征与第二信息库中的目标的特征,确定所述目标的重识别信息;或,
当所述目标图像为包括完整目标的图像时,比较所述目标的识别框与所述第一信息库中的第一识别框集合中的识别框,确定所述目标的重识别信息。
19.根据权利要求18所述的系统,其特征在于,所述第二信息库包括多个目标ID,每个目标ID对应一个或多个摄像头ID,每个摄像头ID对应所述目标ID指示的目标的特征。
20.根据权利要求19所述的系统,其特征在于,所述计算单元具体用于:
获取拍摄所述目标图像的摄像头ID;
当所述目标图像为包括完整目标的图像时,根据所述摄像头ID,在所述第二信息库中查找与所述摄像头ID不同的摄像头ID对应的目标的特征;
将所述目标的特征和第二信息库中与所述目标图像的摄像头ID不同的摄像头ID对应的目标的特征进行比较,获得第一比较结果;
当所述第一比较结果满足第一比较条件时,确定所述目标的重识别信息。
21.根据权利要求20所述的系统,其特征在于,所述计算单元还用于:
当所述比较结果不满足所述预设的第一比较条件时,将所述目标的特征和第二信息库中与所述目标图像的摄像头ID相同的摄像头ID对应的目标的特征进行比较,获得第二比较结果;
当所述第二比较结果满足第二比较条件时,确定所述目标的重识别信息。
22.根据权利要求21所述的系统,其特征在于,所述第一比较条件和所述第二比较条件不同,所述计算单元还用于:
根据所述第一比较结果更新所述第一比较条件,和/或,根据所述第二比较结果更新所述第二比较条件。
23.一种计算机可读存储介质,其特征在于,包括指令,当所述指令在计算设备上运行时,使得所述计算设备执行如权利要求1至11任一项权利要求所述的方法。
24.一种电子设备,其特征在于,包括处理器和存储器,所述处理器执行所述存储器中的代码执行如权利要求1至11任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762607.9A CN114092958A (zh) | 2020-07-31 | 2020-07-31 | 目标重识别的方法、系统、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762607.9A CN114092958A (zh) | 2020-07-31 | 2020-07-31 | 目标重识别的方法、系统、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092958A true CN114092958A (zh) | 2022-02-25 |
Family
ID=80295109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010762607.9A Pending CN114092958A (zh) | 2020-07-31 | 2020-07-31 | 目标重识别的方法、系统、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092958A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434346A (zh) * | 2023-06-12 | 2023-07-14 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
-
2020
- 2020-07-31 CN CN202010762607.9A patent/CN114092958A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434346A (zh) * | 2023-06-12 | 2023-07-14 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
CN116434346B (zh) * | 2023-06-12 | 2023-08-18 | 四川汉唐云分布式存储技术有限公司 | 无人值守商店内顾客行为的检测方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiao et al. | End-to-end deep learning for person search | |
US8744125B2 (en) | Clustering-based object classification | |
WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
US20210224519A1 (en) | Methods and systems for facial point-of-recognition (por) provisioning | |
CN108446669B (zh) | 运动识别方法、装置及存储介质 | |
US20170213081A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
CN109740004B (zh) | 一种归档方法及装置 | |
WO2018099268A1 (zh) | 目标跟踪方法、装置及存储介质 | |
JP2017033547A (ja) | 情報処理装置及びその制御方法及びプログラム | |
KR20150062880A (ko) | 특징점 매칭을 이용한 영상매칭 방법 | |
KR102376479B1 (ko) | 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템 | |
WO2022103684A1 (en) | Face-aware person re-identification system | |
Nawaz et al. | Trajectory clustering for motion pattern extraction in aerial videos | |
KR102022971B1 (ko) | 영상의 객체 처리 방법 및 장치 | |
CN111444758A (zh) | 一种基于时空信息的行人重识别方法及装置 | |
Singh et al. | A comprehensive survey on person re-identification approaches: various aspects | |
CN111368867A (zh) | 档案归类方法及系统、计算机可读存储介质 | |
CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
KR101492059B1 (ko) | 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템 | |
CN114092958A (zh) | 目标重识别的方法、系统、电子设备和可读存储介质 | |
CN114519879A (zh) | 人体数据归档方法、装置、设备及存储介质 | |
CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
CN112132231A (zh) | 对象的识别方法和装置、存储介质及电子设备 | |
Ng et al. | Outdoor illegal parking detection system using convolutional neural network on Raspberry Pi | |
CN112927258A (zh) | 一种目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |