CN110555428A - 行人重识别方法、装置、服务器以及存储介质 - Google Patents

行人重识别方法、装置、服务器以及存储介质 Download PDF

Info

Publication number
CN110555428A
CN110555428A CN201910866301.5A CN201910866301A CN110555428A CN 110555428 A CN110555428 A CN 110555428A CN 201910866301 A CN201910866301 A CN 201910866301A CN 110555428 A CN110555428 A CN 110555428A
Authority
CN
China
Prior art keywords
pedestrian image
attitude
pedestrian
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910866301.5A
Other languages
English (en)
Other versions
CN110555428B (zh
Inventor
杜俊珑
郭晓威
余宗桥
孙星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910866301.5A priority Critical patent/CN110555428B/zh
Publication of CN110555428A publication Critical patent/CN110555428A/zh
Application granted granted Critical
Publication of CN110555428B publication Critical patent/CN110555428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种行人重识别方法、装置、服务器以及存储介质,获取目标行人图像及参考行人图像之后,将目标行人图像与参考行人图像输入至预先训练生成的行人重识别网络中得到目标行人图像与参考行人图像的原始特征的余弦距离;并将目标行人图像与参考行人图像输入至预先训练生成的姿态生成对抗网络中得到目标行人图像与参考行人图像的姿态特征的余弦距离;将姿态特征的余弦距离与原始特征的余弦距离求加权和,得到最终的重排序距离。基于上述方案,根据姿态特征得到的重排序距离准确度较高,能够提高行人重识别的检索结果准确率和召回率。

Description

行人重识别方法、装置、服务器以及存储介质
技术领域
本发明涉及机器学习技术领域,更具体的说,是涉及一种行人重识别方法、装置、服务器以及存储介质。
背景技术
随着视频监控越来越广泛地应用于现代社会,对视频内容进行处理和分析也越来越重要。ReID(person re-identification,行人重识别技术)是利用计算机视觉技术在跨摄像头下针对特定行人对象的视频内容识别检索,即判断某个摄像头下出现的行人是否出现在其他摄像头下。
近年来,ReID在零售(智慧门店、智慧广场、智慧营销)、文旅(景区、展馆)、安防(机场、火车站、社区)等各种应用场景中的寻人搜索(即,以图搜图,确定目标人员最近位置动向)、重点人员动向监控(即、结合人脸库,对非常住人口等重点人员,监控其活动轨迹,提供有用线索)方面得到了广泛应用。
在实际应用场景中,因摄像头部署位置、角度和摄像头部署点位有限等原因,导致不同的摄像头拍摄的行人图片会有各种视角和姿态,并且还会存在光照变化、遮挡、相似着装等问题,导致ReID的检索结果准确率和召回率较低。
发明内容
有鉴于此,本发明提供了一种行人重识别方法、装置、服务器以及存储介质,以提高行人重识别的检索结果准确率和召回率。
为实现上述目的,一方面,本申请提供了一种行人重识别方法,包括:
获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
获取检索库,所述检索库中包括参考行人图像;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
又一方面,本申请还提供了一种行人重识别装置,包括:
第一获取单元,用于获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
第二获取单元,用于获取检索库,所述检索库中包括参考行人图像;
第一余弦距离计算单元,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
第二余弦距离计算单元,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
重排序距离计算单元,用于将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
又一方面,本申请还提供了一种服务器,包括:
处理器和存储器;
其中,所述处理器用于执行所述存储器中存储的程序;
所述存储器用于存储程序,所述程序至少用于:
获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
获取检索库,所述检索库中包括参考行人图像;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
又一方面,本申请还提供了一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上所述的行人重识别方法。
经由上述的技术方案可知,与现有技术相比,本发明提供了一种行人重识别方法、装置、服务器以及存储介质,获取目标行人图像及参考行人图像之后,将目标行人图像与参考行人图像输入至预先训练生成的行人重识别网络中得到目标行人图像与参考行人图像的原始特征的余弦距离;并将目标行人图像与参考行人图像输入至预先训练生成的姿态生成对抗网络中得到目标行人图像与参考行人图像的姿态特征的余弦距离;将姿态特征的余弦距离与原始特征的余弦距离求加权和,得到最终的重排序距离。基于上述方案,根据姿态特征得到的重排序距离准确度较高,能够提高行人重识别的检索结果准确率和召回率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于K-互邻近编码的重排序技术的系统架构图;
图2为本发明实施例提供的一种行人重识别系统的组成架构示意图;
图3为本发明实施例提供的一种行人重识别方法的流程示意图;
图4为本发明实施例提供的一种残差快的示意图;
图5为本发明实施例提供的另一种残差快的示意图;
图6为本发明实施例提供的一种姿态生成对抗网络训练示意图;
图7为本申请实施例提供的一种典型人体姿态示意图;
图8为本申请实施例提供的一种本申请的行人重识别方法的应用流程示意图;
图9为本发明实施例提供的一种行人重识别装置的结构示意图;
图10为本发明实施例提供的一种服务器的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高ReID的检索结果准确率和召回率,本案发明人进行研究,发现基于重排序(Re-ranking)对ReID的原始检索结果进行重新排序,可以优化ReID的原始检索结果,在很大程度上提高ReID的检索结果准确率和召回率。
目前,常用的一种重排序技术是基于K-互邻近编码(K-reciprocal encoding)的重排序技术,K-互邻近编码是一种表达两个目标之间互相检索并包含在检索结果的topK中的互邻近关系的编码方式。如图1所示,图1为一种基于K-互邻近编码的重排序技术的系统架构图。基于K-互邻近编码的重排序技术的原理是,如果检索库中的图像与检索图像特征很相似,并且在检索图像的K-互邻近编码集合中,其有很大的概率是真实的匹配。具体就是,利用两个行人检索的K-互邻近关系,得到一个K-互邻近编码特征,用杰卡德距离度量该特征的相似度,再与原欧式距离进行加权求和,从而得到重排序后的最终距离,并利用该距离进行重新排序。
但是,基于K-互邻近编码的重排序技术至少存在如下两个缺点:
第一,摄像头抓拍到的行人并不总是正面和固定的姿态,会有各种视角(正面、侧面、背面等)和姿态,但是,基于K-互邻近编码的重排序技术利用的仅是已有的拍摄到的行人原始特征信息,以及两者之间的互邻近信息,未利用行人的姿态信息,对于困难姿态行人(如侧身姿态、坐姿等)的排序效果并不理想。
第二,基于K-互邻近编码的重排序技术,K-互邻近编码特征的质量依赖于近距离的相似或相同ID的行人,若无相似或相同ID的行人,基于K-互邻近编码的重排序技术的重排序效果较差。
鉴于基于K-互邻近编码的重排序技术存在的问题,本案发明人进行了深入研究,最终提出了一种行人重识别系统,该系统能够提高ReID的检索结果准确率和召回率。
为了便于理解,先对本申请的方案所适用的系统的组成架构进行介绍。如,参见图2,其示出了本申请一种行人重识别系统的组成架构示意图。
由图2可知,该行人重识别系统包括终端设备10、网络11和服务器12。网络11用以在终端设备10和服务器12之间提供通信链路的介质。网络11可以包括各种连接类型,例如,有线、无线通信链路或者光纤电缆等。
用户可以使用终端设备10通过网络11与服务器12进行交互,以接收或发送消息等,比如输入待进行行人重识别的行人图像,接收行人重识别结果等。终端设备10上可以安装有行人重识别系统的用户客户端,用户客户端可以基于各种应用程序实现,例如社交类应用程序等。
终端设备10可以是硬件,也可以是软件。当终端设备10为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、膝上型便携计算机、台式计算机等电子设备。当终端设备10为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。本申请实施例对电子设备的具体类型不作任何限制。
服务器12可以是提供各种服务的服务器,例如对终端设备10提供支持的后台服务器。后台服务器可以响应于接收到终端设备输入的待进行行人重识别的行人图像,并对终端设备输入的待进行行人重识别的行人图像进行分析处理,得到处理结果(例如重排序结果),并返回该处理结果给终端设备。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的行人重识别方法一般由服务器12执行,相应地,行人重识别装置一般设置于服务器12中。
应该理解,图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
基于图2所示的行人重识别系统,下面以服务器的角度,对本发明实施例提供的行人重识别方法进行介绍。
请参阅附图3,图3为本发明实施例提供的一种行人重识别方法的流程示意图,参照图3,该方法可以包括:
S301:获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像。
本实施例中,目标行人图像具体可以为用户通过用户终端输入的待进行行人重识别的行人图像。
S302:获取检索库,所述检索库中包括参考行人图像。
本实施例中,检索库具体可以为已经公开的行人图像数据库,比如,Market-1501、Duke MTMC-reid、CUHK03等,检索库中包括的参考行人图像中的行人身份是确定的。
S303:将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离。
本实施例中,预先训练生成的行人重识别网络指的是不包含重排序功能的行人重识别模型。所述目标行人图像与所述参考行人图像的原始特征的余弦距离指的是所述目标行人图像的原始特征与所述参考行人图像的原始特征之间的余弦距离,该距离可以采用现有的算法计算,本实施例中不进行任何限定。
S304:将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离。
本实施例中,预先训练生成的姿态生成对抗网络可以是基于训练样本以及现有的神经网络模型训练而成的,姿态特征指的是与行人姿态相关的特征,所述目标行人图像与所述参考行人图像的姿态特征的余弦距离指的是所述目标行人图像的姿态特征与所述参考行人图像的姿态特征之间的余弦距离,该距离可以采用现有的算法计算,本实施例中不进行任何限定。
S305:将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
本实施例中,在得到最终的重排序距离之后,即可根据重排序距离确定检索库中与目标行人图像相似度高的目标参考行人图像。确定出来的结果具有较高的准确性及召回率。
本实施例提供了一种行人重识别方法,获取目标行人图像及参考行人图像之后,将目标行人图像与参考行人图像输入至预先训练生成的行人重识别网络中得到目标行人图像与参考行人图像的原始特征的余弦距离;并将目标行人图像与参考行人图像输入至预先训练生成的姿态生成对抗网络中得到目标行人图像与参考行人图像的姿态特征的余弦距离;将姿态特征的余弦距离与原始特征的余弦距离求加权和,得到最终的重排序距离。基于上述方案,根据姿态特征得到的重排序距离准确度较高,能够提高行人重识别的检索结果准确率和召回率。
下面对本申请用到的姿态生成对抗网络进行详细介绍。
本申请中,姿态生成对抗网络包括姿态生成对抗网络生成器、姿态生成对抗网络判别器以及姿态生成对抗网络姿态特征表达器。其中:
姿态生成对抗网络生成器包括编码器、解码器,其中,编码器使用三层普通卷积层实现,解码器使用三层反卷积层实现,编码器与解码器中间使用三个步长为1的残差块(res-block)连接。此处的残差块的结构示意图如图4所示。
作为一种可实施方式,姿态生成对抗网络生成器的网络结构参数如表1所示。
表1
姿态生成对抗网络判别器使用5层卷积层实现。作为一种可实施方式,姿态生成对抗网络判别器的网络结构参数如表2所示。
表2
姿态生成对抗网络姿态特征表达器是使用ResNet50作为基础模型,姿态生成对抗网络姿态特征表达器的网络结构参数如表3所示。其中用到的模块(即表3中的block)的结构示意图如图5所示。
表3
需要说明的是,姿态生成对抗网络生成器、姿态生成对抗网络判别器以及姿态生成对抗网络姿态特征表达器除了采用上述网络结构及网络结构参数之外,还可以采用其他基础网络结构或网络结构参数来实现,对此,本申请不进行任何限定。
基于上述姿态生成对抗网络的结构,在对姿态生成对抗网络训练之前,需要对姿态生成对抗网络的参数进行初始化,作为一种可实施方式,姿态生成对抗网络生成器与姿态生成对抗网络判别器都采用方差为0.01、均值为0的高斯分布进行初始化,姿态生成对抗网络姿态特征表达器的Conv1-Conv5采用在ImageNet数据集上预训练的ResNet50的参数,新添加的层如Conv_6采用方差为0.01,均值为0的高斯分布进行初始化。
在对姿态生成对抗网络的参数初始化完毕之后,对姿态生成对抗网络进行训练。
在本申请中,可使用公开的Market-1501、Duke MTMC-reid、CUHK03等多种数据集作为姿态生成对抗网络的训练集。采用基于SGD(Stochastic Gradient Descent)的梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b,在每次迭代过程中,计算预测结果误差并反向传播到卷积神经网络模型,计算梯度并更新卷积神经网络模型的参数。
如图6所示,姿态生成对抗网络训练共分3步,具体如下:
第一步:姿态生成对抗网络生成器输入由3通道(即RGB)的人体图像与3通道的目标姿态(8个中的任意一个)的人体关键点图像合并成的6通道图像,生成器训练使生成的图像与同一行人的目标姿态的真实图像之间差距最小。
第二步:将生成的行人图像与真实的目标姿态行人图像分别输入姿态生成对抗网络判别器,训练姿态生成对抗网络判别器能更准确地区分真实行人与生成的行人
第三步:将生成的行人图像送入姿态生成对抗网络姿态特征表达器,训练姿态生成对抗网络姿态特征表达器对不同行人生成姿态的特征的区分能力。
另外,本申请中,既可以训练一个姿态生成对抗网络生成所有姿态的行人,也可以分别训练一个姿态生成对抗网络生成相应姿态的行人。
在采用预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离时,可以将所述目标行人图像输入至所述姿态生成对抗网络的生成器中,生成与所述目标行人图像对应的第一行人图像,所述第一行人图像为所述目标行人图像中的行人在目标姿态角度下的图像;将所述参考行人图像输入至所述姿态对抗网络的生成器中,生成与所述参考行人图像对应的第一参考行人图像,所述第一参考行人图像为所述参考行人图像中的行人在目标姿态角度下的图像;将所述第一行人图像以及所述第一参考行人图像分别输入至所述姿态生成对抗网络的提取器中,生成所述目标行人图像的第一姿态特征,以及所述参考行人图像的第二姿态特征;根据所述第一姿态特征以及所述第二姿态特征计算所述目标行人图像与所述参考行人图像的姿态特征的余弦距离。
作为一种可实施方式,所述将所述第一行人图像以及所述第一参考行人图像分别输入至所述姿态生成对抗网络的提取器中,生成所述目标行人图像的第一姿态特征,以及所述参考行人图像的第二姿态特征,包括:提取所述第一行人图像的行人特征,对所述第一行人图像的行人特征进行特征均值融合或特征拼接融合处理,生成所述目标行人图像的第一姿态特征;提取所述第一参考行人图像的行人特征,对所述第一参考行人图像的行人特征进行特征均值融合或特征拼接融合处理,生成所述参考行人图像的第一姿态特征。
作为一种可实施方式,在生成与所述目标行人图像对应的第一行人图像之前,所述方法还包括:利用人体关键点检测算法提取所述目标行人图像中的人体关键点信息;根据所述目标行人图像中的人体关键点信息确定所述目标行人图像中的行人的第一姿态角度;根据预先生成的典型人体姿态图确定目标姿态角度,所述目标姿态角度包括所述第一姿态角度、在所述典型人体姿态图中排序在所述第一姿态角度前面,和/或,在所述典型人体姿态图中排序在在所述第一姿态角度后面的N个姿态角度,所述N为大于等于0的整数。
需要说明的是,本申请中可采用开源的人体关键点检测算法(如open pose等)对目标行人图像提取人体关键点信息。另外,也可采用人体关键点检测算法在大量的行人数据上提取人体关键点信息,并对所有行人的关键点进行聚类,得到8个聚类中心作为行人的8种典型人体姿态图。按姿态角度,将其排序。比如,可以按照人顺时针或逆时针旋转一圈的过程中依次得到的8个不同旋转角度对应的8个姿态作为8种典型人体姿态图。如图7所示,图7为本申请实施例提供的一种典型人体姿态示意图。
基于上述方案,本申请实施例还给出了一种本申请的行人重识别方法的应用流程示意图,具体如图8所示。
由图8可以看出,对于给定要查询的行人图像,通过姿态生成对抗网络生成6个在典型姿态排序中前后最邻近姿态的行人,并对所有检索库中的行人也生成6个姿态对应的行人,然后用姿态特征提取网络对生成的行人提取特征,并做特征均值融合或者特征拼接融合得到姿态特征,最后计算检索行人与检索库中行人的姿态特征的余弦距离,并将该距离与从行人重识别特征网络中获得的原始行人特征的余弦距离求加权和,得到最终的重排序距离。
综上,本申请方案利用姿态生成对抗网络,为行人生成渐变视角姿态的行人,并利用其特征进行检索,提升困难视角和姿态下的检索准确率和召回率。利用行人的姿态信息,以及姿态生成对抗网络生成合理的扩展姿态信息来解决困难姿态和视角下的检索问题。另外,减少了重排序时对相似或相同ID行人的依赖,在相似或相同行人较少时依然能稳定提升重排序的整体效果。
下面对本发明实施例提供的行人重识别装置进行介绍,下文描述的行人重识别装置可与行人重识别方法相互对应参照。
图9为本发明实施例提供的行人重识别装置的结构框图,该行人重识别装置具体可以为服务器,参照图9,该装置可以包括:
第一获取单元91,用于获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
第二获取单元92,用于获取检索库,所述检索库中包括参考行人图像;
第一余弦距离计算单元93,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
第二余弦距离计算单元94,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
重排序距离计算单元95,用于将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
需要说明的是,上述各个单元的具体功能实现已在上述实施例中详细描述,本实施例不再赘述。
另一方面,本申请还提供了一种服务器,如参见图10,其示出了本申请的服务器的一种组成结构示意图,本实施例的服务器1100可以包括:处理器1101和存储器1102。
可选的,该服务器还可以包括通信接口1103、输入单元1104和显示器1105和通信总线1106。
处理器1101、存储器1102、通信接口1103、输入单元1104、显示器1105、均通过通信总线1106完成相互间的通信。
在本申请实施例中,该处理器1101,可以为中央处理器(Central ProcessingUnit,CPU),特定应用集成电路,数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器可以调用存储器1102中存储的程序。具体的,处理器可以执行计数方法的实施例中计数服务器所执行的操作。
存储器1102中用于存放一个或者一个以上程序,程序可以包括程序代码,所述程序代码包括计算机操作指令,在本申请实施例中,该存储器中至少存储有用于实现以下功能的程序:
获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
获取检索库,所述检索库中包括参考行人图像;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
在一种可能的实现方式中,该存储器1102可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、以及至少一个功能(比如图像播放功能等)所需的应用程序等;存储数据区可存储根据计算机的使用过程中所创建的数据,比如,用户数据、用户访问数据以及音频、视频、图像数据等等。
此外,存储器1102可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
该通信接口1103可以为通信模块的接口,如GSM模块的接口。
本申请还可以包括显示器1104和输入单元1105等等。
当然,图10所示的服务器的结构并不构成对本申请实施例中服务器的限定,在实际应用中服务器可以包括比图10所示的更多或更少的部件,或者组合某些部件。
另一方面,本申请实施例还提供了一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上任意一个实施例中服务器执行的行人重识别方法。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种行人重识别方法,其特征在于,包括:
获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
获取检索库,所述检索库中包括参考行人图像;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
2.根据权利要求1所述的方法,其特征在于,所述姿态生成对抗网络包括姿态生成对抗网络生成器、姿态生成对抗网络判别器以及姿态生成对抗网络姿态特征表达器;其中:
所述姿态生成对抗网络生成器包括编码器、解码器,其中,编码器使用三层普通卷积层实现,解码器使用三层反卷积层实现,编码器与解码器中间使用三个步长为1的残差块连接;
所述姿态生成对抗网络判别器使用5层卷积层实现;
所述姿态生成对抗网络姿态特征表达器使用ResNet50作为基础模型,并在所述基础模型的基础上添加新的卷积层实现。
3.根据权利要求2所述的方法,其特征在于,所述姿态生成对抗网络是采用如下方式训练的:
采用方差为0.01,均值为0的高斯分布对所述姿态生成对抗网络生成器以及所述姿态生成对抗网络判别器进行初始化;
采用ResNet50是参数对所述姿态生成对抗网络姿态特征表达器的基础模型进行初始化,采用方差为0.01,均值为0的高斯分布对所述姿态生成对抗网络姿态特征表达器的新的卷积层进行初始化;
将样本人体图像以及目标人体关键点图像作为所述姿态生成对抗网络的输入,采用基于随机梯度下降法训练生成所述姿态生成对抗网络。
4.根据权利要求2所述的方法,其特征在于,所述将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离,包括:
将所述目标行人图像输入至所述姿态生成对抗网络的生成器中,生成与所述目标行人图像对应的第一行人图像,所述第一行人图像为所述目标行人图像中的行人在目标姿态角度下的图像;
将所述参考行人图像输入至所述姿态对抗网络的生成器中,生成与所述参考行人图像对应的第一参考行人图像,所述第一参考行人图像为所述参考行人图像中的行人在目标姿态角度下的图像;
将所述第一行人图像以及所述第一参考行人图像分别输入至所述姿态生成对抗网络的提取器中,生成所述目标行人图像的第一姿态特征,以及所述参考行人图像的第二姿态特征;
根据所述第一姿态特征以及所述第二姿态特征计算所述目标行人图像与所述参考行人图像的姿态特征的余弦距离。
5.根据权利要求4所述的方法,其特征在于,所述将所述第一行人图像以及所述第一参考行人图像分别输入至所述姿态生成对抗网络的提取器中,生成所述目标行人图像的第一姿态特征,以及所述参考行人图像的第二姿态特征,包括:
提取所述第一行人图像的行人特征,对所述第一行人图像的行人特征进行特征均值融合或特征拼接融合处理,生成所述目标行人图像的第一姿态特征;
提取所述第一参考行人图像的行人特征,对所述第一参考行人图像的行人特征进行特征均值融合或特征拼接融合处理,生成所述参考行人图像的第一姿态特征。
6.根据权利要求4所述的方法,其特征在于,在生成与所述目标行人图像对应的第一行人图像之前,所述方法还包括:
利用人体关键点检测算法提取所述目标行人图像中的人体关键点信息;
根据所述目标行人图像中的人体关键点信息确定所述目标行人图像中的行人的第一姿态角度;
根据预先生成的典型人体姿态图确定目标姿态角度,所述目标姿态角度包括所述第一姿态角度、在所述典型人体姿态图中排序在所述第一姿态角度前面,和/或,在所述典型人体姿态图中排序在在所述第一姿态角度后面的N个姿态角度,所述N为大于等于0的整数。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述方法的执行主体为区块链中的一个节点。
8.一种行人重识别装置,其特征在于,包括:
第一获取单元,用于获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
第二获取单元,用于获取检索库,所述检索库中包括参考行人图像;
第一余弦距离计算单元,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
第二余弦距离计算单元,用于将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
重排序距离计算单元,用于将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
9.一种服务器,其特征在于,包括:
处理器和存储器;
其中,所述处理器用于执行所述存储器中存储的程序;
所述存储器用于存储程序,所述程序至少用于:
获取目标行人图像,所述目标行人图像为待进行行人重识别的行人图像;
获取检索库,所述检索库中包括参考行人图像;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的行人重识别网络中得到所述目标行人图像与所述参考行人图像的原始特征的余弦距离;
将所述目标行人图像与所述参考行人图像输入至预先训练生成的姿态生成对抗网络中得到所述目标行人图像与所述参考行人图像的姿态特征的余弦距离;
将所述姿态特征的余弦距离与所述原始特征的余弦距离求加权和,得到最终的重排序距离。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至7任一项所述的行人重识别方法。
CN201910866301.5A 2019-09-12 2019-09-12 行人重识别方法、装置、服务器以及存储介质 Active CN110555428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866301.5A CN110555428B (zh) 2019-09-12 2019-09-12 行人重识别方法、装置、服务器以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866301.5A CN110555428B (zh) 2019-09-12 2019-09-12 行人重识别方法、装置、服务器以及存储介质

Publications (2)

Publication Number Publication Date
CN110555428A true CN110555428A (zh) 2019-12-10
CN110555428B CN110555428B (zh) 2021-09-07

Family

ID=68740234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866301.5A Active CN110555428B (zh) 2019-09-12 2019-09-12 行人重识别方法、装置、服务器以及存储介质

Country Status (1)

Country Link
CN (1) CN110555428B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126249A (zh) * 2019-12-20 2020-05-08 深圳久凌软件技术有限公司 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN111401265A (zh) * 2020-03-19 2020-07-10 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111738172A (zh) * 2020-06-24 2020-10-02 中国科学院自动化研究所 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
CN111753684A (zh) * 2020-06-11 2020-10-09 昆明理工大学 一种利用目标姿势进行生成的行人重识别方法
CN113095123A (zh) * 2019-12-23 2021-07-09 晶睿通讯股份有限公司 对象识别方法及其相关监控摄像设备
CN113807189A (zh) * 2021-08-20 2021-12-17 浙江大学自贡创新中心 一种基于人体部件学习和姿态重构的视频行人重识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
US20180181842A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. Method and device for quasi-gibbs structure sampling by deep permutation for person identity inference
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
US20180181842A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. Method and device for quasi-gibbs structure sampling by deep permutation for person identity inference
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALESSANDRO BORGIA等: "GAN-Based Pose-Aware Regulation for Video-Based Person Re-Identification", 《2019 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
XUELIN QIAN等: "Pose-Normalized Image Generation for Person Re-identification", 《HTTPS://ARXIV.ORG/PDF/1712.02225V6.PDF》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126249A (zh) * 2019-12-20 2020-05-08 深圳久凌软件技术有限公司 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN113095123A (zh) * 2019-12-23 2021-07-09 晶睿通讯股份有限公司 对象识别方法及其相关监控摄像设备
CN113095123B (zh) * 2019-12-23 2024-05-03 晶睿通讯股份有限公司 对象识别方法及其相关监控摄像设备
CN111401265A (zh) * 2020-03-19 2020-07-10 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111401265B (zh) * 2020-03-19 2020-12-25 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111753684A (zh) * 2020-06-11 2020-10-09 昆明理工大学 一种利用目标姿势进行生成的行人重识别方法
CN111753684B (zh) * 2020-06-11 2022-07-08 昆明理工大学 一种利用目标姿势进行生成的行人重识别方法
CN111738172A (zh) * 2020-06-24 2020-10-02 中国科学院自动化研究所 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
CN111738172B (zh) * 2020-06-24 2021-02-12 中国科学院自动化研究所 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
CN113807189A (zh) * 2021-08-20 2021-12-17 浙江大学自贡创新中心 一种基于人体部件学习和姿态重构的视频行人重识别方法
CN113807189B (zh) * 2021-08-20 2023-10-27 浙江大学自贡创新中心 一种基于人体部件学习和姿态重构的视频行人重识别方法

Also Published As

Publication number Publication date
CN110555428B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110555428B (zh) 行人重识别方法、装置、服务器以及存储介质
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
Fleet et al. Computer Vision--ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part I
CN108875487B (zh) 行人重识别网络的训练及基于其的行人重识别
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
CN112200041B (zh) 视频动作识别方法、装置、存储介质与电子设备
WO2023273628A1 (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN109582813A (zh) 一种文物展品的检索方法、装置、设备和存储介质
CN113539304B (zh) 视频拆条方法和装置
CN110390356B (zh) 视觉词典生成方法及装置、存储介质
Yang et al. Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory
AU2021203821B2 (en) Methods, devices, apparatuses and storage media of detecting correlated objects involved in images
CN111414803A (zh) 人脸识别方法、装置、电子设备
Chattopadhyay et al. Information fusion from multiple cameras for gait‐based re‐identification and recognition
CN110851621A (zh) 基于知识图谱预测视频精彩级别的方法、装置及存储介质
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
Chen et al. Efficient activity detection in untrimmed video with max-subgraph search
US11055572B2 (en) System and method of training an appearance signature extractor
CN111709382A (zh) 人体轨迹处理方法、装置、计算机存储介质以及电子设备
CN111881777A (zh) 一种视频处理方法和装置
US20220300774A1 (en) Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
CN115203471B (zh) 一种基于注意力机制的多模融合视频推荐方法
CN111291611A (zh) 一种基于贝叶斯查询扩展的行人重识别方法及装置
CN115618099A (zh) 神经网络架构搜索的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant