CN114140822A - 行人重识别方法及装置 - Google Patents

行人重识别方法及装置 Download PDF

Info

Publication number
CN114140822A
CN114140822A CN202111383049.6A CN202111383049A CN114140822A CN 114140822 A CN114140822 A CN 114140822A CN 202111383049 A CN202111383049 A CN 202111383049A CN 114140822 A CN114140822 A CN 114140822A
Authority
CN
China
Prior art keywords
pedestrian
information
relation
relationship
meta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111383049.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S BANK OF CHINA NATIONAL CLEARING CENTER
Original Assignee
PEOPLE'S BANK OF CHINA NATIONAL CLEARING CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S BANK OF CHINA NATIONAL CLEARING CENTER filed Critical PEOPLE'S BANK OF CHINA NATIONAL CLEARING CENTER
Priority to CN202111383049.6A priority Critical patent/CN114140822A/zh
Publication of CN114140822A publication Critical patent/CN114140822A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种行人重识别方法及装置,方法包括:对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;根据行人检测结果及行人特征信息,生成行人元信息;将行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,根据关系强度矩阵,生成行人关系图;根据行人特征信息进行置信度计算,得到识别置信度,利用行人关系图对识别置信度进行校正更新,根据校正更新后的识别置信度,确定行人重识别结果。本发明通过生成行人关系强度及拓扑图,准确描述行人之间关系,利用行人之间的关系增强行人重识别的精度,解决模糊场景存在的识别置信度较低的情况,且生成的行人关系图可以运用到其它场景,增强行人重识别的准确率。

Description

行人重识别方法及装置
技术领域
本发明涉及图像检索技术领域,尤指一种行人重识别方法及装置。
背景技术
目前,视频监控系统采用的行人识别技术为行人重识别,也称行人再识别,简称ReID(Person Re-identification),ReID工作原理是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题,给定一个监控行人图像,检索跨设备下的该行人图像。在监控视频中,由于相机分辨率和拍摄角度的缘故,通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下,ReID就成为了一个非常重要的替代品技术,可以检索出不同摄像头下的相同行人图片。
如图1所示,传统ReID技术通过目标检测,找到图片中所有的行人,通过深度学习,训练一个特征提取网络,再根据特征所计算的度量距离进行排序,选出置信度最高的几张图片,来达到目标检索的目的。主要应用于智能安防、公共安全、小区管理等场景。存在问题包括由于摄像头角度、分辨率、光照、距离、视频质量参差不一、行人(ID)衣着、环境等外部因素变化,以及遮挡、行人观测角度、姿态的变化等非可控环境和行人(ID)的变化,导致ReID检出率低,效果较差。
发明内容
针对现有技术中存在的问题,本发明实施例的主要目的在于提供一种行人重识别方法及装置,提升ReID的识别准确度。
为了实现上述目的,本发明实施例提供一种行人重识别方法,所述方法包括:
对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
根据所述行人检测结果及所述行人特征信息,生成行人元信息;
将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
可选的,在本发明一实施例中,所述对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息包括:
对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
可选的,在本发明一实施例中,所述根据所述行人检测结果及所述行人特征信息,生成行人元信息包括:
对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
可选的,在本发明一实施例中,所述根据所述行人特征信息进行置信度计算,得到识别置信度包括:
对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
可选的,在本发明一实施例中,所述将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵包括:
将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
根据所述强度关系,得到所述关系强度矩阵。
可选的,在本发明一实施例中,所述根据所述关系强度矩阵,生成行人关系图包括:
将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图。
可选的,在本发明一实施例中,所述利用所述行人关系图对所述识别置信度进行校正更新包括:
利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。
本发明实施例还提供一种行人重识别装置,所述装置包括:
目标检测模块,用于对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
元信息模块,用于根据所述行人检测结果及所述行人特征信息,生成行人元信息;
关系图模块,用于将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
识别结果模块,用于根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
可选的,在本发明一实施例中,所述目标检测模块包括:
检测结果单元,用于对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
特征信息单元,用于根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
可选的,在本发明一实施例中,所述元信息模块包括:
行人ID单元,用于对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
元信息单元,用于根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
可选的,在本发明一实施例中,所述元信息模块还用于对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
可选的,在本发明一实施例中,所述关系图模块包括:
强度关系单元,用于将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
强度矩阵单元,用于根据所述强度关系,得到所述关系强度矩阵。
可选的,在本发明一实施例中,所述关系图模块还用于将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图。
可选的,在本发明一实施例中,所述识别结果模块还用于利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过生成行人关系图,更加准确描述行人之间关系,利用行人之间的关系增强行人重识别的精度,解决模糊场景存在的识别置信度较低的情况,且生成的行人关系图可以运用到其它场景,增强行人重识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统行人重识别流程图;
图2为本发明实施例一种行人重识别方法的流程图;
图3为本发明实施例中目标识别及特征提取的流程图;
图4为本发明实施例中提取行人元信息的流程图;
图5为本发明实施例中得到关系强度矩阵的流程图;
图6为本发明一具体实施例中行人重识别方法的流程图;
图7为本发明一具体实施例中生成行人关系图的流程图;
图8为本发明一具体实施例中行人关系图;
图9为本发明一具体实施例中应用行人关系图进行REID的流程图;
图10为本发明实施例一种行人重识别装置的结构示意图;
图11为本发明实施例中目标检测模块的结构示意图;
图12为本发明实施例中元信息模块的结构示意图;
图13为本发明实施例中关系图模块的结构示意图;
图14为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种行人重识别方法及装置。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示为传统行人重识别过程,具体的,ReID工作原理:视频抽帧=>行人检测=>特征提取=>特征入库;输入查询图片(ID)=>特征提取=>特征比对=>排序输出。
如图2所示为本发明实施例一种行人重识别方法的流程图,本发明实施例提供的行人重识别方法的执行主体包括但不限于计算机。图中所示方法包括:
步骤S1,对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
步骤S2,根据所述行人检测结果及所述行人特征信息,生成行人元信息;
步骤S3,将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
步骤S4,根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
在本实施例中,在行人重识别过程中,由于摄像头角度、分辨率、光照、距离等因素,ReID的检出率受到影响。为了提高ReID的识别率,本发明提出利用行人(ID)之间的关系来增强行人重识别的识别率,尤其对于行人呈现固定关系的视频监控场景。ID之间的关系由识别过程中提取的元信息,例如ID之间的距离、ID停留的时间、摄像头序号等推导而来。元信息通过计算,形成ID之间的关系拓扑图,并存入数据库为之后的判别提供帮助。对于ReID原始模型推理出的ReID置信度,加入ID之间拓扑关系,从而提升ReID的识别准确度,尤其对于处在判别边缘的ID。同时根据ReID结果,更新行人关系元信息,并写入数据库。
进一步的,通过接收摄像头采集到的监控视频,对监控视频进行图片提取,可以得到多个行人图片。对行人图片进行目标检测,可采用通用的目标检测技术,得到行人检测结果。行人检测结果包括在行人图片中识别出来的行人,并对行人进行标注,每一行人具有唯一的行人ID。行人ID可以随机生成,或者按照预设规则设定,也可以人为设定。
进一步的,对行人检测结果进行特征提取,可以采用深度学习技术,例如卷积神经网络,来提取行人的特征,特征以多维向量的形式表示。具体的,提取得到的特征信息可以包括行人位置、行人生物特征、行人出现时间及行人离开时间等信息。
其中,对行人检测结果及行人特征信息进行提取及计算,可以生成行人元信息。具体的,根据行人位置计算行人距离,根据行人出现时间及行人离开时间计算行人停留时间。将行人距离、行人停留时间及行人生物特征((性别、年龄、头发、衣着等))与行人ID相关联,形成行人元信息。此外,行人元信息中还可以包括摄像头序号。
进一步的,行人元信息包括但不限行人之间的距离,停留时间,摄像头序号,行人ID的生物特征,它们均可通过视频图像分析获得。行人元信息的种类不同,计算方法也不同。例如行人之间的距离,可以通过目标(行人)检测的结果,将位置坐标相减或其它处理后获得;生物特征,可以通过预先训练的模型,来判断行人性别、年龄等。
进一步的,对行人特征信息进行特征对比,得到特征对比结果,即计算新输入的行人的特征同已存储在数据库中的特征进行比对,例如计算特征的距离,根据距离的大小,判断是否是同一个ID,即行人ID。根据特征对比结果,获得的识别置信度(confidence rate)。置信度是深度学习模型在推理阶段都会获得的一个值,用于判断是某类事物概率的大小。因为模型的设计不同,所以置信度的计算也不同。可以采用常规置信度计算方式,得到识别置信度。
具体的,例如某应用的行人元信息包括行人ID的停留时间、ID之间的距离、ID的性别、ID的位置(以摄像头ID为索引)、ID在某区域(摄像头覆盖区域)出现的频度,则预设的强度关系模型如公式(1)所示。
wij=α1dij2tij3li4sij5fij (1)
其中,wij为第i个ID与第j个ID之间的强度,dij为第i个ID与第j个ID之间的距离,li为第i个ID的位置(摄像头位置),tij为第i个ID与第j个ID之间停留的时间,sij为第i个ID的性别,fij为第i个ID与第j个ID共存的频度。这里所用的距离、时间等信息,可以是归一化的数值。通过公式(1)的计算得到的wij为第i个ID与第j个ID之间的强度关系,由此通过公式(2)可以得到关系强度矩阵。如果有n个ID,则ID关系强度矩阵为:
Figure BDA0003366321510000071
其中,一般来讲,为了突出ID之间的重要关系,n的数目一般不会太大,建议n<=5。
进一步的,根据ID之间关系强度,生成行人关系图,如图8所示。
进一步的,利用行人关系图,通过公式(3)对识别置信度进行更新。
Figure BDA0003366321510000072
其中,Cibfudebce_rateID1为ID1的识别置信度,N为行人关系图中总的ID个数,一般建议N<=5。若某个ID没有出现,则其识别置信度为0。
进一步的,根据更新后的识别置信度,确定行人重识别结果。例如,对于ID1,原始置信度为0.4,加入行人关系的考虑,其置信度变为0.7,大于初始设定的阈值,则判定该行人确实为ID1,从而提高了识别的精度。
在本实施例中,本发明方法还包括周期性更新行人元信息。具体的,可按照固定的周期或者当摄像头切换时进行更新,例如做完一次ReID,更新一次,或者1秒、1分钟等,根据实际的应用来调节。
进一步的,选取出现频度最高的几个ID,重新计算关系强度,更新行人关系图。也可根据摄像头ID,设定同每个摄像头相关的行人关系图。
作为本发明的一个实施例,如图3所示,对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息包括:
步骤S11,对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
步骤S12,根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
其中,通过接收摄像头采集到的监控视频,对监控视频进行图片提取,可以得到多个行人图片。对行人图片进行目标检测,可采用通用的目标检测技术,得到行人检测结果。
进一步的,对行人检测结果进行特征提取,可以采用深度学习技术,例如卷积神经网络,来提取行人的特征,特征以多维向量的形式表示。具体的,提取得到的特征信息可以包括行人位置、行人生物特征、行人出现时间及行人离开时间等信息。
作为本发明的一个实施例,如图4所示,根据所述行人检测结果及所述行人特征信息,生成行人元信息包括:
步骤S21,对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
步骤S22,根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
其中,行人检测结果包括在行人图片中识别出来的行人,并对行人进行标注,每一行人具有唯一的行人ID。行人ID可以随机生成,或者按照预设规则设定,也可以人为设定。具体的,行人ID人为标注即可,例如将图片中的行人标注为1,2,3等,或者按照应用的需求,按照设定的规则标定。
在本实施例中,根据所述行人特征信息进行置信度计算,得到识别置信度包括:对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
其中,对行人特征信息进行特征对比,得到特征对比结果,即计算新输入的行人的特征同已存储在数据库中的特征进行比对,例如计算特征的距离,根据距离的大小,判断是否是同一个ID,即行人ID。根据特征对比结果,获得的识别置信度,置信度是深度学习模型在推理阶段都会获得的一个值,用于判断是某类事物概率的大小。因为模型的设计不同,所以置信度的计算也不同。可以采用常规置信度计算方式,得到识别置信度。
在本实施例中,如图5所示,将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵包括:
步骤S31,将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
步骤S32,根据所述强度关系,得到所述关系强度矩阵。
其中,根据公式(1),可以计算得出每两个行人ID之间的强度关系。根据公式(2),可以利用强度关系,构建得到关系强度矩阵。
在本实施例中,根据所述关系强度矩阵,生成行人关系图包括:将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图,如图8所示。
在本实施例中,利用所述行人关系图对所述识别置信度进行更新包括:利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。具体的,可通过公式(3)对识别置信度进行校正更新。
本发明根据行人检测结果及行人特征信息,依据应用需求,选择相应的特征元素,生成行人元信息并存储在数据库中;提出利用行人元信息进行行人关系强度计算的方法,并根据行人之间的关系强度在线生成行人动态关系拓扑图;利用行人关系强度和关系拓扑图对行人重识别的识别置信度进行校正,以提高行人重识别的精度,确定行人重识别结果;根据行人重识别的结果,动态更新元信息、关系强度以及关系图,使得行人关系描述更加及时准确。
在本发明一具体实施例中,如图6所示流程主要分为两个步骤:行人拓扑关系生成,如图7所示,以及将拓扑关系用于行人重识别,如图9所示,具体如下:
1)在视频监控中,对视频进行处理,抽取视频帧作为图片,对图片进行行人的检测,并根据需求设定标记行人的ID。行人的检测可利用经典的目标检测方法进行。
2)对行人以及视频的行人元信息进行提取。行人元信息根据需求,可有不同的内容,例如行人之间的距离(通过目标检测时检测的行人坐标计算),行人的停留时间(通过视频帧的时长来计算),行人的生物特征(年龄、性别等,均可通过经典的模型获得结果),摄像头的信息(分辨率、摄像头ID号等)。
3)根据行人元信息,利用公式(1)计算行人之间的关系强度。
4)根据ID之间关系强度,生成行人关系图,如图8所示,并将关系强度矩阵存储在数据库中。
5)当行人重识别任务到来时,监控系统在进行目标检测、特征比对之后,输出原始的ID识别置信度。
6)根据关系图中周边ID的置信度以及ID关系强度,利用公式(3)调整各ID的置信度。
7)利用更新的置信度,对ID进行行人重识别的判别。例如,对于ID1,原始置信度为0.4,加入拓扑关系的考虑,其置信度变为0.7,大于初始设定的阈值,则判定该行人确实为ID1,从而提高了识别的精度。
8)周期性更新元信息(例如按照时间间隔、按照摄像头ID的转换等),选取出现频度最高的几个ID,重新计算关系强度,更新行人关系图。也可根据摄像头ID,设定同每个摄像头相关的ID关系图。当使用时,只需根据摄像头ID,找出相应的行人关系强度。
本发明利用行人之间的关系增强行人重识别的精度;利用多维元数据描述行人之间关系的强弱:距离关系、时间长度、位置信息、频度、性别及其它;动态更新关系拓扑图,使之逐渐精准描述行人关系。行人关系拓扑在线生成,并随着使用,更加准确描述行人之间关系;增强行人重识别的准确率,尤其是针对模糊场景(识别置信度较低);生成的行人关系拓扑可以运用到其它场景/应用。
本发明通过生成行人关系图,更加准确描述行人之间关系,利用行人之间的关系增强行人重识别的精度,解决模糊场景存在的识别置信度较低的情况,且生成的行人关系图可以运用到其它场景,增强行人重识别的准确率。
如图10所示为本发明实施例一种行人重识别装置的结构示意图,图中所示装置包括:
目标检测模块10,用于对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
元信息模块20,用于根据所述行人检测结果及所述行人特征信息,生成行人元信息;
关系图模块30,用于将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
识别结果模块40,用于根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
作为本发明的一个实施例,如图11所示,目标检测模块10包括:
检测结果单元11,用于对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
特征信息单元12,用于根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
作为本发明的一个实施例,如图12所示,元信息模块20包括:
行人ID单元21,用于对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
元信息单元22,用于根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
在本实施例中,元信息模块20还用于对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
在本实施例中,如图13所示,关系图模块30包括:
强度关系单元31,用于将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
强度矩阵单元32,用于根据所述强度关系,得到所述关系强度矩阵。
在本实施例中,所述关系图模块还用于将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图。
在本实施例中,所述识别结果模块还用于利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。
基于与上述一种行人重识别方法相同的申请构思,本发明还提供了上述一种行人重识别装置。由于该一种行人重识别装置解决问题的原理与一种行人重识别方法相似,因此该一种行人重识别装置的实施可以参见一种行人重识别方法的实施,重复之处不再赘述。
本发明通过生成行人关系图,更加准确描述行人之间关系,利用行人之间的关系增强行人重识别的精度,解决模糊场景存在的识别置信度较低的情况,且生成的行人关系图可以运用到其它场景,增强行人重识别的准确率。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图14所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图14中所示的所有部件;此外,电子设备600还可以包括图14中没有示出的部件,可以参考现有技术。
如图14所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种行人重识别方法,其特征在于,所述方法包括:
对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
根据所述行人检测结果及所述行人特征信息,生成行人元信息;
将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
2.根据权利要求1所述的方法,其特征在于,所述对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息包括:
对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
3.根据权利要求1所述的方法,其特征在于,所述根据所述行人检测结果及所述行人特征信息,生成行人元信息包括:
对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
4.根据权利要求3所述的方法,其特征在于,所述根据所述行人特征信息进行置信度计算,得到识别置信度包括:
对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
5.根据权利要求3所述的方法,其特征在于,所述将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵包括:
将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
根据所述强度关系,得到所述关系强度矩阵。
6.根据权利要求5所述的方法,其特征在于,所述根据所述关系强度矩阵,生成行人关系图包括:
将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图。
7.根据权利要求6所述的方法,其特征在于,所述利用所述行人关系图对所述识别置信度进行校正更新包括:
利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。
8.一种行人重识别装置,其特征在于,所述装置包括:
目标检测模块,用于对采集到的监控视频进行目标检测及特征提取,分别得到行人检测结果及行人特征信息;
元信息模块,用于根据所述行人检测结果及所述行人特征信息,生成行人元信息;
关系图模块,用于将所述行人元信息输入至预设的强度关系模型中进行计算,得到关系强度矩阵,并根据所述关系强度矩阵,生成行人关系图;
识别结果模块,用于根据所述行人特征信息进行置信度计算,得到识别置信度,利用所述行人关系图对所述识别置信度进行校正更新,并根据校正更新后的识别置信度,确定行人重识别结果。
9.根据权利要求8所述的装置,其特征在于,所述目标检测模块包括:
检测结果单元,用于对采集到的监控视频进行图片提取,得到行人图片,并对所述行人图片进行目标检测,得到行人检测结果;
特征信息单元,用于根据深度学习算法,对所述行人检测结果进行特征提取,得到行人特征信息;其中,所述行人特征信息包括行人位置、行人出现时刻及行人离开时刻。
10.根据权利要求8所述的装置,其特征在于,所述元信息模块包括:
行人ID单元,用于对所述行人检测结果中的行人进行ID设置,得到多个行人ID;
元信息单元,用于根据所述行人ID及所述行人特征信息,生成对应于所述行人ID的行人元信息;其中,所述行人元信息包括行人距离、行人停留时间及行人生物特征。
11.根据权利要求10所述的装置,其特征在于,所述元信息模块还用于对所述行人特征信息进行特征对比,得到特征对比结果,并根据所述特征对比结果进行置信度计算,得到对应于行人ID的识别置信度。
12.根据权利要求10所述的装置,其特征在于,所述关系图模块包括:
强度关系单元,用于将所述行人距离、行人停留时间、行人生物特征及对应的行人ID输入至预设的强度关系模型中计算,得到每两个行人ID之间的强度关系;
强度矩阵单元,用于根据所述强度关系,得到所述关系强度矩阵。
13.根据权利要求12所述的装置,其特征在于,所述关系图模块还用于将所述行人ID作为点,并将所述关系强度矩阵中每两个行人ID之间的强度关系作为连接线,生成所述行人关系图。
14.根据权利要求13所述的装置,其特征在于,所述识别结果模块还用于利用所述行人关系图中所述行人ID的总个数及每两个行人ID之间的强度关系,分别对各行人ID对应的识别置信度进行校正更新。
15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7任一项所述方法的计算机程序。
CN202111383049.6A 2021-11-22 2021-11-22 行人重识别方法及装置 Pending CN114140822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111383049.6A CN114140822A (zh) 2021-11-22 2021-11-22 行人重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111383049.6A CN114140822A (zh) 2021-11-22 2021-11-22 行人重识别方法及装置

Publications (1)

Publication Number Publication Date
CN114140822A true CN114140822A (zh) 2022-03-04

Family

ID=80390563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111383049.6A Pending CN114140822A (zh) 2021-11-22 2021-11-22 行人重识别方法及装置

Country Status (1)

Country Link
CN (1) CN114140822A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115188081A (zh) * 2022-09-13 2022-10-14 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115188081A (zh) * 2022-09-13 2022-10-14 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法
CN115188081B (zh) * 2022-09-13 2022-12-02 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法

Similar Documents

Publication Publication Date Title
US10402627B2 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
US20210182567A1 (en) Method for accelerated detection of object in videos, server, and non-transitory computer readable storage medium
CN110751224B (zh) 视频分类模型的训练方法、视频分类方法、装置及设备
CN109035246B (zh) 一种人脸的图像选择方法及装置
CN111626371B (zh) 一种图像分类方法、装置、设备及可读存储介质
CN107871001B (zh) 音频播放方法、装置、存储介质及电子设备
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN109002784B (zh) 街景识别方法和系统
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN111783997B (zh) 一种数据处理方法、装置及设备
CN112417970A (zh) 目标对象识别方法、装置和电子系统
CN111881740B (zh) 人脸识别方法、装置、电子设备及介质
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN112884147A (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN112101156A (zh) 一种目标识别的方法、装置和电子设备
CN110929555B (zh) 脸部识别方法与使用此方法的电子装置
CN114140822A (zh) 行人重识别方法及装置
CN113313098B (zh) 视频处理方法、设备、系统及存储介质
CN111242176A (zh) 计算机视觉任务的处理方法、装置及电子系统
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN110866484A (zh) 驾驶员人脸检测方法、计算机装置及计算机可读存储介质
CN111931852B (zh) 目标物的定价方法及装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination