CN109934104A - 基于行人重识别的跨镜头的行人检索方法及系统 - Google Patents
基于行人重识别的跨镜头的行人检索方法及系统 Download PDFInfo
- Publication number
- CN109934104A CN109934104A CN201910086576.7A CN201910086576A CN109934104A CN 109934104 A CN109934104 A CN 109934104A CN 201910086576 A CN201910086576 A CN 201910086576A CN 109934104 A CN109934104 A CN 109934104A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- picture
- data base
- property data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012806 monitoring device Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 230000002123 temporal effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013549 information retrieval technique Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于行人重识别的跨镜头的行人检索方法及系统,该方法包括以下步骤:S1,获取各个监控设备采集的监控视频;S2,对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;S3,根据分割的行人图片计算行人特征;S4,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;S5,计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。本发明相对人工检索的方法而言,检索的工作量小、效率高,且结果准确。
Description
技术领域
本发明涉及视频监控领域,尤其涉及一种基于行人重识别的跨镜头的行人检索方法及系统。
背景技术
目前,摄像机已经得到广泛的应用,带来了视频信息的爆炸式增长,无论是政府管理部门、还是公共场所,都依托于视频监测系统对辖区进行管理。但是,视频采集的数据为非结构化信息,在视频信息检索与应用上,技术手段仍然低下、原始,难以满足应用的需求。例如,在商场或火车站旁寻找一个走失的孩子,只能通过人工的方式去查看辖区内的所有摄像机采集的录像,其非常耗时耗力。在视频侦查应用上,一个案件涉及的视频可能有几百T大小,通过人工方式看可能要一两个月;通过视频摘要工具进行分析,再人工观看,假设浓缩比为20:1,其工作量仍不可小觑;而人脸识别技术虽然准确率高,但是对视频场景、人脸大小要求严格,对于大部分普通视频难以满足人脸识别的要求,其应用效果以及效率都不甚理想。
发明内容
本发明的目的在于提供一种基于行人重识别的跨镜头的行人检索方法及系统,旨在用于解决现有的跨镜头行人检索方式工作量大、效率低、效果不理想的问题。
本发明是这样实现的:
一方面,本发明提供一种基于行人重识别的跨镜头的行人检索方法,包括以下步骤:
S1,获取各个监控设备采集的监控视频;
S2,对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
S3,根据分割的行人图片计算行人特征;
S4,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
S5,计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
进一步地,对每个监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储的方法具体包括:
对监控设备采集的监控视频的多个视频帧通过目标检测方法检测出行人的位置信息,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置进行图像分割,保存分割后的行人图片。
进一步地,所述根据分割的行人图片计算行人特征具体包括:
对行人图片通过深度学习模型抽取出行人的特征向量。
进一步地,所述根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库具体包括:
当行人特征数据库中不存在参照特征时,在行人特征数据库中新建一个类别并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下;
当行人特征数据库中存在参照特征时,将当前行人的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,并按欧式距离从小到大对参照特征进行排序,选择欧氏距离最小并且满足预定阈值的参照特征,将当前行人分类到该参照特征所属的类别中,并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下,若最小欧氏距离不满足预定阈值,则建立新的类别并将该行人的行人特征以及出现的位置和时间信息写入到新的类别下。
进一步地,对于在同一监控设备采集的监控视频中出现的每个行人随机存储多张不同姿态的图片,将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离,并将多个结果合成作为该参照特征与该行人特征最终的相似度距离。
进一步地,所述将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离的计算公式如下:
其中,d(pi,gj)表示第i张图片提取的行人特征向量与序号为j的参照特征向量的欧式距离,pi表示当前行人的第i张图片提取的行人特征向量,gj表示行人特征数据库中序号为j的参照特征向量。
进一步地,所述计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别具体包括:
计算待检索行人的行人特征向量,将计算的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,选择欧氏距离最小的参照特征,该参照特征所属的类别就是该行人所属类别。
进一步地,得出行人所属类别后,输出该类别下的行人出现的位置和时间信息以及欧式距离最小的k个参照特征对应的行人图片,其中k≥1。
另一方面,本发明还提供一种基于行人重识别的跨镜头的行人检索系统,包括:
视频数据获取模块,用于获取各个监控设备采集的监控视频;
行人检测模块,用于对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
行人特征计算模块,用于根据分割的行人图片计算行人特征;
行人特征数据库建立模块,用于根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
行人检索模块,用于计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
进一步地,所述行人检测模块具体用于:
对监控设备采集的监控视频的多个视频帧通过目标检测方法检测出行人的位置信息,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置进行图像分割,保存分割后的行人图片。
与现有技术相比,本发明具有以下有益效果:
本发明提供的这种基于行人重识别的跨镜头的行人检索方法及系统,对各监控设备采集的监控视频中的行人进行检测,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下构成行人特征数据库,从而在行人特征数据库中存储有每个行人在各个监控设备中出现的相关信息,对行人检索时,只需要计算待检索行人的行人特征,并与行人特征数据库中的行人特征进行对比就能得出该行人所属类别,进而得到该类别下的行人信息作为跨镜头行人检索的结果,该方法相对人工检索的方法而言,检索的工作量小、效率高,且结果准确。
附图说明
图1为本发明实施例提供的一种基于行人重识别的跨镜头的行人检索方法的流程图;
图2为本发明实施例提供的一种基于行人重识别的跨镜头的行人检索系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供一种基于行人重识别的跨镜头的行人检索方法,包括以下步骤:
S1,获取各个监控设备采集的监控视频;
S2,对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
S3,根据分割的行人图片计算行人特征;
S4,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
S5,计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
本发明实施例提供的这种基于行人重识别的跨镜头的行人检索方法,对各监控设备采集的监控视频中的行人进行检测,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下构成行人特征数据库,从而在行人特征数据库中存储有每个行人在各个监控设备中出现的相关信息,对行人检索时,只需要计算待检索行人的行人特征,并与行人特征数据库中的行人特征进行对比就能得出该行人所属类别,进而得到该类别下的行人信息作为跨镜头行人检索的结果,该方法相对人工检索的方法而言,检索的工作量小、效率高,且结果准确。该方案可实现大范围监控设备视场内的行人快速检索,以及跨镜头的特定目标的实时跟踪,能够为视频侦查提供相当有力的支持。
下面对上述各步骤进行详细说明。
在步骤S1中,获取某一区域内各个监控设备采集的监控视频,所述区域可以为小区、商场等固定区域,监控视频可以采用实时获取的方式,获取之后可以对监控视频进行实时地分析。
在步骤S2中,对各个监控设备采集的监控视频独立地进行分析,对每个监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储的方法具体包括:
对监控设备采集的监控视频的每个视频帧进行分析,如果帧数高,可以采用间隔取帧的方式,对视频帧通过目标检测方法检测出行人的位置信息,具体可采用目标检测模型yolo v3模型进行检测,检测的位置信息包括行人在视频帧中的坐标以及行人的边界框,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置将行人图片从视频帧中分割出来,保存分割后的行人图片。优选地,对于在同一监控设备采集的监控视频中出现的每个行人,在该行人刚出现的若干帧内随机的保存多张该行人的图片,同时保存该行人出现的位置和时间信息。
该步骤主要是对单个监控设备拍摄的监控视频进行本地的行人追踪,可以得出行人出现和离开的时间,以及采集行人的不同姿态的图片。
在步骤S3中,所述根据分割的行人图片计算行人特征具体包括:
对行人图片通过深度学习模型抽取出行人的特征向量,可以采用ResNet50作为基础网络,并根据训练样本修改最后的输出层的大小,对该模型进行训练,再利用训练好的ResNet50模型进行行人特征向量的抽取,在推断过程中将average pool层的输出2048维的特征向量正则化后作为图片的特征,即每张图片可以获得2048维的特征。
在步骤S4中,本实施例对各个行人的分类是将当前行人的行人特征与特征数据库进行对比来分类的,所述根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库具体包括:
当行人特征数据库中不存在行人特征作为参照特征时,即在行人特征数据库刚开始建立,行人特征数据库为空时,在行人特征数据库中新建一个类别并将当前行人的行人特征以及行人信息记录到该类别下,其中,行人信息包括行人出现的位置和时间等信息,通过对行人出现的位置和时间信息进行记录方便形成行人的轨迹信息。一个类别代表一个行人,一个类别下存储的信息为同一个行人的信息。
当行人特征数据库中存在行人特征作为参照特征时,将当前行人的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,当每个行人存储有多张不同姿态的图片时,将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离,并将多个结果合成作为该参照特征与该行人特征最终的相似度距离,根据合成后的欧氏距离能够更加准确地判断行人所属类别。然后按欧式距离从小到大对参照特征进行排序,选择欧氏距离最小并且满足预定阈值的参照特征,将当前行人分类到该参照特征所属的类别中,并将当前行人出现的位置和时间等信息记录到该类别下,并有选择的将当前行人的行人特征存储到行人特征数据库充当其他行人特征的参照特征。若最小欧氏距离不满足预定阈值,则建立新的类别并将该行人的行人特征以及出现的位置和时间等信息写入到新的类别下。上述阈值为提前设定的,表明行人特征与参照特征的相似度只有大于一定值才能将该行人特征与参照特征分到同一类别中,否则行人特征与参照特征不属于同一类别,从而提高分类的准确性。
行人特征数据库中的数据是通过上述过程不断积累的。
下面对将当前行人的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离的具体方法进行说明。
上述将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离的计算公式如下:
其中,d(pi,gj)表示第i张图片提取的行人特征向量与序号为j(假设共有N条参照特征)的参照特征向量的欧式距离,pi表示当前行人的第i张图片提取的行人特征向量,表示行人特征数据库中序号为j(其中0<j≤N)的参照特征向量,cls表示行人的类别,如果不影响时将cls上标省略,直接表示为gj。
经过计算后可以得出当前行人特征与特征数据库中参照特征的欧式距离,为了使得上述距离的计算更加准确,作为优选地,还包括以下步骤:
然后求pi的k近邻,就是把第i张图片的行人特征向量与数据库中所有参照特征距离组成的向量进行从小到大的排序,寻找最小的k个参照特征,表示如下:
N(pi,k)={g1,g2,...,gk}
再计算pi的k近邻互关联集R(pi,k),定义如下:
R(pik)={gj|(gj∈N(pi,k))∩(p∈N(gj,k))}
为了防止与pi类型相同的参照特征不在N(pi,k)中需要获得一个更加鲁棒的互关联增强集R*(pi,k),它的定义如下:
为了方便计算Jaccard距离需要把欧式距离进行转换,转换公式如下:
由于pi的k邻近集具有某些相同的特征,同时为了减少运算量选择近邻求均值,需要进行如下的转换:
其中
接下来求Jaccard距离,计算公式如下:
其中gj∈R*(pi,k)
最后可以得出最终的距离d*(pi,gj),定义如下:
d*(pi,gj)=(1-λ)dJ(pi,gj)+λd(pi,gj)其中λ∈[0,1]。
通过上述最终的距离d*(pi,gj)对行人特征与参照特征之间的相似度进行排序,排序结果更加准确,效果更好。
为了节约计算资源,在数据库中定义的多个表用于存放计算的中间结果,分别有:
k近邻表:用于存放行人特征数据库中每个参照特征的k近邻集,表中元素由距离和id组成,表示与序号为id参照特征的距离,每行是按照由小到大的距离排序的;
k互关联表:用于存放参照特征的互关联集;
k互关联增强表:用于存放k互关联增强集;
中间表1:用于存放参照特征计算的
中间表2:用于存放个参照特征平均的结果;
首先对上一步中获得的特征(多个2048维的特征,称每个特征为查询特征,对每个特征的处理方法一样)与行人特征数据库中的参照特征求欧式距离,获取k近邻集,并存放在k近邻表中,然后计算查询特征的k互关联集,并存放在k互关联表中,并且更新该表,更新方式为:1)更新k近邻表,对每个查询特征的互关联集中的参照特征,将查询特征插入到该参照特征的k近邻集中的适当位置,如果前k/2位置,则对该参照特征打标记,如果数量超过了k个,则将距离最大的从k近邻中移除,放入该参照特征的已删除集中;2)更新k互关联表,对每个查询特征的互关联集中的参照特征,将查询特征加入到该参照特征的k互关联集中,从k互关联集移除掉处在已删除集中的特征。接下来继续计算查询特征的k互关联增强集,并将该增强集存入k互关联增强表中,并且更新该表,更新方式为:对每个查询特征的互关联集中的参照特征,计算查询特征的k/2互关联集与该参照特征的互关联集的交集是否大于2/3的查询特征的k/2互关联集,如果是,则需要将查询特征的k/2互关联集加入到该参照特征的互关联增强集中,同时移除掉只属于已删除集合中特征的互关联集元素;对于打了标记的参照特征需要额外的更新,保证依赖该参照特征的特征的互关联增强集正确;随后按照前面提到的公式计算中间表1和中间表2,然后计算Jaccard距离,再计算最后的合成距离。
上述步骤可以实现对刚出现的行人进行跨镜头的检索,当上一步采集完行人图片后可以立即进行跨镜头检索,整体上保持了与行人追踪的并行处理,可以极大的提高系统处理效率。
在步骤S5中,所述计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别具体包括:
计算待检索行人的行人特征向量,将计算的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,选择欧氏距离最小的参照特征,该参照特征所属的类别就是该行人所属类别。上述方法与步骤S4中的方法是类似的,重复之处不再赘述。
进一步地,得出行人所属类别后,输出该类别下的行人出现的位置和时间信息以及欧式距离最小的k个参照特征对应的行人图片,其中k≥1。该类别下的行人出现的位置和时间信息构成该行人的轨迹。优选地,输出行人图片时,对于同一类别下的多个参照特征只选择欧式距离最小的参照特征输出对应的行人图片。
基于同一发明构思,本发明实施例还提供一种基于行人重识别的跨镜头的行人检索系统,由于该系统解决技术问题的原理与上述方法是类似的,该系统的实施可以参照上述方法的实施,故重复之处不再赘述。
如图2所示,为本发明实施例提供的一种基于行人重识别的跨镜头的行人检索系统,用于实现上述方法实施例,该系统包括:
视频数据获取模块11,用于获取各个监控设备采集的监控视频;
行人检测模块12,用于对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
行人特征计算模块13,用于根据分割的行人图片计算行人特征;
行人特征数据库建立模块14,用于根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
行人检索模块15,用于计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
作为实施方式之一,所述行人检测模块12具体用于:
对监控设备采集的监控视频的多个视频帧通过目标检测方法检测出行人的位置信息,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置进行图像分割,保存分割后的行人图片。
作为实施方式之一,所述行人特征计算模块13具体用于:
对行人图片通过深度学习模型抽取出行人的特征向量。
作为实施方式之一,所述行人特征数据库建立模块14具体用于:
当行人特征数据库中不存在参照特征时,在行人特征数据库中新建一个类别并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下;
当行人特征数据库中存在参照特征时,将当前行人的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,并按欧式距离从小到大对参照特征进行排序,选择欧氏距离最小并且满足预定阈值的参照特征,将当前行人分类到该参照特征所属的类别中,并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下,若最小欧氏距离不满足预定阈值,则建立新的类别并将该行人的行人特征以及出现的位置和时间信息写入到新的类别下。
作为实施方式之一,所述行人检索模块15具体用于:
计算待检索行人的行人特征向量,将计算的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,选择欧氏距离最小的参照特征,该参照特征所属的类别就是该行人所属类别。
所述行人检索模块15还用于得出行人所属类别后,输出该类别下的行人出现的位置和时间信息以及欧式距离最小的k个参照特征对应的行人图片,其中k≥1。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于行人重识别的跨镜头的行人检索方法,其特征在于,包括以下步骤:
S1,获取各个监控设备采集的监控视频;
S2,对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
S3,根据分割的行人图片计算行人特征;
S4,根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
S5,计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
2.如权利要求1所述的基于行人重识别的跨镜头的行人检索方法,其特征在于,对每个监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储的方法具体包括:
对监控设备采集的监控视频的多个视频帧通过目标检测方法检测出行人的位置信息,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置进行图像分割,保存分割后的行人图片。
3.如权利要求1所述的基于行人重识别的跨镜头的行人检索方法,其特征在于,所述根据分割的行人图片计算行人特征具体包括:
对行人图片通过深度学习模型抽取出行人的特征向量。
4.如权利要求1所述的基于行人重识别的跨镜头的行人检索方法,其特征在于,所述根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库具体包括:
当行人特征数据库中不存在参照特征时,在行人特征数据库中新建一个类别并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下;
当行人特征数据库中存在参照特征时,将当前行人的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,并按欧式距离从小到大对参照特征进行排序,选择欧氏距离最小并且满足预定阈值的参照特征,将当前行人分类到该参照特征所属的类别中,并将当前行人的行人特征以及出现的位置和时间信息记录到该类别下,若最小欧氏距离不满足预定阈值,则建立新的类别并将该行人的行人特征以及出现的位置和时间信息写入到新的类别下。
5.如权利要求4所述的基于行人重识别的跨镜头的行人检索方法,其特征在于:对于在同一监控设备采集的监控视频中出现的每个行人随机存储多张不同姿态的图片,将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离,并将多个结果合成作为该参照特征与该行人特征最终的相似度距离。
6.如权利要求5所述的基于行人重识别的跨镜头的行人检索方法,其特征在于:所述将多张图片提取的的行人特征向量分别与参照特征向量进行求欧氏距离的计算公式如下:
其中,d(pi,gj)表示第i张图片提取的行人特征向量与序号为j的参照特征向量的欧式距离,pi表示当前行人的第i张图片提取的行人特征向量,gj表示行人特征数据库中序号为j的参照特征向量。
7.如权利要求1所述的基于行人重识别的跨镜头的行人检索方法,其特征在于:所述计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别具体包括:
计算待检索行人的行人特征向量,将计算的行人特征向量与行人特征数据库中的各参照特征向量进行求欧式距离,选择欧氏距离最小的参照特征,该参照特征所属的类别就是该行人所属类别。
8.如权利要求7所述的基于行人重识别的跨镜头的行人检索方法,其特征在于:得出行人所属类别后,输出该类别下的行人出现的位置和时间信息以及欧式距离最小的k个参照特征对应的行人图片,其中k≥1。
9.一种基于行人重识别的跨镜头的行人检索系统,其特征在于,包括:
视频数据获取模块,用于获取各个监控设备采集的监控视频;
行人检测模块,用于对各监控设备采集的监控视频中的行人进行检测、跟踪,分割出行人图片并进行存储;
行人特征计算模块,用于根据分割的行人图片计算行人特征;
行人特征数据库建立模块,用于根据各个行人的行人特征之间的相似度对行人进行分类,并将各行人的行人特征以及行人信息记录在对应的分类下,构成行人特征数据库;
行人检索模块,用于计算待检索行人的行人特征,将待检索行人的行人特征与行人特征数据库中的参照特征进行对比得出待检索行人所属类别,该类别下的行人信息作为跨镜头行人检索的结果。
10.如权利要求9所述的基于行人重识别的跨镜头的行人检索系统,其特征在于,所述行人检测模块具体用于:
对监控设备采集的监控视频的多个视频帧通过目标检测方法检测出行人的位置信息,再利用近邻匹配算法对行人进行跟踪,得出行人进入和离开该监控设备监控范围内的时间,然后按照检测出的行人边界框位置进行图像分割,保存分割后的行人图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910086576.7A CN109934104A (zh) | 2019-01-29 | 2019-01-29 | 基于行人重识别的跨镜头的行人检索方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910086576.7A CN109934104A (zh) | 2019-01-29 | 2019-01-29 | 基于行人重识别的跨镜头的行人检索方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109934104A true CN109934104A (zh) | 2019-06-25 |
Family
ID=66985307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910086576.7A Pending CN109934104A (zh) | 2019-01-29 | 2019-01-29 | 基于行人重识别的跨镜头的行人检索方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934104A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674746A (zh) * | 2019-09-24 | 2020-01-10 | 视云融聚(广州)科技有限公司 | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 |
CN110706251A (zh) * | 2019-09-03 | 2020-01-17 | 北京正安维视科技股份有限公司 | 一种行人跨镜头跟踪方法 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
CN111832457A (zh) * | 2020-07-01 | 2020-10-27 | 济南浪潮高新科技投资发展有限公司 | 基于云边协同的陌生人入侵检测方法 |
CN112070185A (zh) * | 2020-08-13 | 2020-12-11 | 五邑大学 | 基于Re-ID的非接触式发烧人员追踪系统及其追踪方法 |
CN112686088A (zh) * | 2019-10-20 | 2021-04-20 | 广东毓秀科技有限公司 | 基于行人重识别的跨镜头的行人检索方法 |
CN112686200A (zh) * | 2021-01-11 | 2021-04-20 | 中山大学 | 一种基于多方案并联关注机制的行人重识别方法及系统 |
CN112784086A (zh) * | 2021-01-28 | 2021-05-11 | 北京有竹居网络技术有限公司 | 图片筛选方法和装置、存储介质和电子设备 |
CN113269091A (zh) * | 2021-05-26 | 2021-08-17 | 广州瀚信通信科技股份有限公司 | 一种面向智慧园区的人员轨迹分析方法、设备及介质 |
CN114937246A (zh) * | 2022-07-06 | 2022-08-23 | 中航信移动科技有限公司 | 一种行人识别方法、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573111A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种监控视频中的行人数据结构化存储及预检索方法 |
-
2019
- 2019-01-29 CN CN201910086576.7A patent/CN109934104A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573111A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种监控视频中的行人数据结构化存储及预检索方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706251A (zh) * | 2019-09-03 | 2020-01-17 | 北京正安维视科技股份有限公司 | 一种行人跨镜头跟踪方法 |
CN110674746A (zh) * | 2019-09-24 | 2020-01-10 | 视云融聚(广州)科技有限公司 | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 |
CN110674746B (zh) * | 2019-09-24 | 2022-05-31 | 视云融聚(广州)科技有限公司 | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 |
CN112686088A (zh) * | 2019-10-20 | 2021-04-20 | 广东毓秀科技有限公司 | 基于行人重识别的跨镜头的行人检索方法 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
CN110852269B (zh) * | 2019-11-11 | 2022-05-20 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
CN111832457A (zh) * | 2020-07-01 | 2020-10-27 | 济南浪潮高新科技投资发展有限公司 | 基于云边协同的陌生人入侵检测方法 |
CN111832457B (zh) * | 2020-07-01 | 2022-07-22 | 山东浪潮科学研究院有限公司 | 基于云边协同的陌生人入侵检测方法 |
CN112070185A (zh) * | 2020-08-13 | 2020-12-11 | 五邑大学 | 基于Re-ID的非接触式发烧人员追踪系统及其追踪方法 |
CN112686200A (zh) * | 2021-01-11 | 2021-04-20 | 中山大学 | 一种基于多方案并联关注机制的行人重识别方法及系统 |
CN112784086A (zh) * | 2021-01-28 | 2021-05-11 | 北京有竹居网络技术有限公司 | 图片筛选方法和装置、存储介质和电子设备 |
CN113269091A (zh) * | 2021-05-26 | 2021-08-17 | 广州瀚信通信科技股份有限公司 | 一种面向智慧园区的人员轨迹分析方法、设备及介质 |
CN114937246A (zh) * | 2022-07-06 | 2022-08-23 | 中航信移动科技有限公司 | 一种行人识别方法、电子设备及存储介质 |
CN114937246B (zh) * | 2022-07-06 | 2023-02-07 | 中航信移动科技有限公司 | 一种行人识别方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934104A (zh) | 基于行人重识别的跨镜头的行人检索方法及系统 | |
CN104867161B (zh) | 一种视频处理方法及装置 | |
CN110399835B (zh) | 一种人员停留时间的分析方法、装置及系统 | |
CN103996046A (zh) | 基于多视觉特征融合的人员识别方法 | |
CN107977610B (zh) | 一种基于海量视频处理的人脸追踪方法 | |
CN113963399A (zh) | 基于多算法融合应用的人员轨迹检索方法及装置 | |
CN113362374A (zh) | 一种基于目标跟踪网络的高空抛物检测方法及系统 | |
CN108363771B (zh) | 一种面向公安侦查应用的图像检索方法 | |
CN112132873A (zh) | 一种基于计算机视觉的多镜头行人识别与跟踪 | |
CN113269127A (zh) | 实时自动建库的人脸识别和行人重识别监控方法及系统 | |
Jiang et al. | Jointly learning the attributes and composition of shots for boundary detection in videos | |
CN110287369A (zh) | 一种基于语义的视频检索方法及系统 | |
CN111539257B (zh) | 人员重识别方法、装置和存储介质 | |
CN112422898A (zh) | 一种引入深层次行为理解的视频浓缩方法 | |
Liu et al. | Major cast detection in video using both speaker and face information | |
WO2020232697A1 (zh) | 一种在线人脸聚类的方法及系统 | |
Wei et al. | Omni-face detection for video/image content description | |
CN114817638A (zh) | 一种固定场景监控视频的回溯系统 | |
Bertini et al. | Automatic detection of player's identity in soccer videos using faces and text cues | |
CN114359817A (zh) | 基于出入口人行识别的人流量测量方法 | |
CN114898287A (zh) | 用于餐盘检测预警的方法、装置、电子设备、存储介质 | |
Vo-Le et al. | Violence Detection using Feature Fusion of Optical Flow and 3D CNN on AICS-Violence Dataset | |
Yang | A Multi-Person Video Dataset Annotation Method of Spatio-Temporally Actions | |
Dengxiong et al. | Multiple Instance Relational Learning for Video Anomaly Detection | |
Potnurwar et al. | Visual Attention Key Frame Extraction for Video Annotations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
RJ01 | Rejection of invention patent application after publication |