CN112949539A - 一种基于摄像头位置的行人重识别交互检索方法及系统 - Google Patents
一种基于摄像头位置的行人重识别交互检索方法及系统 Download PDFInfo
- Publication number
- CN112949539A CN112949539A CN202110281380.0A CN202110281380A CN112949539A CN 112949539 A CN112949539 A CN 112949539A CN 202110281380 A CN202110281380 A CN 202110281380A CN 112949539 A CN112949539 A CN 112949539A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature vector
- target
- retrieval
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 95
- 238000005070 sampling Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 230000002035 prolonged effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于摄像头位置的行人重识别交互检索方法,包括步骤:初始化目标行人图片列表,每一目标行人图片中包括目标行人的位置及时间信息;初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;在所述时间范围内,通过多个所述摄像头进行拍摄,以得到视频列表;根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果;对所述检索结果进行人工筛选,以得到最终的所述检索结果。本发明提供的一种基于摄像头位置的行人重识别交互检索方法,能在更大范围内进行检索,不仅提高了结果的准确率,也能适应环境、光照及目标行人衣着的变化。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于摄像头位置的行人重识别交互检索方法及系统。
背景技术
行人重识别(Person Re-Identification,ReID),可以看成图像检索问题:给定一张摄像头拍摄到的某人的图像,我们需要找到这个人在其他摄像头下的图像。通过算法可以在人的背面、侧面或在人脸模糊不清的条件下,将一个人的行为轨迹还原,实现对目标人物的识别、检索和追踪。可用于追踪嫌疑人员,根据嫌疑人员照片,去监控视频库里收集嫌疑人员出现的视频段,把嫌疑人员在各个摄像头的轨迹串连起来,协助警方整理线索并破案。类似的,可用于商场、车站的智能寻人。
在实际应用场景中,摄像头拍摄的行人图片会有各种视角和姿态,并且还会存在光照变化、遮挡、相似着装等问题,导致ReID的检索结果准确率和召回率较低。其次,现有的检索技术可以进行检索的范围比较有限,或者只能适用于封闭区域、行人有限的简单场景,对于更大时空范围乃至开放区域内的检索比较有限。
因此,为了解决现有技术中检索区域有限,检索结果准确率较低的问题,本发明设计了一种基于摄像头位置的行人重识别交互检索方法及系统。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于摄像头位置的行人重识别交互检索方法及系统,用于解决现有技术中检索区域有限,检索结果准确率较低的问题。
为实现上述目的及其他相关目的,本发明提供了一种基于摄像头位置的行人重识别交互检索方法,包括步骤:
初始化目标行人图片列表,每一目标行人图片中包括目标行人的位置及时间信息;
初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;
在所述时间范围内,通过多个所述摄像头进行拍摄,以得到视频列表;
根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型,以得到检索结果;
对所述检索结果进行人工筛选,以得到最终的所述检索结果。
于本发明的一实施例中,所述根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果包括步骤:
S41、根据设定的帧率,对所述视频列表中的每一视频依次进行图像提取;
S42、对提取到的所述图像进行行人检测,以得到所述参考行人图像列表;
S43、将所述目标行人图片列表输入训练后的所述行人重识别模型中,得到目标特征向量集;
S44、将所述参考行人图像列表中的每一所述参考行人图像依次输入训练后的所述行人重识别模型中,得到参考特征向量;
S45、判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则对所述参考特征向量对应的所述参考行人进行跟踪,以得到所述参考行人的运动轨迹视频;
否则,返回步骤S44,继续对下一所述参考行人图像进行检索。
于本发明的一实施例中,得到所述参考行人的所述运动轨迹视频后,还包括步骤:
S451、对所述运动轨迹视频进行抽样选取,以得到抽样图片;
S452、将所述抽样图片输入训练后的所述行人重识别模型中,得到抽样特征向量;
S453、判断所述抽样特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则将所述抽样图片加入所述检索结果中;
否则,返回步骤S44,继续对下一所述参考行人图像进行检索。
于本发明的一实施例中,当所述参考特征向量与所述目标特征向量集中的某一特征向量不匹配,或所述抽样特征向量与所述目标特征向量集中的某一特征向量不匹配时,还包括步骤:判断是否对所述参考行人图像列表中的所有所述参考行人图像完成检索:
若是,则返回步骤S41进行下一图像提取;
否则,返回步骤S44,对下一所述参考行人图像进行检索。
于本发明的一实施例中,所述判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配包括:判断所述参考特征向量与所述目标特征向量集中的某一特征向量之间的距离是否小于设定的阈值:
若是,则两个所述特征向量匹配;
否则,不匹配。
于本发明的一实施例中,所述检索结果中的所述抽样图片中包括所述摄像头的位置信息及拍摄的时间信息,根据所述位置信息及所述时间信息,对所述检索结果中的所述抽样图片进行人工筛选,以得到最终的所述检索结果。
于本发明的一实施例中,所述行人重识别交互检索方法还包括:判断最终的所述检索结果中是否含有所述抽样图片:
若是,则顺延所述摄像头的拍摄时间范围,并根据所述时间范围预估所述目标行人的最远活动距离,通过所述距离内的多个所述摄像头进行视频拍摄,并进一步地进行检索;
否则,所述摄像头拍摄所述视频的开始时间保持不变,将截止时间延长,并根据该时间范围预估所述目标行人的最远活动距离,通过所述距离内的多个所述摄像头进行视频拍摄,并重新进行检索。
于本发明的一实施例中,所述摄像头距离矩阵中的元素为两个所述摄像头之间的直线距离。
本发明还提供了一种基于摄像头位置的行人重识别交互检索系统,包括:
第一初始化模块,用于初始化目标行人图片列表;
第二初始化模块,用于初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;
视频拍摄模块,用于在所述时间范围内,通过多个所述摄像头进行拍摄,以得到视频列表;
检索模块,用于根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型,以得到检索结果;
筛选模块,用于对所述检索结果进行人工筛选,以得到最终的所述检索结果。
于本发明的一实施例中,所述检索模块包括:
图像提取单元,用于根据设定的帧率,对所述视频列表中的每一视频依次进行图像提取;
行人检测单元,用于对提取到的所述图像进行行人检测,以得到所述参考行人图像列表;
目标特征向量集获取单元,用于将所述目标行人图片列表输入训练后的所述行人重识别模型中,得到目标特征向量集;
参考特征向量获取单元,用于将所述参考行人图像列表中的每一所述参考行人图像依次输入训练后的所述行人重识别模型中,得到参考特征向量;
判断单元,用于判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则对所述参考行人进行跟踪,以得到所述参考行人的运动轨迹视频;
否则,继续对下一所述参考行人图像进行检索。
于本发明的一实施例中,一种基于摄像头位置的行人重识别交互检索设备包括:处理器,所述处理器与存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现如上所述的行人重识别交互检索方法。
于本发明的一实施例中,一种计算机可读存储介质,其特征在于:包括程序,当所述程序在计算机上运行时,使得计算机执行如上所述的行人重识别交互检索方法。
如上所述,本发明提供的一种基于摄像头位置的行人重识别交互检索方法及系统,利用摄像头的地理位置关系,对目标行人的时间及位置进行合理的检索,缩小了每次检索的范围,从而实现了更大范围的行人重识别;其次,在检索过程中引入人机交互,通过人为筛选,将确认的抽样图片加入最终的检索结果中,提高了检索结果的准确率,所述方法也能够适应环境、光照及目标行人的衣着变化。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于摄像头位置的行人重识别交互检索方法的流程示意图。
图2为本发明实施例中步骤S4的流程示意图。
图3为本发明提供的一种基于摄像头位置的行人重识别交互检索系统的原理结构示意图。
图4为本发明实施例中检索模块的原理结构示意图。
元件标号说明
11 第一初始化模块 142 行人检测单元
12 第二初始化模块 143 目标特征向量集获取单元
13 视频拍摄模块 144 参考特征向量获取单元
14 检索模块 145 判断但愿
141 图像提取单元 15 筛选模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
行人重识别(Person re-identification,ReID)也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一个监控行人图像,检索跨设备下的该行人图像,旨在弥补固定的摄像头的视觉局限,并可与行人检测、行人跟踪技术相结合。但是由于不同摄像设备之间的差异,同时行人兼具刚性和柔性的特性,其外观易受穿着、尺度、遮挡、姿态和视角等影响,使得行人重识别的准确率较低,且进行检索的空间范围也有限。因此,本发明提出一种基于摄像头位置的行人重识别交互检索方法及系统,利用摄像头的地理位置,对目标行人的时间、位置进行合理的检索,缩小了每次检索的范围,从而实现更大范围的行人重识别;其次,在检索过程中加入了人工筛选,提高了检索结果的准确率。
如图1所示,本发明提供了一种基于摄像头位置的行人重识别交互检索方法,包括步骤:
S1、初始化目标行人图片列表,每一目标行人图片中包括目标行人的位置及时间信息;
S2、初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;
S3、在时间范围内,通过多个摄像头进行拍摄,以得到视频列表;
S4、根据视频列表得到参考行人图像列表,并将目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果;
S5、对检索结果进行人工筛选,以得到最终的检索结果。
在本发明的一实施例中,多个摄像头组成的列表为{Cami}(i=1,2,…,n),而摄像头距离矩阵表示为Mat=[Dij](i=1,2,…,n;j=1,2,…,n),其中,Dij=Distance(Cami,Camj),其表示摄像头i与摄像头j之间的直线距离。在其他实施例中,也可以通过地图软件的步行导航功能,用更精确的步行距离代替本实施例中所述的直线距离。初始化摄像头距离矩阵及拍摄的时间范围后,先根据目标行人图片中的位置及时间信息,预估目标行人能到达的最远距离,以当前位置为起点,所述最远距离为半径所形成的区域为检索范围,再根据摄像头距离矩阵确定在所述范围内的摄像头,之后通过在范围内的摄像头拍摄到的视频进行后续的检索。
如图2所示,进一步地,步骤S4还包括:
S41、根据设定的帧率,对视频列表中的每一视频依次进行图像提取;
S42、对提取到的图像进行行人检测,以得到参考行人图像列表;
S43、将目标行人图片列表输入训练后的行人重识别模型中,得到目标特征向量集;
S44、将参考行人图像列表中的每一参考行人图像依次输入训练后的行人重识别模型中,得到参考特征向量;
S45、判断参考特征向量与目标特征向量集中的某一特征向量是否匹配:
若是,则对参考特征向量对应的参考行人进行跟踪,以得到参考行人的运动轨迹视频;
否则,返回步骤S44,继续对下一参考行人图像进行检索。
行人检测(Pedestrian Detection)是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。在本发明的一实施例中,对于步骤S42,对提取到的图像使用行人检测技术进行识别,以此找出图像中的多个参考行人并将其组成参考行人图像列表,所述参考行人图像中包含参考行人的位置状态信息。
在本发明的一实施例中,对于步骤S43,首先建立行人重识别模型并对其进行训练,得到训练后的行人重识别模型;其次,由于将图片输入行人重识别模型中会得到一个对应的特征向量,因此,将目标行人图片列表输入训练后的行人重识别模型中,会得到目标特征向量集,所述目标向量集由多个特征向量组成,且这些特征向量与目标行人图片列表中的目标行人图片一一对应。同理,将参考行人图像列表中的每一参考行人图像依次输入训练后的行人重识别模型中,也会得到与其对应的参考特征向量。之后将参考特征向量与目标特征向量集中的每一特征向量作比较,判断在目标特征向量集中是否存在至少一个特征向量能够与参考特征向量相匹配,若是,则对该参考特征向量对应的参考行人进行跟踪,以得到该参考行人的运动轨迹视频,否则,返回步骤S44,继续输入下一参考行人图像。在本实施例中,采用KCF 算法(核相关滤波算法,Kernel Correlation Filter)对参考行人进行跟踪,以便将参考行人在连续的视频帧中进行锁定。
如图2所示,进一步地,得到参考行人的运动轨迹视频后,还包括步骤:
S451、对运动轨迹视频进行抽样选取,以得到抽样图片;
S452、将抽样图片输入训练后的行人重识别模型中,得到抽样特征向量;
S453、判断抽样特征向量与目标特征向量集中的某一特征向量是否匹配:
若是,则将抽样图片加入检索结果中;
否则,返回步骤S44,继续对下一参考行人图像进行检索。
在本发明的一实施例中,对于步骤S451,在采用KCF算法对参考行人进行跟踪得到的运动轨迹视频中,参考行人的动作、位置、状态等在极短时间间隔内发生的变化很小,因此,按照帧率对所述运动轨迹视频进行抽样得到的图片,可以作为对参考行人进行进一步检索的依据。
在本发明的一实施例中,通过判断参考特征向量与目标特征向量集中的某一特征向量之间的距离是否小于设定的阈值,从而判断参考特征向量与目标特征向量集中的某一特征向量是否匹配;同理,也可以通过判断抽样特征向量与目标特征向量集中的某一特征向量之间的距离是否小于设定的阈值,从而判断抽样特征向量与目标特征向量集中的某一特征向量是否匹配。其中,所述阈值可以通过计算同一人不同图片的特征向量之间的距离的平均值得出。
如图2所示,进一步地,当参考特征向量与目标特征向量集中的某一特征向量不匹配,或抽样特征向量与目标特征向量集中的某一特征向量不匹配时,还包括步骤:判断是否对参考行人图像列表中的所有参考行人图像均完成检索:
若是,则返回步骤S41进行下一个图像提取;
否则,返回步骤S44,对下一参考行人图像进行检索。
在本发明的一实施例中,由于检索结果中的抽样图片含有摄像头的位置信息及拍摄的时间信息,故人工可根据位置及时间信息对检索结果中的抽样图片进行筛选,从而去除不合理的抽样图片,得到最终的检索结果。通过人为筛选,将确认的抽样图片加入最终的检索结果中,这样提高了检索结果的准确率。
在本发明的一实施例中,所述行人重识别交互检索方法还包括:当通过人工筛选得到最终的检索结果后,判断最终的检索结果中是否含有抽样图片:
若是,则顺延摄像头的拍摄时间范围,并根据时间范围预估目标行人的最远活动距离,通过所述距离内的多个摄像头进行视频拍摄,从而进一步地进行检索;
否则,摄像头拍摄视频的开始时间保持不变,将截止时间延长,并根据该时间范围预估目标行人的最远活动距离,通过所述距离内的多个摄像头进行视频拍摄,从而重新进行检索。
上面方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包含相同的逻辑关系,都在本发明的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该发明的保护范围内。
如图3所示,本发明还提供了一种基于摄像头位置的行人重识别交互检索系统,包括:第一初始化模块11、第二初始化模块12、视频拍摄模块13、检索模块14及筛选模块15;其中,第一初始化模块11用于初始化目标行人图片列表,第二初始化模块12用于初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围,视频拍摄模块13用于在所述时间范围内,通过多个摄像头进行拍摄,以得到视频列表,检索模块14用于根据视频列表得到参考行人图像列表,并将目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果,筛选模块15用于对检索结果进行人工筛选,以得到最终的检索结果。
如图4所示,进一步地,检索模块14还包括:图像提取单元141、行人检测单元142、目标特征向量集获取单元143、参考特征向量获取单元144及判断单元145;其中,图像提取单元141用于根据设定的帧率,对视频列表中的每一视频依次进行图像提取,行人检测单元142用于对提取到的图像进行行人检测,以得到参考行人图像列表,目标特征向量集获取单元143用于将目标行人图片列表输入训练后的行人重识别模型中,得到目标特征向量集,参考特征向量获取单元144用于将参考行人图像列表中的每一参考行人图像依次输入训练后的行人重识别模型中,得到参考特征向量,判断单元145用于判断参考特征向量与目标特征向量集中的某一特征向量是否匹配:若是,则对参考行人进行跟踪,以得到所述参考行人的运动轨迹视频,否则,继续对下一参考行人图像进行检索。
需要说明的是,为了突出本发明的创新部分,本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的模块引入,但这并不表明本实施例中不存在其它的模块。
此外,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本发明所提供的实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁盘或者光盘等各种可以存储程序代码的介质。
在本发明的一实施例中,一种基于摄像头位置的行人重识别交互检索设备包括:处理器,所述处理器与存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时,可实现所述行人重识别交互检索的方法。
如上所述,本发明提供的一种基于摄像头位置的行人重识别交互检索方法及系统,利用摄像头的地理位置关系,对目标行人的时间及位置进行合理的检索,缩小了每次检索的范围,从而实现了更大范围的行人重识别;其次,在检索过程中引入人机交互,通过人为筛选,将确认的抽样图片加入最终的检索结果中,提高了检索结果的准确率,所述方法也能够适应环境、光照及目标行人的衣着变化。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于摄像头位置的行人重识别交互检索方法,其特征在于,所述方法包括:
初始化目标行人图片列表,每一目标行人图片中包括目标行人的位置及时间信息;
初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;
在所述时间范围内,通过多个所述摄像头进行拍摄,以得到视频列表;
根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果;
对所述检索结果进行人工筛选,以得到最终的所述检索结果。
2.根据权利要求1所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,所述根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型中,以得到检索结果包括步骤:
S41、根据设定的帧率,对所述视频列表中的每一视频依次进行图像提取;
S42、对提取到的所述图像进行行人检测,以得到所述参考行人图像列表;
S43、将所述目标行人图片列表输入训练后的所述行人重识别模型中,得到目标特征向量集;
S44、将所述参考行人图像列表中的每一所述参考行人图像依次输入训练后的所述行人重识别模型中,得到参考特征向量;
S45、判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则对所述参考特征向量对应的所述参考行人进行跟踪,以得到所述参考行人的运动轨迹视频;
否则,返回步骤S44,继续对下一所述参考行人图像进行检索。
3.根据权利要求2所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,得到所述参考行人的所述运动轨迹视频后,还包括步骤:
S451、对所述运动轨迹视频进行抽样选取,以得到抽样图片;
S452、将所述抽样图片输入训练后的所述行人重识别模型中,得到抽样特征向量;
S453、判断所述抽样特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则将所述抽样图片加入所述检索结果中;
否则,返回步骤S44,继续对下一所述参考行人图像进行检索。
4.根据权利要求3所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,当所述参考特征向量与所述目标特征向量集中的某一特征向量不匹配,或所述抽样特征向量与所述目标特征向量集中的某一特征向量不匹配时,还包括步骤:判断是否对所述参考行人图像列表中的所有所述参考行人图像完成检索:
若是,则返回步骤S41进行下一图像提取;
否则,返回步骤S44,对下一所述参考行人图像进行检索。
5.根据权利要求2所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,所述判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配包括:判断所述参考特征向量与所述目标特征向量集中的某一特征向量之间的距离是否小于设定的阈值:
若是,则两个所述特征向量匹配;
否则,不匹配。
6.根据权利要求3所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,所述检索结果中的所述抽样图片中包括所述摄像头的位置信息及拍摄的时间信息,根据所述位置信息及所述时间信息,对所述检索结果中的所述抽样图片进行人工筛选,以得到最终的所述检索结果。
7.根据权利要求6所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于,所述方法还包括:判断最终的所述检索结果中是否含有所述抽样图片:
若是,则顺延所述摄像头的拍摄时间范围,并根据所述时间范围预估所述目标行人的最远活动距离,通过所述距离内的多个所述摄像头进行视频拍摄,并进一步地进行检索;
否则,所述摄像头拍摄所述视频的开始时间保持不变,将截止时间延长,并根据该时间范围预估所述目标行人的最远活动距离,通过所述距离内的多个所述摄像头进行视频拍摄,并重新进行检索。
8.根据权利要求1所述的一种基于摄像头位置的行人重识别交互检索方法,其特征在于:所述摄像头距离矩阵中的元素为两个所述摄像头之间的直线距离。
9.一种基于摄像头位置的行人重识别交互检索系统,其特征在于,其至少包括:
第一初始化模块,用于初始化目标行人图片列表;
第二初始化模块,用于初始化摄像头距离矩阵及其拍摄的时间范围,以确定检索范围;
视频拍摄模块,用于在所述时间范围内,通过多个所述摄像头进行拍摄,以得到视频列表;
检索模块,用于根据所述视频列表得到参考行人图像列表,并将所述目标行人图片列表和每一参考行人图像输入训练后的行人重识别模型,以得到检索结果;
筛选模块,用于对所述检索结果进行人工筛选,以得到最终的所述检索结果。
10.根据权利要求9所述的一种基于摄像头位置的行人重识别交互检索系统,其特征在于,所述检索模块包括:
图像提取单元,用于根据设定的帧率,对所述视频列表中的每一视频依次进行图像提取;
行人检测单元,用于对提取到的所述图像进行行人检测,以得到所述参考行人图像列表;
目标特征向量集获取单元,用于将所述目标行人图片列表输入训练后的所述行人重识别模型中,得到目标特征向量集;
参考特征向量获取单元,用于将所述参考行人图像列表中的每一所述参考行人图像依次输入训练后的所述行人重识别模型中,得到参考特征向量;
判断单元,用于判断所述参考特征向量与所述目标特征向量集中的某一特征向量是否匹配:
若是,则对所述参考行人进行跟踪,以得到所述参考行人的运动轨迹视频;
否则,继续对下一所述参考行人图像进行检索。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110281380.0A CN112949539A (zh) | 2021-03-16 | 2021-03-16 | 一种基于摄像头位置的行人重识别交互检索方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110281380.0A CN112949539A (zh) | 2021-03-16 | 2021-03-16 | 一种基于摄像头位置的行人重识别交互检索方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112949539A true CN112949539A (zh) | 2021-06-11 |
Family
ID=76230096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110281380.0A Pending CN112949539A (zh) | 2021-03-16 | 2021-03-16 | 一种基于摄像头位置的行人重识别交互检索方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949539A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113780172A (zh) * | 2021-09-10 | 2021-12-10 | 济南博观智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
CN115631464A (zh) * | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | 面向大时空目标关联的行人立体表示方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102843547A (zh) * | 2012-08-01 | 2012-12-26 | 安科智慧城市技术(中国)有限公司 | 一种嫌疑目标智能追踪方法和系统 |
WO2015098442A1 (ja) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | 映像検索システム及び映像検索方法 |
CN108830142A (zh) * | 2018-05-02 | 2018-11-16 | 淘然视界(杭州)科技有限公司 | 基于行人重识别的定位追踪方法及装置 |
CN109740480A (zh) * | 2018-12-26 | 2019-05-10 | 浙江捷尚视觉科技股份有限公司 | 一种监控场景下的基于非机动车再识别的行人检索方法 |
CN109800624A (zh) * | 2018-11-27 | 2019-05-24 | 上海眼控科技股份有限公司 | 一种基于行人重识别的多目标跟踪方法 |
CN110796074A (zh) * | 2019-10-28 | 2020-02-14 | 桂林电子科技大学 | 一种基于时空数据融合的行人再识别方法 |
WO2020098158A1 (zh) * | 2018-11-14 | 2020-05-22 | 平安科技(深圳)有限公司 | 行人重识别方法、装置及计算机可读存储介质 |
CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
-
2021
- 2021-03-16 CN CN202110281380.0A patent/CN112949539A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102843547A (zh) * | 2012-08-01 | 2012-12-26 | 安科智慧城市技术(中国)有限公司 | 一种嫌疑目标智能追踪方法和系统 |
WO2015098442A1 (ja) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | 映像検索システム及び映像検索方法 |
CN108830142A (zh) * | 2018-05-02 | 2018-11-16 | 淘然视界(杭州)科技有限公司 | 基于行人重识别的定位追踪方法及装置 |
WO2020098158A1 (zh) * | 2018-11-14 | 2020-05-22 | 平安科技(深圳)有限公司 | 行人重识别方法、装置及计算机可读存储介质 |
CN109800624A (zh) * | 2018-11-27 | 2019-05-24 | 上海眼控科技股份有限公司 | 一种基于行人重识别的多目标跟踪方法 |
CN109740480A (zh) * | 2018-12-26 | 2019-05-10 | 浙江捷尚视觉科技股份有限公司 | 一种监控场景下的基于非机动车再识别的行人检索方法 |
CN110796074A (zh) * | 2019-10-28 | 2020-02-14 | 桂林电子科技大学 | 一种基于时空数据融合的行人再识别方法 |
CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113780172A (zh) * | 2021-09-10 | 2021-12-10 | 济南博观智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
CN113780172B (zh) * | 2021-09-10 | 2024-01-23 | 济南博观智能科技有限公司 | 一种行人重识别方法、装置、设备及存储介质 |
CN115631464A (zh) * | 2022-11-17 | 2023-01-20 | 北京航空航天大学 | 面向大时空目标关联的行人立体表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shen et al. | Multiobject tracking by submodular optimization | |
US9117147B2 (en) | Marginal space learning for multi-person tracking over mega pixel imagery | |
Cao et al. | Total variation regularized RPCA for irregularly moving object detection under dynamic background | |
Tan et al. | Multi-camera vehicle tracking and re-identification based on visual and spatial-temporal features. | |
CN106650965B (zh) | 一种远程视频处理方法及装置 | |
CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
Sukanya et al. | A survey on object recognition methods | |
CN101120382A (zh) | 跟踪用相机获得的场景视频中的移动物体的方法 | |
Satta et al. | Real-time Appearance-based Person Re-identification Over Multiple KinectTM Cameras. | |
Raman et al. | Direction estimation for pedestrian monitoring system in smart cities: An HMM based approach | |
CN111310728B (zh) | 基于监控相机和无线定位的行人重识别系统 | |
CN111598067B (zh) | 视频中重识别训练方法、重识别方法及存储装置 | |
CN111581423B (zh) | 一种目标检索方法及装置 | |
Porikli et al. | Object tracking in low-frame-rate video | |
CN112949539A (zh) | 一种基于摄像头位置的行人重识别交互检索方法及系统 | |
CN113536862A (zh) | 一种聚类方法、装置、设备及存储介质 | |
Chebli et al. | Pedestrian detection based on background compensation with block-matching algorithm | |
CN104504162B (zh) | 一种基于机器人视觉平台的视频检索方法 | |
KR101170676B1 (ko) | 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법 | |
CN111860559A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
Park et al. | Moving object detection based on Clausius entropy | |
CN111814624A (zh) | 视频中行人步态识别训练方法、步态识别方法及存储装置 | |
Kulbacki et al. | VMASS: massive dataset of multi-camera video for learning, classification and recognition of human actions | |
CN115049731B (zh) | 一种基于双目摄像头的视觉建图和定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |