CN111008574A - 一种基于形体识别技术的重点人员轨迹分析方法 - Google Patents
一种基于形体识别技术的重点人员轨迹分析方法 Download PDFInfo
- Publication number
- CN111008574A CN111008574A CN201911157595.0A CN201911157595A CN111008574A CN 111008574 A CN111008574 A CN 111008574A CN 201911157595 A CN201911157595 A CN 201911157595A CN 111008574 A CN111008574 A CN 111008574A
- Authority
- CN
- China
- Prior art keywords
- trajectory
- key personnel
- recognition technology
- personnel
- shape recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于形体识别技术的重点人员轨迹分析方法,涉及形体识别技术领域。包括以下步骤:获取视频数据及对应的位置信息;确定重点人员的形体特征;通过目标检测算法检出视频数据中的运动目标,并提取所述运动目标的形体特征;将重点人员的形体特征与每一个运动目标的形体特征进行相似度对比,当相似度大于给定阈值时,则生成踪迹预警信息;对踪迹预警信息进行相同人员的聚类,针对同一聚类,在GIS地图上生成对应重点人员的轨迹。本发明很好地破解了以戴口罩蒙面为主的反侦查手段,提升了人员轨迹生成概率。
Description
技术领域
本发明涉及形体识别技术领域,尤其涉及一种基于形体识别技术的重点人员轨迹分析方法。
背景技术
对涉毒、前科、在逃人员等重点人员的动态轨迹分析始终是公安机关研究的重点方向,是各类刑事案件侦查中不可缺少的一个重要环节,目前已有多种方式及系统可以实现重点人员的轨迹分析,其中基于二代身份的使用记录和人脸抓拍识别是最常用的两种方式。
在大数据时代,基于二代居民身份证的人员轨迹分析已有大量研究成果,且有较多对应的系统产品,结合警用地理信息系统平台,公安民警可以通过系统实现对人员特别是重点管理人员的轨迹分析。该方式具有明显的局限性,即只有重点人员使用二代身份证时才能被记录。然而,在现实中存在大量无需使用身份证的场景,只要重点人员不使用身份证,基于二代居民身份证使用记录的轨迹分析系统将完全失效。同时因为二代身份证的使用记录数据量非常庞大,会存在较大的延时,因此获取的主要是历史轨迹信息。
随着人脸识别技术的成熟和普及,出现了人脸抓拍、人脸识别的人员轨迹分析方法及系统,也得到了良好的应用。但是基于人脸的轨迹分析对环境和设备存在较高要求,首先是要在区域内部署人脸抓拍机,其次人脸抓拍机需要能够捕获到清晰的人脸,第三是无法复用普通摄像头。受限于经费限制,人脸抓拍机主要存在与诸如汽车站、火车站、机场、体育场馆、重要道路关口等重点公共区域,整体覆盖率并不高,同时仅需戴上口罩就能很好的规避人脸抓拍。
公安机关获取存在较大延时的历史轨迹,显然可以缩小布控范围,但仍然需要进一步在较大区域范围内进行布控,需要投入大量的警力和时间实行抓捕;通过蒙面等反侦查手段将有效规避基于人脸的轨迹探寻手段,使得公安机关难以通过人脸获取人员轨迹。因此如何开发一种既能适应反侦查手段、获取实时轨迹又能利旧复用已有摄像头的人员轨迹分析且可落地使用的方法是目前亟待解决的难题之一。
发明内容
本发明的目的在于提供一种基于形体识别技术的重点人员轨迹分析方法,很好地破解了以戴口罩蒙面为主的反侦查手段,提升人员轨迹生成概率。
为实现上述目的,本发明提供如下技术方案:
一种基于形体识别技术的重点人员轨迹分析方法,其特征在于,包括以下步骤:
S1,获取视频数据及对应的位置信息;
S2,确定重点人员的形体特征;
S3,通过目标检测算法检出视频数据中的运动目标,并提取所述运动目标的形体特征;
S4,将S2中的重点人员的形体特征与S3得到的每一个运动目标的形体特征进行相似度对比,当相似度大于给定阈值时,则生成踪迹预警信息;
S5,对踪迹预警信息进行相同人员的聚类,针对同一聚类,在GIS地图上生成对应重点人员的轨迹。
进一步的,所述S1中,视频数据为指定时间的历史视频流或实时视频流。
进一步的,所述S1中,所述位置信息为经纬度信息。
进一步的,所述S2中,重点人员的形体特征确定方法如下:
S21,获取公安通过侦查得到的内含重点人员的视频数据;
S22,通过目标检测算法检出视频数据中的运动目标;
S23,对检出的运动目标,通过形体识别算法提取其形体特征。
进一步的,所述目标检测算法采用基于神经网络的one-stage算法,具体实现如下:
S221,调整图像大小至规定尺寸;
S222,将调整后的图像送入卷积神经网络VGG16做卷积运算,通过Extra FeatureLayer提取特征,形成6组张量;
S223,对前一帧或多帧图像于当前帧的6组张量进行融合;
S224,对融合后的6组张量做卷积,得预测位置张量和预测置信度张量;
S225,进行解码,得目标的位置和类别。
进一步的,所述形体识别算法采用行人重识别算法,基础网络采用ResNet50网络结构,损失函数采用三元损失函数。
进一步的,所述S4中相似度对比采用余弦相似度函数。
进一步的,所述给定阈值为0.6。
进一步的,所述S5后还包括轨迹的更新,每当S4生成一条新的轨迹预警信息,按时间将之更新到对应的重点人员的轨迹当中。
与现有技术相比,本发明的有益效果是:本发明采用形体特征作为依据,对目标人物进行识别,可以很好地破解人脸识别过程中,以戴口罩蒙面为主的反侦查手段,提升人员轨迹生成概率;使得原有的普通摄像头得以复用。另一方面在目标检测的过程中,本发明不仅局限于当前帧图像的特征,还对之前的图像进行融合,加强了形体特征在时序上的关联性,提高了识别的准确性。
附图说明
图1为本发明的方法流程图。
图2为本发明的one-stage算法构造图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种基于形体识别技术的重点人员轨迹分析方法,包括以下步骤:
S1,获取视频数据及对应的位置信息;优选的,视频数据为指定时间的历史视频流或实时视频流;位置信息为经纬度信息。
具体的,通过与一个或多个视频管理平台对接,获取其管辖的摄像头列表及其经纬度信息。选取需要进行视频抽取的摄像头,可获取摄像头指定时间的历史视频流,或获取摄像头实时视频流,同时设定比对相似度阈值,用于后续比对结果的分支处理判定。值得一提的是,相似度阈值优选为0.6。
S2,确定重点人员的形体特征;具体方法如下:
S21,获取公安通过侦查得到的内含重点人员的视频数据;
S22,通过目标检测算法检出视频数据中的运动目标;所述目标检测算法采用基于神经网络的one-stage算法。将视频数据中的帧图像输入神经网络后,根据最终输出的特征,解码为目标的位置和类别,再经NMS过程,滤除重叠区域较大的目标,获得最终的目标检测位置。
如图2所示,具体实现如下:
S221,调整图像大小至规定尺寸,如300×300像素,;
S222,将调整后的图像送入卷积神经网络VGG16做卷积运算,通过Extra FeatureLayer提取特征,形成6组张量,如图所示,依次为:1x512x38x38,1x1024x19x19,1x512x10x10,1x256x5x5,1x256x3x3,1x256x1x1;
S223,对前一帧或多帧图像于当前帧的6组张量进行融合;具体的,传递前一帧或多帧的6组张量到当前帧,将对应的张量(如前一帧的1x512x38x38张量对应当前帧的1x512x38x38张量)分别进行平均池化操作,融合前后帧的信息。池化公式如下:
其中,F为融合后的张量;o(n)为张量,上标n代表帧数,n为1时,代表当前帧,n为2时,代表上一帧,以此类推;N为融合的总帧数,如一实施例中,仅融合当前帧与上一帧,则N为2。
S224,对融合后的6组张量做卷积,得预测位置张量和预测置信度张量。值得一提的是,还对预测位置张量和预测置信度张量进行softmax等运算,得到1x8732x4张量用于最终位置预测依据和1x8732x21(21为检测目标总类)用于最终分类结果的预测依据。
S225,进行解码,得目标的位置和类别。解码的过程主要依靠的是预先设置好的8732x4维度的Prior boxes。通过训练后,得到的特征张量表示了预测的目标框位置,将预测位置转换为目标框真实位置的过程通过解码函数得到,解码函数可以表示为:
bx=dwlx+dx,by=dhly+dy
bw=dwexp(lw),bh=dh exp(lh)
该步骤中,其中b=(bx,by,bw,bh)表示真实框的角点坐标和宽高,d=(dx,dy,dw,dh)表示先验框的角点坐标和宽高,l=(lx,ly,lw,lh)是神经网络预测的角点坐标和宽高。。
S23,对检出的运动目标,通过形体识别算法提取其形体特征。具体的,所述形体识别算法采用person-reID行人重识别算法,基础网络采用ResNet50网络结构,损失函数采用三元损失函数:
L=max(d(a,p)-d(a,n)+m arg in,0)
其中,L表示了损失函数的计算方法,其中a表示anchor样本,p为正样本,n为负样本;d(a,p)表示anchor和正样本之间的距离,d(a,n)表示anchor和负样本之间的距离,margin表示边界值,上式总体表示了将同一个目标样本的距离最小化,不同目标的样本之间距离最大化。
通过在数据集中的训练,我们得到了能够提取目标特征的网络结构,将目标图像输入神经网络后,神经网络输出一个2048维的特征向量,该向量用于目标之间相似度判断。
S3,视频深度研判,按照S2中目标检测和形体特征提取的方法,求解得S1视频数据中人物目标的形体特征,同样是2048维的特征向量。
S4,总计发现,将S2中的重点人员的形体特征与S3得到的每一个运动目标的形体特征进行相似度对比,当相似度大于给定阈值0.6时,则判定两者为同一目标地,生成踪迹预警信息,所述踪迹预警信息包括与视频数据对应的摄像头位置,目标人员的身份信息及视频信息的时间。另外,将该视频数据中与重点人员的形体特征相似度最高的一帧图像推送给客户;若所有图像对应的相似度都小于给定阈值0.6,则不作推送。
具体的,相似度值由特征对比后得出,特征对比采用特征之间的余弦距离来衡量。设特征提取步骤输出的特征向量为X和Y,则两者之间的相似度计算可以表示为如下公式:
S5,对踪迹预警信息进行相同人员的聚类,针对同一聚类,结合位置信息,在GIS地图上生成对应重点人员的轨迹。
S6,每当S4生成一条新的轨迹预警信息,按时间将之更新到对应的重点人员的轨迹当中。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (9)
1.一种基于形体识别技术的重点人员轨迹分析方法,其特征在于,包括以下步骤:
S1,获取视频数据及对应的位置信息;
S2,确定重点人员的形体特征;
S3,通过目标检测算法检出视频数据中的运动目标,并提取所述运动目标的形体特征;
S4,将S2中的重点人员的形体特征与S3得到的每一个运动目标的形体特征进行相似度对比,当相似度大于给定阈值时,则生成踪迹预警信息;
S5,对踪迹预警信息进行相同人员的聚类,针对同一聚类,在GIS地图上生成对应重点人员的轨迹。
2.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述S1中,视频数据为指定时间的历史视频流或实时视频流。
3.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述S1中,所述位置信息为经纬度信息。
4.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述S2中,重点人员的形体特征确定方法如下:
S21,获取公安通过侦查得到的内含重点人员的视频数据;
S22,通过目标检测算法检出视频数据中的运动目标;
S23,对检出的运动目标,通过形体识别算法提取其形体特征。
5.根据权利要求4所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述目标检测算法采用基于神经网络的one-stage算法,具体实现如下:
S221,调整图像大小至规定尺寸;
S222,将调整后的图像送入卷积神经网络VGG16做卷积运算,通过Extra FeatureLayer提取特征,形成6组张量;
S223,对前一帧或多帧图像于当前帧的6组张量进行融合;
S224,对融合后的6组张量做卷积,得预测位置张量和预测置信度张量;
S225,进行解码,得目标的位置和类别。
6.根据权利要求4所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述形体识别算法采用行人重识别算法,基础网络采用ResNet50网络结构,损失函数采用三元损失函数。
7.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述S4中相似度对比采用余弦相似度函数。
8.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述给定阈值为0.6。
9.根据权利要求1所述的基于形体识别技术的重点人员轨迹分析方法,其特征在于,所述S5后还包括轨迹的更新,每当S4生成一条新的轨迹预警信息,按时间将之更新到对应的重点人员的轨迹当中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911157595.0A CN111008574A (zh) | 2019-11-22 | 2019-11-22 | 一种基于形体识别技术的重点人员轨迹分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911157595.0A CN111008574A (zh) | 2019-11-22 | 2019-11-22 | 一种基于形体识别技术的重点人员轨迹分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111008574A true CN111008574A (zh) | 2020-04-14 |
Family
ID=70112697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911157595.0A Pending CN111008574A (zh) | 2019-11-22 | 2019-11-22 | 一种基于形体识别技术的重点人员轨迹分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111008574A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111898572A (zh) * | 2020-08-05 | 2020-11-06 | 杭州云栖智慧视通科技有限公司 | 一种基于形体识别的案件智能串并方法 |
CN111914754A (zh) * | 2020-08-03 | 2020-11-10 | 杭州云栖智慧视通科技有限公司 | 一种图像内容相似度度量方法、装置及计算机设备 |
CN112232148A (zh) * | 2020-09-28 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像聚类、目标轨迹追踪方法、电子设备及存储介质 |
CN113191196A (zh) * | 2021-04-01 | 2021-07-30 | 北京睿芯高通量科技有限公司 | 一种新型智能安防系统中的轨迹分析方法及系统 |
CN113205876A (zh) * | 2021-07-06 | 2021-08-03 | 明品云(北京)数据科技有限公司 | 目标人员的有效线索确定方法、系统、电子设备及介质 |
WO2023029678A1 (zh) * | 2022-04-06 | 2023-03-09 | 江苏商贸职业学院 | 基于gis的农业服务管理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108615321A (zh) * | 2018-06-07 | 2018-10-02 | 湖南安隆软件有限公司 | 基于雷达侦测及视频图像行为分析的安防预警系统及方法 |
CN109214276A (zh) * | 2018-07-23 | 2019-01-15 | 武汉虹信技术服务有限责任公司 | 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法 |
CN110070075A (zh) * | 2019-05-07 | 2019-07-30 | 中国科学院宁波材料技术与工程研究所 | 基于群对称理论的行人重识别方法 |
CN110290353A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 监控方法及装置、电子设备以及存储介质 |
CN110290352A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 监控方法及装置、电子设备以及存储介质 |
-
2019
- 2019-11-22 CN CN201911157595.0A patent/CN111008574A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108615321A (zh) * | 2018-06-07 | 2018-10-02 | 湖南安隆软件有限公司 | 基于雷达侦测及视频图像行为分析的安防预警系统及方法 |
CN109214276A (zh) * | 2018-07-23 | 2019-01-15 | 武汉虹信技术服务有限责任公司 | 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法 |
CN110070075A (zh) * | 2019-05-07 | 2019-07-30 | 中国科学院宁波材料技术与工程研究所 | 基于群对称理论的行人重识别方法 |
CN110290353A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 监控方法及装置、电子设备以及存储介质 |
CN110290352A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 监控方法及装置、电子设备以及存储介质 |
Non-Patent Citations (2)
Title |
---|
36氪: ""上帝视角"的AI践行者", pages 1 - 3 * |
MR.AMM: "目标检测:SSD", pages 1 - 5 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111914754A (zh) * | 2020-08-03 | 2020-11-10 | 杭州云栖智慧视通科技有限公司 | 一种图像内容相似度度量方法、装置及计算机设备 |
CN111898572A (zh) * | 2020-08-05 | 2020-11-06 | 杭州云栖智慧视通科技有限公司 | 一种基于形体识别的案件智能串并方法 |
CN112232148A (zh) * | 2020-09-28 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像聚类、目标轨迹追踪方法、电子设备及存储介质 |
CN113191196A (zh) * | 2021-04-01 | 2021-07-30 | 北京睿芯高通量科技有限公司 | 一种新型智能安防系统中的轨迹分析方法及系统 |
CN113205876A (zh) * | 2021-07-06 | 2021-08-03 | 明品云(北京)数据科技有限公司 | 目标人员的有效线索确定方法、系统、电子设备及介质 |
WO2023029678A1 (zh) * | 2022-04-06 | 2023-03-09 | 江苏商贸职业学院 | 基于gis的农业服务管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
CN104239867B (zh) | 车牌定位方法及系统 | |
CN103824070A (zh) | 一种基于计算机视觉的快速行人检测方法 | |
US11587327B2 (en) | Methods and systems for accurately recognizing vehicle license plates | |
Lee et al. | Real-time illegal parking detection in outdoor environments using 1-D transformation | |
CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN111738218B (zh) | 人体异常行为识别系统及方法 | |
CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
CN106919939B (zh) | 一种交通标识牌跟踪识别方法及系统 | |
Ozcelik et al. | A vision based traffic light detection and recognition approach for intelligent vehicles | |
CN114998815B (zh) | 一种基于视频分析的交通车辆识别追踪方法及系统 | |
CN113505638A (zh) | 车流量的监测方法、监测装置及计算机可读存储介质 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
Wu et al. | Block-based hough transform for recognition of zebra crossing in natural scene images | |
Pinthong et al. | The License Plate Recognition system for tracking stolen vehicles | |
Zhang et al. | A front vehicle detection algorithm for intelligent vehicle based on improved gabor filter and SVM | |
Kodwani et al. | Automatic license plate recognition in real time videos using visual surveillance techniques | |
Chen et al. | Spatiotemporal vehicle tracking: the use of unsupervised learning-based segmentation and object tracking | |
CN114898287A (zh) | 用于餐盘检测预警的方法、装置、电子设备、存储介质 | |
CN114937248A (zh) | 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质 | |
CN113850112A (zh) | 基于孪生神经网络的路况识别方法和系统 | |
Saranya et al. | The Proficient ML method for Vehicle Detection and Recognition in Video Sequence | |
Mostfa et al. | Design and implementation of vehicles identification and tracking system | |
Lajish et al. | Mobile phone based vehicle license plate recognition for road policing | |
CN113449663B (zh) | 基于多态拟合的协同智能安防方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |