CN112163503A - 办案区人员无感轨迹生成方法、系统、存储介质及设备 - Google Patents
办案区人员无感轨迹生成方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN112163503A CN112163503A CN202011017016.5A CN202011017016A CN112163503A CN 112163503 A CN112163503 A CN 112163503A CN 202011017016 A CN202011017016 A CN 202011017016A CN 112163503 A CN112163503 A CN 112163503A
- Authority
- CN
- China
- Prior art keywords
- human body
- information
- target
- camera
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000001953 sensory effect Effects 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 32
- 238000013441 quality evaluation Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000000746 body region Anatomy 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 1
- 101100459261 Cyprinus carpio mycb gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种办案区人员无感轨迹生成方法、系统、计算机存储介质及电子设备，方法包括以下步骤：S1、获取摄像头拍摄的人员视频，分析视频并获取人员的人体位置和人体的关键点和角度信息；S2、根据人体的关键点和角度信息，获取符合设定要求的人体，并输出人体置信度信息；S3、对符合设定要求的人体进行特征提取和跟踪；S4、输出每个摄像头的人体信息；S5、对每个摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；S6、将每个人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员的轨迹。根据本发明实施例的方法，通过监控视频信息获取人员轨迹，不易被破坏，也大大降低了轨迹的丢失率。
Description
技术领域
本发明涉及办案区人员管理领域，更具体地，涉及一种基办案区人员无感轨迹生成方法、办案区人员无感轨迹生成系统、计算机存储介质及电子设备。
背景技术
办案区人员轨迹获取可以有效防止未经授权人员闯入，提高办案区执法过程规范化。现有的办案区人员轨迹获取方式一般是基于人员佩戴的手环进行定位，从而获得人员的相应位置，并生成轨迹。另外，在其他应用场合，基于图像处理技术的人员轨迹生成方法可能从获取人体属性特征入手，首先，获取监控摄像头拍摄下的人体关键点及属性特征，例如性别、衣服颜色、是否背包、是否戴帽子、头发长度等，再将不同摄像头中的人体进行比对，将综合属性相似度最高的人体认定为同一个人，从而将人员的轨迹串联起来。
目前相关技术中披露了一种基于人脸深度特征和人体局部深度特征的多相机访客识别的方法及系统，该方法基于视频分析技术对拍摄到的人体图像进行分析，但是该方法中用到了人体属性和图块特征，再对不同摄像头下的人体属性和图块特征进行比对；另外，该方法生成的轨迹只是串联了人员的位置。
传统的方案至少存在如下缺陷：
1、基于手环的轨迹获取方式属于高感知的方式，存在被嫌疑人员破坏的可能，一旦手环被毁坏，不仅造成办案区的财产损失，还会导致轨迹获取失败。另外，通过手环获取人员轨迹信息，缺失了视频等关键信息，无法进行复核，一旦发生特殊事件需要核对办案区人员的历史轨迹时，将无法获得有效的信息。
2、基于人体多维属性的人员轨迹生成方法，需要对人体的属性进行高精度的识别，而实际的情况是，人体姿态存在多样性，而不同摄像机场景不同，导致人体属性特征出现较大差异，这些都给属性识别带来了很大的难度。
发明内容
为解决上述技术问题，本发明提供一种办案区人员无感轨迹生成方法、办案区人员无感轨迹生成系统、计算机存储介质及电子设备，可以获取办案区人员的完整轨迹，保留的信息更全面。
根据本发明第一方面实施例的办案区人员无感轨迹生成方法，包括以下步骤：S1、获取摄像头拍摄的人员视频，分析所述视频并获取人员的人体位置和人体的关键点和角度信息；S2、根据人体的所述关键点和角度信息，获取符合设定要求的人体，并输出人体置信度信息；S3、对符合设定要求的人体进行特征提取和跟踪；S4、输出每个所述摄像头的人体信息；S5、对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；S6、将每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员的轨迹。
根据本发明实施例的办案区人员无感轨迹生成方法，通过监控视频信息获取人员轨迹，属于低感知的方式，不易被破坏，不会造成财产损失，也大大降低了轨迹的丢失率；基于目标跟踪和行人重识别的人员轨迹生成方法，保留了进入办案区人员的全部视频信息，而不是单点的位置信息，便于在特殊情况下进行轨迹复核。
根据本发明实施例的办案区人员无感轨迹生成方法还可以具有如下的附加技术特征：
根据本发明的一些实施例，步骤S1包括：S11、通过人体检测模型检测出人员的人体位置；S12、利用人体关键点模型对人体姿态进行估计，输出人体的所述关键点和角度信息。
根据本发明的一些实施例，步骤S2包括：根据人体的所述关键点和角度信息对人体区域进行质量评估，去掉不完整的人体、弯腰人体和倾斜人体。
根据本发明的一些实施例，步骤S3包括：S31、利用人体特征模型对符合设定要求的人体进行特征提取；S32、结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪；S33、对跟踪的人体进行列队。
根据本发明的一些实施例，步骤S33包括：S331、设定目标队列；S332、将首次跟踪获得的目标人体直接加入所述目标队列；S333、将后续跟踪获得的目标人体与所述目标队列中的目标逐一进行相似度计算，若相似度大于阈值，则该目标人体与所述目标队列中的目标为同一个目标，完成匹配；若目标人体与所述目标队列中的任意目标的相似度均小于阈值，则该目标人体为新目标，将其加入所述目标队列并对所述目标队列进行更新；若所述目标队列中的某个目标在摄像头连续至少五帧图像中均未得到匹配，则该目标已丢失或离开摄像头监控画面，将该目标从所述目标队列中删除并对所述目标队列进行更新。
根据本发明的一些实施例，步骤S4中，所述人体信息包括人体的数量、每个人体的位置信息和质量评估信息。
根据本发明的一些实施例，步骤S5包括：对每个所述摄像头的输出的所述人体信息进行关键点对齐和质量评估信息筛选，输出带有时间戳的人体图像队列。
根据本发明的一些实施例，步骤S6包括：S61、将每个所述人体图像队列输入跨摄像头行人重识别模型，进行特征提取和比对；S62、合并属于同一人员的人体图像队列；S63、输出带有人体信息、时间信息、摄像头信息、质量评估信息的完整图像序列，生成该人员在办案区的轨迹。
根据本发明的一些实施例，步骤S62包括：将各个所述人体图像队列在时间上进行拼接，参考每一个人体图像的质量评估信息，对同一时间内冗余的人体图像进行删除。
根据本发明第二方面实施例的办案区人员无感轨迹生成系统，包括：人体检测模块，所述人体检测模块能够检测办案区人员的人体位置；人体关键点模块，所述人体关键点模块对人体姿态进行估计，输出人体的关键点和角度信息；质量评估模块，所述质量评估模块根据人体的所述关键点和角度信息，筛选符合设定要求的人体；人体特征提取模块，所述人体特征提取模块对人体进行特征提取；人体跟踪模块，所述人体跟踪模块结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪；视频输出模块，所述视频输出模块输出每个所述摄像头的人体信息；人体图像列队模块，所述人体图像列队模块对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；跨摄像头行人重识别模块，所述跨摄像头行人重识别模块每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员在办案区的轨迹。
第三方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。
根据本发明第四方面实施例的电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。
附图说明
图1为根据本发明实施例的办案区人员无感轨迹生成方法中办案区的示意图；
图2为根据本发明实施例的办案区人员无感轨迹生成方法的流程图；
图3为根据本发明实施例的办案区人员无感轨迹生成方法中对人体跟踪的流程图；
图4为根据本发明实施例的办案区人员无感轨迹生成方法中跨摄像头行人重识别的流程图；
图5为本发明实施例的电子设备的示意图。
附图标记：
电子设备300；
存储器310；操作系统311；应用程序312；
处理器320；网络接口330；输入设备340；硬盘350；显示设备360。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参考图1，图1是本发明人员无感轨迹生成示意图，其应用于办案区，其包括各种功能室，例如审讯室，侯问室，其中各功能室之间或者与墙之间，形成了走廊区，人员在走廊区走动，并进入相应的功能室；在走廊区的不同位置布置了摄像头，用于对人员进行拍照或者录像，以获取人员在办案区的视频。图1中给出了一个人员进入办案区的轨迹示意图。本实施例是以办案区为例进行说明，但本领域技术人员知晓，在其他使用摄像头获取人员轨迹的场景同样适用。下面首先结合附图具体描述根据本发明实施例的办案区人员无感轨迹生成方法。
如图2所示，根据本发明实施例的办案区人员无感轨迹生成方法，包括以下步骤：
S1、获取摄像头拍摄的人员视频，分析所述视频并获取人员的人体位置和人体的关键点和角度信息；
本步骤可以通过办案区步骤的摄像头来实时拍摄人员的视频，例如图1中的摄像头cam1、cam2、…camN，其中摄像头可以仅具有拍摄的视频功能，也可以配置一个处理器，例如中央处理器，神经处理单元(NPU),图像处理单元(例如ISP、GPU)等来运行相应的算法来对视频进行处理。本步骤可以在摄像头处，运行人体检测模型来检测所述视频中的人体位置和人体关键点模型来获取人体的关键点信息和角度信息；或者是将所述视频传输到服务器、云、PC机等具备处理能力处进行处理。
S2、根据人体的所述关键点和角度信息，获取符合设定要求的人体，并输出人体置信度信息；
根据关键点信息和角度信息进行加权评估，获取符合要求的人体图像，去除不完整的人体和大角度人体例如弯腰、倾斜等，可以有效的减少后续对人体跟踪的干扰，因为人体的不完整或者大角度人体，会致使人体的属性，例如脸、衣服颜色等，其中的一种或多种不能被识别到，从而影响人体跟踪的准确性，不能进行人体跟踪。人体置信度信息为人体的质量评估得分，其中人体的质量评估得分为根据关键点信息和角度信息加权得出。
S3、对符合设定要求的人体进行特征提取和跟踪；
本步骤的人体特征提取可以采用本领域公知的方式进行提取例如采用深度学习的方法LeNET等等，本实施例不在赘述。
S4、输出每个所述摄像头的人体信息；
通过对人体跟踪后，可以获取对视频中的人员分配的ID以及分配了ID的人体数量、每个人体的位置信息和人体置信度信息，其中人体置信度信息可由步骤S2获得。
S5、对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；
S6、将每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员在办案区的轨迹。
由此，根据本发明实施例的办案区人员无感轨迹生成方法，通过监控视频信息获取人员轨迹，属于低感知的方式，不易被破坏，不会造成财产损失，也大大降低了轨迹的丢失率；基于目标跟踪和行人重识别的人员轨迹生成方法，保留了进入办案区人员的全部视频信息，而不是单点的位置信息，便于在特殊情况下进行轨迹复核。
其中需要说明的是，根据本发明实施例的办案区人员无感轨迹生成方法中，应用在如图1所示的办案区的环境，办案区内可以设有多个摄像头，每个摄像头可以分别获取对应范围内的人员的人体位置并生成对应的摄像头轨迹视频，同时每个摄像头还可以分别筛选出符合设定要求的人体。
也就是说，对于图1所示的办案区，在走廊区域基于目标跟踪和行人再识别技术，对人员进行实时定位并获取人员在该区域的完整轨迹。即根据本发明实施例的办案区人员无感轨迹生成方法包含两个主要模块：基于摄像头的多目标跟踪和基于跨摄像头的行人重识别。
在本发明的一些具体实施方式中，步骤S3包括：
S31、利用人体特征模型对符合设定要求的人体进行特征提取；
S32、结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪；
S33、对跟踪的人体进行列队。
进一步地，步骤S33包括：
S331、设定目标队列；
S332、将首次跟踪获得的目标人体直接加入所述目标队列；
S333、将后续跟踪获得的目标人体与所述目标队列中的目标逐一进行相似度计算，若相似度小于阈值，则该目标人体与所述目标队列中的目标为同一个目标，完成匹配；若目标人体与所述目标队列中的任意目标的相似度均大于阈值，则该目标人体为新目标，将其加入所述目标队列并对所述目标队列进行更新；若所述目标队列中的某个目标在摄像头连续至少五帧图像中均未得到匹配，则该目标已丢失或离开摄像头监控画面，将该目标从所述目标队列中删除并对所述目标队列进行更新。
换句话说，如图3所示，基于摄像头的多目标跟踪模块以带时间戳的视频帧为输入，同时设置人体置信度参数。该模块包含以下步骤：
首先，通过摄像头的人体检测模型检测出办案区中的人体位置；接着利用人体关键点模型对人体姿态进行估计，输出人体的关键点和角度信息；然后基于人体关键点和角度信息对人体区域进行质量评估，根据关键点完整性和角度进行加权评估，去掉不完整的人体和大角度(弯腰、倾斜等)人体；再利用人体特征提取模型对人体进行特征提取；结合人体的位置信息、关键点信息、质量评估置信度及特征信息进行人体跟踪，人体跟踪的方案可选择目前常用的方案，例如DeepSort等。
跟踪子模块包括目标匹配、目标队列的更新、新目标加入队列以及将丢失的目标从队列删除等操作。其中，目标匹配是指将图像中目标与目标队列(最初目标队列为空)中的目标逐一进行相似度计算，如果小于阈值，则认为是同一个目标，完成匹配；如果和目标队列中已有任意目标的相似度均较低，则认为是新目标，将其加入目标队列，对目标队列进行更新，首次获得的目标直接加入队列；如果目标队列中存在某个目标，在连续多帧的图像中均未得到匹配，则认为该目标已丢失或目标已离开监控画面，则将其从目标队列中删除，更新目标队列。
最终，输出视频中分配了ID的人体的数量、位置、置信度等信息，每个ID代表一个人员，该ID在当前摄像头拍摄视频中的人体图像序列和置信度将被输出，置信度即当前人体的质量评估得分，分数越高说明该人体图像质量越好(完整、清晰、无遮挡)。
根据本发明的一个实施例，步骤S5包括：对每个所述摄像头的输出的所述人体信息进行关键点对齐和质量评估信息筛选，输出带有时间戳的人体图像队列。
优选地，步骤S6包括：
S61、将每个所述人体图像队列输入跨摄像头行人重识别模型，进行特征提取和比对；
S62、合并属于同一人员的人体图像队列；
S63、输出带有人体信息、时间信息、摄像头信息、质量评估信息的完整图像序列，生成该人员在办案区的轨迹。
进一步地，步骤S62包括：将各个所述人体图像队列在时间上进行拼接，参考每一个人体图像的质量评估信息，对同一时间内冗余的人体图像进行删除。
具体地，如图4所示，跨摄像头的行人重识别模块，其主要功能就是将多个摄像头拍摄的属于同一个行人的图像队列串联起来，主要步骤包括：
首先对每个摄像头的多目标跟踪模块输出的人体信息进行关键点对齐和置信度优选，输出带有时间戳的人体图像队列；
然后将每个人体图像队列输入跨摄行人重识别(ReID)模型，进行特征提取和比对，合并属于同一个人员的人体图像队列，包括：将各个人体图像队列在时间上进行拼接，参考每一个图像的置信度，对同一时间内冗余的图像信息进行删除。最终，输出带有人员ID、时间片段、CameraID、起止时间点、最优特征与置信度以及候选的注册库名单等一系列信息的完整图像序列，即该人员在办公区域的轨迹。
总而言之，根据本发明实施例的办案区人员无感轨迹生成方法基于多目标跟踪技术和行人重识别技术，将多个摄像头的行人监控视频进行串联，从而生成人员的完整轨迹，通过分析监控视频，对人体进行高维特征提取，获取人员完整图像序列生成轨迹的方式，能在无感知的情况下获取人员的实时位置和轨迹，可以有效减少办案区未授权人员的闯入以及不符合规范的执法过程。
并且根据本发明实施例的办案区人员无感轨迹生成方法不涉及到人体属性，直接基于人体特征提取进行单摄下的目标跟踪，获取人员在单摄下的完整轨迹，再通过行人重识别技术，将多个摄像头下的轨迹进行串联，生成了人员的完整轨迹，包含人员出现在任意地点的图像序列。基于目标跟踪和行人重识别技术的人员轨迹获取方式，不局限与人体的外在属性，更关注人体的高维特征，同时生成的轨迹覆盖了人员在相关区域的全部活动，相对于用多点位置串联起来的轨迹，保留的信息更全面，便于特殊情况下的信息复核，大幅提高了监控视频信息的利用率。
根据本发明实施例的办案区人员无感轨迹生成系统包括人体检测模块、人体关键点模块、质量评估模块、人体特征提取模块、人体跟踪模块、视频输出模块、人体图像列队模块和跨摄像头行人重识别模块。
具体而言，所述人体检测模块能够检测办案区人员的人体位置，所述人体关键点模块对人体姿态进行估计，输出人体的关键点和角度信息，所述质量评估模块根据人体的所述关键点和角度信息，筛选符合设定要求的人体，所述人体特征提取模块对人体进行特征提取，所述人体跟踪模块结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪，所述视频输出模块输出每个所述摄像头的人体信息，所述人体图像列队模块对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列，所述跨摄像头行人重识别模块每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员在办案区的轨迹。
由此，根据本发明实施例的办案区人员无感轨迹生成系统，通过多目标跟踪技术和行人重识别技术，将多个摄像头的行人监控视频进行串联，从而生成人员的完整轨迹，通过分析监控视频，对人体进行高维特征提取，获取人员完整图像序列生成轨迹的方式，能在无感知的情况下获取人员的实时位置和轨迹，可以有效减少办案区未授权人员的闯入以及不符合规范的执法过程。
根据本发明实施例的办案区人员无感轨迹生成系统的各模块的作用在上述实施例中已经详细描述，因此不再赘述。
此外，本发明还提供一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的办案区人员无感轨迹生成方法。
也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的办案区人员无感轨迹生成方法。
如图5所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。
也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。
进一步地，如图5所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。
所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备360，可以将处理器320执行指令获得的结果进行显示。
所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。
其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。
本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种办案区人员无感轨迹生成方法，其特征在于，包括以下步骤：
S1、获取摄像头拍摄的人员视频，分析所述视频并获取人员的人体位置和人体的关键点和角度信息；
S2、根据人体的所述关键点和角度信息，获取符合设定要求的人体，并输出人体置信度信息；
S3、对符合设定要求的人体进行特征提取和跟踪；
S4、输出每个所述摄像头的人体信息；
S5、对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；
S6、将每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员的轨迹。
2.根据权利要求1所述的方法，其特征在于，步骤S1包括：
S11、通过人体检测模型检测出人员的人体位置；
S12、利用人体关键点模型对人体姿态进行估计，输出人体的所述关键点和角度信息。
3.根据权利要求1所述的方法，其特征在于，步骤S2包括：根据人体的所述关键点和角度信息对人体区域进行质量评估，去掉不完整的人体、弯腰人体和倾斜人体。
4.根据权利要求2所述的方法，其特征在于，步骤S3包括：
S31、利用人体特征模型对符合设定要求的人体进行特征提取；
S32、结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪；
S33、对跟踪的人体进行列队。
5.根据权利要求4所述的方法，其特征在于，步骤S33包括：
S331、设定目标队列；
S332、将首次跟踪获得的目标人体直接加入所述目标队列；
S333、将后续跟踪获得的目标人体与所述目标队列中的目标逐一进行相似度计算，若相似度大于阈值，则该目标人体与所述目标队列中的目标为同一个目标，完成匹配；若目标人体与所述目标队列中的任意目标的相似度均小于阈值，则该目标人体为新目标，将其加入所述目标队列并对所述目标队列进行更新；若所述目标队列中的某个目标在摄像头连续至少五帧图像中均未得到匹配，则该目标已丢失或离开摄像头监控画面，将该目标从所述目标队列中删除并对所述目标队列进行更新。
6.根据权利要求4所述的方法，其特征在于，步骤S4中，所述人体信息包括人体的数量、每个人体的位置信息和质量评估信息。
7.根据权利要求1所述的方法，其特征在于，步骤S5包括：对每个所述摄像头的输出的所述人体信息进行关键点对齐和质量评估信息筛选，输出带有时间戳的人体图像队列。
8.根据权利要求7所述的方法，其特征在于，步骤S6包括：
S61、将每个所述人体图像队列输入跨摄像头行人重识别模型，进行特征提取和比对；
S62、合并属于同一人员的人体图像队列；
S63、输出带有人体信息、时间信息、摄像头信息、质量评估信息的完整图像序列，生成该人员在办案区的轨迹。
9.根据权利要求8所述的方法，其特征在于，步骤S62包括：将各个所述人体图像队列在时间上进行拼接，参考每一个人体图像的质量评估信息，对同一时间内冗余的人体图像进行删除。
10.一种办案区人员无感轨迹生成系统，其特征在于，包括：
人体检测模块，所述人体检测模块能够检测办案区人员的人体位置；
人体关键点模块，所述人体关键点模块对人体姿态进行估计，输出人体的关键点和角度信息；
质量评估模块，所述质量评估模块根据人体的所述关键点和角度信息，筛选符合设定要求的人体；
人体特征提取模块，所述人体特征提取模块对人体进行特征提取；
人体跟踪模块，所述人体跟踪模块结合人体的位置信息、关键点和角度信息、质量评估信息和特征信息对人体进行跟踪；
视频输出模块，所述视频输出模块输出每个所述摄像头的人体信息；
人体图像列队模块，所述人体图像列队模块对每个所述摄像头的人体信息进行处理，得到具有时间戳的人体图像队列；
跨摄像头行人重识别模块，所述跨摄像头行人重识别模块每个所述人体图像队列进行跨摄像头行人重识别，合并属于同一人员的人体图像队列，生成该人员在办案区的轨迹。
11.一种计算机存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如权利要求1-9中任一项所述的方法。
12.一种电子设备，包括存储器和处理器，其特征在于，
所述存储器用于存储一条或多条计算机指令；
所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011017016.5A CN112163503A (zh) | 2020-09-24 | 2020-09-24 | 办案区人员无感轨迹生成方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011017016.5A CN112163503A (zh) | 2020-09-24 | 2020-09-24 | 办案区人员无感轨迹生成方法、系统、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112163503A true CN112163503A (zh) | 2021-01-01 |
Family
ID=73864393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011017016.5A Pending CN112163503A (zh) | 2020-09-24 | 2020-09-24 | 办案区人员无感轨迹生成方法、系统、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163503A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800923A (zh) * | 2021-01-22 | 2021-05-14 | 北京市商汤科技开发有限公司 | 人体图像质量检测方法及装置、电子设备、存储介质 |
| CN113221807A (zh) * | 2021-05-26 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种多摄像头的行人重识别方法及系统 |
| CN113630562A (zh) * | 2021-06-03 | 2021-11-09 | 山东捷瑞数字科技股份有限公司 | 用于人员行为数据采集的方法、系统和存储介质 |
| CN116956960A (zh) * | 2023-07-28 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 一种基于云边端协同的社区访客到访路径还原方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650652A (zh) * | 2016-12-14 | 2017-05-10 | 黄先开 | 基于人脸识别技术的轨迹跟踪系统及其方法 |
| US20170286774A1 (en) * | 2016-04-04 | 2017-10-05 | Xerox Corporation | Deep data association for online multi-class multi-object tracking |
| CN110012266A (zh) * | 2019-03-14 | 2019-07-12 | 中电海康集团有限公司 | 一种规范派出所执法管理的系统和方法 |
| CN110738779A (zh) * | 2019-10-25 | 2020-01-31 | 上海燕汐软件信息科技有限公司 | 一种人员轨迹检测方法、系统及装置 |
| CN110855935A (zh) * | 2018-08-02 | 2020-02-28 | 高新兴科技集团股份有限公司 | 一种基于多摄像头的人员轨迹生成系统及方法 |
| CN111079600A (zh) * | 2019-12-06 | 2020-04-28 | 长沙海格北斗信息技术有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN111145223A (zh) * | 2019-12-16 | 2020-05-12 | 盐城吉大智能终端产业研究院有限公司 | 多摄像头识别人员行为轨迹分析方法 |
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111652798A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大华技术股份有限公司 | 人脸姿态迁移方法和计算机存储介质 |
| US20200294250A1 (en) * | 2018-03-28 | 2020-09-17 | Tencent Technology (Shenzhen) Company Limited | Trajectory tracking method and apparatus, computer device, and storage medium |
-
2020
- 2020-09-24 CN CN202011017016.5A patent/CN112163503A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170286774A1 (en) * | 2016-04-04 | 2017-10-05 | Xerox Corporation | Deep data association for online multi-class multi-object tracking |
| CN106650652A (zh) * | 2016-12-14 | 2017-05-10 | 黄先开 | 基于人脸识别技术的轨迹跟踪系统及其方法 |
| US20200294250A1 (en) * | 2018-03-28 | 2020-09-17 | Tencent Technology (Shenzhen) Company Limited | Trajectory tracking method and apparatus, computer device, and storage medium |
| CN110855935A (zh) * | 2018-08-02 | 2020-02-28 | 高新兴科技集团股份有限公司 | 一种基于多摄像头的人员轨迹生成系统及方法 |
| CN110012266A (zh) * | 2019-03-14 | 2019-07-12 | 中电海康集团有限公司 | 一种规范派出所执法管理的系统和方法 |
| CN110738779A (zh) * | 2019-10-25 | 2020-01-31 | 上海燕汐软件信息科技有限公司 | 一种人员轨迹检测方法、系统及装置 |
| CN111079600A (zh) * | 2019-12-06 | 2020-04-28 | 长沙海格北斗信息技术有限公司 | 多摄像头的行人识别方法及识别系统 |
| CN111145223A (zh) * | 2019-12-16 | 2020-05-12 | 盐城吉大智能终端产业研究院有限公司 | 多摄像头识别人员行为轨迹分析方法 |
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111652798A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大华技术股份有限公司 | 人脸姿态迁移方法和计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 代科学;张军;李国辉;来旭;: "监控视频运动目标的频繁轨迹模式挖掘", 国防科技大学学报, no. 06 * |
| 杜久伦: "多视图行人重识别算法研究与数据采集", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800923A (zh) * | 2021-01-22 | 2021-05-14 | 北京市商汤科技开发有限公司 | 人体图像质量检测方法及装置、电子设备、存储介质 |
| CN113221807A (zh) * | 2021-05-26 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种多摄像头的行人重识别方法及系统 |
| CN113630562A (zh) * | 2021-06-03 | 2021-11-09 | 山东捷瑞数字科技股份有限公司 | 用于人员行为数据采集的方法、系统和存储介质 |
| CN116956960A (zh) * | 2023-07-28 | 2023-10-27 | 武汉市万睿数字运营有限公司 | 一种基于云边端协同的社区访客到访路径还原方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163503A (zh) | 办案区人员无感轨迹生成方法、系统、存储介质及设备 | |
| CN109783685B (zh) | 一种查询方法及装置 | |
| US20230014519A1 (en) | Video search device, data storage method and data storage device | |
| CN111372037B (zh) | 目标抓拍系统和方法 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| US20130329059A1 (en) | Person detection system | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| US20220301317A1 (en) | Method and device for constructing object motion trajectory, and computer storage medium | |
| CN109784220B (zh) | 一种确定路人轨迹的方法及装置 | |
| CN111079536B (zh) | 基于人体关键点时序的行为分析方法、存储介质及设备 | |
| CN112163470A (zh) | 基于深度学习的疲劳状态识别方法、系统、存储介质 | |
| CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
| CN111242077A (zh) | 一种人物追踪方法、系统及服务器 | |
| CN111914673B (zh) | 目标行为的检测方法、装置及计算机可读存储介质 | |
| WO2014201891A1 (zh) | 多目标跟踪方法、系统及计算机存储介质 | |
| CN112183304A (zh) | 离位检测方法、系统及计算机存储介质 | |
| CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
| JP6396682B2 (ja) | 監視カメラシステム | |
| CN110443221A (zh) | 一种车牌识别方法及系统 | |
| EP3570207B1 (en) | Video cookies | |
| US10783365B2 (en) | Image processing device and image processing system | |
| Singh et al. | An intelligent video surveillance system using edge computing based deep learning model | |
| WO2022134916A1 (zh) | 身份特征生成方法、设备及存储介质 | |
| WO2022185569A1 (ja) | 映像解析システム、及び映像解析方法 | |
| CN114299269A (zh) | 显示方法、显示设备、显示系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |