CN117423066B - 一种基于多源数据融合分析的目标人员识别方法 - Google Patents
一种基于多源数据融合分析的目标人员识别方法 Download PDFInfo
- Publication number
- CN117423066B CN117423066B CN202311724702.XA CN202311724702A CN117423066B CN 117423066 B CN117423066 B CN 117423066B CN 202311724702 A CN202311724702 A CN 202311724702A CN 117423066 B CN117423066 B CN 117423066B
- Authority
- CN
- China
- Prior art keywords
- personnel
- elevator
- information
- person
- confirmed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 66
- 230000009471 action Effects 0.000 claims abstract description 51
- 239000012634 fragment Substances 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 6
- 239000000523 sample Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001429 stepping effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多源数据融合分析的目标人员识别方法，从小区单元楼栋内电梯监控视频流中提取人员信息、进入电梯内的时间点以及对应的楼层信息；根据人员信息确定待确认人员，获取小区内单元楼栋外各处监控视频流，从各楼栋外各处监控视频流中分别截取该待确认人员在进入电梯内的时间点前后预设时间段内的监控视频片段；记录待确认人员在各监控视频片段中出现的时间以及所处的位置信息，生成待确认人员的道路轨迹信息；融合同一待确认人员的人员楼层信息和道路轨迹信息，得到待确认人员的行动路线；与预设的正常行动路线库匹配，若不匹配则判断该人员为目标人员。
Description
技术领域
本发明涉及社会智慧治理技术领域，具体涉及一种基于多源数据融合分析的目标人员识别方法。
背景技术
对于每个小区来说，每天进出的人员很多且人员复杂，除了物业居民住户，还有许多外来人员，例如租户、物业居民住户认识的人来访、快递外卖、销售看房等等，这些外来人员中很多是正常访问小区，不会对小区安全造成威胁，但是有些目标人员，很可能对物业居民住户的安全造成潜在威胁，因此，提早发现这些目标人员并及时做出管控是很有必要的。
发明内容
本发明的目的在于提供一种基于多源数据融合分析的目标人员识别方法，通过电梯监控视频流，预估出每个人员对应的楼层信息，再通过将该人员在楼栋外小区内各处的的道路轨迹与对应的楼层进行拼接，得到一条包含有楼层信息的完整路径，从而筛选出目标人员，以提早发现目标人员对其进行管控，以提早发现目标人员对其进行管控，保障小区安全。
一方面，本申请提供一种基于多源数据融合分析的目标人员识别方法，具体包括以下步骤：
S1、获取离散化的人员楼层信息，人员楼层信息包括人员信息、进入电梯内的时间点以及对应的楼层信息；所述人员楼层信息从小区单元楼栋内电梯监控视频流中提取；
S2、根据人员信息确定待确认人员，获取小区内单元楼栋外各处监控视频流，从各楼栋外各处监控视频流中分别截取该待确认人员在进入电梯内的时间点前后预设时间段内的监控视频片段；
S3、记录待确认人员在各监控视频片段中出现的时间以及所处的位置信息，生成待确认人员的道路轨迹信息；
S4、融合同一待确认人员的人员楼层信息和道路轨迹信息，得到该待确认人员的行动路线；
S5、将该待确认人员的行动路线在预设的正常行动路线库进行匹配，若不在该行动路线库中则判断该人员为目标人员。
在一种具体地实施方式中，获得离散化的人员楼层信息的方法具体包括：
S11、获取小区各楼栋单元电梯监控设备上传的监控信息，监控信息包括电梯监控视频流、电梯监控设备编号以及电梯监控位置；
S12、获取电梯感应器探头检测到的电梯开门信号；以相邻两个电梯开门信号上传的时间点为截取起始点和终点从电梯监控视频流中截取电梯监控视频片段；
S13、从电梯监控视频片段中截取视频帧图片，并记录每张视频帧图片的截取时间点；
S14、将视频帧图片输入预设的多任务检测模型中，检测出每张视频帧图片中人员区域以及电梯按键面板区域，形成检测图片集；
S15、对检测图片集进行分析，得到人员信息、进入电梯内的时间点以及对应的楼层信息。
在一种具体地实施方式中，步骤S15分析过程具体包括：
S151、对当前检测图片集中视频帧图片的人员区域分别进行人员识别和标记，得到人员信息，并通过人员信息查询含有同一人员的视频帧图片，形成楼层分析图片集，以人员进入电梯时的视频帧图片的截取时间点作为进入电梯内的时间点；
S152、对比楼层分析图片集中连续两张视频帧图片的电梯按键面板区域，判断电梯按键面板区域是否相同，若不同，则截取差异图片，对差异图片进行识别，得到第一楼层信息；
S153、将同一人员的第一楼层信息、人员信息、进入电梯内的时间点、电梯监控设备编号以及位置作为一条数据存入离散化的人员楼层信息中。
在一种具体地实施方式中，步骤S152中，当对比到电梯按键面板区域变化时，对电梯按键面板区域进行扩展，识别电梯按键面板区域变化前的视频帧图片中人员区域、电梯按键面板扩展区域，检测到进行按键操作的人员，获取进行按键操作的人员信息；将第一楼层信息与该人员信息进行关联。
在一种具体地实施方式中，步骤S152中截取差异图片的具体过程为：
将电梯按键面板区域根据按键分区分为若干个网格块，并记录各网格块的
RGB值；
对比相邻两张视频帧图片的电梯按键面板区域的各网格块的RGB值是否均相同；
若检测到两张图片的网格块的RGB值不同，则截取该RGB值不同的网格块作为差异图片。
在一种具体地实施方式中，生成待确认人员的道路轨迹信息的具体过程为：
S31、将待确认人员在各监控视频片段中出现的时间以及所处的位置信息汇总并按照时间先后对位置信息进行排列，得到待确认人员的小区内单元楼外的道路轨迹列表；
S32、依次遍历道路轨迹列表，当遍历到位置信息为行动路线的起点时，给该条数据打上第一标签；
S33、继续向下遍历，当遍历到位置信息为同一条行动路线的终点时，给该条数据打上第二标签：
S34、读取第一标签到第二标签数据之间所有的数据内容，按照时间先后，形成道路轨迹信息；
S35、重复步骤S32-S34，直至遍历完道路轨迹列表。
在一种具体地实施方式中，步骤S4中生成人员的行动路线具体过程包括：
统计一天内待确认人员的道路轨迹信息和人员楼层信息，根据进入电梯内的时间点，将待确认人员对应的楼层信息与道路轨迹信息进行拼接，得到行动路线。
可以理解的是，小区内居民住户每天产生的行动轨迹固定，其到达的小区楼栋一般为固定的某一栋的某一具体楼层，而租户或者有预约的来访者的行动轨迹也为固定的路线，而快递或外卖人员的行动轨迹也很固定，而对于目标人员来说，一般会在一个社区内乱窜，很可能在多个小区进出，对小区内的多个楼栋的每一层进行踩点，且行动路线不固定，在踩点过程中很有可能以监控死角来规划路线，因此，对于目标人员来说，其行动路线具有明显的不同，对其行为路线进行分析，可以排查出路线目标的人员。
现有技术中，对于小区内目标人员的识别一般就是通过对进入小区的人员进行持续跟踪，得到人员在小区内（不包含单元楼层）的行动路线，还有的通过对人员面部是否遮挡或者动作是否可疑进行综合判断，这种方法一般需要先对海量数据进行处理，标定出特别人员，然后对特别人员进行持续性分析，即为持续性获取到特别人员的实时视频信息，这些方法中需要对进入小区的每个人员进行分析从中筛选出特别人员，并且其路径信息并未包含有楼栋内楼层信息。通过对目标人员的分析来看，目标人员很大概率是会直接进入楼栋内乘坐电梯从高到低依次对各楼层进行扫楼式踩点，而一些工作人员例如快递驿站送货人员、物业人员、保安人员等一般是不会进入楼栋楼层内的。
因此，可以通过分析电梯监控视频将进入电梯的人员均定为待分析的待确认人员，这样可以减少分析的数据量，另外，通过电梯内的监控视频可以预测进入电梯内人员的楼层信息，对电梯监控视频流进行离散化处理，利用摄像加上人员特定的动作特征预估出每个人员对应的内部路径的楼层信息，再通过该人员进入电梯内的时间点获取楼栋外小区内各处监控的信息，对该人员进行持续性分析，得到该人员在小区内楼栋外的道路轨迹，将人员的道路轨迹与对应的楼层进行拼接，得到一条包含有楼层信息的完整路径，将完整路径进行匹配，从而判断出该人员是否是目标人员。
本发明具有的有益效果：
本申请通过分析电梯监控视频将进入电梯的人员均定为待分析的待确认人员，这样可以减少分析的数据量，另外，通过电梯内的监控视频可以预测进入电梯内人员的楼层信息，对电梯监控视频流进行离散化处理，预估出每个人员对应的楼层信息，再通过该人员进入电梯内的时间点获取楼栋外小区内各处监控的信息，对该人员进行持续性分析，得到该人员在小区内楼栋外的道路轨迹，将人员的道路轨迹与对应的楼层进行拼接，得到一条包含有楼层信息的完整路径，将完整路径进行匹配，从而筛选出目标人员，以提早发现目标人员对其进行管控，保障小区安全。
附图说明
图1为本发明一种基于多源数据融合分析的目标人员识别方法流程图；
图2为本发明一种实施方式中楼层分析图片集的生成示意图；
图3为本发明一种实施方式中对视频帧图片进行识别区域划分示意图；
图4为本发明一种实施方式中人员行动路线示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
实施例1
如图1所示，本实施例提供一种基于多源数据融合分析的目标人员识别方法，具体过程为：
S1、获取离散化的人员楼层信息，人员楼层信息包括人员信息、进入电梯内的时间点以及对应的楼层信息；所述人员楼层信息从小区单元楼栋内电梯监控视频流中提取；
获得离散化的人员楼层信息的方法具体包括：
S11、获取小区各楼栋单元电梯监控设备上传的监控信息，监控信息包括电梯监控视频流、电梯监控设备编号以及电梯监控位置；
小区内一般在各关键位置会部署有监控设备，例如小区门口、楼栋单元楼内，电梯内、小区道路等位置，每个监控有唯一的标识，每个监控的设备编号加安装位置可以表征一个监控的空间位置；
S12、获取电梯感应器探头检测到的电梯开门信号；以相邻两个电梯开门信号上传的时间点为截取起始点和终点从电梯监控视频流中截取电梯监控视频片段；
S13、从电梯监控视频片段中截取视频帧图片，并记录每张视频帧图片的截取时间点；
S14、将视频帧图片输入预设的多任务检测模型中，如图3所示，检测出每张视频帧图片中人员区域、楼层显示区域以及电梯按键面板区域，将视频帧图片按照截取时间点先后拼接形成检测图片集；具体地，电梯按键面板区域仅指楼层按钮区域，开关门按键不属于本申请所描述的电梯按键面板区域；
S15、对检测图片集进行分析，得到人员信息、进入电梯内的时间点以及对应的楼层信息。
步骤S15分析过程具体包括：
S151、对当前检测图片集中视频帧图片的人员区域分别进行人员识别和标记，得到人员信息，并通过人员信息查询含有同一人员的视频帧图片，形成楼层分析图片集，以人员进入电梯时的视频帧图片截取的时间点作为进入电梯内的时间点；
对人员进行分析，标识出视频流中的人员，对各人员进行标记便于对其进行追踪，记录下人员出现在监控视频流中的初始时间点，人员信息包括：人脸特征、体型特征和着装特征，当不同的视频帧图片中出现的人物的人员信息有至少两项匹配时，则判定两张视频帧图片中的人员为同一人，以此实现对该人员的持续追踪，将同一人在不同监控视频流中的出现时间和对应的监控所在的位置进行汇总，用来描述同一人的行动轨迹。如图2所示，在对楼层分析图片集重新进行人员标记，只保留该同一人员的标记信息，具体地，获得人员进入电梯时的视频帧图片为首次可以检测到人脸时对应的视频帧图片。需要说明的是，对图片中人脸、体型和着装的识别和对比是本领域人员常用的技术，本文不赘述。并且需要说明的是，本申请中对视频流中出现的人员的人脸数据采集是经过当事人同意并且采集到的人脸用于小区安全分析是符合国家规定的有关个人隐私获取人脸并应用的法律法规。
S152、对比楼层分析图片集中连续两张视频帧图片的电梯按键面板区域，判断电梯按键面板区域是否相同，若不同，则截取差异图片，对差异图片进行识别，得到第一楼层信息；
步骤S152中，当对比到电梯按键面板区域变化时，对电梯按键面板区域进行扩展，识别电梯按键面板区域变化前的视频帧图片中人员区域、电梯按键面板扩展区域，检测到进行按键操作的人员，获取进行按键操作的人员信息；将第一楼层信息与该人员信息进行关联。
步骤S152中截取差异图片的具体过程为：
将电梯按键面板区域根据按键分区分为若干个网格块，并记录各网格块的
RGB值；
对比相邻两张视频帧图片的电梯按键面板区域的各网格块的RGB值是否均相同；
若检测到两张图片的网格块的RGB值不同，则截取该RGB值不同的网格块作为差异图片。
更加具体地，当人员乘坐电梯下楼时，也需要按下按键，即此时也会生成人员楼层信息，因此，生成第一楼层信息时，判断差异图片中识别出的楼层信息是否为一楼，若为一楼，则继续对差异图片对应的视频帧图片中的楼层显示区域进行识别，得到目前所处的楼层信息也即人员所处的楼层信息，将此楼层信息作为第一楼层信息。
S153、将同一人员的第一楼层信息、人员信息、进入电梯内的时间点、电梯监控设备编号以及位置作为一条数据存入离散化的人员楼层信息集中。
S2、根据人员信息确定待确认人员，获取小区内单元楼栋外各处监控视频流，从各楼栋外各处监控视频流中分别截取该待确认人员在进入电梯内的时间点前后预设时间段内的监控视频片段；
其中，为了减少计算量，在确定待确认人员时，可以排除掉一些明显不属于目标人员的人员，例如将人员人脸特征与预设的小区业主登记的人脸信息库进行匹配，若符合，则不对该人员进行分析，若不符合则将该人员确定为待确认人员，对其行动路线进行分析，进一步判断该人员是否为目标人员。
S3、记录待确认人员在各监控视频片段中出现的时间以及所处的位置信息，生成待确认人员的道路轨迹信息；
以待确认人员所处的位置信息为小区门口或者单元楼栋作为一条路线的端点，生成待确认人员的道路轨迹信息；
具体地，一条道路轨迹信息可以由小区门口为起点、以单元楼栋为终点组成；或者是以单元楼栋为起点、以小区门口为终点，或者以相同的单元楼栋作为起点和终点，不同或相同的小区门口作为起点和终点。需要说明的是，此处小区门口可以理解为进去小区的各个门口，例如小区各个门以及车库入口均可认为是小区门口，单元楼栋为进入电梯之前可拍摄到的位置。
生成待确认人员的道路轨迹信息的具体过程为：
S31、将待确认人员在各监控视频片段中出现的时间以及所处的位置信息汇总并按照时间先后对位置信息进行排列，得到待确认人员的小区内单元楼外的道路轨迹列表；
S32、依次遍历道路轨迹列表，当遍历到位置信息为行动路线的起点时，给该条数据打上第一标签；
S33、继续向下遍历，当遍历到位置信息为同一条行动路线的终点时，给该条数据打上第二标签：
S34、读取第一标签到第二标签数据之间所有的数据内容，按照时间先后，形成道路轨迹信息；
S35、重复步骤S32-S34，直至遍历完道路轨迹列表。
S4、融合同一待确认人员的人员楼层信息和道路轨迹信息，得到该待确认人员的行动路线；
步骤S4中生成人员的行动路线具体过程包括：
统计一天内待确认人员的道路轨迹信息和人员楼层信息，根据进入电梯内的时间点，将待确认人员对应的楼层信息与道路轨迹信息进行拼接，得到行动路线；
S5、将该待确认人员的行动路线在预设的正常行动路线库进行匹配，若不在该行动路线库中或行动路线匹配条数超过阈值，则判断该人员为目标人员。
可以理解的是，预设的正常行动路线库枚举了正常居民的所有可能性路线，包括不同楼层、楼栋的居民，一般居民的行动路线的进出的目的性很明确，小区居民的行动路线固定，且一般外来人员的目的性较强，一般会直接进入对应的小区楼栋单元，居民的楼栋单元、楼层信息固定，并且在小区内路线的起点和终点一般为小区门口或者单元楼层，且对应的单元楼栋或楼层仅有一个。而目标人员会进行踩点行为，因此，可能会出现在多栋单元楼内，且目的性不强，因此，对于目标人员来说，可能在进入小区后，会持续进入多栋小区单元楼栋，并进行扫楼式的踩点，其可能会仅有进入某层楼栋的信息，不久又出现在另外的楼栋电梯内，这样可能就会出现连续的多个不同单元楼层信息，若某个人员的行动路线繁多，且能匹配的行动路线超过一定阈值，例如其存在多个小区楼栋的行动路线，其很大可能是目标人员。
具体地，一般居民的行动路线为小区门口-道路口-单元楼栋或者小区门口-快递点-单元楼栋等，或者快递人员的行动路线为小区门口-快递点-小区门口，可以看出一些外来人员如快递车、物业人员、保安，一般不会进入单元楼栋内的楼层，而目标人员会在单元楼栋内踩点，尤其高楼层，一般会坐到顶楼，然后避开监控逐层向下扫楼式的踩点，因此，从电梯监控视频中的人员出发，获得目标分析人员的行动路线，可以减少对这些不会进行小区楼栋内的人员的排除，减少分析的数据计算量。
为了更好地说明本实施的实施方法，如图4所示，例举三类人员的行动路线图分布，可见，其中，人员1的行动路线为小区门口-快递点-单元楼栋2-楼层2，人员2的行动路线为小区门口-快递点-小区门口，人员3的行动路线为小区门口-单元楼栋1-楼层5-单元楼栋2-楼层5-单元楼栋3-楼层5-小区门口，可以看出，人员1和人员2的行路路线短，目的性强，且人员2未进入小区楼栋内，没有楼层信息，因此可以认为其为办事人员不对其进行分析，只需对人员1和人员3分析，减少了计算量。而人员3的行动路线多，且多次进出多个单元楼栋，其行动路线与预设的正常行动路线库不能匹配，将该人员3锁定为目标人员，并将其放入目标人员信息库中，在下次该人员进入小区时，重点关注其行为和路线。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (6)
1.一种基于多源数据融合分析的目标人员识别方法，其特征在于，具体包括以下步骤：
S1、获取离散化的人员楼层信息，人员楼层信息包括人员信息、进入电梯内的时间点以及对应的楼层信息；所述人员楼层信息从小区单元楼栋内电梯监控视频流中提取；
获得离散化的人员楼层信息的方法具体包括：
S11、获取小区各楼栋单元电梯监控设备上传的监控信息，监控信息包括电梯监控视频流、电梯监控设备编号以及电梯监控位置；
S12、获取电梯感应器探头检测到的电梯开门信号；以相邻两个电梯开门信号上传的时间点为截取起始点和终点从电梯监控视频流中截取电梯监控视频片段；
S13、从电梯监控视频片段中截取视频帧图片，并记录每张视频帧图片的截取时间点；
S14、将视频帧图片输入预设的多任务检测模型中，检测出每张视频帧图片中人员区域以及电梯按键面板区域，形成检测图片集；
S15、对检测图片集进行分析，得到人员信息、进入电梯内的时间点以及对应的楼层信息；
S2、根据人员信息确定待确认人员，获取小区内单元楼栋外各处监控视频流，从各楼栋外各处监控视频流中分别截取该待确认人员在进入电梯内的时间点前后预设时间段内的监控视频片段；
S3、记录待确认人员在各监控视频片段中出现的时间以及所处的位置信息，生成待确认人员的道路轨迹信息；
S4、融合同一待确认人员的人员楼层信息和道路轨迹信息，得到该待确认人员的行动路线；
S5、将该待确认人员的行动路线在预设的正常行动路线库进行匹配，若不在该行动路线库中则判断该人员为目标人员。
2.根据权利要求1所述的一种基于多源数据融合分析的目标人员识别方法，其特征在于，步骤S15分析过程具体包括：
S151、对当前检测图片集中视频帧图片的人员区域分别进行人员识别和标记，得到人员信息，并通过人员信息查询含有同一人员的视频帧图片，形成楼层分析图片集，以人员进入电梯时的视频帧图片的截取时间点作为进入电梯内的时间点；
S152、对比楼层分析图片集中连续两张视频帧图片的电梯按键面板区域，判断电梯按键面板区域是否相同，若不同，则截取差异图片，对差异图片进行识别，得到第一楼层信息；
S153、将同一人员的第一楼层信息、人员信息、进入电梯内的时间点、电梯监控设备编号以及位置作为一条数据存入离散化的人员楼层信息中。
3.根据权利要求2所述的一种基于多源数据融合分析的目标人员识别方法，其特征在于，步骤S152中，当对比到电梯按键面板区域变化时，对电梯按键面板区域进行扩展，识别电梯按键面板区域变化前的视频帧图片中人员区域、电梯按键面板扩展区域，检测到进行按键操作的人员，获取进行按键操作的人员信息；将第一楼层信息与该人员信息进行关联。
4.根据权利要求2所述的一种基于多源数据融合分析的目标人员识别方法，其特征在于，步骤S152中截取差异图片的具体过程为：
将电梯按键面板区域根据按键分区分为若干个网格块，并记录各网格块的RGB值；
对比相邻两张视频帧图片的电梯按键面板区域的各网格块的RGB值是否均相同；
若检测到两张图片的网格块的RGB值不同，则截取该RGB值不同的网格块作为差异图片。
5.根据权利要求1所述的一种基于多源数据融合分析的目标人员识别方法，其特征在于，生成待确认人员的道路轨迹信息的具体过程为：
S31、将待确认人员在各监控视频片段中出现的时间以及所处的位置信息汇总并按照时间先后对位置信息进行排列，得到待确认人员的小区内单元楼外的道路轨迹列表；
S32、依次遍历道路轨迹列表，当遍历到位置信息为行动路线的起点时，给该条数据打上第一标签；
S33、继续向下遍历，当遍历到位置信息为同一条行动路线的终点时，给该条数据打上第二标签：
S34、读取第一标签到第二标签数据之间所有的数据内容，按照时间先后，形成道路轨迹信息；
S35、重复步骤S32-S34，直至遍历完道路轨迹列表。
6.根据权利要求1所述的一种基于多源数据融合分析的目标人员识别方法，其特征在于，步骤S4中生成人员的行动路线具体过程包括：
统计一天内待确认人员的道路轨迹信息和人员楼层信息，根据进入电梯内的时间点，将待确认人员对应的楼层信息与道路轨迹信息进行拼接，得到行动路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311724702.XA CN117423066B (zh) | 2023-12-15 | 2023-12-15 | 一种基于多源数据融合分析的目标人员识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311724702.XA CN117423066B (zh) | 2023-12-15 | 2023-12-15 | 一种基于多源数据融合分析的目标人员识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117423066A CN117423066A (zh) | 2024-01-19 |
| CN117423066B true CN117423066B (zh) | 2024-02-27 |
Family
ID=89526927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311724702.XA Active CN117423066B (zh) | 2023-12-15 | 2023-12-15 | 一种基于多源数据融合分析的目标人员识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117423066B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830911B (zh) * | 2024-03-06 | 2024-05-28 | 一脉通(深圳)智能科技有限公司 | 用于智能摄像头的智能识别方法、装置、电子设备及介质 |
| CN118505167A (zh) * | 2024-07-17 | 2024-08-16 | 北京建工集团有限责任公司 | 一种监控视频的管理方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008152328A (ja) * | 2006-12-14 | 2008-07-03 | Hitachi Information & Control Solutions Ltd | 不審者監視システム |
| JP2010182287A (ja) * | 2008-07-17 | 2010-08-19 | Steven C Kays | 適応型インテリジェント・デザイン |
| JP2014229068A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
| CN109257569A (zh) * | 2018-10-24 | 2019-01-22 | 广东佳鸿达科技股份有限公司 | 安防视频监控分析方法 |
| CN109492548A (zh) * | 2018-10-24 | 2019-03-19 | 广东佳鸿达科技股份有限公司 | 基于视频分析的区域mask图片的获得方法 |
| CN111932585A (zh) * | 2020-07-28 | 2020-11-13 | 浙江新再灵科技股份有限公司 | 一种基于大数据智能电梯间尾随行为识别方法 |
| CN112660953A (zh) * | 2019-10-16 | 2021-04-16 | 杭州海康威视系统技术有限公司 | 乘梯异常行为的检测方法、设备及系统 |
| CN113963399A (zh) * | 2021-09-09 | 2022-01-21 | 武汉众智数字技术有限公司 | 基于多算法融合应用的人员轨迹检索方法及装置 |
| CN114596684A (zh) * | 2022-01-10 | 2022-06-07 | 嘉兴琥珀科技有限公司 | 基于公共安全的高清视频监控方法、监控装置及系统 |
| CN115439796A (zh) * | 2022-11-09 | 2022-12-06 | 江西省天轴通讯有限公司 | 特定区域人员追踪识别方法、系统、电子设备及存储介质 |
| WO2023175839A1 (ja) * | 2022-03-17 | 2023-09-21 | 三菱電機株式会社 | 監視システム、サーバ及び監視方法 |
| CN117197726A (zh) * | 2023-11-07 | 2023-12-08 | 四川三思德科技有限公司 | 一种重点人员精准化管控系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020272887B2 (en) * | 2019-04-09 | 2023-03-02 | Motorola Solutions, Inc. | Anomaly detection method, system and computer readable medium |
| CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学（威海） | 一种多目标检测及跟踪方法、系统、存储介质及应用 |
-
2023
- 2023-12-15 CN CN202311724702.XA patent/CN117423066B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008152328A (ja) * | 2006-12-14 | 2008-07-03 | Hitachi Information & Control Solutions Ltd | 不審者監視システム |
| JP2010182287A (ja) * | 2008-07-17 | 2010-08-19 | Steven C Kays | 適応型インテリジェント・デザイン |
| JP2014229068A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
| CN109257569A (zh) * | 2018-10-24 | 2019-01-22 | 广东佳鸿达科技股份有限公司 | 安防视频监控分析方法 |
| CN109492548A (zh) * | 2018-10-24 | 2019-03-19 | 广东佳鸿达科技股份有限公司 | 基于视频分析的区域mask图片的获得方法 |
| CN112660953A (zh) * | 2019-10-16 | 2021-04-16 | 杭州海康威视系统技术有限公司 | 乘梯异常行为的检测方法、设备及系统 |
| CN111932585A (zh) * | 2020-07-28 | 2020-11-13 | 浙江新再灵科技股份有限公司 | 一种基于大数据智能电梯间尾随行为识别方法 |
| CN113963399A (zh) * | 2021-09-09 | 2022-01-21 | 武汉众智数字技术有限公司 | 基于多算法融合应用的人员轨迹检索方法及装置 |
| CN114596684A (zh) * | 2022-01-10 | 2022-06-07 | 嘉兴琥珀科技有限公司 | 基于公共安全的高清视频监控方法、监控装置及系统 |
| WO2023175839A1 (ja) * | 2022-03-17 | 2023-09-21 | 三菱電機株式会社 | 監視システム、サーバ及び監視方法 |
| CN115439796A (zh) * | 2022-11-09 | 2022-12-06 | 江西省天轴通讯有限公司 | 特定区域人员追踪识别方法、系统、电子设备及存储介质 |
| CN117197726A (zh) * | 2023-11-07 | 2023-12-08 | 四川三思德科技有限公司 | 一种重点人员精准化管控系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Intelligent Video Surveillance of Tourist Attractions Based on Virtual Reality Technology";J. Huang等;《IEEE Access》;20200831;第8卷;第159220-159233页 * |
| "校园智能视频监控系统的研究与设计";陈锦勇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915(第9期);I136-419 * |
| "STAM-CCF: Suspicious Tracking Across Multiple Camera Based on Correlation Filters";Sheu R-K等;《Sensors》;20190709;第19卷(第13期);第1-22页 * |
| "基于视频的电梯轿厢内乘客异常行为检测研究";马志伟;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190515(第5期);C038-993 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117423066A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117423066B (zh) | 一种基于多源数据融合分析的目标人员识别方法 | |
| US8149278B2 (en) | System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data | |
| Alshammari et al. | Intelligent multi-camera video surveillance system for smart city applications | |
| JP4937016B2 (ja) | 監視装置及び監視方法及びプログラム | |
| CN112116503A (zh) | 一种智慧社区云平台管理系统 | |
| CN112116502A (zh) | 一种智慧社区安防管理系统 | |
| US20080130949A1 (en) | Surveillance System and Method for Tracking and Identifying Objects in Environments | |
| TW200903386A (en) | Target detection and tracking from video streams | |
| KR100968433B1 (ko) | 차량번호 인식정보 저장 시스템과 그 시스템을 이용한 차량 영상정보 검색 시스템 | |
| CN110111565A (zh) | 一种基于实时视频流下的人车流量统计系统与方法 | |
| CN111553732B (zh) | 移动轨迹的处理方法和装置 | |
| CN111814510B (zh) | 一种遗留物主体检测方法及装置 | |
| EP2618288A1 (en) | Monitoring system and method for video episode viewing and mining | |
| EP1927947A1 (en) | Computer implemented method and system for tracking objects using surveillance database | |
| US20210042940A1 (en) | Digital twin monitoring systems and methods | |
| Martani et al. | Pedestrian monitoring techniques for crowd-flow prediction | |
| JP2020129215A (ja) | 危険度判別プログラム及びシステム | |
| Zhang et al. | An occupancy distribution estimation method using the surveillance cameras in buildings | |
| KR102482545B1 (ko) | 인공지능 기반 경로 예측 방법 | |
| KR102464196B1 (ko) | 빅데이터 기반 영상 감시시스템 | |
| CN115862296A (zh) | 铁路施工工地的火灾风险预警方法、系统、设备及介质 | |
| CN112699843B (zh) | 一种身份识别方法及系统 | |
| Kang et al. | A Simple and fast method to detect garbage dumping using pedestrian attribute | |
| JP6739115B1 (ja) | 危険度判別プログラム及びシステム | |
| CN113762126A (zh) | 一种人员进出检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |