CN117197726A - 一种重点人员精准化管控系统及方法 - Google Patents
一种重点人员精准化管控系统及方法 Download PDFInfo
- Publication number
- CN117197726A CN117197726A CN202311465811.4A CN202311465811A CN117197726A CN 117197726 A CN117197726 A CN 117197726A CN 202311465811 A CN202311465811 A CN 202311465811A CN 117197726 A CN117197726 A CN 117197726A
- Authority
- CN
- China
- Prior art keywords
- target
- personnel
- management
- key personnel
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 108
- 230000009193 crawling Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 65
- 230000006399 behavior Effects 0.000 description 45
- 230000000694 effects Effects 0.000 description 9
- 241000282461 Canis lupus Species 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 241000282421 Canidae Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于人员管控技术领域，公开了一种重点人员精准化管控系统及方法。所述的系统包括若干监控单元、若干边缘计算网关以及管控中心。所述的方法包括如下步骤：爬取违法人员信息大数据，构建重点人员信息数据库；进行管控分级；爬取互联网平台公开的人脸图像大数据和动作图像大数据，并构建目标识别模型、人脸识别模型以及行为预测模型；采集监控视频数据；进行目标识别；进行人脸识别；进行搜索匹配，标记重点人员目标；对重点人员目标进行目标跟踪；进行行为预测；发出警报信号。本发明解决了现有技术存在的人力成本投入大，工作量大，硬件成本投入大，用户体验差，管控方式粗糙以及准确性差的问题。
Description
技术领域
本发明属于人员管控技术领域，具体涉及一种重点人员精准化管控系统及方法。
背景技术
人员管控是对区域内环境、治安、生产以及生活等有序进行的有效手段之一，通过采集区域内活动的人员的相关数据，进而掌握和分析人员的身份和实时活动等，对潜在风险具有预知和监控功能。随着图像处理技术和计算机性能的进步，越来越多的图像处理算法被运用至人员管控领域中。
现有的人员管控技术，主要还是通过安排工作人员进行24小时执勤，这种方式人力成本投入大，工作量大，有的研究使用传感器技术，采集人员的活动数据，进而从活动路径或活动量参数预测人员的动作和行为，这种方式需要布置大量传感器，硬件成本投入大，并且涉及到人员的隐私，用户体验差，有的研究加入图像识别技术，通过监控视频进行自动化分析，这种方式仅仅能够识别出人体目标，无法对目标进行精准化管控，并且识别准确性差。
发明内容
为了解决现有技术存在的人力成本投入大，工作量大，硬件成本投入大，用户体验差，管控方式粗糙以及准确性差的问题，本发明目的在于提供一种重点人员精准化管控系统及方法。
本发明所采用的技术方案为：
一种重点人员精准化管控系统，包括若干监控单元、若干边缘计算网关以及管控中心，每个监控单元设置于对应的管控区域，且监控单元与通信范围内的一边缘计算网关通信连接，管控中心分别与若干边缘计算网关和外部的若干移动终端通信连接，且管控中心设置有重点人员信息数据库、目标识别模型、人脸识别模型以及行为预测模型；
监控单元，用于采集管控区域内的原始的监控视频数据，并将原始的监控视频数据发送至通信范围内的边缘计算网关；接收边缘计算网关发送的警报信号，并响应警报信号；
边缘计算网关，用于接收通信范围内的监控单元发送的原始的监控视频数据；对原始的监控视频数据进行预处理，得到预处理后的监控视频数据，并将预处理后的监控视频数据发送至管控中心；接收管控中心发送的警报信号，并将警报信号发送至监控单元；
管控中心，用于接收边缘计算网关发送的预处理后的监控视频数据；使用目标识别模型对预处理后的监控视频数据进行目标识别，得到人物目标；使用人脸识别模型对人物目标进行人脸识别，得到人脸识别信息数据；使用重点人员信息数据库对人脸识别信息数据进行搜索匹配，得到重点人员目标；使用行为预测模型对重点人员目标进行行为预测，得到行为预测结果；根据行为预测结果，生成警报信号；将警报信号发送至边缘计算网关和/或外部的若干移动终端。
进一步地，监控单元包括监控摄像头和声光报警器，监控摄像头和声光报警器均与通信范围内的一边缘计算网关通信连接。
进一步地，边缘计算网关包括数据传输模块、主控模块、预处理模块以及本地数据库，主控模块分别与数据传输模块、预处理模块以及本地数据库电性连接，数据传输模块分别与管控中心和通信范围内的所有监控单元通信连接。
进一步地，管控中心包括大数据爬取模块、数据库构建模块、管控分级设置模块、模型构建模块、帧截取模块、目标识别模块、人脸识别模块、搜索匹配模块、目标跟踪模块、行为预测模块以及警报信号生成模块。
一种重点人员精准化管控方法，应用于重点人员精准化管控系统，包括如下步骤：
爬取违法人员信息查询平台公开的违法人员信息大数据，并根据违法人员信息大数据，构建重点人员信息数据库；
对重点人员信息数据库中的违法人员目标进行管控分级，得到违法人员目标的管控等级，并将违法人员目标的管控等级添加至重点人员信息数据库；
爬取互联网平台公开的人脸图像大数据和动作图像大数据，并根据人脸图像大数据和动作图像大数据，构建目标识别模型、人脸识别模型以及行为预测模型；
采集监控视频数据，并对监控视频数据进行帧截取，得到连续帧的监控图像数据；
使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框；
使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据；
根据人脸识别信息数据，在重点人员信息数据库中进行搜索匹配，若匹配有对应的违法人员信息数据，则将人物目标标记为重点人员目标，并保留重点人员目标的预测框，否则，去除人物目标的预测框；
对重点人员目标进行目标跟踪，并根据重点人员目标的预测框，进行目标图像提取，得到连续帧的重点人员目标图像；
使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果；
根据重点人员目标的管控等级和行为预测结果，发出警报信号。
进一步地，违法人员信息大数据中每条违法人员信息数据包括姓名、性别、年龄、身份证号以及违法记录；
违法人员目标的管控等级包括轻微、低级、中级以及高级；
轻微对应为具有民事违法记录的违法人员目标，低级对应为具有行政违法记录的违法人员目标，中级对应为具有刑事犯罪记录的违法人员目标，高级对应为具有通缉记录的违法人员目标。
进一步地，目标识别模型基于YOLOv6算法构建，且目标识别模型包括第一输入层、基于MobileViT网络构建的骨干特征提取层、基于Neck网络构建的颈部特征融合层以及基于effidehead网络构建的检测头预测层；
人脸识别模型基于IGWO-Elman算法构建，且人脸识别模型包括第二输入层、 隐含层、承接层以及输出层，第二输入层、 隐含层、承接层以及输出层的神经元之间的最优的初始网络参数基于IGWO算法获取；
行为预测模型基于MoSIFT_CLD-BOVW算法构建，且行为预测模型包括基于MoSIFT_CLD算法构建的特征提取层、特征聚类层以及基于BOVW算法构建的结果分类层。
进一步地，使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框，包括如下步骤：
使用目标识别模型的第一输入层接收当前帧的监控图像数据；
使用骨干特征提取层，对当前帧的监控图像数据进行骨干特征提取，得到第一特征图，并根据第一特征图，获取人物目标的第一备选框；
使用颈部特征融合层，对第一特征图进行颈部特征融合，得到第二特征图，并根据第二特征图，获取人物目标的第二备选框；
根据预设IoU值和预设置信度对第一备选框和第二备选框进行非极大值抑制筛选，得到若干人物目标的预测框。
进一步地，使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据，包括如下步骤：
使用人脸识别模型的第二输入层接收带有预测框的当前帧的监控图像数据，并定位预测框中当前帧的监控图像数据的人脸区域；
根据承接层发送的上一时刻隐含层状态，使用隐含层提取人脸区域的人脸图像特征，并将当前时刻的隐含层状态发送至承接层；
根据人脸图像特征，使用输出层进行预测，得到人物目标的人脸识别信息数据。
进一步地，使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果，包括如下步骤：
使用行为预测模型的特征提取层提取当前帧的重点人员目标图像的SIFT特征；
使用光流法获取当前帧和下一帧的重点人员目标图像的光流特征向量，使用CLD算法获取当前帧的重点人员目标图像的图像颜色特征；
将SIFT特征、光流特征向量以及图像颜色特征进行拼接，得到当前帧的重点人员目标图像的MoSIFT_CLD特征；
遍历所有帧的重点人员目标图像，得到MoSIFT_CLD特征集合；
使用特征聚类层对MoSIFT_CLD特征集合进行特征聚类，得到聚类特征向量；
使用结果分类层对聚类特征向量进行分类，得到重点人员目标的行为预测结果。
本发明的有益效果为：
本发明提供的一种重点人员精准化管控系统及方法，通过设置监控单元采集监控视频数据、边缘计算网关传输数据以及管控中心进行统一管控的方式，实现了管控区域内人员的在线管控，避免了借助人工执勤，减少了人力成本投入和工作量，并且无需布置大量传感器，减少了硬件成本投入，在公共场合进行监控，保护了人员隐私，提高了用户体验度，融合大数据进行分析，设置重点人员信息数据库、目标识别模型以及人脸识别模型进行重点人员搜索、定位以及追踪，提高了重点人员管控的精准化程度，行为预测模型根据动态信息对重点人员进行风险行为预测，并生成对应的警报信号，提前获知可能存在的风险，提高了管控的实用性。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中重点人员精准化管控系统的结构框图。
图2是本发明中重点人员精准化管控方法的流程框图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
实施例1：
如图1所示，本实施例提供一种重点人员精准化管控系统，包括若干监控单元、若干边缘计算网关以及管控中心，每个监控单元设置于对应的管控区域，且监控单元与通信范围内的一边缘计算网关通信连接，管控中心分别与若干边缘计算网关和外部的若干移动终端通信连接，且管控中心设置有重点人员信息数据库、目标识别模型、人脸识别模型以及行为预测模型；
监控单元，用于采集管控区域内的原始的监控视频数据，并将原始的监控视频数据发送至通信范围内的边缘计算网关；接收边缘计算网关发送的警报信号，并响应警报信号；
边缘计算网关，用于接收通信范围内的监控单元发送的原始的监控视频数据；对原始的监控视频数据进行预处理，得到预处理后的监控视频数据，并将预处理后的监控视频数据发送至管控中心；接收管控中心发送的警报信号，并将警报信号发送至监控单元；
管控中心，用于接收边缘计算网关发送的预处理后的监控视频数据；使用目标识别模型对预处理后的监控视频数据进行目标识别，得到人物目标；使用人脸识别模型对人物目标进行人脸识别，得到人脸识别信息数据；使用重点人员信息数据库对人脸识别信息数据进行搜索匹配，得到重点人员目标；使用行为预测模型对重点人员目标进行行为预测，得到行为预测结果；根据行为预测结果，生成警报信号；将警报信号发送至边缘计算网关和/或外部的若干移动终端。
监控单元设置在管控区域内，采集管控区域内的原始的监控视频数据，并将原始的监控视频数据发送至边缘计算网关，边缘计算网关对原始的监控视频数据进行数据压缩等预处理，提高数据传输速度，并将预处理后的监控视频数据发送至管控中心，支撑监控单元和管控中心之间的数据传输，实现了在线管控，管控中心爬取违法人员信息大数据，构建重点人员信息数据库，为重点人员目标选择和定义提供数据支撑，实现了精准化人员定位，使用基于图像处理算法构建的目标识别模型、人脸识别模型以及行为预测模型，对预处理后的监控视频数据进行自动化的分析和预测，并根据预测结果生成警报信号，实现了风险预测，监控单元响应警报信号，发出提示，中止危险活动，移动终端接收警报信号，能够及时的对危险活动进行干预，对重点人员进行管制。
作为优选，监控单元包括监控摄像头和声光报警器，监控摄像头和声光报警器均与通信范围内的一边缘计算网关通信连接；
监控摄像头，用于采集管控区域内的原始的监控视频数据，并将原始的监控视频数据发送至通信范围内的边缘计算网关；
声光报警器，用于接收边缘计算网关发送的警报信号，并响应警报信号。
作为优选，边缘计算网关包括数据传输模块、主控模块、预处理模块以及本地数据库，主控模块分别与数据传输模块、预处理模块以及本地数据库电性连接，数据传输模块分别与管控中心和通信范围内的所有监控单元通信连接；
数据传输模块，用于接收原始的监控视频数据和警报信号；将预处理后的监控视频数据发送至管控中心；将警报信号发送至监控单元；
主控模块，用于控制其他模块的正常工作；
预处理模块，用于对原始的监控视频数据进行预处理，得到预处理后的监控视频数据；
本地数据库，用于缓存原始的监控视频数据、预处理后的监控视频数据以及警报信号。
作为优选，管控中心包括大数据爬取模块、数据库构建模块、管控分级设置模块、模型构建模块、帧截取模块、目标识别模块、人脸识别模块、搜索匹配模块、目标跟踪模块、行为预测模块以及警报信号生成模块；
大数据爬取模块，用于爬取违法人员信息查询平台公开的违法人员信息大数据，并根据违法人员信息大数据；爬取互联网平台公开的人脸图像大数据和动作图像大数据；
数据库构建模块，用于根据违法人员信息大数据，构建重点人员信息数据库；
管控分级设置模块，用于对重点人员信息数据库中的违法人员目标进行管控分级，得到违法人员目标的管控等级，并将违法人员目标的管控等级添加至重点人员信息数据库；
模型构建模块，用于根据人脸图像大数据和动作图像大数据，构建目标识别模型、人脸识别模型以及行为预测模型；
帧截取模块，用于采集监控视频数据，并对监控视频数据进行帧截取，得到连续帧的监控图像数据；
目标识别模块，用于使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框；
人脸识别模块，用于使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据；
搜索匹配模块，用于根据人脸识别信息数据，在重点人员信息数据库中进行搜索匹配，若匹配有对应的违法人员信息数据，则将人物目标标记为重点人员目标，并保留重点人员目标的预测框，否则，去除人物目标的预测框；
目标跟踪模块，对重点人员目标进行目标跟踪，并根据重点人员目标的预测框，进行目标图像提取，得到连续帧的重点人员目标图像；
行为预测模块，用于使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果；
警报信号生成模块，用于根据重点人员目标的管控等级和行为预测结果，发出警报信号，并将警报信号发送至边缘计算网关和/或外部的若干移动终端。
实施例2：
如图2所示，本实施例提供一种重点人员精准化管控方法，应用于重点人员精准化管控系统，包括如下步骤：
爬取违法人员信息查询平台公开的违法人员信息大数据，并根据违法人员信息大数据，构建重点人员信息数据库；
本实施例中的人员信息查询平台公开的违法人员信息大数据仅仅作为重点人员精准化管控的一个应用方向，在实际应用中，涉及管控区域的人员分类管理，都可基于重点人员精准化管控技术，例如，对厂区内的一线人员的生产活动管控，制止非一线人员进入工业生产区，或对小区内部非业主的在线管控等；
违法人员信息大数据中每条违法人员信息数据包括姓名、性别、年龄、身份证号以及违法记录；
违法人员目标的管控等级包括轻微、低级、中级以及高级；
轻微对应为具有民事违法记录的违法人员目标，低级对应为具有行政违法记录的违法人员目标，中级对应为具有刑事犯罪记录的违法人员目标，高级对应为具有通缉记录的违法人员目标；
对重点人员信息数据库中的违法人员目标进行管控分级，得到违法人员目标的管控等级，并将违法人员目标的管控等级添加至重点人员信息数据库；
管控分级提高了重点人员管控的精准化，对不同管控等级的重点人员目标设置不同的风险阈值，防止警报信号的误触发导致浪费人力物力；
爬取互联网平台公开的人脸图像大数据和动作图像大数据，并根据人脸图像大数据和动作图像大数据，构建目标识别模型、人脸识别模型以及行为预测模型；
目标识别模型基于YOLOv6算法构建，且目标识别模型包括第一输入层、基于MobileViT网络构建的骨干特征提取层、基于Neck网络构建的颈部特征融合层以及基于effidehead网络构建的检测头预测层；
相较于YOLOv4、YOLOv5或YOLOv7等算法，YOLOv6算法在保证不降低大幅度性能的前提下，提高了推理速度，与YOLOv4、YOLOv5等相比较，具有很高的速度优势，与YOLOv7等相比较，具有稳定性优势，能够准确的识别出图像中的多个目标，适用于人流密集的复杂环境；
人脸识别模型基于IGWO-Elman算法构建，且人脸识别模型包括第二输入层、 隐含层、承接层以及输出层，第二输入层、 隐含层、承接层以及输出层的神经元之间的最优的初始网络参数基于IGWO算法获取；
Elman网络因为其具有的承接层，能够将上一状态用于下一次预测，即记忆功能，提高了对数据特征的学习能力，提高了稳定性和识别准确性，并且使用改进灰狼（ImprovedGrey Wolf Optimization，IGWO）寻优算法优化Elman网络的初始网络参数（神经元初始权值与阈值），提高了模型训练速率和预测准确性，其中，通过引入混沌映射序列、位置定位权重以及收敛因子对传统的灰狼寻优算法进行改进，得到IGWO寻优算法，公式为：
式中，为Tent-Logistic-Cosine混沌映射序列生成的灰狼个体初始位置；/>为随机生成的灰狼种群初始位置；/>为0-1的预设参数；i为灰狼个体指示量；
利用Tent-Logistic-Cosine混沌映射序列产生初始种群相比于随机分布的种群，改进后的灰狼种群初始位置分布更加均匀，扩大了灰狼种群在空间中的搜索范围，增加了群体位置的多样性，一定程度上改善了算法容易陷入局部极值的缺陷，从而提高了算法的寻优效率；
式中，为/>时刻人工灰狼进行猎捕活动移动的位置；/>分别为最优领导者狼/>以及随机狼/>的位置；/>分别为人工灰狼到狼的距离；/>均为收敛影响系数向量；/>均为位置定位权重，/>，/>；/>为0-1的预设参数；/>为参数指示量；/>为当前迭代次数；
式中，a为收敛因子；tanh(.)为双曲正切函数；t、t max分别为当前迭代次数和最大迭代次数；a max、a min分别为收敛因子的最大、小值；λ为递减速率参数，为递减周期参数，λ=－2π，/>=π；
迭代前期，a的值较大，的值较大，使IWOA算法在迭代前期，受最优领导者狼/>的影响较大，长时间处于搜索猎物的行为，增强算法的全局搜索能力，迭代前期，a的值较小，/>的值较小，受随机狼/>的影响较大，使IWOA算法在迭代前期长时间处于包围猎物的行为，增强算法的局部包围能力，提高局部捕猎的能力；
行为预测模型基于MoSIFT_CLD-BOVW算法构建，且行为预测模型包括基于时空特征(Motion Scale Invariant Feature Transform，MoSIFT)结合颜色布局描述符（ColorLayout Descriptor，CLD）算法构建的特征提取层、特征聚类层以及基于标准视觉词袋（BagOf Visual Words，BOVW）算法构建的结果分类层；
采集监控视频数据，并对监控视频数据进行帧截取，得到连续帧的监控图像数据；
使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框，包括如下步骤：
使用目标识别模型的第一输入层接收当前帧的监控图像数据；
使用骨干特征提取层，对当前帧的监控图像数据进行骨干特征提取，得到第一特征图，并根据第一特征图，获取人物目标的第一备选框；
使用颈部特征融合层，对第一特征图进行颈部特征融合，得到第二特征图，并根据第二特征图，获取人物目标的第二备选框；
根据预设交并比(Intersection overUnion，IoU)值和预设置信度对第一备选框和第二备选框进行非极大值抑制筛选，得到若干人物目标的预测框；
使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据，包括如下步骤：
使用人脸识别模型的第二输入层接收带有预测框的当前帧的监控图像数据，并定位预测框中当前帧的监控图像数据的人脸区域；
根据承接层发送的上一时刻隐含层状态，使用隐含层提取人脸区域的人脸图像特征，并将当前时刻的隐含层状态发送至承接层；
根据人脸图像特征，使用输出层进行预测，得到人物目标的人脸识别信息数据；
根据人脸识别信息数据，在重点人员信息数据库中进行搜索匹配，若匹配有对应的违法人员信息数据，则将人物目标标记为重点人员目标，并保留重点人员目标的预测框，否则，去除人物目标的预测框；
对重点人员目标进行目标跟踪，并根据重点人员目标的预测框，进行目标图像提取，得到连续帧的重点人员目标图像；
使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果，包括如下步骤：
使用行为预测模型的特征提取层提取当前帧的重点人员目标图像的SIFT特征；
使用光流法获取当前帧和下一帧的重点人员目标图像的光流特征向量，使用CLD算法获取当前帧的重点人员目标图像的图像颜色特征；
将SIFT特征、光流特征向量以及图像颜色特征进行拼接，得到当前帧的重点人员目标图像的MoSIFT_CLD特征；
将关键点信息的SIFT特征、视频帧与帧之间蕴含的运动信息的光流特征向量以及图像颜色特征进行融合，在提取视频时空关系特征时，结合方向梯度直方图来提取有效图像区域，提高预测准确率；
遍历所有帧的重点人员目标图像，得到MoSIFT_CLD特征集合；
使用特征聚类层对MoSIFT_CLD特征集合进行特征聚类，得到聚类特征向量；
使用结果分类层对聚类特征向量进行分类，得到重点人员目标的行为预测结果；
根据重点人员目标的管控等级和行为预测结果，发出警报信号。
本发明提供的一种重点人员精准化管控系统及方法，通过设置监控单元采集监控视频数据、边缘计算网关传输数据以及管控中心进行统一管控的方式，实现了管控区域内人员的在线管控，避免了借助人工执勤，减少了人力成本投入和工作量，并且无需布置大量传感器，减少了硬件成本投入，在公共场合进行监控，保护了人员隐私，提高了用户体验度，融合大数据进行分析，设置重点人员信息数据库、目标识别模型以及人脸识别模型进行重点人员搜索、定位以及追踪，提高了重点人员管控的精准化程度，行为预测模型根据动态信息对重点人员进行风险行为预测，并生成对应的警报信号，提前获知可能存在的风险，提高了管控的实用性。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种重点人员精准化管控系统，其特征在于：包括若干监控单元、若干边缘计算网关以及管控中心，每个所述的监控单元设置于对应的管控区域，且监控单元与通信范围内的一边缘计算网关通信连接，所述的管控中心分别与若干边缘计算网关和外部的若干移动终端通信连接，且管控中心设置有重点人员信息数据库、目标识别模型、人脸识别模型以及行为预测模型；
监控单元，用于采集管控区域内的原始的监控视频数据，并将原始的监控视频数据发送至通信范围内的边缘计算网关；接收边缘计算网关发送的警报信号，并响应警报信号；
边缘计算网关，用于接收通信范围内的监控单元发送的原始的监控视频数据；对原始的监控视频数据进行预处理，得到预处理后的监控视频数据，并将预处理后的监控视频数据发送至管控中心；接收管控中心发送的警报信号，并将警报信号发送至监控单元；
管控中心，用于接收边缘计算网关发送的预处理后的监控视频数据；使用目标识别模型对预处理后的监控视频数据进行目标识别，得到人物目标；使用人脸识别模型对人物目标进行人脸识别，得到人脸识别信息数据；使用重点人员信息数据库对人脸识别信息数据进行搜索匹配，得到重点人员目标；使用行为预测模型对重点人员目标进行行为预测，得到行为预测结果；根据行为预测结果，生成警报信号；将警报信号发送至边缘计算网关和/或外部的若干移动终端。
2.根据权利要求1所述的一种重点人员精准化管控系统，其特征在于：所述的监控单元包括监控摄像头和声光报警器，所述的监控摄像头和声光报警器均与通信范围内的一边缘计算网关通信连接。
3.根据权利要求1所述的一种重点人员精准化管控系统，其特征在于：所述的边缘计算网关包括数据传输模块、主控模块、预处理模块以及本地数据库，所述的主控模块分别与数据传输模块、预处理模块以及本地数据库电性连接，所述的数据传输模块分别与管控中心和通信范围内的所有监控单元通信连接。
4.根据权利要求1所述的一种重点人员精准化管控系统，其特征在于：所述的管控中心包括大数据爬取模块、数据库构建模块、管控分级设置模块、模型构建模块、帧截取模块、目标识别模块、人脸识别模块、搜索匹配模块、目标跟踪模块、行为预测模块以及警报信号生成模块。
5.一种重点人员精准化管控方法，应用于如权利要求1-4任一所述的重点人员精准化管控系统，其特征在于：包括如下步骤：
爬取违法人员信息查询平台公开的违法人员信息大数据，并根据违法人员信息大数据，构建重点人员信息数据库；
对重点人员信息数据库中的违法人员目标进行管控分级，得到违法人员目标的管控等级，并将违法人员目标的管控等级添加至重点人员信息数据库；
爬取互联网平台公开的人脸图像大数据和动作图像大数据，并根据人脸图像大数据和动作图像大数据，构建目标识别模型、人脸识别模型以及行为预测模型；
采集监控视频数据，并对监控视频数据进行帧截取，得到连续帧的监控图像数据；
使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框；
使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据；
根据人脸识别信息数据，在重点人员信息数据库中进行搜索匹配，若匹配有对应的违法人员信息数据，则将人物目标标记为重点人员目标，并保留重点人员目标的预测框，否则，去除人物目标的预测框；
对重点人员目标进行目标跟踪，并根据重点人员目标的预测框，进行目标图像提取，得到连续帧的重点人员目标图像；
使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果；
根据重点人员目标的管控等级和行为预测结果，发出警报信号。
6.根据权利要求5所述的一种重点人员精准化管控方法，其特征在于：所述的违法人员信息大数据中每条违法人员信息数据包括姓名、性别、年龄、身份证号以及违法记录；
所述的违法人员目标的管控等级包括轻微、低级、中级以及高级；
所述的轻微对应为具有民事违法记录的违法人员目标，所述的低级对应为具有行政违法记录的违法人员目标，所述的中级对应为具有刑事犯罪记录的违法人员目标，所述的高级对应为具有通缉记录的违法人员目标。
7.根据权利要求5所述的一种重点人员精准化管控方法，其特征在于：所述的目标识别模型基于YOLOv6算法构建，且目标识别模型包括第一输入层、基于MobileViT网络构建的骨干特征提取层、基于Neck网络构建的颈部特征融合层以及基于effidehead网络构建的检测头预测层；
所述的人脸识别模型基于IGWO-Elman算法构建，且人脸识别模型包括第二输入层、 隐含层、承接层以及输出层，所述的第二输入层、 隐含层、承接层以及输出层的神经元之间的最优的初始网络参数基于IGWO算法获取；
所述的行为预测模型基于MoSIFT_CLD-BOVW算法构建，且行为预测模型包括基于MoSIFT_CLD算法构建的特征提取层、特征聚类层以及基于BOVW算法构建的结果分类层。
8.根据权利要求7所述的一种重点人员精准化管控方法，其特征在于：使用目标识别模型对当前帧的监控图像数据进行目标识别，得到若干人物目标的预测框，包括如下步骤：
使用目标识别模型的第一输入层接收当前帧的监控图像数据；
使用骨干特征提取层，对当前帧的监控图像数据进行骨干特征提取，得到第一特征图，并根据第一特征图，获取人物目标的第一备选框；
使用颈部特征融合层，对第一特征图进行颈部特征融合，得到第二特征图，并根据第二特征图，获取人物目标的第二备选框；
根据预设IoU值和预设置信度对第一备选框和第二备选框进行非极大值抑制筛选，得到若干人物目标的预测框。
9.根据权利要求7所述的一种重点人员精准化管控方法，其特征在于：使用人脸识别模型对若干人物目标的预测框进行人脸识别，得到若干人物目标的人脸识别信息数据，包括如下步骤：
使用人脸识别模型的第二输入层接收带有预测框的当前帧的监控图像数据，并定位预测框中当前帧的监控图像数据的人脸区域；
根据承接层发送的上一时刻隐含层状态，使用隐含层提取人脸区域的人脸图像特征，并将当前时刻的隐含层状态发送至承接层；
根据人脸图像特征，使用输出层进行预测，得到人物目标的人脸识别信息数据。
10.根据权利要求7所述的一种重点人员精准化管控方法，其特征在于：使用行为预测模型对连续帧的重点人员目标图像进行行为预测，得到行为预测结果，包括如下步骤：
使用行为预测模型的特征提取层提取当前帧的重点人员目标图像的SIFT特征；
使用光流法获取当前帧和下一帧的重点人员目标图像的光流特征向量，使用CLD算法获取当前帧的重点人员目标图像的图像颜色特征；
将SIFT特征、光流特征向量以及图像颜色特征进行拼接，得到当前帧的重点人员目标图像的MoSIFT_CLD特征；
遍历所有帧的重点人员目标图像，得到MoSIFT_CLD特征集合；
使用特征聚类层对MoSIFT_CLD特征集合进行特征聚类，得到聚类特征向量；
使用结果分类层对聚类特征向量进行分类，得到重点人员目标的行为预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465811.4A CN117197726B (zh) | 2023-11-07 | 2023-11-07 | 一种重点人员精准化管控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465811.4A CN117197726B (zh) | 2023-11-07 | 2023-11-07 | 一种重点人员精准化管控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197726A true CN117197726A (zh) | 2023-12-08 |
| CN117197726B CN117197726B (zh) | 2024-02-09 |
Family
ID=88998363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465811.4A Active CN117197726B (zh) | 2023-11-07 | 2023-11-07 | 一种重点人员精准化管控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197726B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423066A (zh) * | 2023-12-15 | 2024-01-19 | 四川三思德科技有限公司 | 一种基于多源数据融合分析的目标人员识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| US20200057885A1 (en) * | 2018-01-12 | 2020-02-20 | Tyco Fire & Security Gmbh | Predictive theft notification for the prevention of theft |
| US20200279279A1 (en) * | 2017-11-13 | 2020-09-03 | Aloke Chaudhuri | System and method for human emotion and identity detection |
| CN112200043A (zh) * | 2020-09-30 | 2021-01-08 | 中邮通建设咨询有限公司 | 面向室外施工现场的危险源智能识别系统及方法 |
| CN113989702A (zh) * | 2021-10-12 | 2022-01-28 | 北京科技大学顺德研究生院 | 一种目标识别方法和装置 |
| CN114170644A (zh) * | 2021-01-24 | 2022-03-11 | 南京金盾公共安全技术研究院有限公司 | 基于视频结构化的警用行人轻生行为预警方法 |
| CN115471865A (zh) * | 2022-08-19 | 2022-12-13 | 安徽继远软件有限公司 | 作业现场数字化安全管控方法、装置、设备和存储介质 |
| CN116110095A (zh) * | 2022-12-14 | 2023-05-12 | 北京邮电大学 | 一种人脸过滤模型的训练方法、人脸识别方法及装置 |
| CN116311063A (zh) * | 2023-03-20 | 2023-06-23 | 山东大学 | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 |
| CN116862740A (zh) * | 2023-07-13 | 2023-10-10 | 辽宁警察学院 | 一种基于互联网的智能监狱管控系统 |
-
2023
- 2023-11-07 CN CN202311465811.4A patent/CN117197726B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200279279A1 (en) * | 2017-11-13 | 2020-09-03 | Aloke Chaudhuri | System and method for human emotion and identity detection |
| US20200057885A1 (en) * | 2018-01-12 | 2020-02-20 | Tyco Fire & Security Gmbh | Predictive theft notification for the prevention of theft |
| CN108174165A (zh) * | 2018-01-17 | 2018-06-15 | 重庆览辉信息技术有限公司 | 电力安全作业及运维智能监管系统及方法 |
| CN112200043A (zh) * | 2020-09-30 | 2021-01-08 | 中邮通建设咨询有限公司 | 面向室外施工现场的危险源智能识别系统及方法 |
| CN114170644A (zh) * | 2021-01-24 | 2022-03-11 | 南京金盾公共安全技术研究院有限公司 | 基于视频结构化的警用行人轻生行为预警方法 |
| CN113989702A (zh) * | 2021-10-12 | 2022-01-28 | 北京科技大学顺德研究生院 | 一种目标识别方法和装置 |
| CN115471865A (zh) * | 2022-08-19 | 2022-12-13 | 安徽继远软件有限公司 | 作业现场数字化安全管控方法、装置、设备和存储介质 |
| CN116110095A (zh) * | 2022-12-14 | 2023-05-12 | 北京邮电大学 | 一种人脸过滤模型的训练方法、人脸识别方法及装置 |
| CN116311063A (zh) * | 2023-03-20 | 2023-06-23 | 山东大学 | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 |
| CN116862740A (zh) * | 2023-07-13 | 2023-10-10 | 辽宁警察学院 | 一种基于互联网的智能监狱管控系统 |
Non-Patent Citations (3)
| Title |
|---|
| SHAKYA S等: "Human behavior prediction using facial expression analysis", 《2016 INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION AND AUTOMATION (ICCCA)》, pages 399 - 404 * |
| 赵晴等: "基于人脸识别技术实现智慧安防视频监控的方法研究", 《全国智能用电工程建设经验交流会论文集(2020年)》, pages 243 - 247 * |
| 高承等: "城市房屋基坑工程系统风险管控分析与实践", 《施工技术(中英文)》, vol. 52, no. 17, pages 61 - 64 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423066A (zh) * | 2023-12-15 | 2024-01-19 | 四川三思德科技有限公司 | 一种基于多源数据融合分析的目标人员识别方法 |
| CN117423066B (zh) * | 2023-12-15 | 2024-02-27 | 四川三思德科技有限公司 | 一种基于多源数据融合分析的目标人员识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197726B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| CN109271554B (zh) | 一种智能视频识别系统及其应用 | |
| CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| CN117197726B (zh) | 一种重点人员精准化管控系统及方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| US11735017B2 (en) | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations | |
| US20230386305A1 (en) | Artificial Intelligence (AI)-Based Security Systems for Monitoring and Securing Physical Locations | |
| Wechsler et al. | Automatic video-based person authentication using the RBF network | |
| CN116798176A (zh) | 基于大数据和智慧安防的数据管理系统 | |
| CN111160150A (zh) | 基于深度残差神经网络卷积的视频监控人群行为的识别方法 | |
| CN115860144A (zh) | 一种用于反窃电现场的机器学习系统 | |
| Yu et al. | Network security monitoring method based on deep learning | |
| Saranya et al. | Computer Vision on Identifying Persons under Real Time Surveillance using IOT | |
| Bhardwaj et al. | Deep learning architectures for crime occurrence detection and prediction | |
| Arshad et al. | Anomalous Situations Recognition in Surveillance Images Using Deep Learning | |
| Siddiqui et al. | IoT based Human Activity Recognition using Deep learning | |
| Prezioso et al. | Integrating Object Detection and Advanced Analytics for Smart City Crowd Management | |
| Mudgal et al. | Theoretical and empirical analysis of crime data | |
| CN117079351B (zh) | 一种重点区域人员行为分析方法及系统 | |
| Nandhini et al. | IoT Based Smart Home Security System with Face Recognition and Weapon Detection Using Computer Vision | |
| Giriprasad et al. | Anomalies detection from video surveillance using support vector trained deep neural network classifier | |
| Tan | Application Research on Face Image Evaluation Algorithm of Deep Learning Mobile Terminal for Student Check-In Management | |
| Shuvo et al. | Design and development of citizen surveillance and social-credit information system for Bangladesh | |
| US20230360402A1 (en) | Video-based public safety incident prediction system and method therefor | |
| Karunarathne | Enhancing Security: Deep Learning Models for Anomaly Detection in Surveillance Videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |