CN116129350B - 数据中心安全作业的智能监控方法、装置、设备及介质 - Google Patents
数据中心安全作业的智能监控方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116129350B CN116129350B CN202211671377.0A CN202211671377A CN116129350B CN 116129350 B CN116129350 B CN 116129350B CN 202211671377 A CN202211671377 A CN 202211671377A CN 116129350 B CN116129350 B CN 116129350B
- Authority
- CN
- China
- Prior art keywords
- cabinet door
- contact
- similarity
- early warning
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 24
- 238000007689 inspection Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 13
- 238000012806 monitoring device Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010223 real-time analysis Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了数据中心安全作业的智能监控方法、装置、设备及介质，根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。通过对数据中心的监控的事件进行实时分析，及时对危险事件进行预警。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其涉数据中心安全作业的智能监控方法、装置、设备及介质。
背景技术
很多业务的发展需要建设多个数据中心来支持。当一个企业有多个数据中心时，往往需要把多个数据中心的基础设施监控数据纳入企业的统一监控中心，以便进行统一管理和业务分析。数据中心的监控系统是现代数据中心必不可少的监控管理信息化工具，能够有效提高数据中心的运维效率并降低运维成本。
现有技术的数据中心的监控系统通常是直接获取各个监控厂家上送的数据并直接对该数据进行管理。无法对数据中心的监控的事件进行实时分析，无法对危险事件进行及时、准确预警。
发明内容
为解决上述技术问题，本发明提供数据中心安全作业的智能监控方法、装置、设备及介质，通过对数据中心的监控的事件进行实时分析，及时对危险事件进行预警。
本发明实施例提供一种数据中心安全作业的智能监控方法，所述方法包括：
根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。
优选地，所述根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号，具体包括：
根据提取的身体关键信息计算所述巡检人员的手部与所述机柜门的距离，判断手部是否与所述机柜门接触；
当手部与所述机柜门未接触时，输出未接触的预警信号；
当手部与所述机柜门接触时，提取接触前后的机柜门的图像，并根据提取的图像与预设的机柜门状态模板进行匹配，识别机柜门的状态；
当手部接触后所述机柜门的状态为开门状态时，输出预警状态为开门状态的预警信号；
当手部接触后所述机柜门的状态为关门状态时，输出预警状态为关门状态的预警信号。
作为上述方案的改进，所述根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息，具体包括：
通过one-stage检测模型对监控获取的实时视频流进行物体检测；
当检测到物体时，将实时视频流中的图像等比例缩放至640*640大小，不足的边以0像素点填充；
将缩放后的图片输入到CSPDarknet主干网络中，经过PAFPN层提取特征，并通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，依次通过特征图、输入图和原始图的仿射变换，检测得到原图中目标框的目标类别，坐标，宽高和置信度。
优选地，所述方法还包括：
采用预设的人脸识别模型对巡检人员进行身份识别；
所述采用预设的人脸识别模型对巡检人员进行身份识别，具体包括：
将监控获取的实时视频流输入到基于RetinaNet检测模型的Resnet34的主干网络中，经过FPN层提取特征后，通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，得到人脸的位置信息；
对所述位置信息的人脸区域进行特征提取，输出128为的特征向量确定所述巡检人员的真实身份。
作为一种优选方案，所述基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹，具体包括：
根据当前的目标框位置，利用卡尔曼滤波算法预测出下一帧的目标框的预测位置，并计算下一帧的有效图像的目标检测的目标框和卡尔曼滤波算法预测出的目标框之间的马氏距离d1；
计算卡尔曼滤波算法预测的目标框的特征向量和利用所述多目标跟踪模型提取出下一帧的有效图像的特征向量之间的余弦距离d2；
将计算得到的马氏距离d1和计算得到的余弦距离d2按照设定的权重进行融合计算，得到度量距离dm；
利用匈牙利算法进行对所述度量距离进行判断；
当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹匹配时，根据预测的目标框更新跟踪轨迹，并将跟踪轨迹的有效值加1；当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹不匹配时，跟踪轨迹的遗忘值加1；每个跟踪轨迹初始的计数值和遗忘值均为0；
对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值小于第一设定值时，判定跟踪轨迹待定，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的遗忘值不小于第二设定值时，判定轨迹跟踪失败，删除轨迹，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值不小于所述第一设定值时，判定跟踪轨迹生效。
优选地，所述利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息，具体包括：
采用基于Top-down的关键点检测模型采用自上而下及目标回归的策略提取所述巡检人员的身体关键点信息；
所述身体关键点信息包括头、左手、右手、左脚、右脚和腰部。
作为一种优选方案，所述根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号，具体包括：
根据提取的身体关键信息中的手部中心坐标信息计算所述巡检人员的手部与所述机柜门的接触距离，根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，判定手部与所述机柜门未接触，输出未接触的预警信号；
当所述接触距离不大于所述接触阈值时，判定手部与所述机柜门接触，获取接触前的机柜门区域二值化的第一实时图像img1，与所述机柜门状态模板中关门状态下的二值化的标准图像img0做hash相似度计算，计算第一相似度dh1；获取接触后的机柜门区域二值化的第二实时图像img2，与所述标准图像img0做hash相似度计算，计算第二相似度dh2；
当所述第一相似度dh1和所述第二相似度dh2均不小于预设的相似度阈值，且所述第一相似度dh1小于所述第二相似度dh2时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度dh1和所述第二相似度dh2均不小于所述相似度阈值，且所述第一相似度dh1不小于所述第二相似度dh2时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
其中，所述接触距离(xc,yc)为手部中心坐标信息，(xd,yd)为机柜门坐标；所述第一相似度dh1＝sum(img1&imgo)；所述第二相似度dh2＝sum(img2&imgo)。
本发明实施例还提供一种数据中心安全作业的智能监控装置，所述装置包括：
巡检分析模块，用于根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
轨迹跟踪模块，用于基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
关键点提取模块，用于当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
预警输出模块，用于根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。
进一步地，所述预警输出模块具体用于：
根据提取的身体关键信息计算所述巡检人员的手部与所述机柜门的距离，判断手部是否与所述机柜门接触；
当手部与所述机柜门未接触时，输出未接触的预警信号；
当手部与所述机柜门接触时，提取接触前后的机柜门的图像，并根据提取的图像与预设的机柜门状态模板进行匹配，识别机柜门的状态；
当手部接触后所述机柜门的状态为开门状态时，输出预警状态为开门状态的预警信号；
当手部接触后所述机柜门的状态为关门状态时，输出预警状态为关门状态的预警信号。
优选地，所述巡检分析模块具体用于：
通过one-stage检测模型对监控获取的实时视频流进行物体检测；
当检测到物体时，将实时视频流中的图像等比例缩放至640*640大小，不足的边以0像素点填充；
将缩放后的图片输入到CSPDarknet主干网络中，经过PAFPN层提取特征，并通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，依次通过特征图、输入图和原始图的仿射变换，检测得到原图中目标框的目标类别，坐标，宽高和置信度。
优选地，所述装置还包括身份识别模块，具体用于：
采用预设的人脸识别模型对巡检人员进行身份识别；
所述采用预设的人脸识别模型对巡检人员进行身份识别，具体包括：
将监控获取的实时视频流输入到基于RetinaNet检测模型的Resnet34的主干网络中，经过FPN层提取特征后，通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，得到人脸的位置信息；
对所述位置信息的人脸区域进行特征提取，输出128为的特征向量确定所述巡检人员的真实身份。
优选地，所述轨迹跟踪模块具体用于：
根据当前的目标框位置，利用卡尔曼滤波算法预测出下一帧的目标框的预测位置，并计算下一帧的有效图像的目标检测的目标框和卡尔曼滤波算法预测出的目标框之间的马氏距离d1；
计算卡尔曼滤波算法预测的目标框的特征向量和利用所述多目标跟踪模型提取出下一帧的有效图像的特征向量之间的余弦距离d2；
将计算得到的马氏距离d1和计算得到的余弦距离d2按照设定的权重进行融合计算，得到度量距离dm；
利用匈牙利算法进行对所述度量距离进行判断；
当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹匹配时，根据预测的目标框更新跟踪轨迹，并将跟踪轨迹的有效值加1；当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹不匹配时，跟踪轨迹的遗忘值加1；每个跟踪轨迹初始的计数值和遗忘值均为0；
对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值小于第一设定值时，判定跟踪轨迹待定，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的遗忘值不小于第二设定值时，判定轨迹跟踪失败，删除轨迹，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值不小于所述第一设定值时，判定跟踪轨迹生效。
优选地，所述关键点提取模块具体用于：
采用基于Top-down的关键点检测模型采用自上而下及目标回归的策略提取所述巡检人员的身体关键点信息；
所述身体关键点信息包括头、左手、右手、左脚、右脚和腰部。
优选地，所述预警输出模块具体还用于：
根据提取的身体关键信息中的手部中心坐标信息计算所述巡检人员的手部与所述机柜门的接触距离，根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，判定手部与所述机柜门未接触，输出未接触的预警信号；
当所述接触距离不大于所述接触阈值时，判定手部与所述机柜门接触，获取接触前的机柜门区域二值化的第一实时图像img1，与所述机柜门状态模板中关门状态下的二值化的标准图像img0做hash相似度计算，计算第一相似度dh1；获取接触后的机柜门区域二值化的第二实时图像img2，与所述标准图像img0做hash相似度计算，计算第二相似度dh2；
当所述第一相似度dh1和所述第二相似度dh2均不小于预设的相似度阈值，且所述第一相似度dh1小于所述第二相似度dh2时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度dh1和所述第二相似度dh2均不小于所述相似度阈值，且所述第一相似度dh1不小于所述第二相似度dh2时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
其中，所述接触距离(xc,yc)为手部中心坐标信息，(xd,yd)为机柜门坐标；所述第一相似度dh1＝sum(img1&imgo)；所述第二相似度dh2＝sum(img2&imgo)。
本发明另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的数据中心安全作业的智能监控方法。
本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的数据中心安全作业的智能监控方法。
与现有技术相比，本发明提供的数据中心安全作业的智能监控方法、装置、设备及介质，根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。通过对数据中心的监控的事件进行实时分析，及时对危险事件进行预警。
附图说明
图1是本发明实施例提供的数据中心安全作业的智能监控方法的流程示意图；
图2是本发明实施例提供的数据中心安全作业的智能监控装置的结构示意图；
图3是本发明另一实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据中心安全作业的智能监控方法，参见图1，是本发明实施例提供的数据中心安全作业的智能监控方法的流程示意图，所述方法步骤S1～S4：
S1，根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
S2，基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
S3，当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
S4，根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。
在本实施例具体实施时，采用基于深度学习的监控方法，包括以下步骤：
预先创建基于深度学习的目标检测模型、多目标跟踪模型和人体姿态识别模型，用于巡检人员的检测和跟踪；
利用检测模型对监控实时视频流进行物体检测，当检测到实时视频流中的巡检人员时，确定所述巡检人员的目标框的坐标位置和目标信息；
基于检测模型检测到巡检人员后，基于深度学习的多目标跟踪算法对当前的巡检人员进行实时跟踪，并记录目标框中心点和宽高，产生跟踪轨迹；
判断所述巡检人员的跟踪轨迹是否进入预先划定的有效区域内；
若否，持续跟踪所述巡检人员，更新跟踪轨迹，直到判定所述巡检人员的跟踪轨迹是否进入预先划定的有效区域内，或跟踪失败；
当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。
应用了基于深度学习检测、跟踪与姿态识别的人物关联方法，对行人的跟踪和姿态识别进行有效的识别，相比传统的数字图像处理有更高的精度，另外采用了更少规模关键点的识别，得到更稳定的手部位置输出结果。同时借距离判定逻辑上采用传统图像处理方法，以达到对机柜门状态的判定，根据机柜门状态以及巡检人员是否与机柜门接触，输出预警信号；能够及时对危险事件进行预警。
在本发明提供的又一实施例中，所述步骤S4，具体包括：
根据提取的身体关键信息计算所述巡检人员的手部与所述机柜门的距离，判断手部是否与所述机柜门接触；
当手部与所述机柜门未接触时，输出未接触的预警信号；
当手部与所述机柜门接触时，提取接触前后的机柜门的图像，并根据提取的图像与预设的机柜门状态模板进行匹配，识别机柜门的状态；
当手部接触后所述机柜门的状态为开门状态时，输出预警状态为开门状态的预警信号；
当手部接触后所述机柜门的状态为关门状态时，输出预警状态为关门状态的预警信号。
在本实施例具体实施时，输出预警提示时，需要先根据提取的身体关键信息计算所述巡检人员的手部与所述机柜门的距离，判断巡检人员的手部是否与所述机柜门接触；
若巡检人员手部未与所述机柜门接触，此时无需进行后续的机柜门状态验证，此时机柜门无危险，输出未接触的预警信号；
当手部与所述机柜门接触时，表明此时机柜门存在安全风险，通过提取接触前后的机柜门的图像，并根据提取的图像与预设的机柜门状态模板进行匹配，计算解除前后的两帧图像与状态模板的图像相似度，识别接触后机柜门的状态；
当手部接触后所述机柜门的状态为开门状态时，输出预警状态为开门状态的预警信号；
当手部接触后所述机柜门的状态为关门状态时，输出预警状态为关门状态的预警信号。
在输出预警信号时，先进行接触的判定，再根据接触后的状态输出不同的预警信号，能够保证预警信息的准确性，以便检测人员及时根据预警信息进行对应的安全处理，保障数据中心的安全作业。
在本发明提供的又一实施例中，所述步骤S1，具体包括：
通过one-stage检测模型对监控获取的实时视频流进行物体检测；
当检测到物体时，将实时视频流中的图像等比例缩放至640*640大小，不足的边以0像素点填充；
将缩放后的图片输入到CSPDarknet主干网络中，经过PAFPN层提取特征，并通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，依次通过特征图、输入图和原始图的仿射变换，检测得到原图中目标框的目标类别，坐标，宽高和置信度。
在本实施例具体实施时，采用的检测模型是基于one-stage的检测模型，能够实现对监控的实时视频流进行实时的在线检测；
当通过检测模型的物体检测检测到物体时，把实施视频流中的每一帧图像等比例缩放至640*640的大小，不足的边以0像素点填充；
输入到CSPDarknet主干网络中，经过PAFPN层提取特征，最后通过head层输出三个尺寸的预测分支，作用于不同大小物体的检测；
对head层输出和结果进行解码，通过从特征图、输入图(640*640)、原始图的仿射变换，得到检测在原图中的目标类别，坐标，宽高和置信度等坐标位置和目标信息。
在本发明提供的又一实施例中，所述方法还包括：
采用预设的人脸识别模型对巡检人员进行身份识别；
所述采用预设的人脸识别模型对巡检人员进行身份识别，具体包括：
将监控获取的实时视频流输入到基于RetinaNet检测模型的Resnet34的主干网络中，经过FPN层提取特征后，通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，得到人脸的位置信息；
对所述位置信息的人脸区域进行特征提取，输出128为的特征向量确定所述巡检人员的真实身份。
在本实施例具体实施时，在进行智能监控时，还需要采用预设的人脸识别模型对巡检人员进行身份识别；
在对巡检人员进行身份识别时，采用基于RetinaNet检测的人脸识别模型；
将监控获取的实时视频流输入到人脸识别模型的Resnet34的主干网络中，经过FPN层提取特征，通过head层输出三个尺寸的预测分支，作用于不同大小物体的检测；
对head层的输出结果进行解码，得到人脸的位置信息；
对人脸区域进行特征提取，输出128为的特征向量，用于真实身份的确认，用户后续进行轨迹跟踪；
需要说明的是，巡检人员的特征向量通过预设的身份特征库匹配对应的身份，在输出预警报告时，可输出对应的巡检人员的身份，提高安全防护性能。
通过对巡检人员身份认证数据中心安全。
在本发明提供的又一实施例中，所述步骤S2，具体包括：
根据当前的目标框位置，利用卡尔曼滤波算法预测出下一帧的目标框的预测位置，并计算下一帧的有效图像的目标检测的目标框和卡尔曼滤波算法预测出的目标框之间的马氏距离d1；
计算卡尔曼滤波算法预测的目标框的特征向量和利用所述多目标跟踪模型提取出下一帧的有效图像的特征向量之间的余弦距离d2；
将计算得到的马氏距离d1和计算得到的余弦距离d2按照设定的权重进行融合计算，得到度量距离dm；
利用匈牙利算法进行对所述度量距离进行判断；
当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹匹配时，根据预测的目标框更新跟踪轨迹，并将跟踪轨迹的有效值加1；当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹不匹配时，跟踪轨迹的遗忘值加1；每个跟踪轨迹初始的计数值和遗忘值均为0；
对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值小于第一设定值时，判定跟踪轨迹待定，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的遗忘值不小于第二设定值时，判定轨迹跟踪失败，删除轨迹，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值不小于所述第一设定值时，判定跟踪轨迹生效。
在本实施例具体实施时，根据实时获取的有效图像中多目标跟踪模型提取的当前的目标框的位置，利用卡尔曼滤波算法预测出下一帧的目标框的预测位置，并计算下一帧的有效图像的目标检测的目标框和卡尔曼滤波算法预测出的目标框之间的马氏距离d1，目标框中包括行李的位置、用户的位置、用户的身份特征；
其中，马氏距离Σ是多维随机变量的协方差矩阵，x，y分别为有效图像的目标检测的目标框的样本和卡尔曼滤波算法预测出的目标框的样本；
其中，卡曼滤波算法在具体实施时，卡尔曼滤波公式-状态方程为：
Xk＝AXk-1+BUk-1+Wk-1；
Zk＝HXk+Vk；
卡尔曼滤波公式-预测方程为：
卡尔曼滤波公式-更新方程为：
其中，Xk为第k时刻的状态，此处表示目标框顶点的坐标值为估算值，Uk为第k时刻的输入，同Xk，为当前的状态输入；Zk为第k时刻的观测值；为第k时的状态估计值，形式同Xk；/>为第k时刻的状态误差协方差矩阵；A为状态转移矩阵，B为控制输入矩阵，H为状态观测矩阵，Kk为卡尔曼增益矩阵，Wk/Vk为噪声值。
对于状态估计算法而言，我们可以获取状态量的三个值：状态预测值(Xk-1)、最优估计值以及真实值(Xk)，卡尔曼滤波的原理就是利用卡尔曼增益来修正状态预测值，使其逼近真实值。
通过马氏距离衡量通过图像中检测框位置之间的相关性，当预测的检测框位置和实际的检测框的位置距离较大时，判定跟踪失效；
计算卡尔曼滤波算法预测的目标框的特征向量和利用所述多目标跟踪模型提取出下一帧的有效图像的特征向量之间的余弦距离d2；
d2＝cos(a,b)＝(a·b)/(||·||)；
a，b分别为有效图像的目标检测的目标框的样本和卡尔曼滤波算法预测出的目标框的样本；
马氏距离d1与余弦距离d2分别代表预测框的位置距离与特征距离，将计算得到的马氏距离d1和计算得到的余弦距离d2按照设定的权重进行融合计算，得到度量距离dm，dm＝λd1+(1-λ)d2，其中λ为设定的权重，优选地，λ＝0.1。
利用匈牙利算法进行对所述度量距离进行判断；
当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹匹配时，根据预测的目标框更新跟踪轨迹，并将跟踪轨迹的有效值加1；当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹不匹配时，跟踪轨迹的遗忘值加1；每个跟踪轨迹初始的计数值和遗忘值均为0；
对跟踪轨迹进行去噪，对实时的跟踪轨迹进行判断；
只有度量距离在预设范围内时，判定跟踪成功，计数值加1，否则，进行遗忘值更新。
实时的跟踪轨迹的计数值小于第一设定值时，判定跟踪轨迹待定，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的遗忘值不小于第二设定值时，判定轨迹跟踪失败，删除轨迹，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
第二设定值设置为3，当遗忘值不小于3时，表明跟踪过程中有三次跟踪位置异常，判定跟踪失效，删除轨迹；
当实时的跟踪轨迹的计数值不小于所述第一设定值时，判定跟踪轨迹生效，判定跟踪轨迹是否进入预设的有效区域。
所述第一设定值设置为3，只有连续3次完整轨迹跟踪时，跟踪轨迹才能生效，否则需要循环执行跟踪轨迹的过程。
通过跟踪过程的遗忘值和计数值设定，能够对跟踪过程的精度进行控制，采用了级联的跟踪方法，保证了跟踪过程中出现漏检或误检，跟踪轨迹的仍然能很好的对齐，提高监控的安全性能。
在本发明提供的又一实施例中，所述步骤S4中利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息，具体包括：
采用基于Top-down的关键点检测模型采用自上而下及目标回归的策略提取所述巡检人员的身体关键点信息；
所述身体关键点信息包括头、左手、右手、左脚、右脚和腰部。
在本实施例具体实施时，人体姿态识别模型是采用基于Top-down的关键点检测模型，自上而下进行关键点检测，实现精确的关键点检测；
截取进入有效区域内图像进行中关键点识别，采用基于Top-down的关键点检测模型自上而下与坐标回归的策略进行关键点检测；
现有技术中，一般的模型预测人体17个关键点，本实施例中优选头、左手、右手、左脚、右脚与腰部这6个关键点，使得模型训练更加简单和精确，提高模型效率。
在本发明提供的又一实施例中，所述步骤S4具体包括：
根据提取的身体关键信息中的手部中心坐标信息计算所述巡检人员的手部与所述机柜门的接触距离，根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，判定手部与所述机柜门未接触，输出未接触的预警信号；
当所述接触距离不大于所述接触阈值时，判定手部与所述机柜门接触，获取接触前的机柜门区域二值化的第一实时图像img1，与所述机柜门状态模板中关门状态下的二值化的标准图像img0做hash相似度计算，计算第一相似度dh1；获取接触后的机柜门区域二值化的第二实时图像img2，与所述标准图像img0做hash相似度计算，计算第二相似度dh2；
当所述第一相似度dh1和所述第二相似度dh2均不小于预设的相似度阈值，且所述第一相似度dh1小于所述第二相似度dh2时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度dh1和所述第二相似度dh2均不小于所述相似度阈值，且所述第一相似度dh1不小于所述第二相似度dh2时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
其中，所述接触距离(xc,yc)为手部中心坐标信息，(xd,yd)为机柜门坐标；所述第一相似度dh1＝sum(img1&imgo)；所述第二相似度dh2＝sum(img2&imgo)。
在本发明提供的又一实施例中，所述方法还包括：
当检测出的验证特征和所述身份特征相同时，删除跟踪轨迹；
当检测出的验证特征和所述身份特征不相同时，输出报警提示；
所述报警提示包括所述验证特征和所述物品特征。
在本实施例具体实施时，在进行预警输出时，首先需要判断监控的巡检人员是否与划定的有效区域内标定的机柜门接触，具体过程为：
根据提取的身体关键信息中的手部中心坐标信息(xc,yc)和预先标定的机柜门的坐标(xd,yd)，计算所述巡检人员的手部与所述机柜门的接触距离do，其中
根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，表明当前巡检人员与机柜门的距离超过预设距离，此时判定手部与所述机柜门未接触，输出未接触的预警信号，并实时计算接触距离，并在此判断计算的基础距离与所述接触阈值大小；
当所述接触距离不大于所述接触阈值时，表明当前巡检人员与机柜门的距离小于预设距离，此时判定手部与所述机柜门接触；
当手部与机柜门接触后，对机柜门状态进行判定，此时获取接触前的机柜门区域的图像，并进行二值化处理得到第一实时图像img1，与所述机柜门状态模板中关门状态下的二值化的标准图像img0做hash相似度计算，计算第一相似度dh1；所述第一相似度dh1＝sum(img1&imgo)；
获取接触后的机柜门区域的图像，并进行二值化处理得到第二实时图像img2，与所述标准图像img0做hash相似度计算，计算第二相似度dh2，所述第二相似度dh2＝um(img2&o)。
通过巡检人员接触机柜门前后两帧图像计算得到的得到第一相似度dh1和第二相似度dh2能够判断接触后的机柜门状态；
当所述第一相似度dh1和所述第二相似度dh2均不小于预设的相似度阈值，且所述第一相似度dh1小于所述第二相似度dh2时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度dh1和所述第二相似度dh2均不小于所述相似度阈值，且所述第一相似度dh1不小于所述第二相似度dh2时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
通过计算手部和机柜门具体，判断巡检人员是否与机柜门接触，通过计算接触前后图像与状态模板的相似度，确定接触后的机柜门状态，根据是否发生接触以及接触后的机柜门状态，输出对应的预警信息，能够智能分析巡检人员的行为以及机柜的使用状态，发出相关的事件预警。
通过对巡检人员进行目标检测和跟踪，同时依靠人脸识别达到精确的身份识别，最终通过人体姿态识别算法，进而判断人与机柜的接触过程，获取机房作业的事件清单并对不合规的行为进行预警，从而让巡检作业过程规范化，实现巡检作业后事件溯源地便捷化。
在本发明提供的又一实施例中，参见图2，是本发明实施例提供的数据中心安全作业的智能监控装置的结构示意图，所述装置包括：
巡检分析模块，用于根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
轨迹跟踪模块，用于基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
关键点提取模块，用于当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
预警输出模块，用于根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号。
需要说明的是，本发明实施例提供的一种数据中心安全作业的智能监控装置用于执行上述实施例的一种数据中心安全作业的智能监控方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
参见图3，是本发明另一实施例提供的一种终端设备的结构示意图。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如数据中心安全作业的智能监控程序。所述处理器执行所述计算机程序时实现上述各个数据中心安全作业的智能监控方法实施例中的步骤，例如图1所示的步骤S1～S4。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能再次不作赘述。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述数据中心安全作业的智能监控装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种数据中心安全作业的智能监控方法，其特征在于，所述方法包括：
根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号；
所述根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号，具体包括：
根据提取的身体关键信息中的手部中心坐标信息计算所述巡检人员的手部与所述机柜门的接触距离，根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，判定手部与所述机柜门未接触，输出未接触的预警信号；
当所述接触距离不大于所述接触阈值时，判定手部与所述机柜门接触，获取接触前的机柜门区域二值化的第一实时图像，与所述机柜门状态模板中关门状态下的二值化的标准图像/>做hash相似度计算，计算第一相似度/>；获取接触后的机柜门区域二值化的第二实时图像/>，与所述标准图像/>做hash相似度计算，计算第二相似度/>；
当所述第一相似度和所述第二相似度/>均不小于预设的相似度阈值，且所述第一相似度/>小于所述第二相似度/>时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度和所述第二相似度/>均不小于所述相似度阈值，且所述第一相似度/>不小于所述第二相似度/>时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
其中，所述接触距离，/>为手部中心坐标信息，/>为机柜门坐标；所述第一相似度/>；所述第二相似度/>。
2.如权利要求1所述的数据中心安全作业的智能监控方法，其特征在于，所述根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号，具体包括：
根据提取的身体关键信息计算所述巡检人员的手部与所述机柜门的距离，判断手部是否与所述机柜门接触；
当手部与所述机柜门未接触时，输出未接触的预警信号；
当手部与所述机柜门接触时，提取接触前后的机柜门的图像，并根据提取的图像与预设的机柜门状态模板进行匹配，识别机柜门的状态；
当手部接触后所述机柜门的状态为开门状态时，输出预警状态为开门状态的预警信号；
当手部接触后所述机柜门的状态为关门状态时，输出预警状态为关门状态的预警信号。
3.如权利要求1所述的数据中心安全作业的智能监控方法，其特征在于，所述根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息，具体包括：
通过one-stage检测模型对监控获取的实时视频流进行物体检测；
当检测到物体时，将实时视频流中的图像等比例缩放至640*640大小，不足的边以0像素点填充；
将缩放后的图片输入到CSPDarknet主干网络中，经过PAFPN层提取特征，并通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，依次通过特征图、输入图和原始图的仿射变换，检测得到原图中目标框的目标类别，坐标，宽高和置信度。
4.如权利要求1所述的数据中心安全作业的智能监控方法，其特征在于，所述方法还包括：
采用预设的人脸识别模型对巡检人员进行身份识别；
所述采用预设的人脸识别模型对巡检人员进行身份识别，具体包括：
将监控获取的实时视频流输入到基于RetinaNet检测模型的Resnet34的主干网络中，经过FPN层提取特征后，通过head层输出三个尺寸的预测分支；
对head层输出结果进行解码，得到人脸的位置信息；
对所述位置信息的人脸区域进行特征提取，输出128为的特征向量确定所述巡检人员的真实身份。
5.如权利要求1所述的数据中心安全作业的智能监控方法，其特征在于，所述基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹，具体包括：
根据当前的目标框位置，利用卡尔曼滤波算法预测出下一帧的目标框的预测位置，并计算下一帧的有效图像的目标检测的目标框和卡尔曼滤波算法预测出的目标框之间的马氏距离；
计算卡尔曼滤波算法预测的目标框的特征向量和利用所述多目标跟踪模型提取出下一帧的有效图像的特征向量之间的余弦距离；
将计算得到的马氏距离和计算得到的余弦距离/>按照设定的权重进行融合计算，得到度量距离/>；
利用匈牙利算法进行对所述度量距离进行判断；
当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹匹配时，根据预测的目标框更新跟踪轨迹，并将跟踪轨迹的有效值加1；当通过匈牙利算法判定到预测的目标框和有效图像的跟踪轨迹不匹配时，跟踪轨迹的遗忘值加1；每个跟踪轨迹初始的计数值和遗忘值均为0；
对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值小于第一设定值时，判定跟踪轨迹待定，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的遗忘值不小于第二设定值时，判定轨迹跟踪失败，删除轨迹，重复提提取有效图像，并计算提取的有效图像中目标框的度量距离，根据计算的度量距离更新跟踪轨迹的计数值或遗忘值，对实时的跟踪轨迹进行判断；
当实时的跟踪轨迹的计数值不小于所述第一设定值时，判定跟踪轨迹生效。
6.如权利要求1所述的数据中心安全作业的智能监控方法，其特征在于，所述利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息，具体包括：
采用基于Top-down的关键点检测模型采用自上而下及目标回归的策略提取所述巡检人员的身体关键点信息；
所述身体关键点信息包括头、左手、右手、左脚、右脚和腰部。
7.一种数据中心安全作业的智能监控装置，其特征在于，所述装置包括：
巡检分析模块，用于根据预设的检测模型检测实时视频流中的巡检人员，确定所述巡检人员的目标框的坐标位置和目标信息；
轨迹跟踪模块，用于基于预设的多目标跟踪模型对所述巡检人员进行实时跟踪，记录目标框中心点和宽高，产生跟踪轨迹；
关键点提取模块，用于当识别到跟踪轨迹进入预先划定的有效区域内时，利用预设的人体姿态识别模型提取所述巡检人员的身体关键点信息；
预警输出模块，用于根据提取的关键点信息判断所述巡检人员是否与预设的机柜门接触，并结合对所述机柜门的状态的检测，输出预警信号；
所述预警输出模块具体用于：
根据提取的身体关键信息中的手部中心坐标信息计算所述巡检人员的手部与所述机柜门的接触距离，根据计算的接触距离与预设的接触阈值大小判断手部与柜门是否接触；
当所述接触距离大于所述接触阈值时，判定手部与所述机柜门未接触，输出未接触的预警信号；
当所述接触距离不大于所述接触阈值时，判定手部与所述机柜门接触，获取接触前的机柜门区域二值化的第一实时图像，与所述机柜门状态模板中关门状态下的二值化的标准图像/>做hash相似度计算，计算第一相似度/>；获取接触后的机柜门区域二值化的第二实时图像/>，与所述标准图像/>做hash相似度计算，计算第二相似度/>；
当所述第一相似度和所述第二相似度/>均不小于预设的相似度阈值，且所述第一相似度/>小于所述第二相似度/>时，判定所述机柜门处于关门状态，输出预警状态为关门状态的预警信号；
当所述第一相似度和所述第二相似度/>均不小于所述相似度阈值，且所述第一相似度/>不小于所述第二相似度/>时，判定所述机柜门处于开门状态，输出预警状态为开门状态的预警信号；
其中，所述接触距离，/>为手部中心坐标信息，/>为机柜门坐标；所述第一相似度/>；所述第二相似度/>。
8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的数据中心安全作业的智能监控方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的数据中心安全作业的智能监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211671377.0A CN116129350B (zh) | 2022-12-26 | 2022-12-26 | 数据中心安全作业的智能监控方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211671377.0A CN116129350B (zh) | 2022-12-26 | 2022-12-26 | 数据中心安全作业的智能监控方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116129350A CN116129350A (zh) | 2023-05-16 |
| CN116129350B true CN116129350B (zh) | 2024-01-16 |
Family
ID=86302010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211671377.0A Active CN116129350B (zh) | 2022-12-26 | 2022-12-26 | 数据中心安全作业的智能监控方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129350B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079351B (zh) * | 2023-10-12 | 2024-01-30 | 成都崇信大数据服务有限公司 | 一种重点区域人员行为分析方法及系统 |
| CN117474190B (zh) * | 2023-12-28 | 2024-02-27 | 磐石浩海(北京)智能科技有限公司 | 一种机柜自动巡检方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016445A (zh) * | 2020-08-27 | 2020-12-01 | 重庆科技学院 | 一种基于监控视频的遗留物检测方法 |
| CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
| CN112800901A (zh) * | 2021-01-18 | 2021-05-14 | 上海云话科技有限公司 | 一种基于视觉感知的矿山人员安全检测方法 |
| CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、系统、设备 |
| CN114038040A (zh) * | 2021-11-11 | 2022-02-11 | 中国建设银行股份有限公司 | 机房巡检监督方法、装置、设备 |
| CN114115296A (zh) * | 2022-01-21 | 2022-03-01 | 南京理工大学 | 一种重点区域智能巡检与预警系统及方法 |
| CN114241400A (zh) * | 2021-10-29 | 2022-03-25 | 国网北京市电力公司 | 电网系统的监控方法及其装置、计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640140B (zh) * | 2020-05-22 | 2022-11-25 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
-
2022
- 2022-12-26 CN CN202211671377.0A patent/CN116129350B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016445A (zh) * | 2020-08-27 | 2020-12-01 | 重庆科技学院 | 一种基于监控视频的遗留物检测方法 |
| CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
| CN112800901A (zh) * | 2021-01-18 | 2021-05-14 | 上海云话科技有限公司 | 一种基于视觉感知的矿山人员安全检测方法 |
| CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、系统、设备 |
| CN114241400A (zh) * | 2021-10-29 | 2022-03-25 | 国网北京市电力公司 | 电网系统的监控方法及其装置、计算机可读存储介质 |
| CN114038040A (zh) * | 2021-11-11 | 2022-02-11 | 中国建设银行股份有限公司 | 机房巡检监督方法、装置、设备 |
| CN114115296A (zh) * | 2022-01-21 | 2022-03-01 | 南京理工大学 | 一种重点区域智能巡检与预警系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| The application of multi-sensor target tracking and fusion technology to the comprehensive early warning information extraction of landslide multi-point monitoring data;Qulin Tan 等;《Measurement》;1-9 * |
| 基于改进SSD的电力检修多目标人员追踪方法;沈茂东;高宏;付新阳;周伟;张俊岭;公凡奎;冯志珍;;计算机系统应用(08);156-161 * |
| 基于深度学习的人体检测与追踪系统的设计与实现;刘天虎;《中国优秀硕士论文电子期刊网》;I138-313 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116129350A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116129350B (zh) | 数据中心安全作业的智能监控方法、装置、设备及介质 | |
| CN108875833B (zh) | 神经网络的训练方法、人脸识别方法及装置 | |
| CN108229297B (zh) | 人脸识别方法和装置、电子设备、计算机存储介质 | |
| US11321945B2 (en) | Video blocking region selection method and apparatus, electronic device, and system | |
| CN108229324A (zh) | 手势追踪方法和装置、电子设备、计算机存储介质 | |
| KR101708491B1 (ko) | 압력 센서를 이용한 객체 인식 방법 | |
| CN111382637B (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| CN110309779A (zh) | 装配场景中零件操作动作的监测方法、装置及电子设备 | |
| CN111428572B (zh) | 信息处理方法、装置、电子设备和介质 | |
| CN111462381A (zh) | 基于人脸温度识别的门禁控制方法、电子装置及存储介质 | |
| CN114093022A (zh) | 活动检测装置、活动检测系统及活动检测方法 | |
| CN112115803B (zh) | 口罩状态提醒方法、装置及移动终端 | |
| CN111639653A (zh) | 一种误检图像确定方法、装置、设备和介质 | |
| CN114594464B (zh) | 一种基于毫米波传感技术的人体存在检测方法及系统 | |
| CN113569671A (zh) | 异常行为报警方法、装置 | |
| CN107203712B (zh) | 确定解锁方式的方法、装置、存储介质及终端 | |
| Sulyman et al. | REAL-TIME NUMERICAL 0-5 COUNTING BASED ON HAND-FINGER GESTURES RECOGNITION. | |
| CN110298302B (zh) | 一种人体目标检测方法及相关设备 | |
| CN110175500B (zh) | 指静脉比对方法、装置、计算机设备及存储介质 | |
| CN112560791B (zh) | 识别模型的训练方法、识别方法、装置及电子设备 | |
| CN112669277B (zh) | 一种车辆关联方法，计算机设备以及装置 | |
| Piotto et al. | Syntactic matching of trajectories for ambient intelligence applications | |
| CN117133050A (zh) | 轿厢异常行为检测方法、装置、设备及存储介质 | |
| CN116959097A (zh) | 动作识别方法、装置、设备及存储介质 | |
| Masmoudi et al. | Implementation of a fingerprint recognition system using LBP descriptor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |