CN115546737B - 一种机房监控方法 - Google Patents
一种机房监控方法 Download PDFInfo
- Publication number
- CN115546737B CN115546737B CN202211533879.7A CN202211533879A CN115546737B CN 115546737 B CN115546737 B CN 115546737B CN 202211533879 A CN202211533879 A CN 202211533879A CN 115546737 B CN115546737 B CN 115546737B
- Authority
- CN
- China
- Prior art keywords
- person
- intruder
- image
- determining
- machine room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明涉及一种机房监控方法,该方法应用于包括多个感兴趣区域和多个盲区的机房,每个感兴趣区域对应一个图像采集设备,对于每个盲区,盲区为机房内的图像采集设备无法覆盖到的区域,该方法包括:在确定连续进入机房的两个人中包括闯入人员和工作人员后,根据各图像采集设备对各感兴趣区域采集的图像,获取工作人员在第一盲区的第一停留时间和闯入人员在第一盲区的第二停留时间;根据第一停留时间和第二停留时间,确定闯入人员的是工作人员的同行人还是陌生人。通过本发明的方法,可根据闯入人员和工作人员在机房内的同一个盲区内的停留时间,来判断闯入人员是工作人员的同行人还是陌生人,以此来对闯入人员是何种类型的人员进行准确的判断。
Description
技术领域
本发明涉及图像识别技术领域,具体而言,本发明涉及一种机房监控方法。
背景技术
机房是公司管理信息系统集中放置的场所,存放了服务器设备、网络交换机、路由器、防火墙、存储服务器等核心设备,是管理信息类业务处理中心、数据存储中心以及维护中心。因此,为了防止人员对计算机机房内的设备进行违规操作,信息机房建设充分考虑机房的视频监控。
目前电信机房采取人脸识别门禁闸机方法,限制人员出入机房,并在机房内布置摄像头,通过视频监控进入机房的工作人员是否规范操作对应具备权限的机器,从而针对性进行预警。
但是,由于人脸识别门禁闸机存在陌生人尾随进入机房,或存在部分工作人员带领其他非工作人员进入维修等情况,且机房内存在盲区,如果未识别身份的人员进入机房内的盲区后,无法识别出进入机房盲区的是工作人员还是其他类型的人员,机房盲区内的设备存在风险,因此,对于进入机房盲区内的人员,如何准确的识别出是何种类型的人员是目前亟待解决的技术问题。
发明内容
本发明所要解决的技术问题是提供了一种机房监控方法,旨在解决上述至少一个技术问题。
本发明解决上述技术问题的技术方案如下:一种机房监控方法,该方法应用于机房,所述机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,该方法包括以下步骤:
在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,根据各所述图像采集设备对各所述感兴趣区域采集的图像,获取所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人。
本发明的有益效果是:在进入机房的两个人中包括没有识别出是何种类型的闯入人员时,可根据闯入人员和工作人员在机房内的同一个盲区(第一盲区)内的停留时间,来判断闯入人员是工作人员的同行人,还是陌生人,以此来对闯入人员是何种类型的人员进行准确的判断。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,该方法还包括:
获取所述工作人员在所述机房内的第一行走路线和所述闯入人员在所述机房内的第二行走路线;
根据所述第一行走路线和所述第二行走路线,确定所述工作人员和所述闯入人员之间的轨迹重叠率;
所述根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,包括:
根据所述轨迹重叠率、所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型。
采用上述进一步方案的有益效果是,在考虑到工作人员的第一停留时间和闯入人员的第二停留时间的同时,还考虑到闯入人员和工作人员之间的轨迹重叠率对于闯入人员的人员类型的判断的影响,因此,基于第一停留时间和所述第二停留时间,结合轨迹重叠率,可以更加准确的判断出闯入人员的人员类型。
进一步,每个所述感兴趣区域中包括至少一个机器,所述人员类型还包括所述闯入人员是所述工作人员的围观人,上述根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,包括:
若所述第一停留时间小于所述第二停留时间,且所述工作人员在所述第一盲区中,所述闯入人员已不在所述第一盲区中,在所述工作人员在所述第一盲区的第一停留时间内,执行第一步骤,确定所述闯入人员的人员类型;
所述第一步骤为:判断所述闯入人员是否对所述机房内的机器进行相关操作,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员有操作所述机器的操作权限,则确定所述闯入人员为所述工作人员的同行人,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员没有操作所述机器的操作权限,则确定所述闯入人员为陌生人;若所述闯入人员没有对所述机房内的机器进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
若所述第一停留时间大于所述第二停留时间,且所述闯入人员在所述第一盲区中,所述工作人员已不在所述第一盲区中,在所述闯入人员在所述第一盲区的第二停留时间内,执行第二步骤,确定所述闯入人员的人员类型;
所述第二步骤为:判断所述工作人员已经走出所述第一盲区的第一距离,若所述第一距离小于第一设定距离,则确定所述闯入人员为所述工作人员的围观人;若所述第一距离不小于所述第一设定距离,则确定所述闯入人员为所述工作人员的同行人。
采用上述进一步方案的有益效果是,在基于第一停留时间和第二停留时间,确定闯入人员的人原类型的过程中,还可结合闯入人员或工作人员的其他行为,对闯入人员的人员类型进行更加准确的判断。
进一步,若所述闯入人员和所述工作人员均进入所述机房内的感兴趣区域,上述方法还包括:
判断所述闯入人员进入的第一感兴趣区域与所述工作人员进入的第二感兴趣区域是否为相同的感兴趣区域,若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离小于第二设定距离,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则判断所述闯入人员为所述工作人员的围观人,若有进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离不小于所述第二设定距离,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则确定所述闯入人员为所述工作人员的同行人,若有进行相关操作,则确定所述闯入人员是否有操作权限,若所述闯入人员没有操作权限,则确定所述闯入人员为陌生人,若所述闯入人员有操作权限,则确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为相同的感兴趣区域,则确定所述闯入人员为所述工作人员的同行人。
采用上述进一步方案的有益效果是,若所述闯入人员和所述工作人员均进入所述机房内的感兴趣区域,还可结合闯入人员在感兴趣区域的相关行为(操作机器的行为)、操作权限等对闯入人员的人员类型进行准确的判断。
进一步,在有人员进入所述机房后,该方法还包括:
获取在所述机房入口处的第一人员的第一人物图像和在所述机房内的任一感兴趣区域处的第二人员的第二人物图像;
将所述第一人物图像作为目标图像,将所述第二人物图像作为待匹配图像,或者,将所述第一人物图像作为待匹配图像,将所述第二人物图像作为目标图像;
根据所述目标图像识别出所述目标图像对应的人员的身份信息;
确定所述第一人物图像和所述第二人物图像之间的第一相似度值;
若所述第一相似度值大于第一设定值,则将所述目标图像对应的人员的身份信息确定为所述待匹配图像对应的人员的目标身份信息;
若所述第一相似度值不大于所述第一设定值,则无法确定所述待匹配图像对应的人员的目标身份信息。
采用上述进一步方案的有益效果是,如果机房内进入了人员,可采用目标跟踪和reid算法实现对进入的人员的目标身份信息的确定,其中,将所述第一人物图像作为待匹配图像,将所述第二人物图像作为目标图像,可以避免在机房门口进行身份识别后,换人进入机房的情况发生。
进一步,若进入所述机房的人员包括连续进入所述机房的至少两个第三人员,该方法还包括:
获取每个所述第三人员在所述机房入口处的第三人物图像;
对于所述至少两个第三人员中的每个所述第三人员,确定所述第三人员的第三人物图像与数据库中各个工作人员的人物图像之间的相似度,所述数据库中存储各个所述工作人员的人物图像和各个所述工作人员的身份信息;
对于每个所述第三人员,确定所述第三人员对应的各个相似度中每两个相似度之间的相似度差值的绝对值;
对于每个所述第三人员,若所述第三人员对应的各个所述相似度差值的绝对值中,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,则无法确定所述第三人员的目标身份信息。
采用上述进一步方案的有益效果是,如果第三人员对应的各个所述相似度差值的绝对值中,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,表示该第三人员与数据库中的两个工作人员的身份信息都比较相近,则无法确定所述第三人员的目标身份信息。
进一步,若根据所述第一相似度值无法确定所述待匹配图像对应的人员的目标身份信息,该方法还包括:
获取所述待匹配图像对应的人员的步态、行驶轨迹和操作动作;
根据所述待匹配图像对应的人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述待匹配图像对应的人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第二相似度值;
根据各个所述第二相似度值,确定所述第一相似度值的权重;
根据所述第一相似度值的权重和所述第一相似度值,确定目标相似度值;
根据所述目标相似度值,确定所述待匹配图像对应的人员的目标身份信息。
采用上述进一步方案的有益效果是,若根据所述第一相似度值无法确定所述待匹配图像对应的人员的目标身份信息,则可考虑其他对第一相似度值有影响的因素(待匹配图像对应的人员的步态、行驶轨迹和操作动作),通过待匹配图像对应的人员的步态、行驶轨迹和操作动作确定第一相似度值的权重,基于该权重,对第一相似度值进行加权处理的方式,增大第一相似度值,从而根据目标相似度值,确定所述待匹配图像对应的人员的目标身份信息。
进一步,若无法确定出所述第三人员的目标身份信息,该方法还包括:
获取所述第三人员的步态、行驶轨迹和操作动作;
根据所述第三人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述闯入人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第三相似度值;
根据各个所述第三相似度值,确定所述第三人员的目标身份信息。
采用上述进一步方案的有益效果是,在根据第三人员的人物图像与数据库中的各工作人员的人物图像之间的相似度无法确定第三人员的目标身份信息时,可根据其他维度的信息,比如,第三人员的步态、行驶轨迹、操作动作来确定第三人员的目标身份信息。
进一步,若无法确定出所述第三人员的目标身份信息,该方法还包括:
若所述至少两个第三人员进入所述机房内的同一个感兴趣区域,则获取所述至少两个第三人员中任一个所述第三人员的操作权限,确定所述第三人员的人员类型;
若所述至少两个第三人员进入所述机房内的不同的感兴趣区域,则对于每个所述第三人员,根据所述第三人员的操作权限,确定所述第三人员的人员类型。
采用上述进一步方案的有益效果是,如果在加权处理后还是无法确定出闯入人员的目标身份信息,则可基于第三人员进入的感兴趣区域的操作权限,确定闯入人员的目标身份信息。
进一步,该方法还包括:
对于进入所述机房的每个人员,根据所述人员在所述机房内的操作行为和所述人员的人员类型,确定所述人员对应的目标事件,所述目标事件包括正常事件、进入错误机器区域操作事件、进入正确机器区域操作错误事件、陌生人闯入事件和工作人员携带人员外来人员事件中的至少一项;
根据所述目标事件,确定所述目标事件的告警等级,并根据所述告警等级进行预警。
采用上述进一步方案的有益效果是,对于进入所述机房的每个人员,可根据该人员在所述机房内的行为,确定所述人员对应的目标事件,从而确定目标时间对应的告警等级并进行相应的预警处理。
第二方面,本发明为了解决上述技术问题还提供了一种机房监控装置,该装置应用于机房,所述机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,该装置包括:
停留时间确定模块,用于在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,获取所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
确定模块,用于根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人。
第三方面,本发明为了解决上述技术问题还提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时实现本申请的一种机房监控方法。
第四方面,本发明为了解决上述技术问题还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本申请的一种机房监控方法。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的一种机房监控方法的流程示意图;
图2为本发明一个实施例提供的一种机房监控装置的结构示意图;
图3为本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
以下对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
本发明实施例所提供的方案可以适用于任何需要对进入机房的人员进行监控的应用场景中。本发明实施例所提供的方案可以由任一电子设备执行,比如,可以是用户的终端设备,包括以下至少一项:智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备。
本发明实施例提供了一种可能的实现方式,如图1所示,提供了一种机房监控方法的流程图,该方案可以由任一电子设备执行,例如,可以是终端设备,或者由终端设备和服务器共同执行。为描述方便,下面将以终端设备作为执行主体为例对本发明实施例提供的方法进行说明,如图1中所示的流程图,该方法应用于机房,所述机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,该方法可以包括以下步骤:
步骤S110,在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,根据各所述图像采集设备对各所述感兴趣区域采集的图像,获取所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
步骤S120,根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人。
通过本发明的方法,在进入机房的两个人中包括没有识别出是何种类型的闯入人员时,可根据闯入人员和工作人员在机房内的同一个盲区(第一盲区)内的停留时间,来判断闯入人员是工作人员的同行人,还是陌生人,以此来对闯入人员是何种类型的人员进行准确的判断。
下面结合以下具体的实施例,对本发明的方案进行进一步的说明,在该实施例中,先对机房的布局进行一下介绍,便于后续对本方案的理解,先根据机房所处的建筑物中的各个摄像头的画面,对机房的格局进行划分,得到机房格局分布图,并根据机房中各个机器的位置,确定感兴趣区域,一个感兴趣区域可对应至少一个机器,该机房格局分布图中包括机房内各个摄像头在机房中的位置、各个感兴趣区域的位置、各个机器的位置。在本申请方案中,可根据语义分割的算法确定各个机器的位置。机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,用于采集进入到对应感兴趣区域内的人员的人物图像,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,盲区内可能对应至少一个机器。
另外,还要基于允许进入机房的各个工作人员的身份信息和人物图像,建立数据库,也可称为身份数据库,每个工作人员的身份信息可通过身份id表示。
基于数据库中各个工作人员的身份id和各个感兴趣区域,确定每个工作人员在对应的感兴趣区域的操作权限,不同的工作人员对应的操作权限可能不同,操作权限指的是一个工作人员对于不同感兴趣区域内的机器的操作权限,即是否有权操作某个机器的权限,每个工作人员的操作权限可按照感兴趣区域进行划分。作为一个示例,机房中共包括100台机器,被分布在不同的感兴趣区域,每台机器对应一个编号,编号0-20的机器对应感兴趣区域a,编号20-40的机器对应感兴趣区域b,编号40-80的机器对应感兴趣区域c,编号80-100的机器对应感兴趣区域d,一个工作人员的身份id为a,该工作人员a只具备编号0-20的机器的操作权限,即该工作人员a仅有操作编号0-20的机器的权限,没有操作其他编号21-100的机器的权限。
可选的,还可在操作权限的基础上,设置工作人员的操作动作权限,操作动作权限指的是操作机器所对应的动作的权限,作为一个示例,工作人员a只有对编号1的机器进行开启和关闭的操作动作权限,则该工作人员不具备对该编号1的机器进行其他操作动作的权限。
可选的,还可获取某个工作人员发起的增加操作权限的请求,由后台审核人员进行审核,是否同意增加所请求的操作权限,使得该工作人员在某段时间内可对某个机器或某个感兴趣区域具备新增的操作权限。
在执行本申请方案之前,需要判断是否有闯入人员进入机房,具体判断过程为:通过门禁闸机包括设置在机房入口处的图像采集设备(比如摄像头),对想要进入机房的每个人员进行识别(比如,人脸识别),确定每个人员的身份信息,在根据身份信息确定人员是允许进入机房时,门禁闸机开启机房的门,让通过识别的人员进入到机房,同时门禁闸机记录已识别的人员的第一数量和进入机房的人员的第二数量,可选的,记录数量可由设置在机房入口处的另一个摄像头实现。在第一数量小于第二数量时,就表示有没有通过识别的人员进入到机房内,该没有通过识别进入机房的人员可称为闯入人员,通过识别进入机房的人员可称为工作人员。该闯入人员的人员类型可以为工作人员(在机房入口处没有识别到的工作人员)、工作人员的同行人(工作人员认识的人,一起携带进入机房的人)、陌生人(无法确定身份的人,不是工作人员,也不是工作人员的同行人)和围观人(可能是工作人员认识的人,也可能不是工作人员认识的人,但离该工作人员很近,在该工作人员的视线范围内)。
基于上述的描述内容,下面对本实施例提供的一种机房监控方法进行具体介绍,该方法可以包括以下步骤:
步骤S110,在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,根据各所述图像采集设备对各所述感兴趣区域采集的图像,获取所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
其中,步骤S110中所描述的连续进入机房的两个人中包括的闯入人员指的是,在机房入口处没有识别到的人员,该人员可能是工作人员、工作人员的同行人、陌生人、也可能围观人员,关于该人员的人员类型的确认过程会在后文进一步说明。
步骤S120,根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人。
其中,第一停留时间指的是工作人员从非盲区(机房内的摄像头可以捕捉到工作人员的人物图像所对应的区域)进入第一盲区开始到走出第一盲区,进入非盲区所对应的时长。同理第二停留时间与第一停留时间的含义相同,在此不再赘述。
可选的,上述第一停留时间和第二停留时间的确定方式相同,下面以第一停留时间的确定方式为例进行说明:根据机房格局分布图,确定与第一盲区相邻的两个非盲区(可能是感兴趣区域)对应的摄像头之间的距离,也就是与第一盲区距离最近的两个摄像头之间的距离,从而判断工作人员在第一盲区中行走的距离,然后,结合目标跟踪算法确定工作人员的行走速度;最后根据工作人员在第一盲区中行走的距离和行走速度,确定出工作人员在正常行走的情况下走出第一盲区所需的预计时间,基于工作人员出现在与第一盲区距离最近的两个摄像头之间的时间差,确定工作人员走出第一盲区的真正时间,真正时间大于预计时间时,表示工作人员在第一盲区有停留,真正时间与预计时间之间的时间差即为第一停留时间。
在实际应用场景中,如果没身份的闯入人员停留时间远高于有身份的工作人员时,确实不知道闯入人员在机房内在干什么,那么可直接判断闯入人员为不同行人员,即陌生人。具体还可基于第一停留时间和第二停留时间以及其他因素进行更详细的判断,上述人员类型不仅包括同行人和陌生人,还包括围观人,上述步骤S120,具体包括:
若所述第一停留时间小于所述第二停留时间,且所述工作人员在所述第一盲区中,所述闯入人员已不在所述第一盲区中,此时,可进一步考虑该闯入人员对机房内的机器是否进行了相关操作来进行人员类型的判断,具体的,在所述工作人员在所述第一盲区的第一停留时间内,执行第一步骤,确定所述闯入人员的人员类型;
所述第一步骤为:判断所述闯入人员是否对所述机房内的机器进行相关操作,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员有操作所述机器的操作权限,此时表示该闯入人员可能是工作人员,且是有操作权限的工作人员,则可确定该闯入人员为所述工作人员(在第一盲区的工作人员)的同行人;若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员没有操作所述机器的操作权限,此时表示该闯入人员可能不是工作人员,则可确定该闯入人员为陌生人;若所述闯入人员没有对所述机房内的机器进行相关操作,此时表示该闯入人员没有做什么对机房有危险的行为,该闯入人员的危险等级较低,则可确定该闯入人员为所述工作人员的同行人;
若所述第一停留时间大于所述第二停留时间,且所述闯入人员在所述第一盲区中,所述工作人员已不在所述第一盲区中,此时,闯入人员还在第一盲区中,第一盲区中没有机器,闯入人员无法对机房内的机器进行任何操作,也就是所该闯入人员的危险等级较低,则在所述闯入人员在所述第一盲区的第二停留时间内,执行第二步骤,确定所述闯入人员的人员类型;
所述第二步骤为:判断所述工作人员已经走出所述第一盲区的第一距离,若所述第一距离小于第一设定距离,则确定所述闯入人员为所述工作人员的围观人;若所述第一距离不小于所述第一设定距离,则确定所述闯入人员为所述工作人员的同行人。
可选的,该方法还包括:
获取所述工作人员在所述机房内的第一行走路线和所述闯入人员在所述机房内的第二行走路线;
根据所述第一行走路线和所述第二行走路线,确定所述工作人员和所述闯入人员之间的轨迹重叠率;
所述根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,包括:
根据所述轨迹重叠率、所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型。
其中,轨迹重叠率指的是第一行走路线和第二行走路线的重叠率,第一行走路线和第二行走路线可基于机房内的各个摄像头以及目标跟踪的方式确定,可选的,可通过计算第一行走路线和第二行走路线之间的相似度,确定所述工作人员和所述闯入人员之间的轨迹重叠率。
可选的,上述根据所述轨迹重叠率、所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型的具体实现方式可为:获取轨迹重叠率、所述第一停留时间和所述第二停留时间各自对应的权重,根据轨迹重叠率、所述第一停留时间和所述第二停留时间各自对应的权重,对轨迹重叠率、所述第一停留时间和所述第二停留时间进行加权处理,得到一个概率值,基于该概率值和预先划分的不同人员类型对应的概率范围,确定闯入人员的人员类型。
在考虑到工作人员的第一停留时间和闯入人员的第二停留时间的同时,还考虑到闯入人员和工作人员之间的轨迹重叠率对于闯入人员的人员类型的判断的影响,因此,基于第一停留时间和所述第二停留时间,结合轨迹重叠率,可以更加准确的判断出闯入人员的人员类型。
需要说明的是,仅基于轨迹重叠率,也是可以确定出闯入人员的人员类型的,具体地,在轨迹重叠率高于阈值时,判断为同行人,反之判断为非同行(陌生人)。
在上述判断闯入人员的人员类型的方案中,均是在工作人员或闯入人员在第一盲区停留的情况下,那么若所述闯入人员和所述工作人员均进入所述机房内的感兴趣区域,该方法还可通过以下方式确定闯入人员的人员类型:
判断所述闯入人员进入的第一感兴趣区域与所述工作人员进入的第二感兴趣区域是否为相同的感兴趣区域,若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,此时可直接判断闯入人员为非同行人(陌生人),但是考虑到存在围观人的情况,还可进一步判断闯入人员与所述工作人员之间的第二距离是否小于第二设定距离,来判断闯入人员是否为围观人,如果所述闯入人员与所述工作人员之间的第二距离小于第二设定距离,表示工作人员和闯入人员之间离的很近,此时接着判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,表示闯入人员可能仅在围观工作人员,则判断所述闯入人员为所述工作人员的围观人,若有进行相关操作,由于工作人员和闯入人员之间的距离较小,即工作人员可观察到闯入人员的操作行为,则闯入人员可能是工作人员带进来的同行人,即可确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离不小于所述第二设定距离,表示工作人员和闯入人员之间离相对较远,此时,可直接判断闯入人员是默生人,但考虑到闯入人员进入到机房内,如果没有对机房内的机器进行什么操作,那么也可以判断闯入人员是同行人,基于此本申请方案可进一步判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则确定所述闯入人员为所述工作人员的同行人,若有进行相关操作,则确定所述闯入人员是否有操作权限,若所述闯入人员没有操作权限,则确定所述闯入人员为陌生人,若所述闯入人员有操作权限,则确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为相同的感兴趣区域,表示工作人员和闯入人员之间离的很近,闯入人员的行为可受工作人员的监督,则可确定所述闯入人员为所述工作人员的同行人。
另外,考虑到机房内的光线、拍摄角度、人员站位的影像因素,可能对确定人员是否对机器进行相关操作的判断不准确,则可基于识别人员的手部动作来判断是否真的进行了相关操作。具体的:通过动作检测,以手部作为人物动作检测的质心,判断该质心是否与目标机器(人员在操作的机器)发现接触,如果发生接触,则确定人员对目标机器进行了相关操作。其中,可先基于机房格局分布图,确定目标机器在摄像头中的坐标以及目标检测边框,然后基于检测到的图像中的手部的质心的位置,确定该质心是否与目标检测边框重叠,如果重叠,表示手部与目标机器发生接触,如果不重合,则表示手部与目标机器没发生接触。
本申请方案中,手部与目标机器之间的接触(手部对目标机器进行的相关操作)包括开机、关机、插拔u盘等动作。作为一个示例,如果目标机器是一个控制多台机器的键盘,则可通过动作检测,检测手部对应的质心的位置是否与键盘对应的目标检测边框重叠,如果重叠,表示手部接触了键盘,如果没重叠,则表示手部没有接触键盘。在本申请方案中,可以控制多台机器的键盘一般为可以通过ssh方法控制机房多台其他机器的控制台,具有较强的危险性,因此,如果没有操作权限的人员接触了该键盘,表示可能带来较大的风险,可进行紧急报警。
可选的,考虑到实际应用环境中,有的目标机器会在黑夜环境或背对摄像头、被其他物体遮挡,导致检测不到手部,更加检测不到手部的质心,因此可能无法准确判断手部是否接触了目标机器。基于此,基于姿态评估算法,判断人员的姿态是否是正常站立的状态,如果不是正常站立状态,并且发生了手部运动动作,基于手部动作检测值(通过动作识别算法确定的,表示某个手部动作的特征)与预设阈值之间进行比较,如果手部动作检测值大于预设阈值时,判断手部接触目标机器;如果手部动作检测值不大于预设阈值,则判断该人员的手部可能接触的各个机器的机器id,包括可能接触的机器的机器id,判断可能接触的机器id是否在该人员的操作权限范围内,如果在操作权限范围内,则判断该人员接触了目标机器,如果不在权限操作范围内,则判断该人员没接触目标机器。
如果人员不是正常站立状态,并且发生了手部运动动作,因为操作机器时身体可能会发生倾斜,甚至发生下蹲,当体态距离正常站立越远,那么人员在操作机器的可能性越大,这时候在判断是否发生手部运动动作时,可以更加精确判断是否发生手部接触具体目标机器,提高算法准确率。具体的,如果人员不是正常站立状态,并且发生了手部运动动作,如果人员的当前体态与正常站立的体态之间的距离大于设定值,则判断人员的手部接触到了目标机器,如果人员的当前体态与正常站立的体态之间的距离不大于设定值,则判断人员的手部没接触到目标机器。
上述方案描述了如何确定闯入人员的人员类型的方案,在机房的监控过程中,对于进入机房后的人员的身份信息的确认也同样重要,通过对进入机房内的人员的身份信息的确认,也可识别出是否有闯入人员进入机房,下面基于几个不同的方案具体描述一下如何确定进入机房内人员的目标身份信息。
方案a,获取在所述机房入口处的第一人员的第一人物图像和在所述机房内的任一感兴趣区域处的第二人员的第二人物图像;
将所述第一人物图像作为目标图像,将所述第二人物图像作为待匹配图像,并根据所述目标图像识别出所述目标图像对应的人员的身份信息;
确定所述第一人物图像和所述第二人物图像之间的第一相似度值;
若所述第一相似度值大于第一设定值,则将所述目标图像对应的人员的身份信息确定为所述第二人员的目标身份信息;
若所述第一相似度值不大于所述第一设定值,则无法确定所述第二人员的目标身份信息。
方案b,获取在所述机房入口处的第一人员的第一人物图像和在所述机房内的任一感兴趣区域处的第二人员的第二人物图像;
将所述第一人物图像作为待匹配图像,将所述第二人物图像作为目标图像;并根据所述目标图像识别出所述目标图像对应的人员的身份信息;
确定所述第一人物图像和所述第二人物图像之间的第一相似度值;
若所述第一相似度值大于第一设定值,则将所述目标图像对应的人员的身份信息确定为所述第一人员的目标身份信息;
若所述第一相似度值不大于所述第一设定值,则无法确定所述第一人员的目标身份信息。
上述方案a和方案b运用了目标跟踪以及reid算法(行人重识别,Person re-identification,Person Re ID)来确定闯入人员的身份信息,其中,目标跟踪是用视频或图像序列的上下文信息,对目标的外观和运动信息进行建模,从而对目标运动状态进行预测并标定位置的技术,本方案主要通过Siam FC (目标跟踪,Fully-ConvolutionalSiamese Networks)进行目标跟踪,孪生网络的视频目标跟踪算法通过模板图像(后文出现的目标图像)和搜索区域图像(后文出现的待匹配图像),经过两个结构相同、参数共享的子网络之后生成相应的特征图,然后通过计算生成两个图像的相似度。由于孪生网络可以进行离线训练,因此可以使用大规模的图像数据集进行预训练,很好地缓解了视频目标跟踪领域中训练样本数量较少的问题。Siam FC算法是全卷积孪生网络,它首次将孪生网络引入到视频目标跟踪领域,把视频目标跟踪问题转化为图像匹配问题,通过选择与模板图像最相似的候选图像实现对目标的跟踪。Siam FC 网络的两个输入分别为模板图像 z 和搜索区域 x。其中,模板图像通常是视频第一帧选定的跟踪目标,跟踪期间模板图像不进行更新;搜索区域图像一般以上一帧目标所在位置为中心选出固定尺寸大小的区域。在跟踪过程时,算法对目标图像进行多种尺度缩放,并以不同尺寸的滑动窗口在整个搜索区域进行滑动匹配。两个分支骨干网的结构相同,参数共享,骨干网对两个输入进行相同的变换后,将提取的特征图送入到相似性度量函数中,得到相似度。
行人重识别(Person re-identification,Person Re ID),是利用计算机视觉技术对跨摄像头(不同摄像头)的人员图像进行特征提取,从而进行人员匹配的技术,离不开大规模数据集的发展,目前常用的行人重识别数据集主要有以下几种:CUHK03 数据集(其中,CUHK是香港中文大学The Chinese University of Hong Kong的简称,该CUHK03数据集是在香港中文的大学采集的数据集),Market1501数据集以及Duke MTMC-re ID,其中,CUHK03数据集的 ID划分分为新旧两种协议,即 1367/100与767/700,在基于视频的行人重识别领域广泛应用的数据集主要有PRID2011以及i LIDS-VID,分别收录了984与300个行人的视频信息。
本方案利用重排序的行人重识别方法,给定一张目标图像,通过提取图像特征并计算目标图像与待匹配图像(Gallary)的距离,得到匹配图像的排序结果,根据该结果计算Rank-n Accuracy(行人重识别评价指标准确度),并绘制 CMC (行人重识别评测指标,cumulated matching characteristic curve)曲线,重排序就是利用K 最近邻算法方法,对当前的排序结果进行优化,从而提升行人重识别的精度。
上述方案a中,第一人物图像指的是在所述机房入口处拍摄到的第一人员的人物图像,机房入口处还可称为闯入机房起始位置。第二人物图像指的是对第一人员进行目标跟踪,通过机房内的任一感兴趣区域对应的摄像头拍摄到的图像。将所述第一人物图像作为目标图像,即以目标图像对应的身份信息为基准,将所述第二人物图像作为待匹配图像,采用reid算法计算第一人物图像和所述第二人物图像之间的第一相似度值,若所述第一相似度值大于第一设定值,表示第一人物图像与第二人物图像之间的相似度很高,即第二人物图像中的第二人员很可能就是第一人物图像中的第一人员,则将所述目标图像对应的第一人员的身份信息确定为所述第二人员的目标身份信息。此时,表示第二人员是已经在机房入口处通过人脸识别的工作人员。如果所述第一相似度值不大于所述第一设定值,表示第二人员与第一人员的身份不相似,则无法确定所述第二人员的目标身份信息。
上述方案b中,将所述第二人物图像作为目标图像,将所述第一人物图像作为待匹配图像,目的是避免有的人员在机房门口通过人脸识别后,换成另外一个人进入机房的情况,采用reid算法计算第一人物图像和所述第二人物图像之间的第一相似度值,若所述第一相似度值大于第一设定值,表示第一人物图像与第二人物图像之间的相似度很高,即第一人物图像中的第一人员很可能就是第二人物图像中的第二人员,即进入机房的第二人员和机房门口通过人脸识别的第一人员是同一个人,则将所述目标图像对应的第二人员的身份信息确定为所述第一人员的目标身份信息。如果所述第一相似度值不大于所述第一设定值,表示第二人员与第一人员的身份不相似,则无法确定所述第一人员的目标身份信息。
在上述方案a和方案b中,进入机房的可以是每次一个人,也可以是多个人,方案a和方案b的目的是对进入机房后的每个人的身份进行跟踪识别,以确保在机房门口有没有通过人脸识别的人员进入机房,进一步提高对机房的监控力度。
针对上述方案a和方案b,如果第一相似度值不大于所述第一设定值,则无法确定待匹配图像对应的人员的目标身份信息时,还提出了方案d,
获取所述待匹配图像对应的人员的步态、行驶轨迹和操作动作;
根据所述待匹配图像对应的人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述待匹配图像对应的人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第二相似度值;
根据各个所述第二相似度值,确定所述第一相似度值的权重;
根据所述第一相似度值的权重和所述第一相似度值,确定目标相似度值;
根据所述目标相似度值,确定所述待匹配图像对应的人员的目标身份信息。
方案d,即采用加权的方式,增大第一相似度值,以使第一相似度值大于第一设定值,从而确定出待匹配图像对应的人员的目标身份信息,具体实现方式为:考虑到其他影响第一相似度值的因素,比如待匹配图像对应的人员的步态、行驶轨迹和操作动作,则获取待匹配图像对应的人员的步态、行驶轨迹和操作动作;根据待匹配图像对应的人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述待匹配图像对应的人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第二相似度值;根据各个所述第二相似度值,将各个所述第二相似度值中最大的第二相似度度值确定为待匹配图像对应的人员对应的第一相似度值的权重,根据该权重,对待匹配图像对应的人员对应的第一相似度值进行加权,确定出待匹配图像对应的人员对应的目标相似度值,然后再将该目标相似度值与第一设定值进行比较,以确定待匹配图像对应的人员的目标身份信息。
作为一个示例,待匹配图像对应的人员对应的第一相似度值为0.7,第一设定值为0.8,基于历史闯入轨迹动作统计表确定的权重为1.2,则目标相似度值为0.7*1.2=0.84,0.84大于0.8,则可将0.7对应的工作人员的身份信息确定为待匹配图像对应的人员对应的目标身份信息。可以理解的是,如果加权处理后的目标相似度值仍小于第一设定值,则也是无法确定待匹配图像对应的人员对应的目标身份信息的。
针对上述加权处理后仍然无法确定出待匹配图像对应的人员对应的目标身份信息的情况,本申请方案中还提出了以下方案来确定该待匹配图像对应的人员的人员类型的方案,具体为:考虑到该待匹配图像对应的人员会出现在机房的感兴趣区域,即会被拍摄到待匹配图像对应的人员的人物图像,则可基于前文人员类型的确定方式,确定出该待匹配图像对应的人员的人员类型,如果该待匹配图像对应的人员是工作人员,则可以确定出该待匹配图像对应的人员的身份信息。
可选的,拍摄的人物图像可以是全身图像,这样可以融入了穿衣服饰等特征,提高目标身份信息确定的准确性。进一步的,由于人脸识别时只能拍摄到一个角度的全身图片,对后续的reid准确率(基于reid算法确定的第一人物图像与第二人物图像之间的相似度的准确率)会造成影响,因此,还可结合拍的得到的多个角度的全身图片进行目标身份信息的确定,以提高准确率。具体的,比如,多个角度的全身图片包括正脸图像和侧脸图像,则在先经过正脸图像无法识别出目标身份信息时,即第一人物图像与第二人物图像之间的相似度不大于所述第一设定值时,还可选择侧脸图像进行目标身份信息的识别,基于侧脸的人脸识别,可以基于magface或者insightface等技术框架实现。
方案c,若进入所述机房的人员包括连续进入所述机房的至少两个第三人员,该方法还包括:
获取每个所述第三人员在所述机房入口处的第三人物图像;
对于所述至少两个第三人员中的每个所述第三人员,确定所述第三人员的第三人物图像与数据库中各个工作人员的人物图像之间的相似度,所述数据库中存储各个所述工作人员的人物图像和各个所述工作人员的身份信息;
对于每个所述第三人员,确定所述第三人员对应的各个相似度中每两个相似度之间的相似度差值的绝对值;
对于每个所述第三人员,若所述第三人员对应的各个所述相似度差值的绝对值中,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,表示该第三人员与数据库中的至少两个不同的工作人员的身份都很相似,则无法确定所述第三人员的目标身份信息。
作为一个示例,比如,连续进入机房两个第三人员,一个是人员a,另一个是人员b,对于人员a,该人员a的人物图像与数据库中的各个工作人员之间的相似度中,人员a与工作人员1之间的相似度为0.75,人员a与工作人员2之间的相似度为0.8,两个相似度之间的相似度差值的绝对值为0.05,阈值为0.1,0.05小于0.1,表示人员a和工作人员1的身份比较相似,人员a和工作人员2的身份也比较相似,因此,无法确定人员a的目标身份信息。
上述方案c是针对进入所述机房的人员包括连续进入所述机房的至少两个第三人员的情况,如何确定的每个第三人员的目标身份信息的方案。方案中记载的第三人员和前文中记载的第一人员和第二人员均指的是进入机房的人员,该人员如果确认出身份,则表示该人员是工作人员,如果该人员没有确认出身份,则表示该人员可能是闯入人员,可通过前文的方式确定闯入人员的人员类型。需要说明的是,上述第一、第二和第三仅是为了区分不同情况下的人员,并没有其他含义。
针对上述方案c中无法确定出第三人员的目标身份信息的情况,可选的,该方法还包括:
获取所述第三人员的步态、行驶轨迹和操作动作;
根据所述第三人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述第三人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第三相似度值;
根据各个所述第三相似度值,确定所述第三人员的目标身份信息。
其中,上述第三人员的步态、行驶轨迹和操作动作均可以是通过感兴趣区域的摄像头采集到的视频确定得到的,行驶轨迹指的是第三人员从机房入口处至拍摄视频的摄像头之间的行驶轨迹,操作动作指的是第三人员对感兴趣区域中的机器的操作动作。预先可收集一段时间内的进入机房的各个工作人员的步态、行驶轨迹和操作动作,形成历史闯入轨迹动作统计表,同时,该历史闯入轨迹动作统计表中还存储有各个工作人员的身份信息,则在基于第三人员的人物图像无法确定第三人员的目标身份信息时,可以基于第三人员的其他角度的特征来确定第三人员的目标身份信息。其中,该第三人员可以指的任一进入到机房,且通过人物图像无法确定出身份信息的人员。
由于reid相似度,对摄像头采集的图片质量,光线,角度影响较大,单纯基于reid图片相似度,可能因为上述问题,导致无法检索出正确的身份id,因此基于历史闯入轨迹动作统计表,可以有效根据历史机房reid轨迹图片,历史步态视频,历史闯入机箱感兴趣区域,历史操作动作,判断是否与目前无法确定身份id的人的相似度,从而精准的得到闯入机箱感兴趣区域的人的身份。另外,由于reid相似度不高,主要原因是出于角度以及光线的影响,因此通过历史闯入轨迹动作统计表来进行相似度判断,可具备较强的相似度,因为历史闯入轨迹动作统计表中融入了人的穿衣服饰等特征,因此在基于历史闯入轨迹动作统计表进行相似度计算时,可以提高行驶轨迹、操作动作、步态的权重,因此,哪怕基于角度以及光线的影响,也能提高算法准确率。
可选的,上述根据所述第三人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述第三人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第三相似度值的一种可实现方式为:获取每个因素对应的权重,即获取步态对应的第一权重,行驶轨迹对应的第二权重和操作动作对应的第三权重,先计算第三人员的步态与各个工作人员的步态之间的第四相似度值,计算第三人员的行驶轨迹与各个工作人员的行驶轨迹之间的第五相似度值,计算第三人员的行驶轨迹与各个工作人员的行驶轨迹之间的第六相似度值,然后对于同一个工作人员,基于第一权重、第二权重、第三权重以及第三人员与该同一个工作人员对应的第四相似度值、第五相似度值和第六相似度值进行加权处理,得到第三人员与该同一个工作人员之间的第三相似度值,基于上述相同的方式,可确定出第三人员与各个工作人员之间的第三相似度值。
上述根据各个所述第三相似度值,确定所述第三人员的目标身份信息的一种可实现方式为:将各个所述第三相似度值中最大的第三相似度值与第一设定值进行比较,如果大于第一设定值,则将最大的第三相似度值对应的工作人员的身份信息确定为第三人员的目标身份信息。如果最大的第三相似度值不大于第一设定值,则无法确定出第三人员的目标身份信息。
针对上述方案c中连续进入所述机房的至少两个第三人员,如果这至少两个第三人员通过人物图像确定的相似度值很接近,或者,一起进入了盲区,可能无法确定出每个第三人员的目标身份信息,基于此,本申请方案中还提出了以下方案来确定第三人员的人员类型的方案,具体为:考虑到第三人员会出现在机房的感兴趣区域,即会被拍摄到每个第三人员的人物图像,则可基于以下方式,确定每个第三人员的人员类型:
若所述至少两个第三人员进入所述机房内的同一个感兴趣区域,表示至少两个第三人员是同行的,对于机房安全来讲,确定出至少两个第三人员中任一个第三人员的人员类型即可,如果该至少两个第三人员中有至少一个经过人脸识别确定出是工作人员,那么即使至少两个第三人员中有无法确定身份的闯入人员,可判断该闯入人员是工作人员的同行人,或者,进一步地,还可获取所述至少两个第三人员中任一个所述第三人员的操作权限,通过操作权限,确定该任一个第三人员的人员类型,如果该任一个第三人员有操作权限,则可确定该任一个第三人员是工作人员,同时还可确定该任一第三人员的身份信息,无需确定其他第三人员的人员类型和身份;
若所述至少两个第三人员进入所述机房内的不同的感兴趣区域,则至少两个第三人员中很可能存在闯入机房的陌生人,则对于每个所述第三人员,可根据该第三人员的操作权限,确定该第三人员的人员类型,如果该第三人员有操作权限,则可确定该第三人员是工作人员,同时还可确定该第三人员的身份信息,如果没有操作权限,则表示该第三人员是陌生人,无法确定出该第三人员的身份信息。
可选的,基于前文确定进入机房的人员的人员类型的方式和确定进入机房的人员的身份信息的方案,可以得到以下方案:
对于进入所述机房的每个人员,根据所述人员在所述机房内的操作行为和所述人员的人员类型,该行为指的是对机房内的机器的操作行为,确定所述人员对应的目标事件,所述目标事件包括正常事件、进入错误机器区域操作事件、进入正确机器区域操作错误事件、陌生人闯入事件和工作人员携带人员外来人员事件中的至少一项;
根据所述目标事件,确定所述目标事件的告警等级,并根据所述告警等级进行预警。
正常事件:某个人员在具有操作权限的机器上进行操作权限内的动作,即对于位于感兴趣区域的一个人员,如果该人员具有该感兴趣区域对应的操作权限,且在该操作权限内,对机器进行操作动作权限内的动作,可判断为正常事件,该正常事件对应的告警等级为不预警。
进入错误机器区域操作事件:某个人员在不具有操作权限的机器位置执行操作动作,即对于位于感兴趣区域的一个人员,如果该人员不具有该感兴趣区域对应的操作权限,但在该感兴趣区域进行了操作机器的动作,可判断为进入错误机器区域操作事件,该进入错误机器区域操作事件对应的告警等级为后台记录,便于后续对该人员进行追踪。
进入正确机器区域操作错误事件:某个人员在具有操作权限的机器位置执行不具备操作动作权限的操作动作,即对于位于感兴趣区域的一个人员,如果该人员具有该感兴趣区域对应的操作权限,但是在该操作权限内对机器进行了操作动作权限之外的操作动作,则可判断为进入正确机器区域操作错误事件,该进入正确机器区域操作错误事件对应的告警等级为后台记录,便于后续对该人员进行追踪。
陌生人闯入事件,通过前文确定人员的人员类型的方式,确定某个人员是陌生人,则可判断为陌生人闯入事件,陌生人闯入事件对应的告警分级为紧急警报,以根据该紧急警报通知相关工作人员核实该陌生人的身份,避免为机房带来更严重的危害。
工作人员携带人员外来人员事件,指的是通过前文确定人员的人员类型的方式,确定的某个人员是工作人员的同行人的情况,此时可判断为工作人员携带人员外来人员事件,工作人员携带人员外来人员事件对应的告警等级为后台记录。
其中,不预警指的是不发出任何预警信息;后台记录指的是在后台发生预警信息,记录该次事件以及相关的人员身份id,方便后续追溯警告追责。紧急警报指的是在后台发送强烈预警,向有关工作人员发送信息,让工作人员紧急前往查看。
可选的,基于事件预警后,可通过后台人员对不同的人员的人员类型进行标注,以此为训练样本来训练同行人分类模型,用于判断某个人员是否为同行人,具体包括:根据后台人员对收到工作人员携带人员外来人员事件以及陌生人闯入事件的判断,将判断结果作为机器学习的样本,将所述同行人与具备身份的工作人员的轨迹重叠率、同行人与具备身份的工作人员停留的闯入机箱区域位置差距的距离、同行人与具备身份的工作人员的操作目标机器以及目标动作是否相同、同行人与具备身份的工作人员的闯入机箱区域是否相同等作为样本,基于机器学习或深度学习的方法,训练同行人分类预警模型。
基于与图1中所示的方法相同的原理,本发明实施例还提供了一种机房监控装置20,该装置应用于机房,所述机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,如图2中所示,该一种机房监控装置20可以包括停留时间确定模块210和确定模块220,其中:
停留时间确定模块210,用于在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,根据各所述图像采集设备对各所述感兴趣区域采集的图像,所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
确定模块220,用于根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人。
可选的,该装置还包括:
轨迹重叠率确定模块,用于获取所述工作人员在所述机房内的第一行走路线和所述闯入人员在所述机房内的第二行走路线;根据所述第一行走路线和所述第二行走路线,确定所述工作人员和所述闯入人员之间的轨迹重叠率;
上述确定模块220在根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型时,具体用于:
根据所述轨迹重叠率、所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型。
可选的,每个所述感兴趣区域中包括至少一个机器,上述人员类型还包括围观人,上述确定模块220在根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型时,具体用于:
若所述第一停留时间小于所述第二停留时间,且所述工作人员在所述第一盲区中,所述闯入人员已不在所述第一盲区中,在所述工作人员在所述第一盲区的第一停留时间内,执行第一步骤,确定所述闯入人员的人员类型;
所述第一步骤为:判断所述闯入人员是否对所述机房内的机器进行相关操作,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员有操作所述机器的操作权限,则确定所述闯入人员为所述工作人员的同行人,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员没有操作所述机器的操作权限,则确定所述闯入人员为陌生人;若所述闯入人员没有对所述机房内的机器进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
若所述第一停留时间大于所述第二停留时间,且所述闯入人员在所述第一盲区中,所述工作人员已不在所述第一盲区中,在所述闯入人员在所述第一盲区的第二停留时间内,执行第二步骤,确定所述闯入人员的人员类型;
所述第二步骤为:判断所述工作人员已经走出所述第一盲区的第一距离,若所述第一距离小于第一设定距离,则确定所述闯入人员为所述工作人员的围观人;若所述第一距离不小于所述第一设定距离,则确定所述闯入人员为所述工作人员的同行人。
可选的,若所述闯入人员和所述工作人员均进入所述机房内的感兴趣区域,该装置还包括:
第一判断模块,用于判断所述闯入人员进入的第一感兴趣区域与所述工作人员进入的第二感兴趣区域是否为相同的感兴趣区域,若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离小于第二设定距离,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则判断所述闯入人员为所述工作人员的围观人,若有进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
第二判断模块,用于在所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离不小于所述第二设定距离时,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则确定所述闯入人员为所述工作人员的同行人,若有进行相关操作,则确定所述闯入人员是否有操作权限,若所述闯入人员没有操作权限,则确定所述闯入人员为陌生人,若所述闯入人员有操作权限,则确定所述闯入人员为所述工作人员的同行人;
第三判断模块,用于在所述第一感兴趣区域和所述第二感兴趣区域为相同的感兴趣区域时,确定所述闯入人员为所述工作人员的同行人。
可选的,在有人员进入所述机房后,该装置还包括:
跟踪确定模块,用于获取在所述机房入口处的第一人员的第一人物图像和在所述机房内的任一感兴趣区域处的第二人员的第二人物图像;将所述第一人物图像作为目标图像,将所述第二人物图像作为待匹配图像,或者,将所述第一人物图像作为待匹配图像,将所述第二人物图像作为目标图像;根据所述目标图像识别出所述目标图像对应的人员的身份信息;确定所述第一人物图像和所述第二人物图像之间的第一相似度值;若所述第一相似度值大于第一设定值,则将所述目标图像对应的人员的身份信息确定为所述待匹配图像对应的人员的目标身份信息;若所述第一相似度值不大于所述第一设定值,则无法确定所述待匹配图像对应的人员的目标身份信息。
可选的,若进入所述机房的人员包括连续进入所述机房的至少两个第三人员,该装置还包括:
第一处理模块,用于获取每个所述第三人员在所述机房入口处的第三人物图像;对于所述至少两个第三人员中的每个所述第三人员,确定所述第三人员的第三人物图像与数据库中各个工作人员的人物图像之间的相似度,所述数据库中存储各个所述工作人员的人物图像和各个所述工作人员的身份信息;对于每个所述第三人员,确定所述第三人员对应的各个相似度中每两个相似度之间的相似度差值的绝对值;对于每个所述第三人员,若所述第三人员对应的各个所述相似度差值的绝对值中,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,则无法确定所述第三人员的目标身份信息。
可选的,若根据所述第一相似度值无法确定所述待匹配图像对应的人员的目标身份信息,该装置还包括:
第二处理模块,用于获取所述待匹配图像对应的人员的步态、行驶轨迹和操作动作;根据所述待匹配图像对应的人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述待匹配图像对应的人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第二相似度值;根据各个所述第二相似度值,确定所述第一相似度值的权重;根据所述第一相似度值的权重和所述第一相似度值,确定目标相似度值;根据所述目标相似度值,确定所述待匹配图像对应的人员的目标身份信息。
可选的,若无法确定出所述第三人员的目标身份信息,该装置还包括:
第三处理模块,用于获取所述第三人员的步态、行驶轨迹和操作动作;根据所述第三人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述闯入人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第三相似度值;根据各个所述第三相似度值,确定所述第三人员的目标身份信息。
可选的,若无法确定出所述第三人员的目标身份信息,该装置还包括:
人员类型确定模块,用于在所述至少两个第三人员进入所述机房内的同一个感兴趣区域时,获取所述至少两个第三人员中任一个所述第三人员的操作权限,确定所述第三人员的人员类型;在所述至少两个第三人员进入所述机房内的不同的感兴趣区域时,对于每个所述第三人员,根据所述第三人员的操作权限,确定所述第三人员的人员类型。
可选的,该装置还包括:
告警模块,用于对于进入所述机房的每个人员,根据所述人员在所述机房内的操作行为和所述人员的人员类型,确定所述人员对应的目标事件,所述目标事件包括正常事件、进入错误机器区域操作事件、进入正确机器区域操作错误事件、陌生人闯入事件和工作人员携带人员外来人员事件中的至少一项;根据所述目标事件,确定所述目标事件的告警等级,并根据所述告警等级进行预警。
本发明实施例的一种机房监控装置可执行本发明实施例所提供的一种机房监控方法,其实现原理相类似,本发明各实施例中的一种机房监控装置中的各模块、单元所执行的动作是与本发明各实施例中的一种机房监控方法中的步骤相对应的,对于一种机房监控装置的各模块的详细功能描述具体可以参见前文中所示的对应的一种机房监控方法中的描述,此处不再赘述。
其中,上述一种机房监控装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该一种机房监控装置为一个应用软件;该装置可以用于执行本发明实施例提供的方法中的相应步骤。
在一些实施例中,本发明实施例提供的一种机房监控装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的一种机房监控装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的一种机房监控方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
在另一些实施例中,本发明实施例提供的一种机房监控装置可以采用软件方式实现,图2示出了存储在存储器中的一种机房监控装置,其可以是程序和插件等形式的软件,并包括一系列的模块,包括停留时间确定模块210和确定模块220,用于实现本发明实施例提供的一种机房监控方法。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定。
基于与本发明的实施例中所示的方法相同的原理,本发明的实施例中还提供了一种电子设备,该电子设备可以包括但不限于:处理器和存储器;存储器,用于存储计算机程序;处理器,用于通过调用计算机程序执行本发明任一实施例所示的方法。
在一个可选实施例中提供了一种电子设备,如图3所示,图3所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本发明实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本发明方案的应用程序代码(计算机程序),并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备也可以是终端设备,图3示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
根据本发明的另一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种实施例实现方式中提供的一种机房监控方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解的是,附图中的流程图和框图,图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本发明中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种机房监控方法,其特征在于,该方法应用于机房,所述机房内包括多个感兴趣区域和多个盲区,每个所述感兴趣区域对应一个图像采集设备,对于每个盲区,所述盲区为所述机房内的图像采集设备无法覆盖到的区域,该方法包括以下步骤:
在确定连续进入所述机房的两个人中包括闯入人员和工作人员后,根据各所述图像采集设备对各所述感兴趣区域采集的图像,获取所述工作人员在第一盲区的第一停留时间和所述闯入人员在所述第一盲区的第二停留时间;
根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,所述人员类型为所述闯入人员是所述工作人员的同行人,或者,所述闯入人员是陌生人;
每个所述感兴趣区域中包括至少一个机器,所述人员类型还包括所述闯入人员是所述工作人员的围观人,所述根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,包括:
若所述第一停留时间小于所述第二停留时间,且所述工作人员在所述第一盲区中,所述闯入人员已不在所述第一盲区中,在所述工作人员在所述第一盲区的第一停留时间内,执行第一步骤,确定所述闯入人员的人员类型;
所述第一步骤为:判断所述闯入人员是否对所述机房内的机器进行相关操作,若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员有操作所述机器的操作权限,则确定所述闯入人员为所述工作人员的同行人;若所述闯入人员对所述机房内的机器进行相关操作,且所述闯入人员没有操作所述机器的操作权限,则确定所述闯入人员为陌生人;若所述闯入人员没有对所述机房内的机器进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
若所述第一停留时间大于所述第二停留时间,且所述闯入人员在所述第一盲区中,所述工作人员已不在所述第一盲区中,在所述闯入人员在所述第一盲区的第二停留时间内,执行第二步骤,确定所述闯入人员的人员类型;
所述第二步骤为:判断所述工作人员已经走出所述第一盲区的第一距离,若所述第一距离小于第一设定距离,则确定所述闯入人员为所述工作人员的围观人;若所述第一距离不小于所述第一设定距离,则确定所述闯入人员为所述工作人员的同行人。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述工作人员在所述机房内的第一行走路线和所述闯入人员在所述机房内的第二行走路线;
根据所述第一行走路线和所述第二行走路线,确定所述工作人员和所述闯入人员之间的轨迹重叠率;
所述根据所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型,包括:
根据所述轨迹重叠率、所述第一停留时间和所述第二停留时间,确定所述闯入人员的人员类型。
3.根据权利要求1所述的方法,其特征在于,若所述闯入人员和所述工作人员均进入所述机房内的感兴趣区域,所述方法还包括:
判断所述闯入人员进入的第一感兴趣区域与所述工作人员进入的第二感兴趣区域是否为相同的感兴趣区域,若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离小于第二设定距离,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则判断所述闯入人员为所述工作人员的围观人,若有进行相关操作,则确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为不相同的感兴趣区域,且所述闯入人员与所述工作人员之间的第二距离不小于所述第二设定距离,判断所述闯入人员是否对所述第一感兴趣区域中的机器进行相关操作,若没有进行相关操作,则确定所述闯入人员为所述工作人员的同行人,若有进行相关操作,则确定所述闯入人员是否有操作权限,若所述闯入人员没有操作权限,则确定所述闯入人员为陌生人,若所述闯入人员有操作权限,则确定所述闯入人员为所述工作人员的同行人;
若所述第一感兴趣区域和所述第二感兴趣区域为相同的感兴趣区域,则确定所述闯入人员为所述工作人员的同行人。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在有人员进入所述机房后,所述方法还包括:
获取在所述机房入口处的第一人员的第一人物图像和在所述机房内的任一感兴趣区域处的第二人员的第二人物图像;
将所述第一人物图像作为目标图像,将所述第二人物图像作为待匹配图像,或者,将所述第一人物图像作为待匹配图像,将所述第二人物图像作为目标图像;
根据所述目标图像识别出所述目标图像对应的人员的身份信息;
确定所述第一人物图像和所述第二人物图像之间的第一相似度值;
若所述第一相似度值大于第一设定值,则将所述目标图像对应的人员的身份信息确定为所述待匹配图像对应的人员的目标身份信息;
若所述第一相似度值不大于所述第一设定值,则无法确定所述待匹配图像对应的人员的目标身份信息。
5.根据权利要求4所述的方法,其特征在于,若进入所述机房的人员包括连续进入所述机房的至少两个第三人员,所述方法还包括:
获取每个所述第三人员在所述机房入口处的第三人物图像;
对于所述至少两个第三人员中的每个所述第三人员,确定所述第三人员的第三人物图像与数据库中各个工作人员的人物图像之间的相似度,所述数据库中存储各个所述工作人员的人物图像和各个所述工作人员的身份信息;
对于每个所述第三人员,确定所述第三人员对应的各个相似度中每两个相似度之间的相似度差值的绝对值;
对于每个所述第三人员,若所述第三人员对应的各个所述相似度差值的绝对值中,存在相似度差值的绝对值小于阈值的至少一个所述相似度差值的绝对值,则无法确定所述第三人员的目标身份信息。
6.根据权利要求4所述的方法,其特征在于,若根据所述第一相似度值无法确定所述待匹配图像对应的人员的目标身份信息,所述方法还包括:
获取所述待匹配图像对应的人员的步态、行驶轨迹和操作动作;
根据所述待匹配图像对应的人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述待匹配图像对应的人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第二相似度值;
根据各个所述第二相似度值,确定所述第一相似度值的权重;
根据所述第一相似度值的权重和所述第一相似度值,确定目标相似度值;
根据所述目标相似度值,确定所述待匹配图像对应的人员的目标身份信息。
7.根据权利要求5所述的方法,其特征在于,若无法确定出所述第三人员的目标身份信息,所述方法还包括:
获取所述第三人员的步态、行驶轨迹和操作动作;
根据所述第三人员的步态、行驶轨迹、操作动作和预设的历史闯入轨迹动作统计表中的各个工作人员的步态、行驶轨迹和操作动作,确定所述第三人员和所述历史闯入轨迹动作统计表中的各个工作人员之间的第三相似度值;
根据各个所述第三相似度值,确定所述第三人员的目标身份信息。
8.根据权利要求5所述的方法,其特征在于,若无法确定出所述第三人员的目标身份信息,所述方法还包括:
若所述至少两个第三人员进入所述机房内的同一个感兴趣区域,则获取所述至少两个第三人员中任一个所述第三人员的操作权限,确定所述第三人员的人员类型;
若所述至少两个第三人员进入所述机房内的不同的感兴趣区域,则对于每个所述第三人员,根据所述第三人员的操作权限,确定所述第三人员的人员类型。
9.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
对于进入所述机房的每个人员,根据所述人员在所述机房内的操作行为和所述人员的人员类型,确定所述人员对应的目标事件,所述目标事件包括正常事件、进入错误机器区域操作事件、进入正确机器区域操作错误事件、陌生人闯入事件和工作人员携带人员外来人员事件中的至少一项;
根据所述目标事件,确定所述目标事件的告警等级,并根据所述告警等级进行预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211533879.7A CN115546737B (zh) | 2022-12-02 | 2022-12-02 | 一种机房监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211533879.7A CN115546737B (zh) | 2022-12-02 | 2022-12-02 | 一种机房监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115546737A CN115546737A (zh) | 2022-12-30 |
CN115546737B true CN115546737B (zh) | 2023-05-16 |
Family
ID=84721748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211533879.7A Active CN115546737B (zh) | 2022-12-02 | 2022-12-02 | 一种机房监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546737B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093427A (zh) * | 2013-01-15 | 2013-05-08 | 信帧电子技术(北京)有限公司 | 人员停留的监控方法及监控系统 |
JP2019020777A (ja) * | 2017-07-11 | 2019-02-07 | キヤノン株式会社 | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 |
CN111382627B (zh) * | 2018-12-28 | 2024-03-26 | 成都云天励飞技术有限公司 | 同行判定方法及相关产品 |
CN110222640B (zh) * | 2019-06-05 | 2022-02-18 | 浙江大华技术股份有限公司 | 监控场所中嫌疑人的识别方法、装置、方法和存储介质 |
US20210201640A1 (en) * | 2019-12-31 | 2021-07-01 | Haim Harel | System and mothods of sorting out harmless versus suspicious visitors inside a protected perimeter |
-
2022
- 2022-12-02 CN CN202211533879.7A patent/CN115546737B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115546737A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6905850B2 (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
EP2620896B1 (en) | System And Method For Face Capture And Matching | |
JP4924607B2 (ja) | 不審行動検知装置および方法、プログラムおよび記録媒体 | |
KR100831122B1 (ko) | 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치 | |
CN110390229B (zh) | 一种人脸图片筛选方法、装置、电子设备及存储介质 | |
CN107833328B (zh) | 基于人脸识别的门禁验证方法及装置、计算设备 | |
KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
CN111192391A (zh) | 基于图像和/或视频的人行通道闸机控制方法和设备 | |
CN102254394A (zh) | 一种基于视频差异分析的输电线路杆塔防盗监控方法 | |
CN112183162A (zh) | 一种监控场景下人脸自动注册识别系统及方法 | |
CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
CN112132048A (zh) | 一种基于计算机视觉的社区巡更分析方法及系统 | |
Nguyen et al. | Multistage real-time fire detection using convolutional neural networks and long short-term memory networks | |
CN110544312A (zh) | 虚拟场景中的视频显示方法、装置、电子设备与存储装置 | |
Carletti et al. | An efficient and effective method for people detection from top-view depth cameras | |
KR20200059643A (ko) | 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법 | |
CN115546737B (zh) | 一种机房监控方法 | |
CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
CN106127903A (zh) | 电子设备探测门禁管控装置及其方法 | |
KR101407394B1 (ko) | 방치물 및 도난물 탐지 시스템 | |
CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
CN113837006A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
CN111325065A (zh) | 安防管理方法、装置、设备及计算机存储介质 | |
CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN116469254B (zh) | 一种信息处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |