CN113223221A - 基于深度学习网络的实验室人员行为识别方法和系统 - Google Patents
基于深度学习网络的实验室人员行为识别方法和系统 Download PDFInfo
- Publication number
- CN113223221A CN113223221A CN202110498713.5A CN202110498713A CN113223221A CN 113223221 A CN113223221 A CN 113223221A CN 202110498713 A CN202110498713 A CN 202110498713A CN 113223221 A CN113223221 A CN 113223221A
- Authority
- CN
- China
- Prior art keywords
- server
- identification
- information
- central control
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 89
- 238000013475 authorization Methods 0.000 claims description 24
- 238000002474 experimental method Methods 0.000 claims description 22
- 210000001364 upper extremity Anatomy 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012550 audit Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
- G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习网络的实验室人员行为识别方法和系统,实验室人员行为识别系统包括视频识别服务器、中央控制服务器、权限管理服务器、多个网关、多个本地控制主机、报警设备、门禁闸机、设备电源和多组摄像头,视频识别服务器和权限管理服务器与中央控制服务器信号连接,中央控制服务器关联多个网关信号连接。本发明采用多层次、跨网络、模块化、开放式的架构,对于实验室进行全方面大数据监控,并智能控制区域内部的设备,管理协同人力资源,解决了以往实验室管理精细度低,缺乏行为监控与预判能力,适合于在流动人员大、角色权限管理复杂、管理人员资源有限等条件下的实验室中实现智能管理,提升整个实验室的智能管理水平。
Description
技术领域
本发明涉及实验室人员行为识别方法,特别涉及基于深度学习网络的实验室人员行为识别方法和系统,属于实验室管理技术领域。
背景技术
为了改进原有的实验室管理水平,提升实验室管理当中实验人员的行为操作,特别是对于某些区域中的人员进出与操作进行智能化管理,一直是一项重要的问题。在一些特别重要且复杂的实验室中,对进入实验室某个区域的人员需要做动态身份识别,并且需要对于某些特定行为做监控,以确保实验室人员在其授权的活动区域做正常操作,同时也能够对于实验人员某些行为进行预警。采用信息化技术提升实验室人员行为管理,是保障实验室安全和正常运行的重要条件。
目前,基本上是通过证件识别来识别进入实验室的人员,而对其活动区域的限制,往往靠实验室门禁或者闸机等系统。这些系统安装部署成本高,维护难度大,且受到空间局限,无法灵活地将实验室空间进行更细致化的区分。而且随着实验项目的变更,其人员需要在不同的时间段进出不同的实验区域,还因参观、检查、教学、展示等活动有大批人员进出某个区域。而且即便是可进入实验室的人员,也会需要对其行为有更精细的管理。有的人员只能对仪表进行读取记录,有的人员可以操控设备,而有的人员可以对设备进行检修。既往的系统都无法对于实验行为进行智能识别与全流程监控。这都给实验室管理带来困扰,单纯用现有的硬件条件,即便增加再多的值勤人员,也无法取到长久的管理效果,浪费实验室管理人员的时间和精力。
发明内容
本发明的目的在于提供基于深度学习网络的实验室人员行为识别方法和系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:所述实验室人员行为识别系统包括视频识别服务器、中央控制服务器、权限管理服务器、多个网关、多个本地控制主机、报警设备、门禁闸机、设备电源和多组摄像头,所述视频识别服务器和权限管理服务器与中央控制服务器信号连接,所述中央控制服务器关联多个网关信号连接,多个所述网关分别与对应的本地控制主机连接,多个所述网关分别连接有多组摄像头,所述本地控制主机分别连接有报警设备、门禁闸机和电源设备。
作为本发明的一种优选技术方案,所述视频识别服务器内部封装有人员身份与行为识别子系统,所述人员身份与行为识别子系统包括人脸识别网络、胸牌识别网络、上肢识别网络、AdaBoost分类器和帧图像预处理;
所述帧图像预处理接收:对视频识别服务器接收的人脸图像进行预处理操作;
所述人脸识别网络:将视频图像分成若干个重叠的区域,对每个子区域都训练一个卷积神经网络,并将多个网络的最后一个隐含层的特征进行融合,作为受限玻尔兹曼机的输入,通过反向传播算法进行整体联合优化,获得不同角度上的人脸特征最大峰值;
所述胸牌识别网络:视频中检测胸牌上的特征图案(二维码),获得二维码对应信息后与人脸信息做加权计算,得到最终的人员识别结果,如未识别到二维码胸牌信息,则将该人脸作为“待认证”信息,再与权限管理服务器中的人脸库做对比,得到对应的人员身份认证信息;
所述上肢识别网络:通过对人脸识别网络和胸牌识别网络作为辅助信息,建立一个全图片的卷积神经网络,视频帧图像中判定人员上肢信息;
所述AdaBoost分类器:将上肢识别网络信息输入至AdaBoost分类器,判定到预设定的行为编码中,视频识别服务器中默认设置“进入、离开、读取仪表、操作设备、维修设备”上肢运动分类。
作为本发明的一种优选技术方案,所述中央服务器接收网关发送的网络数据包,并实时将多个网关传输的视频信息送入到视频识别服务器中,然后将识别结果实时传送给权限管理服务器,中央控制服务器通过读取视频识别服务器和权限管理服务器数据集合,再下达对应的指令相应的网关。
作为本发明的一种优选技术方案,所述权限管理服务器接收中央处理器发送的识别服务器结果,并通过视频中的人员身份编码、人员行为编码、摄像头视频流的时间信息、摄像头所在位置的物理信息,匹配当前权限数据库,得到当前该人员的权限判定编码,针对视频中的陌生人,权限管理服务器则将其信息单独归入陌生人警告数据集合,权限管理服务器定时刷新所监管区域内所有人员的注册人员权限判定编码集合与陌生人警告数据集合。
作为本发明的一种优选技术方案,所述网关建立本地控制主机、摄像头与中央服务器的连接桥梁,将本地控制主机和摄像头发送的数据转为网络数据包发送至中央处理器。
作为本发明的一种优选技术方案,所述本地控制主机控制本地的报警设备,门禁闸机和设备电源。
作为本发明的一种优选技术方案,基于深度学习网络的实验室人员行为识别系统,包括以下步骤:
S1:实验人员注册,实验人员先通过本系统提交一个注册申请,注册申请中必须包含人员的身份照片与其它身份认证信息,用户提供的身份信息将被自动提交到中央控制服务器,中央控制服务器将汇总申请表,统一提交给管理人员,管理人员为每个用户配置其对应的角色组,这样角色组上所有的权限将自动赋给用户,一个用户可以在多个角色组中,子角色组将自动继承父角色组的权限配置,管理人员设置好这些内容,将授权审核反馈给中央控制服务器,中央控制服务器将授权信息提交到权限管理服务器上,权限管理服务器将根据批量导入的信息,重新计算权限管理数据库,同时中央控制服务器将用户身份信息与人脸信息提交给视频识别服务器,以更新视频识别人脸信息库,最终上述信息将由中央控制服务器将信息下发到本地控制主机上,完成实验人员的注册工作;
S2:进入实验室,已注册用户进入到实验室,每个网关上关联的视频摄像头将视频图像自动上传到中央控制服务器上,中央控制服务器将视频流传送给视频识别服务器进行实时识别,视频识别服务器将对人脸与工作证件进行双重识别,并将识别结果反馈给中央控制服务器,中央控制服务器根据识别结果,将已识别信息与时空信息提交给权限管理服务器做授权分析,权限管理服务器将该用户的授权分析结果反馈给中央控制服务器,中央控制服务器则通过网络将信息经由网关下发到本地控制主机上,本地控制主机根据下发的审核信息,对关联在该机器上的报警设备、门禁闸机和设备电源进行操控,让该用户进入到实验区域内,并将该用户进入时间做记录,同时将该用户的信息下发到所有授权进入的地点,其它地点的本地主控主机可启动关联操作,对其关联的设备进行控制;
S3:实验操作活动,实验人员进入到实验区域内,中央控制服务器定时循环对所有网关上的摄像头数据进行采集,批量输入到视频识别服务器中,对所监控范围内所有摄像图像进行人脸识别、工作胸牌识别、上肢行为姿态识别,视频识别服务器定时将识别结果反馈给中央控制服务器,中央控制服务器对比历史数据,对于新出现的识别结果,将其提交给权限管理服务器,由权限管理服务器判定新出现识别的用户是否出现进入权限或行为权限越界问题,如判定用户进入其非授权区域,或者进行了未授权的操作,权限管理服务器将反馈警告信息,中央控制服务器将这些警告信息下发到本地控制主机中,操控报警设备进行报警,并通知实验管理人员进行核查,权限管理服务器具有行为预测能力,馈所有新识别行为的实验违规概率,中央控制主机根据实验管理人员针对不同角色组预设的违规概率进行比对,当某个人员的预测行为概率超过所在角色组的违规概率阈值,中央控制服务器将预测分析告知管理人员,提示其对潜在危险行为进行提前干预,不论是已经存在的违规行为,或者是潜在危险行为,中央控制服务器都会下发到本地控制主机,通过本地控制主机向所在区域的实验管理人员进行异常通知;
S4:注册人员离开实验室,用户离开实验区域,中央控制服务器将用户离开信息提交给视频识别服务器,识别服务器将用户从当前监控人员中撤销,不再识别该用户信息,正常注册用户只能通过规范通道进入实验区域,未通过正常通道进入实验区域的人员,即便是已授权人员,也会被识别为陌生人中央控制服务器将用户离开实验区域的信息反馈给权限管理服务器,权限管理服务器将汇总该用户进入到离开实验区域的信息,存储当次活动记录到数据库中,中央控制服务器将该用户离开实验区域的信息下发到所有相关网关的本地主控主机上,本地主控主机将操控所关联的硬件设备,实现开关门禁、关闭电灯、关闭空调、关闭办公计算机、实验设备安全检查工作,如发现设备未能及时关闭,则通知管理人员进行人工处理。
作为本发明的一种优选技术方案,所述权限配置为,根据该人员的工作情况,设定一个虚拟时空授权区域,所述虚拟时空授权区域为时间+空间+权限范围的数字记录。
作为本发明的一种优选技术方案,所述时间规定该人员进入该区域的时间属性,时间属性精确到分钟,所述空间规定该人员进入的实体空间属性,这个范围可以是多个实体空间范围的组合,所述权限范围规定了该人员的行为属性。
作为本发明的一种优选技术方案,所述步骤S3中异常通知可以是短信、微信或者特定移动设备,这些移动设备是关联在本地控制主机上,而非关联在中央控制主机上。
与现有技术相比,本发明的有益效果是:
1.本发明基于深度学习网络的实验室人员行为识别方法和系统,通过视频识别服务器、中央控制服务器和权限管理服务器相互连接,形成智能管理效果,并通过多网关与对应摄像头和本地控制主机连接,本地控制主机与多个设备连接,采用多层次、跨网络、模块化、开放式的架构,对于实验室进行全方面大数据监控,并智能控制区域内部的设备,管理协同人力资源,解决了以往实验室管理精细度低,缺乏行为监控与预判能力,适合于在流动人员大、角色权限管理复杂、管理人员资源有限等条件下的实验室中实现智能管理,提升整个实验室的智能管理水平。
2.本发明基于深度学习网络的实验室人员行为识别方法和系统,通过设有的虚拟时空授权区域,极大简化了中央管理权限模型的复杂度,能够与多角色组复杂行为权限管理提供必备的数据模型。
3.本发明基于深度学习网络的实验室人员行为识别方法和系统,利用实验操作的特定性,采集特定的操作图像,构建多个深度卷积神经网络分别识别人脸、工作证件胸牌、上肢姿态,再将结果输入到分类器中,实现在视频信号帧图像上标识人员身份信息编码与行为编码的功能。
4.本发明基于深度学习网络的实验室人员行为识别方法和系统,利用实验操作的特定性,通过行为编码、身份信息编码、时间编码、空间编码四个参数,提供了权限数据库对比与深度卷积神经网络预测两种方法,不仅能对其中行为授权提供授权判定编码,还能够提供未来违规行为的预判概率。
附图说明
图1为本发明的系统框图;
图2为本发明的虚拟时空授权区域算法流程图;
图3为本发明的视频识别服务器架构框图;
图4为本发明的权限管理服务器架构框图;
图5为本发明的实验室人员行为识别方法流程框图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,本发明提供了基于深度学习网络的实验室人员行为识别方法和系统的技术方案:
根据图1-5所示,所述实验室人员行为识别系统包括视频识别服务器、中央控制服务器、权限管理服务器、多个网关、多个本地控制主机、报警设备、门禁闸机、设备电源和多组摄像头,所述视频识别服务器和权限管理服务器与中央控制服务器信号连接,所述中央控制服务器关联多个网关信号连接,多个所述网关分别与对应的本地控制主机连接,多个所述网关分别连接有多组摄像头,所述本地控制主机分别连接有报警设备、门禁闸机和电源设备。
根据图3所示:所述视频识别服务器内部封装有人员身份与行为识别子系统,所述人员身份与行为识别子系统包括人脸识别网络、胸牌识别网络、上肢识别网络、AdaBoost分类器和帧图像预处理,所述帧图像预处理接收:对视频识别服务器接收的人脸图像进行预处理操作,所述人脸识别网络:将视频图像分成若干个重叠的区域,对每个子区域都训练一个卷积神经网络,并将多个网络的最后一个隐含层的特征进行融合,作为受限玻尔兹曼机的输入,通过反向传播算法进行整体联合优化,获得不同角度上的人脸特征最大峰值,所述胸牌识别网络:视频中检测胸牌上的特征图案(二维码),获得二维码对应信息后与人脸信息做加权计算,得到最终的人员识别结果,如未识别到二维码胸牌信息,则将该人脸作为“待认证”信息,再与权限管理服务器中的人脸库做对比,得到对应的人员身份认证信息,所述上肢识别网络:通过对人脸识别网络和胸牌识别网络作为辅助信息,建立一个全图片的卷积神经网络,视频帧图像中判定人员上肢信息,所述AdaBoost分类器:将上肢识别网络信息输入至AdaBoost分类器,判定到预设定的行为编码中,视频识别服务器中默认设置“进入、离开、读取仪表、操作设备、维修设备”上肢运动分类。
根据图1所示:所述中央服务器接收网关发送的网络数据包,并实时将多个网关传输的视频信息送入到视频识别服务器中,然后将识别结果实时传送给权限管理服务器,中央控制服务器通过读取视频识别服务器和权限管理服务器数据集合,再下达对应的指令相应的网关,所述网关建立本地控制主机、摄像头与中央服务器的连接桥梁,将本地控制主机和摄像头发送的数据转为网络数据包发送至中央处理器,所述本地控制主机控制本地的报警设备,门禁闸机和设备电源。
根据图4所示:所述权限管理服务器接收中央处理器发送的识别服务器结果,并通过视频中的人员身份编码、人员行为编码、摄像头视频流的时间信息、摄像头所在位置的物理信息,匹配当前权限数据库,得到当前该人员的权限判定编码,针对视频中的陌生人,权限管理服务器则将其信息单独归入陌生人警告数据集合,权限管理服务器定时刷新所监管区域内所有人员的注册人员权限判定编码集合与陌生人警告数据集合。
根据图5所示:所述基于深度学习网络的实验室人员行为识别方法包括以下步骤:
S1:实验人员注册,实验人员先通过本系统提交一个注册申请,注册申请中必须包含人员的身份照片与其它身份认证信息,用户提供的身份信息将被自动提交到中央控制服务器,中央控制服务器将汇总申请表,统一提交给管理人员,管理人员为每个用户配置其对应的角色组,这样角色组上所有的权限将自动赋给用户,一个用户可以在多个角色组中,子角色组将自动继承父角色组的权限配置,管理人员设置好这些内容,将授权审核反馈给中央控制服务器,中央控制服务器将授权信息提交到权限管理服务器上,权限管理服务器将根据批量导入的信息,重新计算权限管理数据库,同时中央控制服务器将用户身份信息与人脸信息提交给视频识别服务器,以更新视频识别人脸信息库,最终上述信息将由中央控制服务器将信息下发到本地控制主机上,完成实验人员的注册工作;
S2:进入实验室,已注册用户进入到实验室,每个网关上关联的视频摄像头将视频图像自动上传到中央控制服务器上,中央控制服务器将视频流传送给视频识别服务器进行实时识别,视频识别服务器将对人脸与工作证件进行双重识别,并将识别结果反馈给中央控制服务器,中央控制服务器根据识别结果,将已识别信息与时空信息提交给权限管理服务器做授权分析,权限管理服务器将该用户的授权分析结果反馈给中央控制服务器,中央控制服务器则通过网络将信息经由网关下发到本地控制主机上,本地控制主机根据下发的审核信息,对关联在该机器上的报警设备、门禁闸机和设备电源进行操控,让该用户进入到实验区域内,并将该用户进入时间做记录,同时将该用户的信息下发到所有授权进入的地点,其它地点的本地主控主机可启动关联操作,对其关联的设备进行控制;
S3:实验操作活动,实验人员进入到实验区域内,中央控制服务器定时循环对所有网关上的摄像头数据进行采集,批量输入到视频识别服务器中,对所监控范围内所有摄像图像进行人脸识别、工作胸牌识别、上肢行为姿态识别,视频识别服务器定时将识别结果反馈给中央控制服务器,中央控制服务器对比历史数据,对于新出现的识别结果,将其提交给权限管理服务器,由权限管理服务器判定新出现识别的用户是否出现进入权限或行为权限越界问题,如判定用户进入其非授权区域,或者进行了未授权的操作,权限管理服务器将反馈警告信息,中央控制服务器将这些警告信息下发到本地控制主机中,操控报警设备进行报警,并通知实验管理人员进行核查,权限管理服务器具有行为预测能力,馈所有新识别行为的实验违规概率,中央控制主机根据实验管理人员针对不同角色组预设的违规概率进行比对,当某个人员的预测行为概率超过所在角色组的违规概率阈值,中央控制服务器将预测分析告知管理人员,提示其对潜在危险行为进行提前干预,不论是已经存在的违规行为,或者是潜在危险行为,中央控制服务器都会下发到本地控制主机,通过本地控制主机向所在区域的实验管理人员进行异常通知;
S4:注册人员离开实验室,用户离开实验区域,中央控制服务器将用户离开信息提交给视频识别服务器,识别服务器将用户从当前监控人员中撤销,不再识别该用户信息,正常注册用户只能通过规范通道进入实验区域,未通过正常通道进入实验区域的人员,即便是已授权人员,也会被识别为陌生人中央控制服务器将用户离开实验区域的信息反馈给权限管理服务器,权限管理服务器将汇总该用户进入到离开实验区域的信息,存储当次活动记录到数据库中,中央控制服务器将该用户离开实验区域的信息下发到所有相关网关的本地主控主机上,本地主控主机将操控所关联的硬件设备,实现开关门禁、关闭电灯、关闭空调、关闭办公计算机、实验设备安全检查工作,如发现设备未能及时关闭,则通知管理人员进行人工处理。
根据图2和图5所示:所述权限配置为,根据该人员的工作情况,设定一个虚拟时空授权区域,所述虚拟时空授权区域为时间+空间+权限范围的数字记录,所述时间规定该人员进入该区域的时间属性,时间属性精确到分钟,所述空间规定该人员进入的实体空间属性,这个范围可以是多个实体空间范围的组合,所述权限范围规定了该人员的行为属性。
所述步骤S3中异常通知可以是短信、微信或者特定移动设备,这些移动设备是关联在本地控制主机上,而非关联在中央控制主机上。
具体使用时,本发明基于深度学习网络的实验室人员行为识别方法和系统,第一步:注册环节,实验人员先通过本系统提交一个注册申请,注册申请中必须包含人员的身份照片与其它身份认证信息,用户提供的身份信息将被自动提交到中央控制服务器,中央控制服务器将汇总申请表,统一提交给管理人员,管理人员为每个用户配置其对应的角色组,这样角色组上所有的权限将自动赋给用户,一个用户可以在多个角色组中,子角色组将自动继承父角色组的权限配置,管理人员设置好这些内容,将授权审核反馈给中央控制服务器,中央控制服务器将授权信息提交到权限管理服务器上,权限管理服务器将根据批量导入的信息,重新计算权限管理数据库,同时中央控制服务器将用户身份信息与人脸信息提交给视频识别服务器,以更新视频识别人脸信息库,最终上述信息将由中央控制服务器将信息下发到本地控制主机上,完成实验人员的注册工作;
第二步:进入实验区域,当已注册用户进入到实验区域,每个网关上关联的视频摄像头将视频图像自动上传到中央控制服务器上,中央控制服务器将视频流传送给视频识别服务器进行实时识别,视频识别服务器将对人脸与工作证件进行双重识别,并将识别结果反馈给中央控制服务器,中央控制服务器根据识别结果,将已识别信息与时空信息提交给权限管理服务器做授权分析,权限管理服务器将该用户的授权分析结果反馈给中央控制服务器,中央控制服务器则通过网络将信息经由网关下发到本地控制主机上,本地控制主机根据下发的审核信息,对关联在该机器上的特定设备,如闸机、门禁等进行操控,让该用户进入到实验区域内,并将该用户进入时间做记录,本系统是一个全局管理系统,所以中央控制服务器不仅仅将用户授权下发到门禁相关的本地控制主机上,还可以将该用户的信息下发到所有授权进入的地点,这样其它地点的本地主控主机可启动关联操作,对其关联的设备进行控制,比如开启设备电源、远程启动办公电脑、开启电灯与空调等,这样当实验人员进入实验楼层,步行到其实验室之间,其办公室的电灯、电脑、空调等都能够智能开启;
第三步:实验操作过程实事监控,当实验人员进入到实验区域内,其所有的操作都在中央控制服务器的全程管理中,中央控制服务器定时循环,对所有网关上的摄像头数据进行采集,批量输入到视频识别服务器中,对所监控范围内所有摄像图像进行人脸识别、工作胸牌识别、上肢行为姿态识别,这视频识别服务器定时将识别结果反馈给中央控制服务器,中央控制服务器对比历史数据,对于新出现的识别结果,将其提交给权限管理服务器,由权限管理服务器判定新出现识别的用户是否出现进入权限或行为权限越界问题,如判定用户进入其非授权区域,或者进行了未授权的操作,权限管理服务器将反馈警告信息,中央控制服务器将这些警告信息下发到本地控制主机中,操控报警设备进行报警,并通知实验管理人员进行核查,而且,权限管理服务器具有行为预测能力,其还会反馈所有新识别行为的实验违规概率,中央控制主机根据实验管理人员针对不同角色组预设的违规概率进行比对,当某个人员的预测行为概率超过所在角色组的违规概率阈值,中央控制服务器将预测分析告知管理人员,提示其对潜在危险行为进行提前干预,不论是已经存在的违规行为,或者是潜在危险行为,中央控制服务器都会下发到本地控制主机,通过本地控制主机向所在区域的实验管理人员进行异常通知,这种通知可以是短信、微信或者特定移动设备,这些移动设备是关联在本地控制主机上,而非关联在中央控制主机上;
第四步:离开实验区域,当用户离开实验区域,中央控制服务器将用户离开信息提交给视频识别服务器,识别服务器将用户从当前监控人员中撤销,不再识别该用户信息,这样可以确保正常注册用户只能通过规范通道进入实验区域,未通过正常通道进入实验区域的人员,即便是已授权人员,也会被识别为“陌生人”,中央控制服务器将用户离开实验区域的信息反馈给权限管理服务器,权限管理服务器将汇总该用户进入到离开实验区域的信息,存储当次活动记录到数据库中,中央控制服务器将该用户离开实验区域的信息下发到所有相关网关的本地主控主机上,本地主控主机将操控所关联的硬件设备,实现开关门禁、关闭电灯、关闭空调、关闭办公计算机、实验设备安全检查等工作,如发现设备未能及时关闭,则通知管理人员进行人工处理。
在本发明的描述中,需要理解的是,为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明中,除非另有明确的规定和限定,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.基于深度学习网络的实验室人员行为识别系统,其特征在于,所述实验室人员行为识别系统包括视频识别服务器、中央控制服务器、权限管理服务器、多个网关、多个本地控制主机、报警设备、门禁闸机、设备电源和多组摄像头,所述视频识别服务器和权限管理服务器与中央控制服务器信号连接,所述中央控制服务器关联多个网关信号连接,多个所述网关分别与对应的本地控制主机连接,多个所述网关分别连接有多组摄像头,所述本地控制主机分别连接有报警设备、门禁闸机和电源设备。
2.根据权利要求1所述的基于深度学习网络的实验室人员行为识别系统,其特征在于:所述视频识别服务器内部封装有人员身份与行为识别子系统,所述人员身份与行为识别子系统包括人脸识别网络、胸牌识别网络、上肢识别网络、AdaBoost分类器和帧图像预处理;
所述帧图像预处理接收:对视频识别服务器接收的人脸图像进行预处理操作;
所述人脸识别网络:将视频图像分成若干个重叠的区域,对每个子区域都训练一个卷积神经网络,并将多个网络的最后一个隐含层的特征进行融合,作为受限玻尔兹曼机的输入,通过反向传播算法进行整体联合优化,获得不同角度上的人脸特征最大峰值;
所述胸牌识别网络:视频中检测胸牌上的特征图案(二维码),获得二维码对应信息后与人脸信息做加权计算,得到最终的人员识别结果,如未识别到二维码胸牌信息,则将该人脸作为“待认证”信息,再与权限管理服务器中的人脸库做对比,得到对应的人员身份认证信息;
所述上肢识别网络:通过对人脸识别网络和胸牌识别网络作为辅助信息,建立一个全图片的卷积神经网络,视频帧图像中判定人员上肢信息;
所述AdaBoost分类器:将上肢识别网络信息输入至AdaBoost分类器,判定到预设定的行为编码中,视频识别服务器中默认设置“进入、离开、读取仪表、操作设备、维修设备”上肢运动分类。
3.根据权利要求1所述的基于深度学习网络的实验室人员行为识别方法和系统,其特征在于:所述中央服务器接收网关发送的网络数据包,并实时将多个网关传输的视频信息送入到视频识别服务器中,然后将识别结果实时传送给权限管理服务器,中央控制服务器通过读取视频识别服务器和权限管理服务器数据集合,再下达对应的指令相应的网关。
4.根据权利要求1所述的基于深度学习网络的实验室人员行为识别系统,其特征在于:所述权限管理服务器接收中央处理器发送的识别服务器结果,并通过视频中的人员身份编码、人员行为编码、摄像头视频流的时间信息、摄像头所在位置的物理信息,匹配当前权限数据库,得到当前该人员的权限判定编码,针对视频中的陌生人,权限管理服务器则将其信息单独归入陌生人警告数据集合,权限管理服务器定时刷新所监管区域内所有人员的注册人员权限判定编码集合与陌生人警告数据集合。
5.根据权利要求1所述的基于深度学习网络的实验室人员行为识别系统,其特征在于:所述网关建立本地控制主机、摄像头与中央服务器的连接桥梁,将本地控制主机和摄像头发送的数据转为网络数据包发送至中央处理器。
6.根据权利要求1所述的基于深度学习网络的实验室人员行为识别系统,其特征在于:所述本地控制主机控制本地的报警设备,门禁闸机和设备电源。
7.基于深度学习网络的实验室人员行为识别方法,其特征在于,根据权利要求1-6任意一项所述的基于深度学习网络的实验室人员行为识别系统,包括以下步骤:
S1:实验人员注册,实验人员先通过本系统提交一个注册申请,注册申请中必须包含人员的身份照片与其它身份认证信息,用户提供的身份信息将被自动提交到中央控制服务器,中央控制服务器将汇总申请表,统一提交给管理人员,管理人员为每个用户配置其对应的角色组,这样角色组上所有的权限将自动赋给用户,一个用户可以在多个角色组中,子角色组将自动继承父角色组的权限配置,管理人员设置好这些内容,将授权审核反馈给中央控制服务器,中央控制服务器将授权信息提交到权限管理服务器上,权限管理服务器将根据批量导入的信息,重新计算权限管理数据库,同时中央控制服务器将用户身份信息与人脸信息提交给视频识别服务器,以更新视频识别人脸信息库,最终上述信息将由中央控制服务器将信息下发到本地控制主机上,完成实验人员的注册工作;
S2:进入实验室,已注册用户进入到实验室,每个网关上关联的视频摄像头将视频图像自动上传到中央控制服务器上,中央控制服务器将视频流传送给视频识别服务器进行实时识别,视频识别服务器将对人脸与工作证件进行双重识别,并将识别结果反馈给中央控制服务器,中央控制服务器根据识别结果,将已识别信息与时空信息提交给权限管理服务器做授权分析,权限管理服务器将该用户的授权分析结果反馈给中央控制服务器,中央控制服务器则通过网络将信息经由网关下发到本地控制主机上,本地控制主机根据下发的审核信息,对关联在该机器上的报警设备、门禁闸机和设备电源进行操控,让该用户进入到实验区域内,并将该用户进入时间做记录,同时将该用户的信息下发到所有授权进入的地点,其它地点的本地主控主机可启动关联操作,对其关联的设备进行控制;
S3:实验操作活动,实验人员进入到实验区域内,中央控制服务器定时循环对所有网关上的摄像头数据进行采集,批量输入到视频识别服务器中,对所监控范围内所有摄像图像进行人脸识别、工作胸牌识别、上肢行为姿态识别,视频识别服务器定时将识别结果反馈给中央控制服务器,中央控制服务器对比历史数据,对于新出现的识别结果,将其提交给权限管理服务器,由权限管理服务器判定新出现识别的用户是否出现进入权限或行为权限越界问题,如判定用户进入其非授权区域,或者进行了未授权的操作,权限管理服务器将反馈警告信息,中央控制服务器将这些警告信息下发到本地控制主机中,操控报警设备进行报警,并通知实验管理人员进行核查,权限管理服务器具有行为预测能力,馈所有新识别行为的实验违规概率,中央控制主机根据实验管理人员针对不同角色组预设的违规概率进行比对,当某个人员的预测行为概率超过所在角色组的违规概率阈值,中央控制服务器将预测分析告知管理人员,提示其对潜在危险行为进行提前干预,不论是已经存在的违规行为,或者是潜在危险行为,中央控制服务器都会下发到本地控制主机,通过本地控制主机向所在区域的实验管理人员进行异常通知;
S4:注册人员离开实验室,用户离开实验区域,中央控制服务器将用户离开信息提交给视频识别服务器,识别服务器将用户从当前监控人员中撤销,不再识别该用户信息,正常注册用户只能通过规范通道进入实验区域,未通过正常通道进入实验区域的人员,即便是已授权人员,也会被识别为陌生人中央控制服务器将用户离开实验区域的信息反馈给权限管理服务器,权限管理服务器将汇总该用户进入到离开实验区域的信息,存储当次活动记录到数据库中,中央控制服务器将该用户离开实验区域的信息下发到所有相关网关的本地主控主机上,本地主控主机将操控所关联的硬件设备,实现开关门禁、关闭电灯、关闭空调、关闭办公计算机、实验设备安全检查工作,如发现设备未能及时关闭,则通知管理人员进行人工处理。
8.根据权利要求6所述的基于深度学习网络的实验室人员行为识别方法,其特征在于:所述权限配置为,根据该人员的工作情况,设定一个虚拟时空授权区域,所述虚拟时空授权区域为时间+空间+权限范围的数字记录。
9.根据权利要求7所述的基于深度学习网络的实验室人员行为识别方法,其特征在于:所述时间规定该人员进入该区域的时间属性,时间属性精确到分钟,所述空间规定该人员进入的实体空间属性,这个范围可以是多个实体空间范围的组合,所述权限范围规定了该人员的行为属性。
10.根据权利要求6所述的基于深度学习网络的实验室人员行为识别方法,其特征在于:所述步骤S3中异常通知可以是短信、微信或者特定移动设备,这些移动设备是关联在本地控制主机上,而非关联在中央控制主机上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110498713.5A CN113223221A (zh) | 2021-05-08 | 2021-05-08 | 基于深度学习网络的实验室人员行为识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110498713.5A CN113223221A (zh) | 2021-05-08 | 2021-05-08 | 基于深度学习网络的实验室人员行为识别方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113223221A true CN113223221A (zh) | 2021-08-06 |
Family
ID=77091780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110498713.5A Pending CN113223221A (zh) | 2021-05-08 | 2021-05-08 | 基于深度学习网络的实验室人员行为识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113223221A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593326A (zh) * | 2021-08-09 | 2021-11-02 | 江西工程学院 | 一种英语发音教学装置和方法 |
CN113917961A (zh) * | 2021-09-22 | 2022-01-11 | 广西壮族自治区海洋环境监测中心站 | 一种智慧实验室管理系统及方法 |
CN113993083A (zh) * | 2021-09-09 | 2022-01-28 | 中用科技有限公司 | 一种区域人员管理系统及方法 |
CN114070654A (zh) * | 2022-01-17 | 2022-02-18 | 睿至科技集团有限公司 | 一种基于大数据的安全管控方法及其系统 |
CN114360125A (zh) * | 2021-11-26 | 2022-04-15 | 合肥金人科技有限公司 | 一种无感人员智能化管理系统和方法 |
CN114527705A (zh) * | 2022-02-17 | 2022-05-24 | 河南省奥瑞环保科技股份有限公司 | 一种仪器仪表节能控制管理系统 |
CN114694288A (zh) * | 2022-03-30 | 2022-07-01 | 北京豪尔赛智慧城域科技有限公司 | 一种门禁安全管理系统和方法 |
CN114882974A (zh) * | 2022-05-27 | 2022-08-09 | 江苏智慧智能软件科技有限公司 | 一种心理诊断数据库访问人工智能验证系统及方法 |
CN115410304A (zh) * | 2022-08-26 | 2022-11-29 | 山东大佳机械有限公司 | 基于自学习的鸡舍养殖安全防控方法及系统 |
CN115798096A (zh) * | 2022-12-09 | 2023-03-14 | 中南水务工程有限公司 | 一种多功能人证核验方法及系统 |
CN116776304A (zh) * | 2023-05-10 | 2023-09-19 | 山东鼎夏智能科技有限公司 | 一种数据监测方法以及系统 |
CN117270444A (zh) * | 2023-10-26 | 2023-12-22 | 深圳瑞捷工程咨询股份有限公司 | 一种设备的安全管理系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106384285A (zh) * | 2016-09-14 | 2017-02-08 | 浙江维融电子科技股份有限公司 | 一种智能无人银行系统 |
CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
CN109495727A (zh) * | 2019-01-04 | 2019-03-19 | 京东方科技集团股份有限公司 | 智能监控方法及装置、系统、可读存储介质 |
CN112001284A (zh) * | 2020-08-14 | 2020-11-27 | 中建海峡建设发展有限公司 | 基于人工智能的劳务实名制管理系统 |
CN112651642A (zh) * | 2020-12-29 | 2021-04-13 | 中水三立(北京)技术服务有限公司 | 一种基于多设备感知的水利工程现场人员安全管理系统 |
-
2021
- 2021-05-08 CN CN202110498713.5A patent/CN113223221A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106384285A (zh) * | 2016-09-14 | 2017-02-08 | 浙江维融电子科技股份有限公司 | 一种智能无人银行系统 |
CN106454250A (zh) * | 2016-11-02 | 2017-02-22 | 北京弘恒科技有限公司 | 智能识别及预警处理的信息平台 |
CN109495727A (zh) * | 2019-01-04 | 2019-03-19 | 京东方科技集团股份有限公司 | 智能监控方法及装置、系统、可读存储介质 |
CN112001284A (zh) * | 2020-08-14 | 2020-11-27 | 中建海峡建设发展有限公司 | 基于人工智能的劳务实名制管理系统 |
CN112651642A (zh) * | 2020-12-29 | 2021-04-13 | 中水三立(北京)技术服务有限公司 | 一种基于多设备感知的水利工程现场人员安全管理系统 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593326A (zh) * | 2021-08-09 | 2021-11-02 | 江西工程学院 | 一种英语发音教学装置和方法 |
CN113993083A (zh) * | 2021-09-09 | 2022-01-28 | 中用科技有限公司 | 一种区域人员管理系统及方法 |
CN113917961A (zh) * | 2021-09-22 | 2022-01-11 | 广西壮族自治区海洋环境监测中心站 | 一种智慧实验室管理系统及方法 |
CN114360125A (zh) * | 2021-11-26 | 2022-04-15 | 合肥金人科技有限公司 | 一种无感人员智能化管理系统和方法 |
CN114070654A (zh) * | 2022-01-17 | 2022-02-18 | 睿至科技集团有限公司 | 一种基于大数据的安全管控方法及其系统 |
CN114070654B (zh) * | 2022-01-17 | 2022-04-08 | 睿至科技集团有限公司 | 一种基于大数据的安全管控方法及其系统 |
CN114527705A (zh) * | 2022-02-17 | 2022-05-24 | 河南省奥瑞环保科技股份有限公司 | 一种仪器仪表节能控制管理系统 |
CN114694288A (zh) * | 2022-03-30 | 2022-07-01 | 北京豪尔赛智慧城域科技有限公司 | 一种门禁安全管理系统和方法 |
CN114882974A (zh) * | 2022-05-27 | 2022-08-09 | 江苏智慧智能软件科技有限公司 | 一种心理诊断数据库访问人工智能验证系统及方法 |
CN115410304A (zh) * | 2022-08-26 | 2022-11-29 | 山东大佳机械有限公司 | 基于自学习的鸡舍养殖安全防控方法及系统 |
CN115798096A (zh) * | 2022-12-09 | 2023-03-14 | 中南水务工程有限公司 | 一种多功能人证核验方法及系统 |
CN116776304A (zh) * | 2023-05-10 | 2023-09-19 | 山东鼎夏智能科技有限公司 | 一种数据监测方法以及系统 |
CN116776304B (zh) * | 2023-05-10 | 2024-02-20 | 山东鼎夏智能科技有限公司 | 一种数据监测方法以及系统 |
CN117270444A (zh) * | 2023-10-26 | 2023-12-22 | 深圳瑞捷工程咨询股份有限公司 | 一种设备的安全管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113223221A (zh) | 基于深度学习网络的实验室人员行为识别方法和系统 | |
US11595479B2 (en) | Web-cloud hosted unified physical security system | |
CN109980781B (zh) | 一种变电站智能监控系统 | |
WO2022121059A1 (zh) | 一种基于5g物联网及ai智能门禁综合管理系统 | |
US20210287469A1 (en) | System and method for provisioning a facial recognition-based system for controlling access to a building | |
CN112233300A (zh) | 一种基于人工智能的社区通行防疫监控联防系统及其方法 | |
US11727518B2 (en) | Systems and methods for location fencing within a controlled environment | |
CN110852148B (zh) | 一种基于目标追踪的访客目的地核验方法及系统 | |
WO2023173785A1 (zh) | 准入权限的验证方法、装置、系统和身份认证终端 | |
CN208351570U (zh) | 访客验证管理系统 | |
CN113345145A (zh) | 一种基于多重认证的二道门智能化管理系统 | |
CN111800617A (zh) | 一种基于物联网的智能安防系统 | |
CN110244574A (zh) | 智能家居控制方法、装置、系统和存储介质 | |
Akanbi et al. | A prototype model of an iot-based door system using double-access fingerprint technique | |
Ravishankar et al. | Sensor integration and facial recognition deployment in a smart home system | |
CN208314959U (zh) | 一种智能安防系统 | |
CN110751766A (zh) | 一种出入口门禁管理系统及方法 | |
CN206672171U (zh) | 一种具有预警功能的流动人口管理系统 | |
Uddin et al. | Smart home security using facial authentication and mobile application | |
CN116308955A (zh) | 一种基于ai人工智能进行康养管理的智慧社区 | |
Masykuroh et al. | Prototype smart door lock by using wireless network based on arduino uno | |
CN115862196A (zh) | 一种基于智能锁的身份核验方法、装置及智能锁 | |
CN109816840A (zh) | 基于人工智能与机器视觉的智能小区安保系统 | |
Jiang et al. | Development of personnel epidemic prevention monitoring access control system | |
CN113129497A (zh) | 一种数据中心机房智能门禁系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |