CN115966313B - 基于人脸识别的一体化管理平台 - Google Patents

Abstract

本发明公开了基于人脸识别的一体化管理平台，包括管理调度中心、视频智能分析中台、人像库管理中心、系统管理配置模块和视频资源融合平台；管理调度中心用于统一管理医院系统门户，展示事件信息和人员轨迹信息，并对资源进行管理和调度；视频智能分析中台抓拍人脸图像进行轨迹分析，实时显示人员的轨迹位置并预测其活动轨迹，同时获取与人员同行的人员信息；视频资源融合平台用于对所有视频设备进行统一整合管理，对各个区域进行实时监控。本发明将医院智能调度、人员管控等系统进行无缝对接，实现数据互通共享，提升了医院管理效率。

Description

基于人脸识别的一体化管理平台

技术领域

本发明涉及公共防控技术领域，尤其涉及基于人脸识别的一体化管理平台。

背景技术

流行性传染病具有高度传染性，其能够通过呼吸道以密切接触等途径快速传播，一旦扩散、爆发形从区域性感染，则所涉及的传染居民数量巨大。

按照医院管理需求，医院的安防监控防护部位主要以人员流动性大的区域为主。不同的监控区域部位，其防范的目的也有所差异。比如，候诊大厅监控主要用来防范医患纠纷及盗窃，挂号收费处监控主要防范服务及钱款纠纷，外围监控主要防范外部人员非法入侵。目前的软件平台，不能将医院管理管理与智能调度、人员管控等系统进行有效的对接，各个系统之间数据通用性差。同时，现有的软件平台不能实现对人员的识别跟踪监控、轨迹预测和智能行为预警，缺乏对医院各个监控区域信息的可视化展现，不方便对于医院全局资源的统一管理配置。

发明内容

本发明的目的在于克服现有技术的不足，提供基于人脸识别的一体化管理平台，通过人脸识别技术对进出医院区域内的人员进行人脸图像采集，并对人员进行轨迹跟踪监管和轨迹预测，同时通过可视化的技术手段，以2.5D /3D GIS地图为基础，将医院做2.5D/3D承现，联动平台的各个系统，将管理与智能调度、人员管控、智能安防等系统进行了无缝对接，实现对人员、部件设施的定位轨迹、视频监控以及其他运行情况实时显示，以及全局资源的可视化展示、智能预警、统一管理和调度。

本发明的目的是通过以下技术方案来实现的：

基于人脸识别的一体化管理平台，包括管理调度中心、视频智能分析中台、人像库管理中心、系统管理配置模块和视频资源融合平台；管理调度中心用于统一管理医院系统门户，以GIS地图为基础展示医院监控区域的事件信息和人员轨迹信息，并对全局资源进行统一管理和调度；视频智能分析中台用于抓拍人脸图像进行轨迹分析，实时显示人员的轨迹位置并预测其活动轨迹，同时获取与人员同行的人员信息，与管理调度中心联动进行人员数据分析；人像库管理中心用于接入HIS医疗信息系统数据并进行结构化处理形成标准数据库同步至第三方平台；系统管理配置模块用于接收用户的配置请求设置阈值，并将配置信息存储于数据库；视频资源融合平台用于对医院所有视频设备进行统一整合管理，对医院各个区域进行实时监控。

具体的，所述管理调度中心包括刷脸认证模块、区域门禁模块、监控调度中心和门户管理模块；刷脸认证模块用于医护人员登录系统时进行刷脸身份认证；区域门禁模块用于对区域的人员流动情况进行监管和出入控制；门户管理模块用于对医院业务应用系统和管理类系统进行统一管理；监控调度中心用于以3D GIS地图为基础展示医院监控区域的事件信息和人员轨迹信息，并对全局资源进行统一管理和调度。

具体的，所述监控调度中心包括展示单元、视频单元和看板单元；展示单元采用GIS与大数据分析结合，通过3D GIS地图展示医院各设备位置、安保人员分布情况、医院热力图情况和医院人流趋势，并根据预设的事件类型及等级统计历史与今日突发事件；

视频单元用于接入并显示实时监控视频；看板单元用于动态加载并展示当日待处理的突发事件列表，并通过GIS地图展示告警事件轨迹，同时展示该告警事件中涉及的设备视频信息。

具体的，所述视频智能分析中台包括人员轨迹监管模块、以图搜图模块、同行人监控模块、视频接入模块和统计分析模块；其中，

人员轨迹监管模块利用摄像头对区域内经过的人脸图像进行实时抓拍形成人脸抓拍库，结合GIS信息在电子地图上还原显示抓拍人员行走轨迹并进行跟踪监管和轨迹预测；

以图搜图模块根据上传的人脸特征或人脸图片在人脸抓拍库中进行人脸特征搜索或人员图片检索；

同行人监控模块根据数据库或黑名单中设置的人员信息进行人脸抓拍和轨迹监测告警，并分析获取与该人员在同一时间地点出现的同行人员人脸图片信息；

视频接入模块用于接入所有监控设备采集的监控视频并视频查看回放和编辑；

统计分析模块根据历史数据资料、告警事件的分类统计和区域人员流量信息，分析展示告警事件、区域人员流量和时间之间的相互关系、变化规律和发展趋势。

具体的，所述人员轨迹监管模块具体包括人员轨迹跟踪单元和行人轨迹预测单元；人员轨迹单元利用高清摄像头对监控区域内经过的人员自动抓拍人脸图像，并记录对应的结构化数据形成人脸抓拍库，结合GIS信息同时在电子地图上显示人员轨迹以及高清摄像头拍到的疑似目标人员图片，并可关联录像进行播放；行人轨迹预测单元先采集行人特征、区域环境特征和行人行走方向建立高匹配的预测机制，利用预测机制和人员轨迹预测人员轨迹路线。

具体的，所述预测机制的建立过程具体包括以下步骤；

S101，行人特征提取，先将行人轨迹绘制成矩阵图，然后利用图卷积神经网络对矩阵图进行处理，得到行人轨迹特征图，在空间特征图的基础上扩展时间轴，将多幅行人轨迹特征图进行时间维度连接，得到同一行人在两个时间段之间的时间特征图，并将时间特征图与空间特征图组合成时空图卷积神经网络；

S102，区域特征提取，根据监控区域内的障碍物信息构建区域特征点，并对区域特征点进行加权处理获得区域特征图，然后将区域特征图添加到时空图卷积神经网络中；

S103，行人轨迹预测，将当前时间段的行人轨迹信息输入时空图卷积神经网络进行因果卷积处理，预测出下一时间段的行人轨迹，并记录行人轨迹的时间信息。

具体的，所述以图搜图模块具体包括人脸特征搜索单元和人脸图片检索单元；人脸特征搜索单元根据用户输入的文本信息、时间地点和结构化信息在人脸抓拍库中进行人脸特征搜索，并按照特征相似度从高到低的方式对人脸特征搜索结果中的人脸图片进行排序展示；人脸图片搜索单元根据用户选择或上传的待搜索人脸图片在人脸抓拍库中搜索超过预设相似度的人脸图片，并按照特征相似度从高到低的方式对人脸图片搜索结果进行排序展示。

具体的，所述同行人监控模块包括同行人搜索单元和人员单元；同行人搜索单元用于根据数据库或黑名单中设置的人员信息抓拍某时间段内某监控设备区域内经过行人的人脸图片并进行人脸特征搜索比对，若抓拍的人脸图片为人员则分析搜索获取与该人员在同一时间段和同一区域内出现的同行人人脸图片信息；人员单元用于将需要人员信息添加至数据库，并对设置时间、地点、等级和相识度报警阈值，对人员进行监控、人脸比对报警和轨迹监测追踪。

具体的，所述视频资源融合平台包括资源后台管理子系统和PC客户端，资源后台管理子系统用于对资源服务端、客户端、监控设备和系统设置进行资源融合和应用配置管理；PC客户端用于对院区实时情况进行实时监控；

所述资源后台管理子系统包括资源服务端管理模块、客户端管理模块、系统设置模块、设备管理模块、运营管理模块、资讯管理模块、运维管理模块、版本更新模块和智能应用配置模块；其中，

资源服务端管理模块用于对资源服务服务端的基础信息、用户信息、菜单、岗位、角色和权限进行配置；

客户端管理模块用于查询客户端的权限基础信息，并对客户端的角色和角色权限进行配置；

系统设置模块用于定义视频告警等级、上报顺序和广播优先级规则，以及对业务树、数据存储和系统参数进行配置；

设备管理模块用于对监控设备、综治设备、音柱设备、NVR设备、解码器、服务器和拼接屏进行综合配置，并将各个设备进行关联，实现设备联动和设备共享；

智能应用配置模块用于根据监控视频数据对监控区域内的人员和车辆行为，以及区域内的物品遗留信息进行识别判断，并对符合报警触发条件的行为进行智能报警。

具体的，所述智能应用配置模块具体包括区域入侵检测单元：在选定视频通道中按实际需要绘制警戒区域，并检测物体的进入区域、离开区域和往返区域，以及检测在指定的时间内，警戒区域内是否出现设定数量的目标物体若有则产生智能报警；区域内检测的目标物体包括人和车辆；

绊线入侵检测单元：在选定视频通道中按实际需要绘制警戒线，设定穿越的方向，根据所绘制的警戒线及设定的穿越方向判定目标穿越警戒线时是否产生绊线入侵，若有则进行智能报警；穿越的物体类型包括人和车辆，触发报警的位置包括警戒线中心、左端中心、顶端中心、右端中心和底端中心；

物品遗留检测单元：在选定视频通道中按实际需要绘制遗留检测区域，对遗留检测区域内的遗留物品进行检测，当有遗留物品超过设定时间时触发报警；同时，当检测区域中有物品被搬移超过设定时间时触发报警；

物品保全单元：对不允许移动的固定目标设置物品保全规则，在选定视频通道中绘制保全区域，当被固定目标离开检测区域的持续时间达到设定的时间时产生智能报警；

快速移动检测单元：在选定视频通道中按实际需要绘制移动检测区域，检测目标物体是否在该区域内有快速移动行为；并设定物体移动的最短持续时间，用于防止运动轨迹的突变；检测的目标物体包括人和车辆；

徘徊检测单元：在选定视频通道中按实际需要绘制一个徘徊检测区域，当有运动目标在徘徊检测区域内的存在时间超过了设定的最短持续时间时，触发智能报警；运动目标触发一次报警后，若其在报警间隔时间内还位于徘徊检测区域内，则会再次触发智能报警；支持检测的目标物体包括人和车辆；

非法停车检测单元：在选定视频通道中按实际需要绘制一个停车检测区域，当有车辆静止在停车检测区域内的时间超过设置的最短持续时间，则产生智能报警，并可以设置目标大小过滤器；

穿越围栏检测单元：在选定视频通道中绘制两条线作为上下围栏，并选定穿越的方向，根据所绘制的区域及选择的穿越方向判定目标穿越围栏时是否产生智能报警，若目标沿着选定的方向穿越围栏，则触发智能报警。

本发明的有益效果：

1.本发明以3D GIS地图为基础，将医院各个监控区域做3D承现，联动其他系统，掌控人员、部件设施的定位轨迹、视频监控以及其他运行情况；抓取人群轨迹进行数据分析，实现全局资源的可视化展示、智能预警、统一管理和调度；

2.本发明可根据当前人员轨迹和区域环境特征进行轨迹预测，适用于高度非线性和复杂的行人流场景，解决了传统的预测方法忽视时间和空间上的依赖问题；

3.本发明可以根据用户提供的待搜索人员特征信息和人脸图像分别进行人脸特征搜索和人员图片检索，并能提取抓拍人脸图像及待检索人脸图像的深度特征，构建人脸图像的深度特征向量描述进行检索；

4.本发明为了进一步提高检索性能，采用查询扩展方法将初始检索结果列表中排序前N个人脸图像的深度特征向量描述符与待检索人脸图像的深度特征向量描述符进行均值融合后再次执行检索，显著提高了待搜索人员的搜索效率；

5.本发明系统集人脸实时抓拍、可疑人员预警、人员精准搜索、身份信息核验、人员轨迹追踪为一体，可以对区域内出入人员进行实时抓拍与预警，还能追踪与目标人员在同一时间和同一地点出现过的同行人员相关信息，并进行轨迹跟踪监测告警；

6.本发明的系统可支持对医院院区等公开区域内所有视频设备进行统一的整合管理，确保前端视频设备能够得到充分利用，有效利用，减少重复投资。可实现资源服务端管理、客户端管理、系统设置、设备管理、运营管理、资讯管理、运维管理、版本更新、智能应用配置等功能。

附图说明

图1是本发明的平台架构图；

图2是刷脸认证流程图；

图3是人员轨迹监管流程图；

图4是人脸搜索流程图。

具体实施方式

为了对本发明的技术特征、目的和有益效果有更加清楚的理解，现对本发明的技术方案精选以下详细说明。显然，所描述的实施案例是本发明一部分实施例，而不是全部实施例，不能理解为对本发明可实施范围的限定。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他所有实施例，都属于本发明的保护范围。

本实施例中，如图1所示，基于人脸识别的一体化管理平台，包括管理调度中心、视频智能分析中台、人像库管理中心、系统管理配置模块和视频资源融合平台；管理调度中心用于统一管理医院系统门户，以GIS地图为基础展示医院监控区域的事件信息和人员轨迹信息，并对全局资源进行统一管理和调度；视频智能分析中台用于抓拍人脸图像进行轨迹分析，实时显示人员的轨迹位置并预测其活动轨迹，同时获取与人员同行的人员信息，与管理调度中心联动进行人员数据分析；人像库管理中心用于接入HIS医疗信息系统数据并进行结构化处理形成标准数据库并同步至第三方平台；系统管理配置模块用于接收用户的配置请求设置阈值，并将配置信息存储于数据库；视频资源融合平台用于对医院所有视频设备进行统一整合管理，对医院各个区域进行实时监控。

其中，管理调度中心由展示区、视频区、看板区组成，对院区的工作进行综合展示，方便领导进行指挥调度，实现智慧决策。展示区基于GIS和2.5D地图的基础之上，展示事件信息、人员轨迹等基本信息。

监控调度中心是智能监控的核心模块，其通过可视化的技术手段，以2.5D GIS地图为基础，将医院做2.5D承现，联动其他系统，掌控人员、部件设施的定位轨迹、视频监控以及其他运行情况；抓取人群轨迹、数据分析的核心内容。实现全局资源的可视化展示、智能预警、统一管理和调度。管理调度中心功能的详细设计过程如下：

1.1统一门户。对现有的医院信息系统(Hospital Information System,HIS)、医学影像存档与通讯系统（picture archiving and communication systems,PACS)、放射学信息系统(Radiology Information System, RIS)、实验室信息系统（LaboratoryInformation System, LIS）、临床信息系统（Clinical Information System, CIS）等B/S架构的业务应用系统和办公自动化系统（OA）、财务处理系统、薪酬管理系统、停车管理系统、视频融合平台等B/S架构的管理类系统进行梳理，建设一套统一门户系统，实现对各业务应用系统和管理类系统的统一管理。

用户通过统一门户系统能体会到数据带来的好处。统一门户系统可以提高用户的效率，即因忘记多个系统的登录地址而求助于系统运维人员的情况会减少。统一门户系统也可以解决医院内部业务系统和管理系统多，登录混乱的问题。

统一门户系统以支持业务管理为首要目的，能够解决业务管理中的主要业务问题，加快机构内部信息流通，提高工作效率。因此，设计的定位不仅仅是一个门户系统，同时还要将与业务管理相关的系统集成在一起，进一步满足当前业务的需要，适应新的业务要求。

医院业务系统刷脸登录。在医院的条件允许且相关基础设施建设完善的情况下，可实现医护人员刷脸认证系统。包含但不限于医院信息系统(Hospital InformationSystem,HIS)、医学影像存档与通讯系统（picturearchiving and communicationsystems,PACS)、放射学信息系统(Radiology Information System, RIS)、实验室信息系统（Laboratory Information System, LIS）、临床信息系统（Clinical InformationSystem, CIS）等B/S架构的业务应用系统及财务处理系统、薪酬管理系统等B/S架构的管理类系统进行操作的医生、护士及医院管理人员，可实现相关使用人员在登陆系统时的身份认证，各经办人在医嘱、病程记录、检验、存档等流程实现签名和时间确认。如图2所示，刷脸身份认证过程包括：医护人员登录系统，先进行登录验证，登录验证通过后，利用刷脸设备进行活体检测，采集人脸图像信息进行人脸比对，人脸比对通过后登录医院业务应用系统或管理类系统。

本实施例中，区域门禁模块所采用的人脸识别技术，是基于人的脸部特征信息进行身份识别的一种高安全生物识别技术。用高清摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的特征提取、匹配、分析。成功的解决了卡片遗失、卡片被盗用、卡片失效等多种问题，大大提高了系统的实用性。

区域门禁模块还可以应用在内部员工的办公区域，采取人脸识别门禁认证，取代传统的刷卡门禁，提高便捷性和通行效率。同时加强对进出信息的记录，为事件溯源提供数据支撑。

监控调度中心是智能监控的核心模块，其通过可视化的技术手段，以3D GIS地图为基础，将医院做3D承现，联动其他系统，掌控车辆、人员、部件设施的定位轨迹、视频监控以及其他运行情况；抓取人群轨迹、数据分析的核心内容。实现全局资源的可视化展示、智能预警、统一管理和调度。

本实施例中，管理调度中心在运行时设有两个运行模式，分别为正常模式和告警模式。系统当日若没有告警事件，用户登录后则进入正常模式，采用GIS与大数据分析结合技术，通过GIS地图展示医院各设备位置，展示医院人流趋势，根据类型及等级统计历史与今日突发事件，方便领导层和管理层快速了解事件分布、地理位置、事件等级和事件类型，方便告警事件的快速定位。

系统支持设备实时视频接入，提升应急响应速度，提高指挥调度效率。方案整合跨部门、跨区域的应急调度和服务，实现统一的报警响应、指挥调度。

当抓拍到人员进入园区后，系统自动提醒监管人员，由监管人员对安全人员进行综合调度，其可通过语音、短信及视频等多种调度方式开展调度，让安保人员能够第一时间出现在可能出现隐患的位置现场，保障医院的有效运转。监控调度中心可以显示各类型今日告警与历史告警数量统计，以及医院今日入院人次及入院人流趋势。

监控调度中心可以选中在线实时视频播放、展现物联网设备的打点分布（门禁和摄像头）、GIS地图正面背面切换，还可以显示安保人员分布情况，同时配合视频监控，从各个角度全面掌握现场状况；依靠视频和对讲进行可视化调度。

监控调度中心还能实时展示医院热力图情况，在展示界面中以特殊高亮可视化的形式显示医院人员所在的区域聚焦。

告警模式。系统当日产生了告警事件，用户登录后则直接进入告警模式，在看版区展示当日待处理事件列表，通过GIS地图展示告警事件轨迹，同时还展示该告警事件经过设备视频信息，方便领导层和管理层快速快速定位，并了解告警事件详细情况。

本实施例中，视频智能分析中台由告警轨迹监管、同行人搜索、轨迹搜索、视频接入、统计分析组成。视频智能分析中台系统支持实现视频接入，可分别接入人脸图片流、人脸视频流、结构化视频流、人群分析视频流和异常行为分析视频流等，并可将分析出来的结果与人像库管理平台联动，实现信息的存储，与管理调度中心联动，实现分析数据的智能应用。该平台的功能模块详细设计过程如下：

2.1人员轨迹监管

平台系统通过预先配置的人员信息自动对人员进行监管，实时显示人员的轨迹位置，并能够查看其在整个行动轨迹中的活动视频，确保获取到其接触过的所有物品及人员。实现2.5d或3d的可视化展现。

对于医院来说，实时掌握住院病人动向十分重要，在需要找人时立即找到相应人员的位置及行走路线，也体现着医院的智能化服务水平和先进程度，通过在医院住院病房、医院公共关键区域、医院主要出入口部署高清摄像头，当行人经过时会自动抓拍人脸照，并记录对应的结构化数据，如抓拍地点（摄像头编号）、抓拍时间等。

人员轨迹跟踪是利用摄像头对经过人脸进行实时抓拍，对人员的实时轨迹进行跟踪监控，并绘制行动路线图，并支持对历史轨迹查看，方便工作人员的管理。如图3所示，人员轨迹跟踪流程为：

1）人脸抓拍：通过在医院住院病房、医院公共关键区域、医院主要出入口部署高清摄像头，当行人经过时会自动抓拍人脸照，并记录对应的结构化数据，如抓拍地点（摄像头编号）、抓拍时间等。人脸抓拍系统会把所有经过摄像头的人进行抓拍并形成完整的过人抓拍库。

2）轨迹还原：系统结合GIS信息同时在地图上显示轨迹以及摄像头拍到的疑似目标人员图片，并可关联录像进行播放。

3）摄像头本身人脸识别；

1. 在医院机房部署平台，通过平台完成住院病人、员工等的入库工作。

2. 在医院公共区域部署摄像头或者人脸抓拍机，完成医院经过人员的实时抓拍并和库中人员比对确认身份。

3. 人员出现，护士及安保人员可以快速查询人员轨迹。

基于医院行人的轨迹预测。在平台系统产生告警信息后，点击告警可展示人员轨迹预测路线。人员轨迹预测是一个重要而复杂的问题，因为其不仅存在高度非线性和复杂的行人流，传统的预测方法经常忽视了时间和空间上的依赖。

医院人员轨迹预测研究中，通常选择行人特征、医院环境特征和行人行走方向来建立高匹配的预测机制。预测机制的构建处理过程如下：

1）医院行人特征提取

；

其中，是医院人员的地理位置。

将行人轨迹绘制成图,然后利用图卷积神经网络对矩阵图进行处理,得到行人轨迹特征图。以此为基础,在空间特征图的基础上扩展时间轴,将多幅行人轨迹特征图进行时间维度连接﹐得到同一行人在两个时间段之间的时间特征图,并将时间特征图与空间特征图组合成时空图卷积神经网络。

2)医院园区特征提取

在获取了行人特征图之后,为了提升准确度，在时空图卷积神经网络中添加了医院园区特征图。园区中不同区域的障碍物会在不同方向上对行人的运动产生阻力﹐从而产生了行人绕道的效果。园区特征点加权公式如下：

；

n为行人数量，t为时间。表示该时间段内所有行人经过此点的次数。则表示该段时间内所有行人的全部坐标点。

园区某一区域加权：

；

将区域特征图进一步加权处理得到行人向各个方向行走的概率。

3）行人轨迹预测

；

由于时空图卷积神经网络采用因果卷积﹐可以记录轨迹的时间信息﹐从而在降低参数的同时保留了时间特征。

2.2以图搜图。

随着医院业务发展，各设备上报的信息需要我们进行研究及了解历史信息。各设备抓拍信息包含了多个标签，比如：抓拍人姓名、发生时间、设备编号、抓拍地点，抓拍人员性别，年龄等，除了图片的各种特征，还需要和抓拍库中的人像图片进行对比。本实施例可对医院各设备抓拍库中的信息分别进行人脸特征搜索和人员图标检索。如图4所示，人脸特征搜索和人脸图片搜索的具体流程如下：

人脸特征搜索单元进行人脸特征搜索过程为：

1）输入姓名等特性可对动态抓拍库的人脸查询；

2）支持按照时间地点以及结构化信息查询；

3）按照相似度高低来排序，展示相似度超过90%,且排名前10的照片；

4）在搜索图片结果中可以一键选择任意一张图片，查看历史轨迹轨迹、还可以进行经过摄像头抓拍视频的查看，视频打包下载。

人脸图片检索单元进行人脸图片检索时，用户可以选择某张人像图片，在抓拍库中寻找相似度超过90%,且排名前10的照片的人像图片，系统根据相似度高低来排序。选择的图片可以是本地上传的图片，也可以是抓拍图片或者是静态图片。

本发明采用深度卷积神经网络提取数据库中保存的医院抓拍人脸图像及待检索人脸图像的深度特征，构建人脸图像的深度特征向量描述﹐并将其与数据库中保存的人脸图像的深度特征向量描述进行相似度度量比较得到初始的检索结果列表；同时，为了进一步提高检索性能，系统采用查询扩展方法将初始检索结果列表中排序前N个人脸图像的深度特征向量描述符与待检索人脸图像的深度特征向量描述符进行均值融合后再次执行检索。具体的人脸图像检索过程如下：

1.人脸特征提取：

用户人脸上传照片后，系统后台计算图片像素大小W,× H，每个卷积层都利用前一层的输出作为本层的输入,定义为：

；/>

2.人脸特征相似度度量：

人脸图片I特征向量：

；

将人脸图像Ⅰ的特征向量进行l2正则化得到最终用以人脸图像检索任务的深度特征向量：

；

根据人脸图像深度特征向量计算结果的大小进行排序即可得到人脸图像检索初始排序结果列表:

，其对应的深度特征向量列表为：

。

排序结果列表中人脸图像Ⅰ表示在数据库中保存的人脸图像数据集中与待检索人脸图像最相似、检索结果最匹配的人脸图像。相反,人脸图像Ⅰ、则表示与待检索人脸图像最不相似、检索结果最不匹配的抓拍人脸图像。

3)特征均值查询扩展

检索人脸图像特征向量与检索结果列表中的人脸图像特征向量之间满足距离函数:

；

将初始检索结果排序前10个人脸图像的深度特征进行融合,求得均值特征,能够对同一人的人脸图像进行一定的表征,利用该均值特征向量作为待检索人脸图像的特征向量进行查询扩展以提高人脸图像检索结果的准确率:

；

再次执行检索任务，得到最终检索列表：

。

2.3同行人监控。

自发生以来，医院对同行人的监测非常重要，所谓同行人，即那些经常结伴而行的人。从监测识别的角度讲，同行人也可看作是在某一时间段内从同一个设备经过的人，这样当有发热病人出现时，可以认为其他同行的人有感染的嫌疑。或者当可疑人员出现时，可以快速的找出其同行人，方便医院的进一步监督与管理。

可疑人员管控是一套集人脸实时抓拍、可疑人员预警、人员精准搜索、身份信息核验、人员轨迹追踪为一体的分析和应用。可以对医院出入人员进行实时抓拍与预警，帮助医院管理人员有效的防范人员，提升医院安全防范能力。

摄像头部署在医院大楼各出入口以及相关主要通道。系统对所有通行人员进行实时比对。当黑名单库里的人员出现在摄像头画面中时，系统比对告警后立即推送给医院安全管理人员。

本实施例中，同行人搜索流程如下：

1）、同行人搜索支持对某时间段某设备经过行人抓拍人脸搜索。

2）、选择任一抓拍人脸后，通过人脸特征搜索及概率比对还可以进行该人脸同行人分析搜索。

3）、系统可以对同行人进行打包合并下载。

本实施例中，为了方便对搜索出的同行人进行进一步监督与管理，系统支持对匹配出来的同行人进行入库操作，即可以进行轨迹监测，告警等操作。流程如下：

1）可疑人员：系统把要人员的信息添加到数据底库。然后按照时间、地点、等级、相识度报警阈值等信息。

2）、比对报警：系统对人员卡口位置（医院门口、楼梯口、关键通道口）抓拍的人员与人脸数据库中的人脸特征数据进行实时比对，如果人脸的相识度达到预设的报警阀值，系统自动可通过多种报警方式将报警信号推送到相关监管人员。

3）、人员追踪：安保人员收到报警推送后，初步审核报警的准确性，若为疑似人员，可以在抓拍库中找出嫌疑人人脸图像，系统会根据这些人脸图像采集的时间和地点，自动按时间轴方式上描绘出人员轨迹。

4）、实时视频预览：前端人脸抓拍机除了人脸抓拍功能，支持对已选择抓拍通道的视频查看，供安保人员快速查阅，并快出响应处置。

2.4视频接入。视频接入即为海康设备的所有视频接入，包括实时视频与历史视频，可供安保人员随时查看。

分页根据设备编号展示所有摄像头，并支持根据医院区域、设备在离线状态进行筛选，摄像头的模糊匹配。

点击摄像头出现该摄像头视频弹框，默认实时视频接入，在弹框上根据需要可以选择开始时间/结束时间进行历史视频查看。

历史视频接入时：

1）、常规回放：1、选择所要回放的通道，可以多通道同时回放；2、选择回放录像的日期；3、选择所要回放的录像类型，如：计划录像、移动侦测录像、手动录像、告警录像；4、搜索相应录像，所要回放的录像片段，就会显示出来，不同类型的录像，会有不同的颜色区分；5、回放录像时，可对录像进行剪辑、抓图等功能。6、对于查询到的录像可以进行录像片段的下载、备份功能。

2）、分段回放：录像的分段回放，用来对同一路通道的录像资料，分为几个不同的时间片段来回放，方便快速的查找所要的录像段。可对录像进行4/9/16的分段回放。

2.5统计分析。系统支持根据企业的历史数据资料及当前上报情况一图展示告警事件的分类统计与医院人流信息，展示各指标之间的相互关系、变化规律和发展趋势，方便安保人员和医院领导层实时查看医院人流状态。

不同告警类型发生情况（季度）：用户选择年份，通过折线图展示所选年份不同季度各告警发生数量情况。

不同告警类型发生总数占比：用户选择年份，通过饼图展示所选年份不同告警类型发生占比。

告警高发地Top5：用户选择年份，通过柱状图展示告警发生次数最多的5个地点。

医院人流情况（月度）：用户选择年份，展示当前年份各月医院人流和历史各月均值。

住院楼人流情况（月度）：用户选择年份，展示当前年份各月住院楼一楼、二楼的门禁设备通过人流情况。

人流聚集地Top3：用户选择年份，展示当前年份人流聚集地Top3。

本实施例中，人像库管理中心主要接入HIS系统相关数据并进行治理，将治理完成后的数据形成标准数据库并同步给门禁系统与海康平台等第三方平台系统。包括员工库、黑名单库、特种行业库、病患库、住院病人、重症患者家属库。人像库管理中心与第三方平台系统对接内容如下：

外部对接，接入门禁系统、视频融合平台、HIS等三大系统的相关数据进行治理，并将治理完成后的数据形成标准数据库。

员工库，系统支持对医院企业所有员工照片进行采集，并支持文本及照片信息批量导入，作为人像比对的基础数据库，同时，系统支持实时或定期更新人像库信息。

黑名单库，系统支持导入黑名单人员信息，如人员、医闹、频繁出现的可疑人员等。

特种行业库，系统支持导入特种行业人员信息，包括快递人员、送餐人员、广告人员等。

病患库，系统支持对医院患者照片进行采集，作为医院病患库，系统支持实时或定期更新人像库信息。

住院病人库，系统支持对医院住院病人库进行采集，作为住院病人库，系统支持实时或定期更细人像库信息。

重症患者家属库，系统支持对重症患者家属库进行采集，当出现重病患者生活不能自理，家属可以通过刷脸进行代为挂号，缴费，病历查询等操作。

本实施例中，系统管理配置包含有规则配置，用户与角色配置等。主要为接收配置请求，设置阈值，透传所述配置信息，将配置信息存储于数据库中，并可供其他模块调用。系统管理配置流程如下：

3.1告警规则。对于区域，当有人员闯入时，进行告警，管理员可设置告警方式，告警方式分为现场告警和短信告警，可设置单一告警方式，也可设置多种告警方式同时进行。

医院公共区域多，人员复杂，有些重要场所不允许人员进入，如天台、危险品仓库等。若派人在重要区域入口处值守，耗费人力财力。普通摄像监控靠人眼观看摄像头，很难在第一时间发现警。而市场上部分宣称智能摄像监控的方案，会受到环境、天气的影响，如飞鸟的闯入、树影晃动等都会造成误报。

AI能力中台平台的“区域闯入检测告警”功能，通过在视频监控画面中任意划多边形区域，实现人员闯入设定的非授权区域后，触发告警卡片弹窗。有效管控特定区域，如天台、不对外开放的场所人员闯入，减少危险事故的发生。区域闯入检测根据图像检测判断越线。

3.2系统日志。系统支持日志审计功能，便于医院管理者查看所有人员对系统进行的各项操作，以及各类人员的通行和告警记录。

系统的日志审计报含日志收集、存储、查询和统计分析等功能，含50个日志源授权。支持基于策略的多日志源海量日志实时关联分析，发现安全事件实时告警；支持可视化关联分析规则编辑视图，可根据实际业务编辑关联分析规则。

系统日志分为人像检索日志、人像库（操作）日志、导出日志、登陆日志等。其中，人像检索日志：用户进行人像库检索或路人库检索的日志，用户进行一次检索就会有一次记录。可以查看整个部门直属人员检索次数统计图，以及每个用户每条检索记录，包括检索时间，检索图片，比中图片（标了相同的图片）等。

人像库（操作）日志：对于所有人像库进行操作的记录，记录用户删除图片，删除整库，编辑姓名/身份证号，修改库名，建库的操作。

导出日志：记录导出1:N，n:N检索结果；导出入库失败的图片的操作。

登录日志：记录用户登录时间和IP地址等关键信息。

3.3用户与角色的管理内容如下：

基础信息管理，为管理员提供系统基础信息配置，包括机构、人员管理管理等。基础信息管理管理过程包括：

（1）以机构-区域树状图展示平台中的机构明细情况，和该机构下的人员情况。

（2）机构管理，支持组织机构层级树状图的方式，支持对组织机构层级进行设置和管理，包括：新增机构、修改机构、删除机构的层级关系和归属关系的操作。

（3）人员管理，主要用于管理和查看该机构中人员帐号的基础信息，以列表方式显示登陆ID、姓名、状态（正常、停用）、所属机构、所属岗位、联系电话、电子邮箱等基础资料。

（4）人员管理，可新增、编辑、删除人员帐号，并设置帐号为正常或停用状态。

（5）当人员帐号属于“正常”状态时，同步在【权限管理】的岗位-人员树状图中进行显示，并且此帐号方能正常登录系统。

（6）对已经使用的人员帐号，因曾经制单或创建过基础资料，不允许删除的情况下，将其状态设置为“停用”状态。在“停用”状态时的用户，不在【权限管理】的岗位-人员树状图中进行显示。

（7）当帐号处于“停用”状态时，此帐号不能登录系统。

（8）新增、编辑及列表查看人员列表中，要求有以下字段：登录ID、姓名、状态（正常、停用）、人员所属机构、人员所属岗位、登录密码、联系电话、电子邮箱、创建人、创建时间、修改人、修改时间。

（9）支持以下查询条件，对人员进行查询：姓名（模糊查询）、联系电话（模糊查询）、所属机构（下拉勾选）、所属岗位（下拉勾选）、状态（正常、停用，支持下拉勾选）等。

角色管理包括提供角色列表，菜单树，控件列表的管理功能，可以对角色进行增删改查，还可以为角色配置菜单权限。角色管理内容如下：

（1）展示当前已定义的角色信息列表，支持添加、修改、删除角色，对角色进行管理，定义各个角色在使用时的菜单权限、菜单中功能按钮的权限。

（2）在【角色管理】中定义角色后，才可在【岗位管理】中选择角色，对岗位进行授权，实现当人员归属到岗位后，此岗位的人员按岗位与角色的对应关系，具有相同的权限。

（3）定义角色的权限组时，以树状图的方式，展示和勾选菜单及其功能按钮权限，如对选中菜单勾选本角色在此菜单中的新增、修改、删除、审核等按钮权限。

（4）增加、删除、修改角色列表中要求有以下字段：ID（系统自动生成2位ID）、 角色名称 、标识（系统默认、自定义）、角色描述 、备注、创建人、创建时间、修改人、修改时间。

岗位管理，主要用于在树状机构结构图中，设置各个机构下包含的相应岗位，展现机构和岗位之间的对应关系，同时对岗位逐一勾选，对岗位授予角色权限。岗位管理内容如下：

（1）以组织机构-岗位树状图展示业务综合管理平台中的机构和岗位的基础信息，包括组织机构、各组织机构下对应的岗位的明细情况。

（2）支持组织机构-岗位层级树状图的方式，支持对岗位进行设置和管理，包括：新增岗位、修改岗位、删除岗位的层级关系和归属关系的操作。

（3）支持按组织机构-岗位树状图的方式，对岗位权限进行设置和管理，包括：增加和减少此岗位对应的角色权限的操作。

（4）角色分为系统自带的6个默认角色和用户自定义的角色，在角色管理中以标识加以区别（系统默认、自定义）。当人员在【系统管理】-【权限管理】中归属到岗位后，此岗位的人员具有相同的岗位权限。

（5）显示可供勾选角色的列表字段：角色名称、标识（系统默认、自定义）、角色描述（对已定义的角色的一个情况说明）、备注、创建人、创建时间、修改人、修改时间

权限管理，主要通过按不同岗位，勾选人员，建立岗位和人员的所属关系，从而实现对人员权限的授权。该人员在系统登陆后，按岗位不同继承岗位在工单管理系统中的操作权限。权限管理内容如下：

（1）按机构-岗位-人员树状图的方式，勾选岗位对应的人员，实现对人员的授权。

（2）在机构-岗位-人员的树状图中，机构下属的人员，只显示所有用户状态为“正常”状态的用户。当用户在《人员管理》菜单中用户状态设置为“停用”时，则不予以在本菜单中展现处于停用状态的用户。

（3）岗位与人员的对应关系设置成功后，该人员登录系统后，即可按对应岗位的角色权限，查看到相应的菜单和使用相应的功能。

菜单管理，主要是运维人员和开发人员、系统管理员使用，显示工单系统中所有功能菜单列表，支持对菜单作添加、修改、删除，对菜单重命名。菜单管理内容如下：

（1）以树状图展示显示当前己定义的所有功能菜单列表，包括功能菜单的名称、各菜单间的层级关系等。

（2）菜单设置成功后，在【系统管理】--【角色管理】的树状菜单列表中，才有此新增的菜单，且菜单的权限在角色中设置后，又通过【系统管理】--【岗位管理】授权给相应岗位，再【系统管理】--【权限管理】 中设置岗位对应的人员，此时该人员登录系统后，即可看到相应的菜单。

（3）支持对菜单和功能按钮进行新增、修改、删除操作。

（4）增删改菜单时，要求有以下字段：上级菜单名称、菜单名称、菜单链接、菜单图标、是否显示（是/否）、排序编号等。

本实施例中，视频资源融合平台包含web端和PC端两部分，WEB端支持持对院区内所有视频设备进行统一的整合管理，确保前端视频设备能够得到充分利用系统设计。而监控管理人员/坐席人员可以通过PC客户端，对院区实时情况进行监控。

本实施例中，资源后台管理系统可实现资源服务端管理、客户端管理、系统设置、设备管理、运营管理、资讯管理、运维管理、版本更新、智能应用配置等功能。

本实施例中，关于资源服务端管理功能，其具体的功能设计过程如下：

基础信息管理功能主要用于增删改机构，机构允许多级，基础信息管理为管理员提供系统基础信息配置，包括机构、人员管理管理等。该功能实现过程如下：

1、以机构-区域树状图展示平台中的机构明细情况，和该机构下的人员情况。

2、机构管理，支持组织机构层级树状图的方式，支持对组织机构层级进行设置和管理，包括：新增机构、修改机构、删除机构的层级关系和归属关系的操作。

3、人员管理，主要用于管理和查看该机构中人员帐号的基础信息，以列表方式显示登陆ID、姓名、状态（正常、停用）、所属机构、所属岗位、联系电话、电子邮箱等基础资料。

4、人员管理，可新增、编辑、删除人员帐号，并设置帐号为正常或停用状态。

5、当人员帐号属于“正常”状态时，同步在【权限管理】的岗位-人员树状图中进行显示，并且此帐号方能正常登录系统。

6、对已经使用的人员帐号，因曾经制单或创建过基础资料，不允许删除的情况下，将其状态设置为“停用”状态。在“停用”状态时的用户，不在【权限管理】的岗位-人员树状图中进行显示。

7、当帐号处于“停用”状态时，此帐号不能登录系统。

8、新增、编辑及列表查看人员列表中，要求有以下字段：

登录ID、姓名、状态（正常、停用）、人员所属机构、人员所属岗位、登录密码、联系电话、电子邮箱、创建人、创建时间、修改人、修改时间。

9、支持以下查询条件，对人员进行查询：

姓名（模糊查询）、联系电话（模糊查询）、所属机构（下拉勾选）、所属岗位（下拉勾选）、状态（正常、停用，支持下拉勾选）等。

用户管理：增删改用户，用户信息包括登录账户、密码、管理区域、所属机构等。

本实施例中，菜单管理功能主要是增删改资源服务端菜单，菜单信息包括菜单名称、路径等。菜单允许多级。菜单管理，主要是运维人员和开发人员、系统管理员使用，显示工单系统中所有功能菜单列表，支持对菜单作添加、修改、删除，对菜单重命名。具体管理过程如下：

1、以树状图展示显示当前己定义的所有功能菜单列表，包括功能菜单的名称、各菜单间的层级关系等。

2、菜单设置成功后，在【系统管理】--【角色管理】的树状菜单列表中，才有此新增的菜单，且菜单的权限在角色中设置后，又通过【系统管理】--【岗位管理】授权给相应岗位，再【系统管理】--【权限管理】 中设置岗位对应的人员，此时该人员登录系统后，即可看到相应的菜单。

3、支持对菜单和功能按钮进行新增、修改、删除操作。

4、增删改菜单时，要求有以下字段：

上级菜单名称、菜单名称、菜单链接、菜单图标、是否显示（是/否）、排序编号等。

本实施例中，岗位管理功能主要用于增删改各机构下岗位，增删各岗位包含角色。通过岗位—角色，赋予岗位菜单权限。岗位管理，主要用于在树状机构结构图中，设置各个机构下包含的相应岗位，展现机构和岗位之间的对应关系，同时对岗位逐一勾选，对岗位授予角色权限。具体岗位管理过程如下：

1、以组织机构-岗位树状图展示业务综合管理平台中的机构和岗位的基础信息，包括组织机构、各组织机构下对应的岗位的明细情况。

2、支持组织机构-岗位层级树状图的方式，支持对岗位进行设置和管理，包括：新增岗位、修改岗位、删除岗位的层级关系和归属关系的操作。

3、支持按组织机构-岗位树状图的方式，对岗位权限进行设置和管理，包括：增加和减少此岗位对应的角色权限的操作。

4、角色分为系统自带的6个默认角色和用户自定义的角色，在角色管理中以标识加以区别（系统默认、自定义）。当人员在【系统管理】-【权限管理】中归属到岗位后，此岗位的人员具有相同的岗位权限。

5、显示可供勾选角色的列表字段：

角色名称、标识（系统默认、自定义）、角色描述（对已定义的角色的一个情况说明）、备注、创建人、创建时间、修改人、修改时间。

本实施例中，角色管理：增删改角色，增删角色包含的菜单权限。提供角色列表，菜单树，控件列表的管理功能，可以对角色进行增删改查，还可以为角色配置菜单权限。具体的角色管理过程如下：

1、展示当前已定义的角色信息列表，支持添加、修改、删除角色，对角色进行管理，定义各个角色在使用时的菜单权限、菜单中功能按钮的权限。

2、在【角色管理】中定义角色后，才可在【岗位管理】中选择角色，对岗位进行授权，实现当人员归属到岗位后，此岗位的人员按岗位与角色的对应关系，具有相同的权限。

3、定义角色的权限组时，以树状图的方式，展示和勾选菜单及其功能按钮权限，如对选中菜单勾选本角色在此菜单中的新增、修改、删除、审核等按钮权限。

4、增加、删除、修改角色列表中要求有以下字段：

ID（系统自动生成2位ID）、 角色名称 、标识（系统默认、自定义）、角色描述 、备注、创建人、创建时间、修改人、修改时间。

本实施例中，权限管理：增删各岗位包含的用户。通过用户—岗位，赋予用户菜单权限。权限管理，主要通过按不同岗位，勾选人员，建立岗位和人员的所属关系，从而实现对人员权限的授权。该人员在系统登陆后，按岗位不同继承岗位在工单管理系统中的操作权限。具体的权限管理过程如下：

1、按机构-岗位-人员树状图的方式，勾选岗位对应的人员，实现对人员的授权。

2、在机构-岗位-人员的树状图中，机构下属的人员，只显示所有用户状态为“正常”状态的用户。当用户在《人员管理》菜单中用户状态设置为“停用”时，则不予以在本菜单中展现处于停用状态的用户。

3、岗位与人员的对应关系设置成功后，该人员登录系统后，即可按对应岗位的角色权限，查看到相应的菜单和使用相应的功能。

本实施例中，客户端管理功能主要包括：

权限基础管理：查看客户端的权限划分，Android登陆权限，pc登陆权限，解码上墙操作权限。

客户端角色管理：增删改客户端角色，增删各角色包含客户端权限。

用户权限管理：增删客户端各角色包含的用户。通过用户—客户端角色，赋予用户客户端权限。

本实施例中，系统设置功能如下：

分组管理：增删改分组；业务树管理：适用于各类树状关系的组织并存，如：区域、机构等。手动新增、码表新增、导入新增、导出业务树。删改业务树。支持自定义告警等级，个性化定义告警信息上报顺序。

规则管理：定义广播优先级规则；服务器地址映射管理：管理服务器内外地址的映射关系；存储管理：启用/停用使用设备录像功能。存储时间设置。

系统参数设置：用于自定义系统常用的参数值，如：视频存储天数、告警自动上报时间。

本实施例中，设备管理功能如下：

监控设备管理：1.增删改各区域下监控设备，监控设备信息包含：平台信息、国标信息；2.关联音柱。用于实时监控时可使用音柱联动进行广播；3.停止转码，暂停播放监控。

设备共享：支持设备共享至其他业务树节点，支持跨部门调用视频资源，达到视频资源“共建共享”目的。

综治设备管理：1.增删改各区域下监控设备，监控设备信息包含：平台信息、国标信息；2.关联音柱。用于实时监控时可使用音柱联动进行广播；3.停止转码，暂停播放监控。

音柱设备管理：增删改各区域下音柱设备；NVR设备管理：增删改各区域下NVR设备。

综治监控管理：1.增删改各区域下综治中心监控设备，用于查岗使用；2.关联音柱。用于实时监控时可使用音柱联动进行广播；3.停止转码，暂停播放监控。

国标平台管理：增删改国标平台，用于新增/编辑监控设备选择所属国标平台，作为国标编码相应位数的值。

SDK版本管理：增删改设备厂商，增删改设备厂商包含的SDK版本。用于新增/编辑监控设备时选择。

服务器设备管理：增删改服务器设备，用于新增/编辑监控设备时选择上级设备。

解码器管理：增删改解码器设备，设备IP、输出端口类型及数量等，用于解码上墙时设置解码器与电视墙的端口映射。可将多个视频监控内容投放至电视墙。

拼接屏（墙）管理：增删改电视墙，电视墙的分屏数量n*n，用于解码上墙时设置解码器与电视墙的端口映射。

解码上墙管理：解码上墙时设置解码器输出端口与电视墙分屏的映射关系。

本实施例中，运营管理功能如下：

平台logo管理：增删改平台logo；系统授权：显示当前系统服务器、用户数、接入设备授权情况，并支持下载特征文件，通过导入授权文件更新授权。

本实施例中，资讯管理功能如下：

资讯管理：增删改资讯。资讯信息包含标题、所属分组、内容等。分组用于限制用户可查阅的资讯，用户仅能查看所属分组下的资讯。

banner新闻管理：增删改banner新闻，将资讯作为banner内容展示在Android端。

机顶盒网格员信息管理：增删改网格员，网格员信息包括姓名、电话、所属分组等。

本实施例中，运维管理如下：

故障列表：查看、处理设备故障信息。操作日志：查看客户端（包括PC、APP、机顶盒）的登录/登出，调用设备（摄像头、音柱、解码器、电视墙）操作日志，用以了解各设备使用频率。

系统日志：服务器监测到定义的告警类型，立即产生系统日志。用户可在资源管理查看各服务器的运行日志，用以了解服务器的运行情况。

运维监控中心：通过可视化方式，呈现系统的设备在线率、设备故障修复率、系统产生各等级日志的统计数量。支持手动刷新设备数量。

国标平台上报数据同步：公共安全国标平台运维人员，可将其他平台上报的xml数据（区域节点+下挂设备），手动将设备或所属的区域信息同步新增到当前系统指定业务节点下或自成一颗设备树。

广播回溯：可对所发布的广播录音，方便事后进行播放查询及问题回溯。

本实施例中，版本更新功能如下：

客户端版本管理：增删pc端、Android端、OTT端安装版本，用于各端检查版本和强制更新。

本实施例中，智能应用配置功能如下：

区域入侵：在选定视频通道中按实际需要绘制一个警戒区域，可以检测物体进入区域、离开区域、进入后又离开区域，还可以检测在指定的时间内，警戒区域内是否出现了设定数量的目标物体。如果有目标物体触发了设定的规则，则会产生智能报警。区域内检测的目标物体支持“人”和“车辆”，智能报警可以设定最短持续时间，重复报警时间等。

绊线入侵：在选定视频通道中按实际需要绘制一条警戒线，设定穿越的方向，系统会根据所绘制的警戒线及选择的方向判定目标穿越警戒线时是否产生智能报警，穿越的物体类型支持“人”和“车辆”，触发报警的位置可以是警戒线中心、左端中心、顶端中心、右端中心和底端中心等位置，如果有物体按照设置好的判定规则穿越警戒线，则立即产生智能报警。

物品遗留：在选定视频通道中按实际需要绘制一个检测区域，对于物品遗留，当监控场景中有丢弃目标超过设定的时间时会触发报警；对于物品搬移，当监控场景中有目标被搬移超过设定的时间会触发报警。对于智能报警的触发条件，可以设置最短持续时间，及触发报警时目标的停留时间或搬移时间。

物品保全：对一些一般不允许移动的固定目标可以设置物品保全规则，在选定视频通道中绘制保全区域，当被保护目标离开检测区域持续时间达到设定的时间时产生智能报警。

快速移动检测：在选定视频通道中按实际需要绘制检测区域，可以检测目标物体是否在该区域内有快速移动行为(如人的奔跑)，可以设定物体移动的最短持续时间，用于防止运动轨迹的突变，检测的目标物体支持“人”和“车辆”。

徘徊检测：在选定视频通道中按实际需要绘制一个检测区域，当有运动目标在监测区域内的存在时间超过了设定的最短持续时间时，就触发智能报警；目标触发一次报警后，如果在报警间隔时间内还逗留在区域内，则会再次报警，支持检测的目标物体有“人”和“车辆”。

非法停车：在选定视频通道中按实际需要绘制一个检测区域，当有车辆静止在检测区域内的时间超过设置的最短持续时间，则会产生智能报警，并可以设置目标大小过滤器。

穿越围栏：在选定视频通道中绘制两条线作为上下围栏，并选定穿越的方向，系统会根据所绘制的区域及选择的方向判定目标穿越围栏时是否产生智能报警，如果目标沿着设置好的方向穿越围栏，则立即产生智能报警。

实施例二：

本实施例中，在实施例一的基础上，具体设计PC客户端的功能架构，使得系统支持PC客户端，监控管理人员/坐席人员可以通过PC客户端，对院区实时情况进行监控，可实现包括实时监控、历史监控、发布/处理告警、电子地图、视频对讲、广播通知、智能追踪、解码上墙、个人中心、强制更新等基本功能。

其中，实时监控功能包括：

点位查询：模糊搜索监控设备；

最近播放记录：查看登录用户本地播放记录；

分组收藏：以分组的形式增删收藏的监控设备，支持点击分组一键播放所有设备的实时监控；

场景预案：增删场景预案（监控设备+固定播放位置），支持点击预案一键播放所有设备的实时监控；

轮询预案：增删轮询预案（轮询设备+轮询顺序+轮询时间），支持点击预案一键播放所有设备的实时监控；

云台控制：收起/显示：收起/显示云台控制的功能模块。云台控制过程包括：角度调整：上下左右等多方位调整监控角度；自动旋转：摄像头自动旋转角度；变倍：调整监控画面倍数；变焦：调整监控画面定焦情况；云台速度：调整云台角度调整的速度。

预置位：调用、设置、删除选中画面的监控设备的预置位。

巡航：调用、暂停、设置选中画面的监控设备的巡航路线（预置位之间的移动、速度、时间）。

守望：开启/关闭选中画面的监控设备的守望位，超过等待时间后回到监控设备设定的守望模式。

CPU，内存监控：展示CPU，内存使用情况。

分屏控制：分屏：指定分屏数量，支持1*1，2*2，3*3，4*4，5*5。

一键播放：对设备树上的选中设备及以下设备，依次自动填充分屏进行播放；

一键关闭：关闭所有播放画面；轮询：选中多个监控设备在一个指定播放位置循环播放；收藏：快捷收藏选中画面的监控设备；

批量收藏：快捷收藏当前所有播放画面的监控设备。

保存场景：保存所有分屏在播监控设备（监控设备+固定播放位置）为场景预案；保存轮询：保存选中画面的轮询内容（轮询设备+轮询顺序+轮询时间）为轮询预案。

画面控制：报警：对选中播放画面进行截图并填写报警信息；截图：对选中画面截图；连续截图：对选中画面，根据系统设置的截图张数、间隔时间，进行连续截图；电子放大：放大画面选中位置；视频参数设置：播放画面参数控制，包含：锐度、饱和度等；录像：对选中播放画面进行录像。

开启对讲：对选中播放画面的监控设备进行喊话；开启/关闭音频：开启/关闭监控设备画面声音；码流切换：对选中播放画面切换主/副码流；切换回放：切换至历史监控，自动带入监控设备；音柱联动：对选中播放画面的监控设备，使用关联音柱进行广播；关闭：关闭播放画面。

本实施例中，历史监控功能包括：

分段回放：将指定摄像头的指定时间段的录像文件，均分为4、9、16段播放；录像查询：按时间段、摄像头、查询录像文件；正序/倒序播放：指定录像段播放模式：正序/倒序；任务列表：查看下载中的文件下载进度，打开下载完成的文件夹路径。下载：下载录像段；分屏控制：分屏：指定分屏数量，支持1*1，2*2，3*3，4*4，5*5；一键关闭：关闭所有播放画面。

画面控制：截图：对选中画面截图；连续截图：对选中画面，根据系统设置的截图张数、间隔时间，进行连续截图；电子放大：放大画面选中位置。

开启/关闭音频：开启/关闭监控设备画面声音；录像：对选中播放画面进行录像；切换实时：切换至实时监控，自动带入监控设备；关闭：关闭播放画面。

播放控制：播放倍速控制：控制播放倍速，支持1/8,1/4/1/2,1,2,4,等倍速播放。播放/暂停：播放/暂停录像；单帧播放：单帧播放录像画面；恢复正常：播放画面回到正常倍速；同步播放：对当前所有的录像段，指定相同时间点播放。若不存在此时间点，则保持原播放。播放进度控制：进度条拖拽播放进度。

本实施例中，发布/处理告警功能包括：

人员报警查询：查询当前用户上报，或当前用户管理区域下产生的告警；告警处理：手动处理：对当前用户管理区域下产生的未处理告警进行处理，处理方式包括：上报、转发至处理、误报；告警推送：告警超时未处理，则自动向上级推送。

本实施例中，电子地图功能包括：搜索引擎：地址检索：地址模糊搜索，选中后快速定位；设备模糊查询：支持设备名称模糊查询；设备快捷筛选：支持多条件快捷筛选设备；用户轨迹查询：用户登录时不间断上报定位信息，查询用户轨迹。地图：点位分布：地图展示监控设备、音柱设备的分布情况。图标区分设备类型，颜色区分是否具有告警信息。

监控设备：监控设备：选中设备浮窗展示设备概要信息，包括是否在线等，支持调用实时监控。音柱设备：选中设备浮窗展示设备概要信息，包括是否在线等。

告警查看：跳转发布/处理告警，自动带入监控设备，显示该设备下的告警信息。支持调用广播。

全屏/小屏切换：全屏/小屏展示地图；地图拖拽、缩放：地图拖拽、缩放；比例尺、鹰眼、框选：实现缩放、平移、鹰眼、比例尺、地图模式切换、全屏等功能。

本实施例中，视频对讲功能包括：

用户列表：显示同一分组下的用户列表及在线状态、在线客户端类型。视频对讲：支持对在线用户视频对讲。视频查岗：调用综治中心监控设备，进行查岗。

本实施例中，广播通知功能包括：实时广播：语音播报：语音播报；文件广播：文件广播：文件广播，支持制定多个文件广播任务。定时广播：定时任务管理：增删定时任务，指定时间点播放音频文件；多方式选择播放对象：广播群组：以分组的形式管理常用的音柱设备，支持点击分组一键播放选择所有音柱设备。

音柱列表：以树状结构展示音柱，支持模糊搜索，快捷选中需要广播的音柱设备；音柱地图：地图上展示音柱分布，通过地图快捷选择需要广播的音柱设备。

本实施例中，智能追踪主要对接视频智能分析中台提供的功能实现，智能追踪功能包括：

以图搜图：根据搜索人像在抓拍库搜索符合相似度的人像信息。随着医院业务发展，各设备上报的信息需要我们进行研究及了解历史信息。各设备抓拍信息包含了多个标签，比如：抓拍人姓名、发生时间、设备编号、抓拍地点，抓拍人员性别，年龄等，除了图片的各种特征，还需要和抓拍库中的人像图片进行对比。系统可对医院各设备抓拍库中的信息分别进行人脸特征搜索和人员图标检索。

其中，人脸特征搜索过程如下：

1）、输入姓名等特性可对动态抓拍库的人脸查询。

2）、支持按照时间地点以及结构化信息查询。

3）、似度高低来排序，展示相似度超过90%,且排名前10的照片。

4）、在搜索图片结果中可以一键选择任意一张图片，查看历史轨迹轨迹、还可以进行经过摄像头抓拍视频的查看，视频打包下载。

人脸图片检索过程包括：用户可以选择某张人像图片，在抓拍库中寻找相似度超过90%,且排名前10的照片的人像图片，系统根据相似度高低来排序。选择的图片可以本地上传，也可以是抓拍图片或者是静态图片。

地图轨迹研判模块：根据抓拍人像，在地图上根据抓拍的视频点位和抓拍时间呈现人员轨迹，支撑人员动向研判。

人像检索模块：可通过建立库，添加需要系统报警的人员。系统可以提供基于人脸图片，指定通道、有效期、报警阈值、报警推送对象等进行下发。

对比识别报警模块：当前端摄像头中出现的人脸图片和黑名单中的人脸数据匹配时，如果人脸相识度超过预设报警阀值，系统会自动触发报警。

本实施例中，解码上墙功能包括：

解码上墙：常用配置管理：本次存储常用的配置信息，包括电视墙分屏的播放方式及播放设备；

解码上墙：设置电视墙分屏的播放方式及对应监控设备，配置信息下发至解码器；

下墙：关闭解码上墙操作。

本实施例中，个人中心功能包括：

系统设置：一机多屏幕：设置PC端各功能模块是否独立展示；启动模式设置：地图/gis启动；拍图设置：设置连续截图的张数、时间间隔、存储位置；录像设置：设置录像保存位置；即时回放设置：即时回放的回访时间，如前2分钟；实时监控设置：播放画面数超过指定数量，切换为辅码流；导出文件设置：设置智能追踪导出结果的保存路径；视频缓冲：预加载实时视频，缓解画面卡顿问题；切换账号：退出当前账户，回到登录页面；退出：注销登录账号，并退出应用。

本实施例中，强制更新功能包括：根据资源服务管理端的客户端版本管理，检测PC端的应用版本，低版本做强制更新。

本实施例所提供的视频资源融合系统，包含web端和PC端两部分，WEB端支持持对院区内所有视频设备进行统一的整合管理，确保前端视频设备能够得到充分利用系统设计。而监控管理人员/坐席人员可以通过PC客户端，对院区实时情况进行监控。

需要说明的是，本发明当中所使用的数据，均是在得到当事人同意的前提下进行的，符合相关法律法规。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于人脸识别的一体化管理平台，其特征在于，包括管理调度中心、视频智能分析中台、人像库管理中心、系统管理配置模块和视频资源融合平台；管理调度中心用于统一管理医院系统门户，以GIS地图为基础展示医院监控区域的事件信息和人员轨迹信息，并对全局资源进行统一管理和调度；视频智能分析中台用于抓拍人脸图像进行轨迹分析，实时显示人员的轨迹位置并预测其活动轨迹，同时获取与人员同行的人员信息，与管理调度中心联动进行人员数据分析；人像库管理中心用于接入HIS医疗信息系统数据并进行结构化处理形成标准数据库同步至第三方平台；系统管理配置模块用于接收用户的配置请求设置阈值，并将配置信息存储于数据库；视频资源融合平台用于对医院所有视频设备进行统一整合管理，对医院各个区域进行实时监控；

所述视频智能分析中台包括人员轨迹监管模块、以图搜图模块、同行人监控模块、视频接入模块和统计分析模块；其中，

人员轨迹监管模块利用摄像头对区域内经过的人脸图像进行实时抓拍形成人脸抓拍库，结合GIS信息在电子地图上还原显示抓拍人员行走轨迹并进行跟踪监管和轨迹预测；

以图搜图模块根据上传的人脸特征或人脸图片在人脸抓拍库中进行人脸特征搜索或人员图片检索；

同行人监控模块根据布控数据库或黑名单中设置的人员信息进行人脸抓拍和轨迹监测告警，并分析获取与该人员在同一时间地点出现的同行人员人脸图片信息；

视频接入模块用于接入所有监控设备采集的监控视频并视频查看回放和编辑；

统计分析模块根据历史数据资料、告警事件的分类统计和区域人员流量信息，分析展示告警事件、区域人员流量和时间之间的相互关系、变化规律和发展趋势；

所述人员轨迹监管模块具体包括人员轨迹跟踪单元和行人轨迹预测单元；人员轨迹单元利用高清摄像头对监控区域内经过的人员自动抓拍人脸图像，并记录对应的结构化数据形成人脸抓拍库，结合GIS信息同时在电子地图上显示人员轨迹以及高清摄像头拍到的疑似目标人员图片，并可关联录像进行播放；行人轨迹预测单元先采集行人特征、区域环境特征和行人行走方向建立高匹配的预测机制，利用预测机制和人员轨迹预测人员轨迹路线；

所述预测机制的建立过程具体包括以下步骤；

S101，行人特征提取，先将行人轨迹绘制成矩阵图，然后利用图卷积神经网络对矩阵图进行处理，得到行人轨迹特征图，在空间特征图的基础上扩展时间轴，将多幅行人轨迹特征图进行时间维度连接，得到同一行人在两个时间段之间的时间特征图，并将时间特征图与空间特征图组合成时空图卷积神经网络；

S102，区域特征提取，根据监控区域内的障碍物信息构建区域特征点，并对区域特征点进行加权处理获得区域特征图，然后将区域特征图添加到时空图卷积神经网络中；

S103，行人轨迹预测，将当前时间段的行人轨迹信息输入时空图卷积神经网络进行因果卷积处理，预测出下一时间段的行人轨迹，并记录行人轨迹的时间信息。

2.根据权利要求1所述的基于人脸识别的一体化管理平台，其特征在于，所述管理调度中心包括刷脸认证模块、区域门禁模块、监控调度中心和门户管理模块；刷脸认证模块用于医护人员登录系统时进行刷脸身份认证；区域门禁模块用于对区域的人员流动情况进行监管和出入控制；门户管理模块用于对医院业务应用系统和管理类系统进行统一管理；监控调度中心用于以3D GIS地图为基础展示医院监控区域的事件信息和人员轨迹信息，并对全局资源进行统一管理和调度。

3.根据权利要求2所述的基于人脸识别的一体化管理平台，其特征在于，所述监控调度中心包括展示单元、视频单元和看板单元；展示单元采用GIS与大数据分析结合，通过3DGIS地图展示医院各设备位置、安保人员分布情况、医院热力图情况和医院人流趋势，并根据预设的事件类型及等级统计历史与今日突发事件；

视频单元用于接入并显示实时监控视频；看板单元用于动态加载并展示当日待处理的突发事件列表，并通过GIS地图展示告警事件轨迹，同时展示该告警事件中涉及的设备视频信息。

4.根据权利要求1所述的基于人脸识别的一体化管理平台，其特征在于，所述以图搜图模块具体包括人脸特征搜索单元和人脸图片检索单元；人脸特征搜索单元根据用户输入的文本信息、时间地点和结构化信息在人脸抓拍库中进行人脸特征搜索，并按照特征相似度从高到低的方式对人脸特征搜索结果中的人脸图片进行排序展示；人脸图片搜索单元根据用户选择或上传的待搜索人脸图片在人脸抓拍库中搜索超过预设相似度的人脸图片，并按照特征相似度从高到低的方式对人脸图片搜索结果进行排序展示。

5.根据权利要求1所述的基于人脸识别的一体化管理平台，其特征在于，所述同行人监控模块包括同行人搜索单元和人员布控单元；同行人搜索单元用于根据布控数据库或黑名单中设置的人员信息抓拍某时间段内某监控设备区域内经过行人的人脸图片并进行人脸特征搜索比对，若抓拍的人脸图片为人员则分析搜索获取与该人员在同一时间段和同一区域内出现的同行人人脸图片信息；人员布控单元用于将需要布控人员信息添加至布控数据库，并对设置布控时间、地点、布控等级和相识度报警阈值，对人员进行布防监控、人脸比对报警和轨迹监测追踪。

6.根据权利要求1所述的基于人脸识别的一体化管理平台，其特征在于，所述视频资源融合平台包括资源后台管理子系统和PC客户端，资源后台管理子系统用于对资源服务端、客户端、监控设备和系统设置进行资源融合和应用配置管理；PC客户端用于对院区实时情况进行实时监控；

所述资源后台管理子系统包括资源服务端管理模块、客户端管理模块、系统设置模块、设备管理模块、运营管理模块、资讯管理模块、运维管理模块、版本更新模块和智能应用配置模块；其中，

资源服务端管理模块用于对资源服务端的基础信息、用户信息、菜单、岗位、角色和权限进行配置；

客户端管理模块用于查询客户端的权限基础信息，并对客户端的角色和角色权限进行配置；

系统设置模块用于定义视频告警等级、上报顺序和广播优先级规则，以及对业务树、数据存储和系统参数进行配置；

设备管理模块用于对监控设备、综治设备、音柱设备、NVR设备、解码器、服务器和拼接屏进行综合配置，并将各个设备进行关联，实现设备联动和设备共享；

智能应用配置模块用于根据监控视频数据对监控区域内的人员和车辆行为，以及区域内的物品遗留信息进行识别判断，并对符合报警触发条件的行为进行智能报警。

7.根据权利要求6所述的基于人脸识别的一体化管理平台，其特征在于，所述智能应用配置模块具体包括区域入侵检测单元、绊线入侵检测单元、物品遗留检测单元、快速移动检测单元、徘徊检测单元、非法停车检测单元和穿越围栏检测单元，其中：

区域入侵检测单元：在选定视频通道中按实际需要绘制警戒区域，并检测物体的进入区域、离开区域和往返区域，以及检测在指定的时间内，警戒区域内是否出现设定数量的目标物体若有则产生智能报警；区域内检测的目标物体包括人和车辆；

绊线入侵检测单元：在选定视频通道中按实际需要绘制警戒线，设定穿越的方向，根据所绘制的警戒线及设定的穿越方向判定目标穿越警戒线时是否产生绊线入侵，若有则进行智能报警；穿越的物体类型包括人和车辆，触发报警的位置包括警戒线中心、左端中心、顶端中心、右端中心和底端中心；

物品遗留检测单元：在选定视频通道中按实际需要绘制遗留检测区域，对遗留检测区域内的遗留物品进行检测，当有遗留物品超过设定时间时触发报警；同时，当检测区域中有物品被搬移超过设定时间时触发报警；

物品保全单元：对不允许移动的固定目标设置物品保全规则，在选定视频通道中绘制保全区域，当被固定目标离开检测区域的持续时间达到设定的时间时产生智能报警；

快速移动检测单元：在选定视频通道中按实际需要绘制移动检测区域，检测目标物体是否在该区域内有快速移动行为；并设定物体移动的最短持续时间，用于防止运动轨迹的突变；检测的目标物体包括人和车辆；

徘徊检测单元：在选定视频通道中按实际需要绘制一个徘徊检测区域，当有运动目标在徘徊检测区域内的存在时间超过了设定的最短持续时间时，触发智能报警；运动目标触发一次报警后，若其在报警间隔时间内还位于徘徊检测区域内，则会再次触发智能报警；支持检测的目标物体包括人和车辆；

非法停车检测单元：在选定视频通道中按实际需要绘制一个停车检测区域，当有车辆静止在停车检测区域内的时间超过设置的最短持续时间，则产生智能报警，并可以设置目标大小过滤器；

穿越围栏检测单元：在选定视频通道中绘制两条线作为上下围栏，并选定穿越的方向，根据所绘制的区域及选择的穿越方向判定目标穿越围栏时是否产生智能报警，若目标沿着选定的方向穿越围栏，则触发智能报警。

Images