CN110852296B - 基于语义模型的消防运维阶段人员异常检测装置和方法 - Google Patents

Abstract

本发明提供了一种基于语义模型的消防运维阶段人员异常检测装置，包括：视频处理模块，行为判定模块，领域模型抽取模块、运维语义模型构造模块、异常行为检查模块和用户界面模块，视频处理模块用于获取本地视频流或者RSTP格式的直播视频流信息；服务器定时从每个视频流截取视频帧，创建工作空间存储视频帧并记录视频帧时间戳以及视频来源；行为判定模块用于实现图像中人员行为判定，领域模型抽取模块用于实现消防运维领域的子模型抽取；运维语义模型构造模块用于构造消防运维语义模型；异常行为检查模块用于检查建筑物中存在异常行为的空间元素，用户界面模块用于向外提供功能接口。该装置和检测方法实现了人员行为判定，领域模型抽取、运维语义模型构造、异常行为检查等功能。

Description

基于语义模型的消防运维阶段人员异常检测装置和方法

技术领域

本发明涉及消防运维阶段人员行为异常的检测，是自动检测运维阶段人员行为规范性的方法和手段，应用于建筑运维阶段，尤其涉及一种基于语义模型的消防运维阶段人员异常检测装置和方法。

背景技术

消防安全保障是社会安全的一个重要目标。随着城市体量的迅速增大，安全事故频频发生。近些年来，各地出现许多大型的火灾事故，造成大量人员和经济损失。消防运维阶段的安全保障主要由各地消防部门负责，依据消防检查相关规定，对建筑设施内物体、人员等进行合规性检查。我国已经出台了多部运维阶段的消防相关法律法规，如《住宅物业消防安全管理》(GA1283-2015)、《建筑消防设施的维护管理》(GB25201-2010)、《人员密集场所消防安全管理》(GA654-2006)、《重大火灾隐患判定方法》(GB35181-2017)、《中华人民共和国消防法》等。这些法律法规对建筑中物体的状态、位置以及工作人员的工作状态等提出了明确的要求。例如，《建筑消防设施的维护管理》(GB25201-2010)5.2规定消防控制室每班人员应不少于2人，消防控制室人员值班时间不允许睡觉等要求。

传统消防运维阶段的安全检查，主要依赖人工巡检的方式，每隔一段时间抽查一次，受限于人力，抽查的范围有限，时间间隔很长，难以做到实时性和全面性。目前针对运维阶段的机器监测主要有两种技术手段，一种是运用物联网技术，在关键位置安装传感器，比如烟雾报警器等。传感器检测的目标单一，只能通过数据层面监控建筑的状态。另一种是运用监控视频，但目前大多数监控视频仍然需要工作人员肉眼查看，无法自动发现异常的行为，因此迫切需要面向运维阶段的自动检测手段。

人工智能的发展，为视频信息检测提供了有效的手段，目标检测等方法可以快速检测出视频中各类物体的种类和位置。姿态识别可以识别出视频中的人员数量和姿态。在视频监控方面，近些年随着深度学习的快速发展，视频检测的效率越来越高，越来越多的研究人员将深度学习技术应用在建筑运维领域。Marek等人使用分类的方法实时从监控视频获取人的行为信息，可以获取步行、跑步等行为(参见Ko K E,Sim K B.Deepconvolutional framework for abnormal behavior detection in a smartsurveillance system[J].Engineering Applications of Artificial Intelligence,2018,67:226-234.)。

Kwang-Eun等人提出了一种基于深度卷积框架的统一框架，提高了检测的速度(参见Kulbacki M,Segen J,Wojciechowski S,et al.Intelligent Video MonitoringSystem with the Functionality of Online Recognition of People’s Behavior andInteractions Between People[C]//Asian Conference on Intelligent Informationand Database Systems.Springer,Cham,2018:492-501.)。

然而，消防运维阶段的检测不仅需要建筑内的物体、人员等目标信息，还需要建筑本身的信息，包括建筑的功能空间、安全出口、疏散通道等建筑的信息内容。以上这些方法均是使用深度学习的方法从视频中检测出异常信息，但是这些信息是缺乏消防语义的，并且无法与建筑结合。

另一方面，BIM(Building Information Model)模型的发展，为建筑的信息化表达提供了有效的手段。针对BIM模型有两类自动检测技术，即面向特定目标的模型检测和基于规则的模型检测。其中基于规则的模型检测，通过定制规则，检测模型对各种国家、企业和项目标准规范条款的符合成都，具有很强的灵活性。模型检测方法首先需要获取模型中包含的所有待检测的相关信息，待检测的模型是已经设计好的静态建筑信息模型。

在BIM模型的自动检测方面，行业内有许多应用较为广泛BIM设计、检测平台，比如Revit就是一个使用范围比较广的BIM设计软件，并且具有一定的自查功能。除此之外，SMARTcodes是北美地区使用较为普遍的一个模型合规性检查工具(参见ConoverD.Development and implementation of automated code compliance checking in theUS[J].International Code Council,2007.)。JotneEDModelChecker设计了对象数据库EDM,可以进行规则编辑，也可也导出文字类型的报告，同时提供服务器功能，可以同时处理多个建筑模型(参见EDM ModelChecker[EB/OL].[Online；accessed 3-May-2018].http://www.jotneit.no/.)。

许多模型检查工具在这个工作基础上做上层开发。比如E-PlanCheck系统是新加坡政府在1995年开发的一个面向IFC(Industry Foundation Classs)的检查系统，该系统在楼宇控制、消防检查、环境检查等方面都可以进行合规性检查(参见Khemlani L.CORENETe-PlanCheck:Singapore's automated code checking system[J].AECbytes,October,2005.)。DesignCheck项目(参见Khemlani L.CORENET e-PlanCheck:Singapore'sautomated code checking system[J].AECbytes,October,2005.)是由挪威的BuildingSMART项目组(参见Ding L,Drogemuller R,Rosenman M,et al.Automating codechecking for building designs-DesignCheck[J].2006.)和澳大利亚的项目组共同设计的，支持模型预览、检查、错位定位等功能。此外，Solibri Model Checker是一款比较成熟的模型自动检查工具，可以进行比较灵活的规则配置，支持模型预览和错误定位等功能(参见

J.BuildingSMART–a smart way for implementation of standards[J].2007.)。

清华大学软件学院BIM课题组研发的BIMChecker工具将规范编写成结构化自然语言SNL(Structural Natural language)，可以灵活检查BIM模型是否符合规范(SMC:Solibri Model Checker,Solibri[EB/OL],[Online；accessed 3-May-2018].https://www.solibri.com/products/solibri-model-checker/.)。另外还有一些项目是针对某个特定问题的模型检查，比如Fire Codes Checker(FCC)是专门检查消防规范的工作(SMC:Solibri Model Checker,Solibri[EB/OL],[Online；accessed 3-May-2018].https://www.solibri.com/products/solibri-model-checker/.)。然而，目前BIM模型上的自动检测是针对静态的BIM模型，没有涉及到运维阶段的人员及行为信息。消防运维阶段的人员异常检测是一个实时性和动态性要求很强的问题，目前的BIM模型检测方法并不能直接适用。

发明内容

为了解决上述问题，本发明提供一种基于语义模型的消防运维阶段人员异常检测装置和检测方法，实现了人员行为判定，领域模型抽取、运维语义模型构造、异常行为检查等功能。

本发明的技术方案是提供了一种基于语义模型的消防运维阶段人员异常检测装置，包括：视频处理模块，行为判定模块，领域模型抽取模块、运维语义模型构造模块、异常行为检查模块和用户界面模块，其特征在于：

视频处理模块用于获取本地视频流或者RSTP格式的直播视频流信息；服务器定时从每个视频流截取视频帧，创建工作空间存储视频帧并记录视频帧时间戳以及视频来源；

行为判定模块用于实现图像中人员行为判定，为运维语义信息生成提供技术准备；行为判定模块对消防运维阶段人员检测关注的目标区域进行检测，检测工作人员的行为信息；

领域模型抽取模块用于实现消防运维领域的子模型抽取；抽取消防运维阶段关注的建筑信息，分别分为实体、关系和属性；领域模型抽取模块以建筑BIM模型的文本格式文件为基础，对模型的实体、属性和关系进行处理，形成领域模型文件；

运维语义模型构造模块用于构造消防运维语义模型；运维语义模型构造模块对行为判定模块得到的运维信息解析并进行补充和映射，解析之后需要依据BIM模型的格式将运维信息转换成与BIM模型描述语义信息的方式一致的格式；

异常行为检查模块用于检查建筑物中存在异常行为的空间元素，即人员数量不满足对应空间的要求和人员行为不符合对应空间的要求；

用户界面模块用于向外提供功能接口，一方面输入视频流并展示视频内容，修改视频配置，为视频处理模块提供视频数据，另一方面将行为判定模块检测到的结果和异常行为检查模块输出的结果进行输出展示。

进一步地，对于RSTP格式的直播视频流需要网络摄像头以及摄像头的地址、用户名和密码，服务器通过网络访问摄像头，获取视频信息；对于本地视频，视频需要存储在服务器，服务器本地访问视频。

进一步地，行为判定模块包含姿态识别模块和行为规则判定模块；其中：姿态识别模块是通过预训练的检测模型对视频处理模块保存的视频图片进行检测，检测模型使用Faster-RCNN网络从图像中检测出包含人的矩形框；使用SPPE方法得到每个矩形框中人员的17个关键点，分别是鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、臀部、左膝盖、右膝盖、左脚踝、右脚踝；检测结果包含每个关键点的坐标以及置信度；行为规则判定模块输入是每个人的关键点的坐标和置信度，对关键点进行归一化，然后计算上肢与下肢的角度，通过几何关系判定人的行为。

进一步地，实体包括建筑实体和空间实体，关系为包含关系，属性为名称信息和几何信息；为运维模型优化、提升检查效率提供技术准备。

进一步地，采用面向规则的模型检查方法检查消防运维阶段有无人员行为违反规范的行为，通过运维语义模型构造模块构造出消防运维视角下的建筑与人的模型，为异常行为检查提供技术准备。

进一步地，异常行为检查模块包括：将运维规范编写成SNL语句，将SNL转换成SPARQL查询语句，在运维语义模型上进行查询，检查出不符合运维规范的元素。

本发明还提供了一种基于语义模型的消防运维阶段人员异常检测方法，具体包括：

步骤1、视频处理模块通过用户界面模块获取到消防运维阶段人员检测关注的目标区域的视频，然后运行计时器，定时从所有视频流中提取视频帧，将提取到的视频帧保存到本地，留作证据，并供后续使用；

步骤2、保存消防运维阶段人员检测关注的图片之后，行为判定模块读取保存的最新的建筑内场景图片，进行信息检测，检测目标是建筑内场景图片中人员的行为；

步骤3、将人的信息与建筑的信息结合，形成消防运维阶段的语义模型；运维语义模型构造模块对行为判定模块的结果进行解析和处理，读取领域模型，将领域模型和运维信息进行融合，生成运维语义模型中间格式文本文件；

步骤4、构造完消防运维阶段的BIM模型之后，在异常行为检查模块中，使用面向规则的模型检查工具对该运维BIM模型进行检查，检查是否存在不符合消防运维规范规定的人员异常行为；异常行为检查模块读取运维语义模型，并在该运维BIM模型上执行SPARQL查询，得到检查结果；

步骤5、用户界面会将行为判定模块以及异常行为检查模块反馈的问题进行汇总，以网页的形式展示给用户

本发明的有益效果在于：

(1)本发明实现了基于语义模型的消防运维阶段人员异常检测装置，提出了消防运维语义模型的构建方法。在行为判定模块，通过姿态识别模型和规则识别出人的行为信息，在运维语义模型构造模块，构造“人员”实体，并将建筑作为“静态”实体，进行融合。此方法将动态的信息融合到了BIM模型之后，扩展了BIM模型的表示范围，为自动检查提供支持。在建筑BIM模型的运维应用方面，通过抽取运维检测所需要的功能空间信息，删除墙、门、窗、柱等大量无用构件及信息，大大降低了语义模型的规模，保证了检查的实时性。

(2)本发明提出了基于语义模型的消防运维阶段人员异常检测方法，在异常行为检测模块，采用OWL语义模型上的SPARQL查询技术，检测消防运维阶段人员行为相关的内容是否符合规范，并及时给出检测结果。基于本方法，待检测的规范是可配置的，解决了复杂规则的检查问题并提高了检查的灵活性。

附图说明

图1是本发明装置各个功能模块之间的逻辑处理流程图；

图2是机房环境下的检查范例示意图；

图3是监控视频人体姿态识别原理示意图

具体实施方式

以下结合附图说明对本发明的实施方式作进一步的详细描述。

如图1所示，该实施例提供了一种基于语义模型的消防运维阶段人员异常检测装置，包括：视频处理模块，行为判定模块，领域模型抽取模块、运维语义模型构造模块、异常行为检查模块和web用户交互界面模块，其中：

视频处理模块处理建筑中视频监控数据，为行为判定提供了数据，选取消防运维阶段人员检测的目标区域，获取监控视频。

因此，视频处理模块用于获取本地视频流或者RSTP(Real Time StreamingProtocol)格式的直播视频流信息。对于RSTP格式的直播视频流需要网络摄像头以及摄像头的地址、用户名和密码。服务器通过网络访问摄像头，获取视频信息。对于本地视频，视频需要存储在服务器，服务器本地访问视频。定时从每个视频流截取视频帧，创建工作空间存储视频帧并记录视频帧时间戳以及视频来源。以某实验楼离线监控视频为例，如图2所示，首先获取到监控视频，通过访问web用户交互界面上传至服务器中，并通过视频选择菜单选择检查该上传的视频，后端自动将视频输入到视频处理模块。视频处理模块每隔15秒自动取一帧视频图片，创建文件夹并存储以供后续模块使用。视频流检测与离线检测流程基本一致，差异在于用户可在web用户交互界面中的RSTP流配置分别输入RSTP流地址、用户和密码并点击播放即可直接播放监控视频并同时进行检测。

行为判定模块用于实现图像中人员行为判定，为运维语义信息生成提供技术准备。行为判定模块对消防运维阶段人员检测关注的目标区域进行检测，检测工作人员的行为信息。

行为判定模块包含两个部分，第一部分是姿态识别模块，第二部分是行为规则判定模块。姿态识别模块是通过预训练的检测模型对视频处理模块保存的视频图片进行检测，检测模型使用Faster-RCNN网络从图像中检测出可能包含人的矩形框，针对检测到的矩形框可能出现冗余和偏移的缺点，使用对称的STN优化矩形框。使用SPPE方法得到每个矩形框中人员的17个关键点，分别是鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、臀部、左膝盖、右膝盖、左脚踝、右脚踝。检测结果包含每个关键点的坐标以及置信度。

行为规则判定模块输入是每个人的关键点信息(坐标和置信度)，对关键点进行归一化，然后计算上肢与下肢的角度，通过几何关系判定属于哪种行为。该模块属于透明模块，用户无需进行人工配置，该模块在视频帧传入时会自动进行并提取上述关键点信息进行行为判定并保存。如图3所示，为行为判定模块对监控视频处理后，对人体行为的可视化展示及结论反馈的示意。图中可见该模块可正确处理每个个体的关键点并分析得出人的坐、躺姿态。

领域模型抽取模块用于实现消防运维领域的子模型抽取。消防运维阶段人员检测关注的问题包含人员与建筑的关系，所以需要获得建筑的模型信息，但是建筑的模型信息往往很复杂，影响检查的时间，通过模型抽取，去除本系统的冗余信息，提高检查效率。其中，抽取的消防运维阶段关注的建筑信息，分别分为实体、关系和属性。实体包含建筑实体与空间实体，关系有“包含”关系，属性有名称信息、几何信息等。以备优化运维模型、提升检查效率。领域模型抽取模块中，首先以建筑BIM模型的文本格式文件为基础，对模型的实体、属性和关系进行处理，抽取领域问题关注的信息，最终形成只包含关注的信息的领域模型文件。在用户通过web用户界面模块上传模型文件后，经由本模块处理建筑模型的信息抽取，以达到节约空间、提升效率的目的。

运维语义模型构造模块用于构造消防运维语义模型。本实施例采用面向规则的模型检查方法检查消防运维阶段有无人员行为违反规范的行为，通过运维语义模型构造模块构造出消防运维视角下的建筑与人的模型，为异常行为检查提供技术准备。运维语义模型构造模块对行为判定模块得到的运维信息解析并进行补充和映射，解析之后需要依据BIM模型的格式将运维信息转换成与BIM模型描述语义信息的方式一致的格式。映射的目的就是为了以与模型一致的方式描述运维语义信息，补充是依据BIM模型的格式对语义信息进行补充，抽取到的信息有些是隐含的，比如人员的位置信息、抽取的时间信息等。然后在建筑运维领域模型的基础上，将构造的运维信息与建筑模型融合形成运维语义模型。

异常行为检查模块用于检查建筑物中存在异常行为的空间元素，即人员数量不满足对应空间的要求和人员行为不符合对应空间的要求。异常行为检查模块包括：将运维规范编写成SNL语句，将SNL转换成SPARQL查询语句，在运维语义模型上进行查询，检查出不符合运维规范的元素。

用户界面模块向外提供了使用本装置的功能接口。一方面输入视频流并展示视频内容，修改视频配置，为视频处理模块提供视频数据，另一方面将行为判定模块检测到的结果和异常行为检查模块输出的结果进行输出展示。此模块与上述各模块相结合为用户提供友好的交互功能。

在以上功能模块的基础上，本发明提供了基于语义模型的消防运维阶段人员异常检测装置，该装置可以自动读取由监控视频的视频流数据，实现视频中人员的数量和行为全自动检测，构造运维语义模型，并反馈出存在异常行为的空间和人员，相较于基于传感器和人工巡检的方式，同时更加智能和自动化。

该实施例还提供了一种基于语义模型的消防运维阶段人员异常检测方法，具体包括：

步骤1、视频处理模块通过用户界面模块获取到消防运维阶段人员检测关注的目标区域的视频，然后运行计时器，定时从所有视频流中提取视频帧，将提取到的视频帧保存到本地，留作证据，并供后续使用；领域模型抽取模块读取建筑BIM模型，生成领域模型中间格式文本文件持久化。

步骤2、保存消防运维阶段人员检测关注的图片之后，行为判定模块读取保存的最新的建筑内场景图片，进行信息检测，检测目标是图片中人员的行为；

步骤3、消防运维阶段人员检测关注的问题是建筑与人相结合，上一步检测了建筑中人的信息，这一步将人的信息与建筑的信息结合，形成消防运维阶段的语义模型。运维语义模型构造模块对行为判定模块的结果进行解析和处理，读取领域模型，将领域模型和运维信息进行融合，生成运维语义模型中间格式文本文件；

步骤4、构造完消防运维阶段的BIM模型之后，使用面向规则的模型检查工具对模型进行检查，检查是否存在不符合消防运维规范规定的人员异常行为；异常行为检查模块读取运维语义模型，在运维阶段BIM模型上执行SPARQL查询，得到检查结果；

步骤5、用户界面会将行为判定模块以及异常行为检查模块反馈的问题进行汇总，以网页的形式展示给用户。

虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (7)

1.一种基于语义模型的消防运维阶段人员异常检测装置，包括：视频处理模块，行为判定模块，领域模型抽取模块、运维语义模型构造模块、异常行为检查模块和用户界面模块，其特征在于：

视频处理模块用于获取本地视频流或者RSTP格式的直播视频流信息；服务器定时从每个视频流截取视频帧，创建工作空间存储视频帧并记录视频帧时间戳以及视频来源；

行为判定模块用于实现图像中人员行为判定，为运维语义信息生成提供技术准备；行为判定模块对消防运维阶段人员检测关注的目标区域进行检测，检测工作人员的行为信息；

领域模型抽取模块用于实现消防运维领域的子模型抽取；抽取消防运维阶段关注的建筑信息，分别分为实体、关系和属性；领域模型抽取模块以建筑BIM模型的文本格式文件为基础，对模型的实体、属性和关系进行处理，形成领域模型文件；

运维语义模型构造模块用于构造消防运维语义模型；运维语义模型构造模块对行为判定模块得到的运维信息解析并进行补充和映射，解析之后需要依据BIM模型的格式将运维信息转换成与BIM模型描述语义信息的方式一致的格式；然后，在建筑运维领域模型的基础上，将构造的运维信息与建筑模型融合形成运维语义模型；异常行为检查模块用于检查建筑物中存在异常行为的空间元素，即人员数量不满足对应空间的要求和人员行为不符合对应空间的要求；

用户界面模块用于向外提供功能接口，一方面输入视频流并展示视频内容，修改视频配置，为视频处理模块提供视频数据，另一方面将行为判定模块检测到的结果和异常行为检查模块输出的结果进行输出展示。

2.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：对于RSTP格式的直播视频流需要网络摄像头以及摄像头的地址、用户名和密码，服务器通过网络访问摄像头，获取视频信息；对于本地视频，视频需要存储在服务器，服务器本地访问视频。

3.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：行为判定模块包含姿态识别模块和行为规则判定模块；其中：姿态识别模块是通过预训练的检测模型对视频处理模块保存的视频图片进行检测，检测模型使用Faster-RCNN网络从图像中检测出包含人的矩形框；使用SPPE方法得到每个矩形框中人员的17个关键点，分别是鼻子、左眼、右眼、左耳、右耳、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、臀部、左膝盖、右膝盖、左脚踝、右脚踝；检测结果包含每个关键点的坐标以及置信度；行为规则判定模块输入是每个人的关键点的坐标和置信度，对关键点进行归一化，然后计算上肢与下肢的角度，通过几何关系判定人的行为。

4.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：实体包括建筑实体和空间实体，关系为包含关系，属性为名称信息和几何信息；为运维模型优化、提升检查效率提供技术准备。

5.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：采用面向规则的模型检查方法检查消防运维阶段有无人员行为违反规范的行为，通过运维语义模型构造模块构造出消防运维视角下的建筑与人的模型，为异常行为检查提供技术准备。

6.根据权利要求1所述的基于语义模型的消防运维阶段人员异常检测装置，其特征在于：异常行为检查模块包括：将运维规范编写成SNL语句，将SNL转换成SPARQL查询语句，在运维语义模型上进行查询，检查出不符合运维规范的元素。

7.一种基于语义模型的消防运维阶段人员异常检测方法，具体包括：

步骤1、视频处理模块通过用户界面模块获取到消防运维阶段人员检测关注的目标区域的视频，然后运行计时器，定时从所有视频流中提取视频帧，将提取到的视频帧保存到本地，留作证据，并供后续使用；领域模型抽取模块读取建筑BIM模型，生成领域模型中间格式文本文件持久化；

步骤2、保存消防运维阶段人员检测关注的图片之后，行为判定模块读取保存的最新的建筑内场景图片，进行信息检测，检测目标是建筑内场景图片中人员的行为；

步骤3、将人的信息与建筑的信息结合，形成消防运维阶段的语义模型；运维语义模型构造模块对行为判定模块的结果进行解析和处理，读取领域模型，将领域模型和运维信息进行融合，生成运维语义模型中间格式文本文件；

步骤4、构造完消防运维阶段的BIM模型之后，在异常行为检查模块中，使用面向规则的模型检查工具对该运维BIM模型进行检查，检查是否存在不符合消防运维规范规定的人员异常行为；异常行为检查模块读取运维语义模型，并在该运维BIM模型上执行SPARQL查询，得到检查结果；

步骤5、用户界面会将行为判定模块以及异常行为检查模块反馈的问题进行汇总，以网页的形式展示给用户。

Images