CN117275202A - 文物重点区域危险源全方位实时智能预警方法及系统 - Google Patents

文物重点区域危险源全方位实时智能预警方法及系统 Download PDF

Info

Publication number
CN117275202A
CN117275202A CN202311215703.1A CN202311215703A CN117275202A CN 117275202 A CN117275202 A CN 117275202A CN 202311215703 A CN202311215703 A CN 202311215703A CN 117275202 A CN117275202 A CN 117275202A
Authority
CN
China
Prior art keywords
data
abnormal
fire
early warning
ffn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311215703.1A
Other languages
English (en)
Inventor
宋占杰
王俊
宋伟
郭放
陈雪
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Tianjin University
Wuhan University WHU
South Central Minzu University
Original Assignee
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Tianjin University
Wuhan University WHU
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA, Tianjin University, Wuhan University WHU, South Central University for Nationalities filed Critical PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority to CN202311215703.1A priority Critical patent/CN117275202A/zh
Publication of CN117275202A publication Critical patent/CN117275202A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Abstract

本发明公开了一种文物重点区域危险源全方位实时智能预警方法及系统，该方法包括如下步骤：步骤一，收集文物重点区域危险源相关的安全及消防数据，安全及消防数据类型包括文本数据、图片数据、视频数据及Web数据；步骤二，将收集的数据进行融合，构建成文物重点区域安防知识图谱进行存储；步骤三，实时采集文物重点区域的安全及消防监控设备的监测数据，对各类监测数据单独进行识别或综合进行识别，并判断是否存在异常数据及异常行为；步骤四，对多种途径识别出的异常信息进行融合分析，给予综合判定，并根据综合判定发出对应的预警信号。本发明采取深度神经网络方法提取特征及分类识别，改进误报和漏报问题，提升文物保护安防领域智能化水平。

Description

文物重点区域危险源全方位实时智能预警方法及系统
技术领域
本发明涉及一种大数据分析领域，特别涉及一种文物重点区域危险源全方位实时智能预警方法及系统。
背景技术
目前，随着信息时代数据指数级增长，文物保护、公共安全领域急需引入大数据分析技术，以解决传统人工事后分析的不足。在文物安全危险源识别与异常事件智能分析方面，国内层面，在危险源识别方面，现有危险源识别主要集中在建筑、航空、军事、水利以及化工等领域，在异常事件分析方面，主要是针对能源、医疗、网络以及交通等领域的异常行为分析研究，缺乏面向特定文物安全领域的危险源识别与异常事件分析技术。国际层面，在危险源识别方面，针对温度、湿度、光度等小气候参数，研发了相应文化遗产保护系统，针对火灾风险，研发了烟雾探测及其自动报警系统，以提高文物的安全系数。
综上所述，已有方案一方面缺乏面向文物安全消防、安防等危险源的综合处理与分析系统。在异常事件智能分析方面，当前通用场景下的行为识别的研究较为成熟，常用方法包括基于手工特征学习的时空兴趣点方法和稠密轨迹法，基于深度学习的时空双流法、三维卷积法和时域分段卷积网络。然而文物安全领域的专门研究和应用仍然较少，知识图谱、人工智能等现代大数据技术在文物安全危险源识别及异常事件分析方面还有待提高。
文物安全数据多源分散，结构化和非结构化数据难以实现关联分析，主客观文保危险源识别在综合处理与分析上面存在的不足，在盗窃异常、火灾异常、盗掘异常及法人违法识别准确度低。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种结构化和非结构化关联数据的文物重点区域危险源全方位实时智能预警方法及系统。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：
一种文物重点区域危险源全方位实时智能预警方法，包括如下步骤：
步骤一，收集文物重点区域危险源相关的安全及消防数据，安全及消防数据类型包括文本数据、图片数据、视频数据及Web数据；
步骤二，将收集的数据进行融合，构建成文物重点区域安防知识图谱进行存储；
步骤三，实时采集文物重点区域的安全及消防监控设备的监测数据，对各类监测数据单独进行识别或综合进行识别，并判断是否存在异常数据及异常行为；
步骤四，对多种途径识别出的异常信息进行融合分析并给予综合判定，根据综合判定的异常信息发出预警信号。
进一步地，步骤一中，安全及消防数据包括：规则规范、文物保护地的场景布局图、文物及建筑物图片、文物及建筑物视频、消防监测数据、互联网查询数据；文物保护地的场景布局图包括：传感器布置图，摄像头的布置点及状态，灭火器及消防栓的布局和对应数量，消防通道的状态。
进一步地，步骤二包括如下方法步骤：
采用基于机器学习的实体识别引擎自动识别安全及消防数据中的实体对象；采用基于机器学习的抽取工具抽取安全及消防数据中实体间时空关联关系；基于实体时空关联关系，建立文物重点区域安防知识图谱模型。
进一步地，识别安全及消防数据中的文本数据中的实体对象时，采用如下方法步骤：
首先采用Boson工具将文本划分为单词，然后通过与语料库进行对比，识别出词性；借助部分人工标注，识别出实体对象，然后通过半监督学习机制，改进文本实体的识别效率。
进一步地，构建基于CNN的关系抽取模型、基于BiLSTM的关系抽取模型、基于PCNN的远程监督关系抽取模型、基于Capsule的关系抽取模型、基于Transformer的关系抽取模型、基于GCN的关系抽取模型以及基于BERT语言预训练模型的关系抽取模型，采用DeePKE抽取工具来抽取安全及消防数据中实体间时空关联关系。
进一步地，基于BERT语言预训练模型的关系抽取模型包括依次连接的实体抽取模块和关系分类模块，实体抽取模块用于实体抽取及分类，其输出BIOES类别信号；设由BIOES类别信号编码构成的固定维度向量为设BERT的编码向量为/>将/>拼接作为关系分类模块的输入；/>并行地通过两个FFN层，对应得到以下两个向量：
随后，将两个向量通过一个Biaffine层，预测出属于每个关系的类别：
式中：
表示xi (NER)通过FFNhead层得到的输出；FFNhead层是指对于xi (NER)的全连接神经网络；
表示/>通过FFNtail层得到的输出；FFNtail层是指对于ei (NER)的全连接神经网络；
表示第j层FFNhead层的输出；
表示第k层FFNtail层的输出；
表示对应输入/>的FFNhead层的输出；
表示对应/>的FFNtail层的输出；
表示第j个分量属于第k个关系的概率矩阵输出，概率矩阵中行表示分量，列表示各个关系的概率值；
Biaffine(x1,x2)表示Biaffine层对应向量x1和x2的输出；
x1表示头部输入；
x2表示尾部输入；
ω表示模型参数；
b表示偏移量。
进一步地，步骤三包括如下方法步骤：
步骤1，安全及消防监控设备的监测数据包括视频数据、音频数据、图片数据、烟感数据、温度数据、湿度数据及地波数据；
步骤2，设置安全阈值，将烟感数据、温度数据、湿度数据与安全阈值进行比较，判断是否存在异常；
采用多示例学习及深度学习方法对图片数据进行识别，判断图片数据是否存在异常；
构建报警系统字段的知识图谱或者采用多示例学习及深度学习方法，判断是否存在可疑视频；对每个可疑视频进行单独分析，提取人体骨架运动序列，并进行多视角融合，进而基于人体骨架运动序列，通过深度学习进行行为分类识别，判断是否为异常行为；
采取深度学习方法提取地波数据特征并进行分类识别，判断地层是否存在异常震动；
步骤3，采用动态贝叶斯网络对视频分类和震波分类进行融合分析；判断是否存在破坏文物行为。
进一步地，步骤四中，对多种途径识别出的异常信息进行融合分析并给予综合判定的方法包括如下方法步骤：
把异常行为检测的传感器信号映射为(0，1)两种取值，其中，0表示“未检测到异常行为”，1表示“检测到异常行为”；同时将每个传感器对异常行为的检测结果作为独立事件，令n表示传感器数量，pi表示第i个传感器对某个异常行为预报成功的准确率，Pr[P]表示至少有一个传感器检测到异常行为的概率，则Pr[P]的计算公式如下：
基于多源报警数据融合，在单个传感器异常行为识别准确率无法达到预期评价指标的情况下，通过对多个传感器预警结果的综合判定，确定是否存在异常。
进一步地，步骤四中，根据综合判定的异常信息发出预警信号的方法包括如下方法步骤：
由安防知识图谱构建场景数据库，场景数据中访问接口设置监控设备、监控设备所在区域及方位、监控时间、区域安防状态；区域安防状态用于存储各监控设备状态及其监控范围安防状态；将综合判定的异常信息，通过区域安防状态接口，存入场景数据库模型，报警装置通过区域安防状态接口读取场景数据库中数据，当读取的数据出现异常标志信号时，发出预警信号。
本发明还提供了一种文物重点区域危险源全方位实时智能预警系统，该系统包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述的文物重点区域危险源全方位实时智能预警方法步骤。
本发明具有的优点和积极效果是：
1.使用知识图谱构建方法对文物保护领域的相关法规标准和场景布放布局的相关要求在概念统一化后进行存储，并在此基础上实现对文物保护现场的设备布局具体数据进行合规性检查，提升文物保护安防领域的智能化水平和文物安全防护水平。
2.监控设备(如视频)数据是时间连续的，是时间序列，并且很多异常行为的判定不是由单个静态姿势判断的，结合动态序列，该方案采取深度神经网络方法自动提取行为特征进行行为分类，优化采取先验的特征设计方法导致的误报和漏报问题。
3.针对主客观文保危险源识别在综合处理与分析上面存在的不足，在盗窃异常、火灾异常、盗掘异常及法人违法识别模块中，利用虚拟触发式绊线检测、文物危险原子行为识别、轻量级知识图谱的结构化与非结构化数据融合分析等方法，实现重点区域主客观危险源全方位智能识别，提高智能系统报警的准确度。
附图说明
图1是本发明的一种文物重点区域危险源全方位实时智能预警方法工作流程图。
图2是本发明的一种非结构化数据实体抽取图示意图。
图3是本发明的一种基于BERT语言预训练模型的关系抽取模型工作流程示意图。
图4是本发明的一种基于《文物安全风险指标体系》实体抽取及关系抽取的结果示意图。
图5是本发明的场景数据库界面示意图。
图6是本发明的一种文物重点区域安防设施布放知识图谱示意图。
图7是本发明的非结构化与结构化数据下基于人体骨架运动序列的异常识别流程图。
图中：Input表示输入；Embedding表示嵌入向量；BERT全称为BidirectionalEncoder Representation from Transformers，表示来自变换器的双向编码器表征模型，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的掩码语言模型(maskedlanguage model，缩写MLM)，以致能生成深度的双向语言表征；Feed Forward前传神经网络；Feed Forward(head)头向量前传神经网络；Feed Forward(tail)尾部向量前传神经网络；Biaffine Classifier双仿射注意力机制；Softmax表示归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数多用于多分类问题中；REOutPut Probabilities表示关系分类的概率；NER Output Probalities表示实体分类的概率分布。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本申请中以下英文的中文释义如下：
CapsuleNetwork：胶囊网络。
Boson：一种语义挖掘工具。
BiLSTM(Bi-directional Long Short-Term Memory)：双向长短期记忆网络。
PCNN(PCNN-Pulse Coupled Neural Network)：脉冲耦合神经网络。
Transformer：Transformer模型，一个基于多头注意力机制的神经网络模型。
GCN(Graph Convolutional Network)：图卷积神经网络。
CNN(Convolutional Neural Network)：卷积神经网络。
DeePKE(Deep Learning based Knowledge Extraction Toolkit)：基于深度学习的知识提取工具。
BIOES：BIOES体系。BIOES体系是目前最通用的命名实体标注方法。
BERT(Bidirectional Encoder Representations from Transformers)：双向编码表示Transformer预训练模型。
BosonNLP：BosonNLP工具。一种中文语义开放平台。
Biaffine：双仿射注意力机制。
FFN：前馈神经网络。
请参见图1至图7，一种文物重点区域危险源全方位实时智能预警方法，包括如下步骤：
步骤一，收集文物重点区域危险源相关的安全及消防数据，安全及消防数据类型包括文本数据、图片数据、视频数据及Web数据；
步骤二，将收集的数据进行融合，构建成文物重点区域安防知识图谱进行存储；
步骤三，实时采集文物重点区域的安全及消防监控设备的监测数据，对各类监测数据单独进行识别或综合进行识别，并判断是否存在异常数据及异常行为；
步骤四，对多种途径识别出的异常信息进行融合分析并给予综合判定，根据综合判定的异常信息发出预警信号。
优选地，步骤一中，安全及消防数据可包括：规则规范、文物保护地的场景布局图、文物及建筑物图片、文物及建筑物视频、消防监测数据、互联网查询数据；文物保护地的场景布局图可包括：传感器布置图，摄像头的布置点及状态，灭火器及消防栓的布局和对应数量，消防通道的状态。
优选地，步骤二可包括如下方法步骤：
采用基于机器学习的实体识别引擎自动识别安全及消防数据中的实体对象；采用基于机器学习的抽取工具抽取安全及消防数据中实体间时空关联关系；基于实体时空关联关系，建立文物重点区域安防知识图谱模型。
优选地，识别安全及消防数据中的文本数据中的实体对象时，可采用如下方法步骤：
首先采用Boson工具将文本划分为单词，然后通过与语料库进行对比，识别出词性；借助部分人工标注，识别出实体对象，然后通过半监督学习机制，改进文本实体的识别效率。
优选地，可构建基于CNN的关系抽取模型、基于BiLSTM的关系抽取模型、基于PCNN的远程监督关系抽取模型、基于Capsule的关系抽取模型、基于Transformer的关系抽取模型、基于GCN的关系抽取模型以及基于BERT语言预训练模型的关系抽取模型，采用DeePKE抽取工具来抽取安全及消防数据中实体间时空关联关系。
优选地，基于BERT语言预训练模型的关系抽取模型可包括依次连接的实体抽取模块和关系分类模块，实体抽取模块可用于实体抽取及分类，其输出BIOES类别信号；可设由BIOES类别信号编码构成的固定维度向量为是通过可学习的嵌入矩阵获取。可设BERT的编码向量为/>将/>拼接作为关系分类模块的输入；/> 并行地通过两个FFN层，对应得到以下两个向量：
随后，将两个向量通过一个Biaffine层，预测出属于每个关系的类别：
式中：
表示xi (NER)通过FFNhead层得到的输出；FFNhead层是指对于xi (NER)的全连接神经网络；
表示/>通过FFNtail层得到的输出；FFNtail层是指对于ei (NER)的全连接神经网络；
表示第j层FFNhead层的输出；
表示第k层FFNtail层的输出；
表示对应输入/>的FFNhead层的输出；
表示对应/>的FFNtail层的输出；
表示第j个分量属于第k个关系的概率矩阵输出，概率矩阵中行表示分量，列表示各个关系的概率值；
Biaffine(x1,x2)表示Biaffine层对应向量x1和x2的输出，由于基于BERT语言预训练模型的关系抽取模型是对二元关系的分类，因此，输入为二元关系，分别表示头部和尾部；其中：
x1表示头部输入；
x2表示尾部输入；
ω表示模型参数；
b表示偏移量。
优选地，步骤三可包括如下方法步骤：
步骤1，安全及消防监控设备的监测数据可包括视频数据、音频数据、图片数据、烟感数据、温度数据、湿度数据及地波数据；
步骤2，可设置安全阈值，将烟感数据、温度数据、湿度数据与安全阈值进行比较，判断是否存在异常；
可采用多示例学习及深度学习方法对图片数据进行识别，判断图片数据是否存在异常；
可构建报警系统字段的知识图谱或者采用多示例学习及深度学习方法，判断是否存在可疑视频；对每个可疑视频进行单独分析，提取人体骨架运动序列，并进行多视角融合，进而基于人体骨架运动序列，通过深度学习进行行为分类识别，判断是否为异常行为；
可采取深度学习方法提取地波数据特征并进行分类识别，判断地层是否存在异常震动；
步骤3，可采用动态贝叶斯网络对视频分类和震波分类进行融合分析；判断是否存在破坏文物行为。
优选地，步骤四中，对多种途径识别出的异常信息进行融合分析并给予综合判定的方法包括如下方法步骤：
可把异常行为检测的传感器信号映射为(0，1)两种取值，其中，0表示“未检测到异常行为”，1表示“检测到异常行为”；同时将每个传感器对异常行为的检测结果作为独立事件，令n表示传感器数量，pi表示第i个传感器对某个异常行为预报成功的准确率，Pr[P]表示至少有一个传感器检测到异常行为的概率，则Pr[P]的计算公式如下：
基于多源报警数据融合，在单个传感器异常行为识别准确率无法达到预期评价指标的情况下，通过对多个传感器预警结果的综合判定，确定是否存在异常。
优选地，步骤四中，根据综合判定的异常信息发出预警信号的方法可包括如下方法步骤：
可由安防知识图谱构建场景数据库，场景数据中访问接口设置监控设备、监控设备所在区域及方位、监控时间、区域安防状态；区域安防状态可用于存储各监控设备状态及其监控范围安防状态；可将综合判定的异常信息，通过区域安防状态接口，存入场景数据库模型，报警装置可通过区域安防状态接口读取场景数据库中数据，当读取的数据出现异常标志信号时，发出预警信号。
本发明还提供了一种文物重点区域危险源全方位实时智能预警系统，该系统包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述的文物重点区域危险源全方位实时智能预警方法步骤。
下面以本发明的一个优选实施例来进一步说明本发明对工作流程及工作原理：
一种文物重点区域危险源全方位实时智能预警方法，包括如下步骤：
步骤一，收集文物重点区域危险源相关的安全及消防数据，安全及消防数据类型包括文本数据、图片数据、视频数据及Web数据；
步骤二，将收集的数据进行融合，构建成文物重点区域安防知识图谱进行存储；
步骤三，实时采集文物重点区域的安全及消防监控设备的监测数据，对各类监测数据单独进行识别或综合进行识别，并判断是否存在异常数据及异常行为；
步骤四，对多种途径识别出的异常信息进行融合分析，给予综合判定，并根据综合判定发出对应的预警信号。
知识图谱主要作为数据使用，用于存储提取后的规则规范及文物保护地的场景布局等结构与非结构数据。其中，从规范规则中提取知识，例如“面积”-“”-“布局”，即每100m2的范围内布置3个以上的消防灭火器，将其转化为“100m2”-“”-“灭火器”-“三个”的格式数据，存入图数据库中。在之后的合规性检查中，可以根据场景面积来提取相关的规定，并检查该场景中的数量是否符合规定。
文物保护地的场景布局则包括了保护地的何种传感器、摄像头的布置点及状态，灭火器、消防栓的布局和数量，消防通道的状态，地下水的水压等，力图以这些布局构建出完整的保护地的布防，将整个保护单位监控起来，防止意外。同时，也可以将一些异常识别出来，向工作人员发出提醒。
采取深度神经网络的方法，对安全及消防监控设备的监测数据进行特种提取及分类识别；例如将报警系统或监控系统提取的异常视频集输入至神经网络进行识别分类。对每个视频，首先设计骨架姿势序列的提取网络，作为异常行为分类网络的输入，进而通过行为分类网络输出行为类别。因单个视角视频往往存在遮挡，导致识别误差增大，因此融合多视角进行综合分析。在多视角情况，在骨架姿势序列部分进行融合，然后再进行分类。
文物安防知识图谱中的实体关系抽取分为两部分，一为实体抽取，再则关系抽取。实体抽取主要使用BosonNLP等实体识别引擎，识别文本数据中的实体对象，其实体识别主要采用半监督机器学习引擎自动识别。半监督学习(Semi-supervised learning)，即综合利用有类标签的数据和没有类标签的数据，来生成合适的分类模型。其形式化描述为：给定一个来自某未知分布的样本集S＝L∪U，其中L是已标签样本集L＝{(x1,y1),(x2,y2),…,(x|L|,y|L|)}，U是一个未标签样本集U＝{x1’,x2’,…,x|U|’}。实体识别的目标是希望得到函数f:X→Y可以准确地对样本x∈X预测其标签y。这个函数f可能是参数的，如最大似然法；可能是非参数的，如最邻近法、神经网络法、支持向量机法等；也可能是非数值的，如决策树分类等。其中，x与x’均为d维向量，yi∈Y为样本xi的标签，|L|和|U|分别为已标签样本集L和未标签样本集U的基数大小，即所包含的样本数。从样本角度来说，是利用少量标注过的样本数据和大量未标注的样本数据进行的机器学习。采用Boson模型在少量已经标注好的语料库上，辨别出大量的未标注数据实体，达成实体抽取目的。基于非结构化数据《文物安全风险指标体系》的Boson模型实体抽取示例如图2所示。
在图2中，基于Boson工具首先将文本划分为单词，然后通过与语料库进行对比，识别出词性。发现单纯利用现有工具进行实体识别，仍然存在很大的不足，例如会将一些专用实体概念切分的过细而遗漏部分实体对象，一方面借助部分人工标注，识别出原有工具不能识别的实体对象，然后通过半监督学习机制，改进文本实体的识别效率，项目的技术难点在于设计性能好的半监督学习模型，以及在人工标注和学习效率之间找到平衡，改进模型效率。
在关系抽取阶段，采用DeePKE抽取工具，此工具支持现有较成熟的主流深度学习模型，包括基于CNN的关系抽取模型，基于BiLSTM的关系抽取模型，基于PCNN的远程监督关系抽取模型，基于Capsule的关系抽取模型，基于Transformer的关系抽取模型，基于GCN的关系抽取模型，基于BERT语言预训练模型的关系抽取模型。重点抽取文物安防知识图谱中的实体时空关联关系，挖掘文物安防系统中的潜在风险。考虑到挖掘时间序列关系，主要使用基于BERT的关系抽取模型。注意的是，BERT关系抽取模型不仅依赖于两个目标实体的信息，还依赖于句子本身的语义及语法信息。
如图3所示，基于BERT语言预训练模型的关系抽取模型分为两个部分：实体抽取模块和关系分类模块，实体抽取模块和Boson工具类似，主要是将实体分类。关系分类模块由两个输入构成：实体抽取信息和BERT编码信息。如下述公式所示，模块将实体抽取模块输出的BIOES类别的信号编码成固定维度的向量，再与BERT的编码向量拼接起来，作为关系抽取模块的输入：
该输入并行的通过了两个FFN层，称为FFNhead层和FFNtail层，FFNhead层是指对于xi (NER)的全连接神经网络；FFNtail是指对于ei (NER)的全连接神经网络。
如上面的模型结构图所示，得到以下两个向量：
随后，将这两个向量通过一个Biaffine层，预测出属于每个关系的类别：
式中：
表示xi (NER)通过FFNhead层得到的输出；FFNhead层是指对于xi (NER)的全连接神经网络；
表示/>通过FFNtail层得到的输出；FFNtail层是指对于ei (NER)的全连接神经网络；
表示第k层FFNtail层的输出；
表示第j层FFNhead层的输出；
表示对应输入/>的FFNhead层的输出；
表示对应/>的FFNtail层的输出；
表示第j个分量属于第k个关系的概率矩阵输出，概率矩阵中行表示分量，列表示各个关系的概率值；
Biaffine(x1,x2)表示Biaffine层对应向量x1和x2的输出，由于本模型是对二元关系的分类，因此，输入为二元关系，分别表示头部和尾部；
x1表示头部输入；
x2表示尾部输入；
ω表示模型参数；
b表示偏移量。
基于《文物安全风险指标体系》实体抽取的输出数据，关系抽取的结果如图4所示。
2.2.3场景数据建模
场景数据建模主要是接入文物保护地的设备输入，数据集具体内容如图5所示：
其中实体包括name(名称)、part(区位)、location(部位)、time-of-occurrence(发生时间)、state(状态)，关系包括loc、dir、time、sta。其具体含义如下：
name是设备的id，也是设备的唯一标识，通过这个id可以查询每一个设备的位置信息，状态信息等。
part是设备在文物保护地的哪一个部分。项目组将文物保护地划分为数个部分，方便将设备信息划分的更加细致，明确设备的监控范围。
location是该设备在这个部分的具体位置，后续工作会将其改为坐标轴并调用算法计算其距离保护单位的实际距离。
time-of-occurrence则是上次更新时间，或者称之为异常发生时间。这一部分是通过接口，隔一段时间会更新保护地设备数据信息，并发现异常状态，传入规范图谱进行判断属于那种异常并进行上报。
state则是设备状态，包括设备完好性，设备发现异常行为等。
该模拟数据集的“实体-关系-实体”三元组如表1所示。
表1场景布局三元组构成表
实体 关系 实体
name loc part
name dir location
name time time-of-occurrence
name sta state
具体知识图谱结构如图6所示。
除了视频监控外，可能还有消防监控系统。该系统除了发出警报之外，也提供连续的地波数据，用于地下挖掘、爆破等异常行为的识别。地波数据是典型的时间序列，将其作为深度网络的输入，提取特征进行分类识别。可能融合地上的视频监控和地下的传感器探测数据，进行多模态数据融合异常行为识别。采用基于人体骨架运动序列和地波时间序列，考虑环境可能噪声，利用贝叶斯网络，动态估计异常行为水平的变化，工作流程图如图7所示。
通过安防报警系统或者监控分析系统确定可疑的非结构化监控片段，包括地上监控视频片段和地下微振动波片段。构建报警系统字段的知识图谱或者采用多示例学习及深度学习方法确定可疑视频。然后，对每个敏感视频进行单独分析，提取人员行动骨架序列，并进行多视角融合，进而通过深度学习提取时间序列特征进而进行行为分类。此部分从技术上可采用人工提取行为特征进而利用机器学习方法进行分类，但人工提取特征往往依赖先验知识，在异常行为定义模糊、类型多样的情况，容易导致漏报，因此，将采用深度学习网络自动提取特征和分类。同样，也将采取深度学习网络提取地下微震波特征并进行分类识别。最后，采用动态贝叶斯网络对视频分类和震波分类进行融合分析。
针对单点异常行为事件预报准确率低的问题，采用伯努利概率实验和来解决单个测试指标无法达到预期准确率的问题。
伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。把异常行为检测的传感器信号映射为(0，1)两种取值，其中，0表示“未检测到异常行为”，1表示“检测到异常行为”。同时由于每个传感器对异常行为的检测结果可以被看作是独立事件，即单个传感器的异常行为输出结果不会收到其他传感器输出的异常行为检测结果所影响。因此，假设某一异常行为的检测传感器数量为n，由于这n个传感器对在场人员的行为检测结果彼此互不影响，因此，该场景可对应成为一个n重伯努利实验，则对于异常行为的预报准确率不低于阈值T，可被转化为“至少有一个传感器检测到异常行为的概率为T”；
令n表示传感器数量，pi表示第i个传感器对某个异常行为预报成功的准确率，Pr[P]表示至少有一个传感器检测到异常行为的概率，则Pr[P]的计算公式如下：
即“至少有一个传感器检测到异常行为的概率”等同于1减去“所有传感器同时没有检测到该异常行为的概率”。
基于多源报警数据融合，在单个传感器异常行为识别准确率无法达到预期评价指标的情况下，通过对多个传感器预警结果的联合判定，从而能够达到和实现预期指标阈值T。
上述实体识别引擎、抽取工具、文物重点区域安防知识图谱模型、Boson工具、半监督学习机制、DeePKE抽取工具、FFN层、基于CNN的关系抽取模型、基于BiLSTM的关系抽取模型、基于PCNN的远程监督关系抽取模型、基于Capsule的关系抽取模型、基于Transformer的关系抽取模型、基于GCN的关系抽取模型、基于BERT语言预训练模型的关系抽取模型、实体抽取模块、关系分类模块及动态贝叶斯网络等功能模块、软件组件及模型，可采用现有技术中的适用功能模块、软件组件及模型，或采用现有技术中的功能模块、软件组件及模型构造或搭建。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (10)

1.一种文物重点区域危险源全方位实时智能预警方法，其特征在于，包括如下步骤：
步骤一，收集文物重点区域危险源相关的安全及消防数据，安全及消防数据类型包括文本数据、图片数据、视频数据及Web数据；
步骤二，将收集的数据进行融合，构建成文物重点区域安防知识图谱进行存储；
步骤三，实时采集文物重点区域的安全及消防监控设备的监测数据，对各类监测数据单独进行识别或综合进行识别，并判断是否存在异常数据及异常行为；
步骤四，对多种途径识别出的异常信息进行融合分析并给予综合判定，根据综合判定的异常信息发出预警信号。
2.根据权利要求1所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，步骤一中，安全及消防数据包括：规则规范、文物保护地的场景布局图、文物及建筑物图片、文物及建筑物视频、消防监测数据、互联网查询数据；文物保护地的场景布局图包括：传感器布置图，摄像头的布置点及状态，灭火器及消防栓的布局和对应数量，消防通道的状态。
3.根据权利要求1所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，步骤二包括如下方法步骤：
采用基于机器学习的实体识别引擎自动识别安全及消防数据中的实体对象；采用基于机器学习的抽取工具抽取安全及消防数据中实体间时空关联关系；基于实体时空关联关系，建立文物重点区域安防知识图谱模型。
4.根据权利要求3所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，识别安全及消防数据中的文本数据中的实体对象时，采用如下方法步骤：
首先采用Boson工具将文本划分为单词，然后通过与语料库进行对比，识别出词性；借助部分人工标注，识别出实体对象，然后通过半监督学习机制，改进文本实体的识别效率。
5.根据权利要求3所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，构建基于CNN的关系抽取模型、基于BiLSTM的关系抽取模型、基于PCNN的远程监督关系抽取模型、基于Capsule的关系抽取模型、基于Transformer的关系抽取模型、基于GCN的关系抽取模型以及基于BERT语言预训练模型的关系抽取模型，采用DeePKE抽取工具来抽取安全及消防数据中实体间时空关联关系。
6.根据权利要求5所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，基于BERT语言预训练模型的关系抽取模型包括依次连接的实体抽取模块和关系分类模块，实体抽取模块用于实体抽取及分类，其输出BIOES类别信号；设由BIOES类别信号编码构成的固定维度向量为设BERT的编码向量为/>将/>拼接作为关系分类模块的输入；/>并行地通过两个FFN层，对应得到以下两个向量：
随后，将两个向量通过一个Biaffine层，预测出属于每个关系的类别：
式中：
表示xi (NER)通过FFNhead层得到的输出；FFNhead层是指对于xi (NER)的全连接神经网络；
表示/>通过FFNtail层得到的输出；FFNtail层是指对于ei (NER)的全连接神经网络；
表示第j层FFNhead层的输出；
表示第k层FFNtail层的输出；
表示对应输入/>的FFNhead层的输出；
表示对应/>的FFNtail层的输出；
表示第j个分量属于第k个关系的概率矩阵输出，概率矩阵中行表示分量，列表示各个关系的概率值；
Biaffine(x1,x2)表示Biaffine层对应向量x1和x2的输出；
x1表示头部输入；
x2表示尾部输入；
ω表示模型参数；
b表示偏移量。
7.根据权利要求1所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，步骤三包括如下方法步骤：
步骤1，安全及消防监控设备的监测数据包括视频数据、音频数据、图片数据、烟感数据、温度数据、湿度数据及地波数据；
步骤2，设置安全阈值，将烟感数据、温度数据、湿度数据与安全阈值进行比较，判断是否存在异常；
采用多示例学习及深度学习方法对图片数据进行识别，判断图片数据是否存在异常；
构建报警系统字段的知识图谱或者采用多示例学习及深度学习方法，判断是否存在可疑视频；对每个可疑视频进行单独分析，提取人体骨架运动序列，并进行多视角融合，进而基于人体骨架运动序列，通过深度学习进行行为分类识别，判断是否为异常行为；
采取深度学习方法提取地波数据特征并进行分类识别，判断地层是否存在异常震动；
步骤3，采用动态贝叶斯网络对视频分类和震波分类进行融合分析；判断是否存在破坏文物行为。
8.根据权利要求1所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，步骤四中，对多种途径识别出的异常信息进行融合分析并给予综合判定的方法包括如下方法步骤：
把异常行为检测的传感器信号映射为(0，1)两种取值，其中，0表示“未检测到异常行为”，1表示“检测到异常行为”；同时将每个传感器对异常行为的检测结果作为独立事件，令n表示传感器数量，pi表示第i个传感器对某个异常行为预报成功的准确率，Pr[P]表示至少有一个传感器检测到异常行为的概率，则Pr[P]的计算公式如下：
基于多源报警数据融合，在单个传感器异常行为识别准确率无法达到预期评价指标的情况下，通过对多个传感器预警结果的综合判定，确定是否存在异常。
9.根据权利要求1所述的文物重点区域危险源全方位实时智能预警方法，其特征在于，步骤四中，根据综合判定的异常信息发出预警信号的方法包括如下方法步骤：
由安防知识图谱构建场景数据库，场景数据中访问接口设置监控设备、监控设备所在区域及方位、监控时间、区域安防状态；区域安防状态用于存储各监控设备状态及其监控范围安防状态；将综合判定的异常信息，通过区域安防状态接口，存入场景数据库模型，报警装置通过区域安防状态接口读取场景数据库中数据，当读取的数据出现异常标志信号时，发出预警信号。
10.一种文物重点区域危险源全方位实时智能预警系统，该系统包括存储器和处理器，其特征在于，所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至9中任一项所述的文物重点区域危险源全方位实时智能预警方法步骤。
CN202311215703.1A 2023-09-20 2023-09-20 文物重点区域危险源全方位实时智能预警方法及系统 Pending CN117275202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311215703.1A CN117275202A (zh) 2023-09-20 2023-09-20 文物重点区域危险源全方位实时智能预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311215703.1A CN117275202A (zh) 2023-09-20 2023-09-20 文物重点区域危险源全方位实时智能预警方法及系统

Publications (1)

Publication Number Publication Date
CN117275202A true CN117275202A (zh) 2023-12-22

Family

ID=89203847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311215703.1A Pending CN117275202A (zh) 2023-09-20 2023-09-20 文物重点区域危险源全方位实时智能预警方法及系统

Country Status (1)

Country Link
CN (1) CN117275202A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496650A (zh) * 2024-01-02 2024-02-02 浙江省白马湖实验室有限公司 一种基于环境嵌入的分布式光纤入侵预警方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496650A (zh) * 2024-01-02 2024-02-02 浙江省白马湖实验室有限公司 一种基于环境嵌入的分布式光纤入侵预警方法及系统
CN117496650B (zh) * 2024-01-02 2024-03-26 浙江省白马湖实验室有限公司 一种基于环境嵌入的分布式光纤入侵预警方法及系统

Similar Documents

Publication Publication Date Title
CN111626350A (zh) 目标检测模型训练方法、目标检测方法及装置
CN111311869B (zh) 一种基于区域报警模型的消防安全监控方法、系统、云平台
CN109918505B (zh) 一种基于文本处理的网络安全事件可视化方法
CN111538741B (zh) 一种面向警情大数据的深度学习分析方法及系统
CN117275202A (zh) 文物重点区域危险源全方位实时智能预警方法及系统
CN116108397B (zh) 融合多模态数据分析的电力现场作业违章行为识别方法
CN109815904A (zh) 一种基于卷积神经网络的火灾识别方法
CN115330268A (zh) 一种应对矿山灾难的综合性应急指挥方法及系统
Khan et al. Real-time power outage detection system using social sensing and neural networks
Chen et al. Association mining of near misses in hydropower engineering construction based on convolutional neural network text classification
Liu et al. Risk identification and assessment methods of offshore platform equipment and operations
Mwedzi et al. Machine learning applications for fire detection in a residential building
Kamoji et al. Effective Flood prediction model based on Twitter Text and Image analysis using BMLP and SDAE-HHNN
CN113919544B (zh) 犯罪预警方法、装置、计算机设备及存储介质
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
CN111967494B (zh) 一种面向大型活动公安系统警卫安保的多源异构数据分析方法
Chaubey et al. Forest Fire Prediction System using Machine Learning
Dalal et al. A hybrid LBP-CNN with YOLO-v5-based fire and smoke detection model in various environmental conditions for environmental sustainability in smart city
CN117911946A (zh) 一种基于远程监控的工程现场智能安全预警方法
CN117523499B (zh) 基于北斗定位与感知的森林防火监测方法及系统
CN117274564B (zh) 基于图文语义差异的机场跑道异物检测方法及系统
CN117251493B (zh) 一种基于警情地图的多源综合定位方法及装置
KR102473115B1 (ko) 신고 데이터 분석 시스템 및 방법
Chen et al. LPR-MLP: a novel health prediction model for transmission lines in grid sensor networks
Gu Forest fire monitoring system based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination