CN111885349B - 一种管廊异常检测系统及方法 - Google Patents

一种管廊异常检测系统及方法 Download PDF

Info

Publication number
CN111885349B
CN111885349B CN202010514752.5A CN202010514752A CN111885349B CN 111885349 B CN111885349 B CN 111885349B CN 202010514752 A CN202010514752 A CN 202010514752A CN 111885349 B CN111885349 B CN 111885349B
Authority
CN
China
Prior art keywords
anomaly
abnormal
function
annotation
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010514752.5A
Other languages
English (en)
Other versions
CN111885349A (zh
Inventor
欧阳康淼
兰晓明
康晓乐
宫大庆
张建海
王晓慧
曹蕊
康来松
刘世峰
李立峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infrastructure Investment Co ltd
Original Assignee
Beijing Infrastructure Investment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Infrastructure Investment Co ltd filed Critical Beijing Infrastructure Investment Co ltd
Priority to CN202010514752.5A priority Critical patent/CN111885349B/zh
Publication of CN111885349A publication Critical patent/CN111885349A/zh
Application granted granted Critical
Publication of CN111885349B publication Critical patent/CN111885349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种管廊异常检测方法，包括：采集管廊内特定目标的视频数据；从所述视频数据中提取兴趣区域的特征，并对视频数据中人员行为进行异常评分；根据所述异常评分，确定兴趣区域内人员行为是否正常，及时向监控中心发出报警，提示管廊运行人员有异常情况。本发明还公开了一种管廊异常检测系统。本发明中，对进入管廊的工作人员进行识别，对识别为工作人员的行为进行监测，保障其操作的规范性；对识别为非法进入的外来人员行为监测，防止其对管廊造成损害。

Description

一种管廊异常检测系统及方法
技术领域
本发明涉及管廊监视管理技术领域，尤其涉及一种管廊异常检测系统及方法。
背景技术
城市综合管廊(以下简称管廊)为地下集约化隧道，集电力、通信、燃气、给水、中水、污水等专业管线于一体。管廊整体建于地下，内部空间相对密封，只有少量的投料口、人员出入口和通风口与外界相通。因此，外来人员的非法入侵不仅对管廊内基础设施带来威胁，甚至还会造成人员伤亡等灾难性后果。因此，网络视频监控系统(以下简称监控系统)作为管廊安全防范系统的一个重要组成部分，发挥着强大的功能。通过在管廊内部安装大量摄像机，可以形成一个监控网络。此类摄像机每天都会产生海量的视频数据，采用人工监控的方式进行处理不仅需要耗费大量的人力、物力和财力，而且还容易受人为主观因素的影响，从而降低监控的有效性。因此，迫切需要利用大数据技术，高效地获取非结构化数据所蕴含的有效管廊监测信息，实现对视频监控数据快速有效处理；同时，保障对监控区域进行长时间、大范围的监控任务。
现有的管廊视频监视系统包括：
1.视频监控系统的硬件
视频监控系统由前端摄像机、传输介质、网络交换机、储存设备组成。前端摄像机位于管廊内部，通过传输介质将视频数据汇总至设备间(管廊内用于安装现场机柜的场所)内的网络交换机，再传输至管廊设备间内的储存设备或者管廊外远程监控中心的储存设备。
前端摄像机选用网络摄像机，可以将影像通过网络传至任何一台联网的计算机，且远端的浏览者不需用任何专业软件，只要标准的网络浏览器(例如Microsoft IE)即可监视其影像。前端摄像机负责标注采集现场的图像，其核心部件为图像传感器，分为CCD和CMOS两种模式。CMOS非常省电，耗电量约为CCD的30％，但处理快速变换的影像时，对暗电流的抑制不佳，画面上易出现杂点。因此，注重图像质量时一般选择CCD传感器，注重功耗和成本时选择CMOS传感器。管廊中出于安防考虑，更倾向于保障图像质量，采用CCD传感器居多。
传输介质采用超五类网线或者单模光纤，实现视频数据和控制信号的传输。对于管廊，在前端摄像机与网络交换机距离小于80m时，可采用超五类网线，反之，采用单模光纤。
网络交换机安装在现场设备间或监控中心，用于现场设备间内前端摄像机与网络硬盘录像机之间、不同设备间的网络硬盘录像机之间、设备间的网络硬盘录像机与监控中心的视频工作站之间的网络交换机称为联网交换机；网络交换机主要用于扩展网络，能够提供更多的网络接口用于设备连接、数据交换，具有结构简单、高度灵活、易于扩展等特点；常用的网络交换机有8口、16口、24口等规格；网络交换机可支持光纤环网。
储存设备一般安装在管廊现场，但如果采用集中储存的方式，也可安装在监控中心。储存设备采用网络硬盘录像机(NVR)或磁盘阵列(IP-SAN)，实现视频数据的本地储存或远程储存。网络硬盘录像机最主要的功能是通过网络接收前端摄像机传输的视频数据，并进行储存、管理，其容量扩展量有限且运行稳定性不高，主要用于中小规模的视频数据储存；磁盘阵列是安全数据储存的设备，用于数据储存、数据备份等，主要用于大规模的视频数据储存。
2.视频监视系统的软件
视频监视系统包括环境监视系统，通信系统和安全系统三部分。其中，环境监测系统用于监测环境状况，包括甲烷，硫化氢，氧气，温度，湿度和水位监测；通讯系统用于管理各种信息，由于综合管廊位于地下，因此当前的通信系统通常将固定电缆和无线通信结合在一起；安全系统包括视频监视子系统、消防子系统、访问控制子系统和警报子系统等四个子系统，前三个子系统是独立设计的，而都与警报子系统关联，例如，一旦智能传感器检测到电缆着火，警报子系统就会启动，并且消防子系统会迅速激活相应的设备。
然而，现有的管廊异常检测系统存在以下问题：现有的基于视频监控的异常检测系统技术多基于地面的开放式环境，而管廊处于地下的半封闭式建筑结构，存在遮挡和视频监视死角，无法全覆盖实现视频监视。而且无法识别进入管廊内的人员是工作人员还是非法进入的外来人员，以保障工作人员在管廊作业操作的规范性，并防止非法进入的外来人员对管廊造成损害。另外，不能及时发现突发情况，与管廊内其他系统进行有效联动，确保突发情况得到及时有效处理，保障管廊内工作人员的人身安全，并准确指导管廊内人员安全撤离。
发明内容
为了解决背景技术中存在的技术问题，本发明提出了一种管廊异常检测系统及方法，以解决现有技术中无法对进入廊内的工作人员进行识别，进而采取措施保证管廊安全的问题。
本发明提出的一种管廊异常检测方法，包括：
101，采集管廊内特定目标的视频数据；
102，从所述视频数据中提取兴趣区域的特征，并对视频数据中人员行为进行异常评分；具体为：将视频数据分成固定数量的片段，并进行标注形成正标注包和负标注包；通过CenterNet对正标注包和负标注包中人员行为特征进行提取；使用卷积自动编码器的异常评分函数对提取的特征进行异常评分；基于MIAUC函数对异常评分进行损失补偿；
103，根据所述异常评分，确定兴趣区域内人员行为是否正常，及时向监控中心发出报警，提示管廊运行人员有异常情况。
优选地，还包括：
根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接。
优选地，所述通过CenterNet对正标注包和负标注包中人员行为特征进行提取，具体包括：
通过将细分特征输入到一个完整的卷积网络，生成一个热图，该热图中的峰值对应于对象中心，每个峰值处的图像特征可预测对象包围盒的高度和重量：
令
Figure GDA0003876993170000041
表示对象k的边界框ck；然后，相应的中心点为
Figure GDA0003876993170000042
Figure GDA0003876993170000043
使用关键点估计器
Figure GDA0003876993170000044
预测所有中心点，并回归到每个对象k的对象大小
Figure GDA0003876993170000045
优选地，所述使用卷积自动编码器的异常评分函数对提取的特征进行异常评分，具体包括：
使用卷积自动编码器学习从片段中提取的异常分数函数的不同特征，异常评分函数在下述公式中给出：
f(v；θ)＝||v-g(h(v；θf)；θg)||2
其中，θ＝{θf,θg}是异常评分函数的参数，v是输入实例，h(～；θf)是用参数θf建模的编码器,g(～；θg)是用参数θg建模的解码器。
优选地，所述基于MIAUC函数对异常评分进行损失补偿，具体包括：
令V表示实例空间，va和vn表示异常和正常视频片段，pa和pn是V中异常和正常实例的概率分布，pS表示正包
Figure GDA0003876993170000051
f(va)和f(vn)的概率分布分别表示范围从0到1的相应异常评分函数；真实正标注率(TPR)是评分函数f(va)将异常实例va正确分类为异常的比率：
Figure GDA0003876993170000052
其中，h是阈值，
Figure GDA0003876993170000053
是期望值，I(f(va)＞h)表示条件为f(va)＞h的指示函数；当f(va)＞h为真时，I(f(va)＞h)＝1，否则I(f(va)＞h)＝0；同时，误报率(FPR)是评分函数f(vn)将来自pn的随机正常实例错误分类为异常的比率：
Figure GDA0003876993170000054
其中，h是阈值，
Figure GDA0003876993170000055
是期望值，I(f(vn)＞h)表示条件为f(vn)＞h的指示函数；当f(vn)＞h时，I(f(vn)＞h)＝1，否则I(f(vn)＞h)＝0；
AUC是通过绘制所有点对(TPR(h)，FPR(h))形成的曲线下的面积阈值h∈[0，1]；AUC的积分形式为：
Figure GDA0003876993170000056
其中，
Figure GDA0003876993170000057
是期望值，I(f(va)＞f(vn))表示条件为f(va)＞f(vn)的指示函数；当f(va)＞f(vn)时，I(f(va)＞f(vn))＝1，否则I(f(va)＞f(vn))＝0；令|A|，|N|分别表示异常视频集合A和正常视频集合N的计数，
AUC的估计值为
Figure GDA0003876993170000058
优选地，还包括：
以下多实例正确率(MITPR)和多实例错误率(MIFPR)；MITPR表示异常评分函数
Figure GDA0003876993170000059
将来自pS的随机正标注包中的至少一个实例分类为异常的比率：
Figure GDA0003876993170000061
其中，
Figure GDA0003876993170000062
表示条件为
Figure GDA0003876993170000063
的指示函数；当
Figure GDA0003876993170000064
时，
Figure GDA0003876993170000065
否则
Figure GDA0003876993170000066
令pn表示正标注包
Figure GDA0003876993170000067
的概率分布，h表示阈值，
Figure GDA0003876993170000068
表示期望值，
MIFPR表示异常评分函数
Figure GDA0003876993170000069
将来自pn的随机负标注数包中至少一个实例分类为异常的比率：
Figure GDA00038769931700000610
其中，
Figure GDA00038769931700000611
表示条件为
Figure GDA00038769931700000612
的指示函数；当
Figure GDA00038769931700000613
时，
Figure GDA00038769931700000614
否则
Figure GDA00038769931700000615
通过比较实例在正标注包和负标注包中获得最高的异常得分，对应于正标注包中异常评分最高的部分是真实的正标注实例的异常段，该段在负标注数包中拥有最高的异常分数是一个负标注实例的正常段，它与异常段最相似，并且可能在实际异常检测中生成错误警报；然后，以MITPR(h)曲线下面积作为MIFPR(h)的函数，以与AUC相似的方式定义多实例AUC(MIAUC)，如下所示：
Figure GDA00038769931700000616
其中，
Figure GDA00038769931700000617
是期望值，
Figure GDA00038769931700000618
表示条件为
Figure GDA00038769931700000619
的指示函数；当
Figure GDA00038769931700000620
时，
Figure GDA00038769931700000621
否则
Figure GDA00038769931700000622
MIAUC是至少一个正包中的所有实例的异常得分高于负标注包中的所有实例；给定S为正包的集合，N为负标注包的集合，MIAUC的估计值如下计算：
Figure GDA0003876993170000071
其中，|S|，|N|分别表示异常视频集合A和正常视频集合N的计数，
Figure GDA0003876993170000072
表示条件为
Figure GDA0003876993170000073
的指示函数；当
Figure GDA0003876993170000074
时，
Figure GDA0003876993170000075
否则
Figure GDA0003876993170000076
Figure GDA0003876993170000077
优选地，还包括：
异常事件通常仅在短时间内发生，异常包中的实例的分数应该是稀疏的，表明只有少数片段可能包含异常，通过最小化相邻视频片段的得分差异，在时间相邻视频片段的异常得分之间实施时间平滑；通过将稀疏性和平滑度约束合并到实例得分上，损失函数变为方程式(13)，其中
Figure GDA0003876993170000078
表示时间平滑项，
Figure GDA0003876993170000079
表示稀疏项：
Figure GDA00038769931700000710
其中，
Figure GDA00038769931700000711
都是期望值，
Figure GDA00038769931700000712
表示条件为
Figure GDA00038769931700000713
的指示函数；当
Figure GDA00038769931700000714
时，
Figure GDA00038769931700000715
否则
Figure GDA00038769931700000716
Figure GDA00038769931700000717
是时间平滑项，
Figure GDA00038769931700000718
是稀疏项。
本发明实施例提供了一种管廊异常检测系统，包括：
视频捕获模块，用于采集管廊内特定目标的视频数据，将该视频数据发送到异常检测模块；
异常检测模块，与视频捕获模块连接，用于接收视频捕获模块发送的视频数据，通过CenterNet从所述视频数据中提取兴趣区域的特征，并通过卷积自动编码器对视频数据中人员行为进行异常评分，确定兴趣区域内人员行为是否正常；异常评分具体为：将视频数据分成固定数量的片段，并进行标注形成正标注包和负标注包；通过CenterNet对正标注包和负标注包中人员行为特征进行提取；使用卷积自动编码器的异常评分函数对提取的特征进行异常评分；基于MIAUC函数对异常评分进行损失补偿；
监控显示模块，与异常检测模块连接，用于接收并显示异常检测模块发送的结果。如果检测结果是异常事件，则弹出窗口并发出警报；如果检测结果正常，仅显示实时视频。
优选地，还包括：
智能连接模块，与异常检测模块连接，用于根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接。
本发明中，对进入管廊的工作人员进行识别，对识别为工作人员的行为进行监测，保障其操作的规范性；对识别为非法进入的外来人员行为监测，防止其对管廊造成损害。当发生突发情况时，管理人员清楚地掌握管廊内工作人员的具体状况，从而确保突发情况得到及时有效的处理，并准确指导廊内人员进行安全撤离。
附图说明
图1为本发明实施例提出的一种管廊异常检测系统结构图；
图2为本发明实施例提出的一种管廊异常检测方法流程图。
具体实施方式
本发明实施例提出了一种管廊异常检测系统，如图1所示，包括：
视频捕获模块10，用于采集管廊内特定目标的视频数据，将该视频数据发送到异常检测模块20，特定目标可以为人员、物体、设备等。其中，视频捕获模块可以由多个摄像机组成(例如291个)，包括子弹型摄像机和半球型摄像机。这些摄像机放置在管廊中的关键位置，例如上下楼梯，拐角和重要设施处，以对这些关键位置进行监视。由于子弹型摄像机始终专注于固定视野，主要用于监视设施舱；半球型摄像机具有更宽的视角，用于监视管道通道。所有摄像机均具有H.264压缩编码的1080P标准，并且视频数据的存储时间不少于15天。
异常检测模块20，与视频捕获模块10连接，用于接收视频捕获模块10发送的视频数据，通过CenterNet从所述视频数据中提取兴趣区域的特征，并通过卷积自动编码器对视频数据中人员行为进行异常评分，确定兴趣区域内人员行为是否正常。具体包括：从视频数据中检测场景中的兴趣区域并提取相应的特征，生成基于这些特征的图元以描述兴趣区域，然后对兴趣区域内有关人员行为进行异常评分，确定人员行为是否正常；然后将视频处理结果存储并发送给监控显示模块30。
监控显示模块30，与异常检测模块20连接，用于接收并显示异常检测模块2020发送的结果。如果检测结果是异常事件，则弹出窗口并发出警报；如果检测结果正常，仅显示实时视频。
智能连接模块40，与异常检测模块20连接，用于根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接，包括风扇系统，照明系统，广播系统，电话系统，门禁系统等。可以及时针对人员行为异常采取有效措施，以保证管廊的稳定运行和人员安全。具体联动状况如表1所示。
表1综合管廊各系统联动状况
Figure GDA0003876993170000091
Figure GDA0003876993170000101
本发明实施例提出了一种管廊异常检测方法，如图2所示，包括以下步骤：
步骤101，采集管廊内特定目标的视频数据，特定目标可以为人员、物体、设备等。在客户端可对管廊的多个摄像头进行统一调控，并且可通过选择，将某个摄像头监控内容进行放大。
步骤102，从所述视频数据中提取兴趣区域的特征，并对视频数据中人员行为进行异常评分，确定兴趣区域内人员行为是否正常，并对管廊现场进行人脸识别、物品分类、安全帽识别等多种操作。
步骤102具体包括以下步骤：
步骤1021，将视频数据分成固定数量的片段，并进行标注形成正标注包和负标注包。通过整个视频中是否存在异常的视频标记确定正标注包和负标注包，包含异常的视频标记为正标注包，没有任何异常的视频标记为负标注包。
步骤1022，通过CenterNet对正标注包和负标注包中人员行为特征进行提取。
利用CenterNet提取正标注包和负标注包中人员行为每个细分特征，通过将细分特征输入到一个完整的卷积网络，生成一个热图，该热图中的峰值对应于对象中心，每个峰值处的图像特征可预测对象包围盒(Bounding Box，将待检测目标完全包容起来的一个封闭空间)的高度和重量：
令
Figure GDA0003876993170000102
表示对象k的边界框ck；然后，相应的中心点为
Figure GDA0003876993170000103
Figure GDA0003876993170000104
使用关键点估计器
Figure GDA0003876993170000105
预测所有中心点，并回归到每个对象k的对象大小
Figure GDA0003876993170000111
为了限制计算标注负担，对所有物体类别使用单个尺寸预测
Figure GDA0003876993170000112
因此，中心点与待检测目标之间的相似性可通过L1损失来衡量：
Figure GDA0003876993170000113
对应的损失函数为
Ldet＝Lk+λsizeLsize+λoffLoff (2)
其中，λsize，λoff为常数，设λsize＝0.1，λoff＝1；然后，使用单个网络来预测关键点
Figure GDA0003876993170000114
偏移量
Figure GDA0003876993170000115
和大小
Figure GDA0003876993170000116
网络预测每个位置总共有C+4个输出，所有输出共享一个通用的全卷积骨干网络。
基于上述方法，首先针对每个类别分别提取热图中的峰值，检测所有值大于或等于其8个连通邻居的响应，并保持前100个峰值；令
Figure GDA0003876993170000117
为类别c的n个检测到的中心点
Figure GDA0003876993170000118
的集合；每个关键点位置均由整数坐标(xi，yi)给出；使用关键点值
Figure GDA0003876993170000119
作为其检测置信度的度量，并在位置处生成一个边界框：
Figure GDA00038769931700001110
其中，
Figure GDA00038769931700001111
是偏移预测，并且
Figure GDA00038769931700001112
是尺寸预测。所有输出都是直接从关键点估计产生的，而无需基于IoU的非最大值抑制值(non-maximasuppression)或其他后处理。
使用3D检测估计每个对象的三维边界框，并且每个中心点需要三个附加属性：深度，3D尺寸和方向。深度d是每个中心点的单个标量，但深度很难直接回归，因此，采用
Figure GDA00038769931700001113
作为使用输出变换，其中σ是S型函数。将深度计算为关键点估计器的附加输出通道
Figure GDA00038769931700001114
再次使用由ReLU分隔的两个卷积层，与以前的模态不同，卷积层在输出层使用反S形变换；在进行S形变换后，使用原始深度域中的L1损失训练深度估计器。对象的3D尺寸为三个标量，使用
Figure GDA0003876993170000121
和L1损失函数进行绝对值回归。默认情况下，由于方向是一个标量，因此很难直接进行回归。可以将方向表示为子区域内部回归的两个子区域，具体来说，使用8个标量对方向进行编码，每个方框具有4个标量。对于每一个子区域，两个标量用于softmax分类，其余两个标量在每个子区域内部回归至一个角度。
步骤1023，使用卷积自动编码器的异常评分函数对提取的特征进行异常评分。
基于卷积自动编码器的异常评分函数由于异常位于场景中的局部位置，因此本地信息在异常检测上下文中特别重要。因此，使用卷积自动编码器(CAE)来学习从片段中提取的异常评分函数的不同特征，CAE权重在输入中的所有位置之间共享，以保留空间局部性。异常评分函数在该公式中给出：
f(v；θ)＝||v-g(h(v；θf)；θg)||2 (4)
其中，h(～；θf)是用参数θf，g(～；θg)建模的编码器，是用参数θg建模的解码器，而θ＝{θf，θg}是异常评分函数的参数。
CAE的体系结构组织在不同的编码器和解码器层中。在编码器侧，存在三个卷积层和两个池化层，并且在解码器侧具有相同的反向结构。在第一卷积层中，CAE体系结构由256个步幅为4的滤波器组成，生成256个特征图，分辨率为57×37像素；接下来是第一个池化层，生成256个特征图，分辨率为28×18像素；所有池化层都有一个2×2内核，并通过最大池化方法执行子采样。第二和第三卷积层分别具有128和64个滤波器；最后一个池化层生成64个14×9像素的特征图。解码器通过对输入进行反卷积和解卷反顺序来重建输入，最终反卷积层的输出是输入的重构版本。表1总结了CAE各层的细节。
表2基于CAE的异常评分函数结构
Figure GDA0003876993170000131
步骤1024，基于MIAUC函数对异常评分进行损失补偿。
MIL(multiple-instancelearning,多实例学习)方法不需要准确的时间注释，在MIL中，视频中异常事件的精确时间位置是未知的，仅需要指示整个视频中是否存在异常的视频级标签，将一个具有异常行为的视频表示为一个正标注包
Figure GDA0003876993170000132
则该包中不同的时间段称作实例
Figure GDA0003876993170000133
其中m是包的数量，假设这些实例中至少有一个包含异常。类似地，负标注视频由负标注包
Figure GDA0003876993170000134
表示，其中该包中的时间段形成负标注实例
Figure GDA0003876993170000135
AUC是分类中常用的性能指标，AUC已经成功地衡量了模型区分不同类别事件的能力。受AUC概念的启发，该概念计算随机采样的异常实例的异常得分高于随机采样的正常实例的比率，进一步应用MIL基于AUC的异常检测问题。令V表示实例空间，va和vn表示异常和正常视频片段，pa和pn是V中异常和正常实例的概率分布，pS表示正包
Figure GDA0003876993170000136
f(va)和f(vn)的概率分布分别表示范围从0到1的相应异常评分函数。真实正标注率(TPR)是评分函数f(va)将异常实例va正确分类为异常的比率：
Figure GDA0003876993170000141
其中，h是阈值，E是期望值，I(λ)表示条件为λ的指示函数。当λ为真时，I(λ)＝1，否则I(λ)＝0。同时，误报率(FPR)是评分函数f(vn)将来自pn的随机正常实例错误分类为异常的比率：
Figure GDA0003876993170000142
AUC是通过绘制所有点对(TPR(h),FPR(h))形成的曲线下的面积阈值h∈[0,1]。AUC的积分形式为：
Figure GDA0003876993170000143
AUC的估计值为
Figure GDA0003876993170000144
但是，在没有片段级注释的情况下，无法使用该公式。因此，扩展AUC的概念，并提出了以下多实例正确率(MITPR)和多实例错误率(MIFPR)。MITPR表示异常评分函数
Figure GDA0003876993170000145
将来自ps的随机正标注包中的至少一个实例分类为异常的比率：
Figure GDA0003876993170000146
MIFPR表示异常评分函数
Figure GDA0003876993170000147
将来自pn的随机负标注数包中至少一个实例分类为异常的比率：
Figure GDA0003876993170000148
通过比较实例在正标注包和负标注包中获得最高的异常得分，对应于正标注包中异常评分最高的部分是真实的正标注实例的异常端，该段在负标注数包中拥有最高的异常分数是一个负标注实例的正常段，它与异常段最相似，并且可能在实际异常检测中生成错误警报。然后，以MITPR(h)曲线下面积作为MIFPR(h)的函数，以与AUC相似的方式定义多实例AUC(MIAUC)，如下所示：
Figure GDA0003876993170000151
MIAUC是至少一个正包中的所有实例的异常得分高于负标注包中的所有实例。给定S为正包的集合，N为负标注包的集合，MIAUC的估计值可以如下计算：
Figure GDA0003876993170000152
上述损失函数的局限性在于忽略了异常视频的潜在时间结构，在现实情况中，异常事件通常仅在短时间内发生。在这种情况下，异常包中的实例的分数应该是稀疏的，表明只有少数片段可能包含异常。其次，由于视频是一系列片段，因此异常分数应在各个视频片段之间平稳变化。因此，通过最小化相邻视频片段的得分差异，在时间相邻视频片段的异常得分之间实施时间平滑。通过将稀疏性和平滑度约束合并到实例得分上，损失函数变为方程式(13)，其中
Figure GDA0003876993170000153
表示时间平滑项，
Figure GDA0003876993170000154
表示稀疏项。
Figure GDA0003876993170000155
步骤103，根据所述异常评分，确定可疑人员或物体，及时向监控中心发出报警，提示管廊运行人员有异常情况。还可以根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接，包括风扇系统，照明系统，广播系统，电话系统，门禁系统等。可以及时针对人员行为异常采取有效措施，以保证管廊的稳定运行和人员安全。管廊中包含多种检测装置(例如入侵检测、火灾检测、天然气泄漏检测等)，当这些装置发现异常时，均可根据预先设定的方案联动监控系统的前端摄像机，及时将实时画面反馈到监控中心，便于运行人员直观地了解现场情况，有针对性地采取措施。例如，当入侵检测装置发出报警时，可联动其附近的摄像机转动，将镜头对准发生入侵的位置。或者利用传感器将管廊的各类空气含量进行实时监测，出现有害气体进行预警。
本发明中，可以对某个检测点的所有存储的异常信息进行统一查看和修改，异常信息包括：检测点、检测信息、现场照片、是否处理、处理人等信息。还可以将异常信息进行统一分类，选择预警或者将异常信息进行上传服务器等操作。用户可选择针对某天的异常日志进行在线查看或者下载异常信息并进行处理。
本发明中，可以对管廊图纸信息进行管理，通过窗口对图纸进行上传，在页面会对每个图纸的上传时间等信息进行统一显示，可以对指定图纸进行检索、下载、查看等操作。
本发明中，可以对管廊信息进行显示，包括管廊的数量、各管廊的异常统计、各管廊数量统计、管廊的建造信息等。
本发明中，可以对多个检测点进行异常信息的数字图像显示，包括每个检测点异常的类型、异常信息的种类、异常在时间表上的显示、地点异常的统计等模块，每个模块可将数字进行保存为JPEG图，进行下载查看。
本发明中，可以对个人信息管理：包括对个人上岗记录、违规操作、私人信息维护的功能模块；在管理员登录时，可以选择账号密码登录和人脸识别(利用计算机摄像头)登录；管理工作人员通过人脸识别+身份证进行工作人员信息注册，当进入管廊区域，需要进行人脸识别，识别成功后，方可进入。这里分为管理员和普通工人两部分注册功能，管理员有管理系统的权限，工作人员的注册信息包括面部特征，ID，部门，工作等多种信息；施工人员进入管廊现场进行人脸识别登录后，会存储人员的上岗时间信息。实时显示各管廊检测点的工作流量和人员上岗下岗时间信息。当前管廊的危险系数；对所有管廊各部门的施工人员信息进行统一查看、搜索、删除、修改等操作。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种管廊异常检测方法，其特征在于，包括：
101，采集管廊内特定目标的视频数据；
102，从所述视频数据中提取兴趣区域的特征，并对视频数据中人员行为进行异常评分，具体为：将视频数据分成固定数量的片段，并进行标注形成正标注包和负标注包；通过CenterNet对正标注包和负标注包中人员行为特征进行提取；使用卷积自动编码器的异常评分函数对提取的特征进行异常评分；基于MIAUC函数对异常评分进行损失补偿；
103，根据所述异常评分，确定兴趣区域内人员行为是否正常，及时向监控中心发出报警，提示管廊运行人员有异常情况。
2.根据权利要求1所述的管廊异常检测方法，其特征在于，还包括：
根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接。
3.根据权利要求1所述的管廊异常检测方法，其特征在于，所述通过CenterNet对正标注包和负标注包中人员行为特征进行提取，具体包括：
通过将细分特征输入到一个完整的卷积网络，生成一个热图，该热图中的峰值对应于对象中心，每个峰值处的图像特征可预测对象包围盒的高度和重量：
令
Figure FDA0004079742520000011
表示对象k的边界框ck；然后，相应的中心点为
Figure FDA0004079742520000012
Figure FDA0004079742520000013
使用关键点估计器
Figure FDA0004079742520000014
预测所有中心点，并回归到每个对象k的对象大小
Figure FDA0004079742520000015
4.根据权利要求1所述的管廊异常检测方法，其特征在于，所述使用卷积自动编码器的异常评分函数对提取的特征进行异常评分，具体包括：
使用卷积自动编码器学习从片段中提取的异常分数函数的不同特征，异常评分函数在下述公式中给出：
f(v；θ)＝||v-g(h(v；θf)；θg)||2
其中，θ＝{θf,θg}是异常评分函数的参数，v是输入实例，h(～；θf)是用参数θf建模的编码器,g(～；θg)是用参数θg建模的解码器。
5.根据权利要求1所述的管廊异常检测方法，其特征在于，所述基于MIAUC函数对异常评分进行损失补偿，具体包括：
令V表示实例空间，va和vn表示异常和正常视频片段，pa和pn是V中异常和正常实例的概率分布，pS表示正包
Figure FDA0004079742520000027
f(va)和f(vn)的概率分布分别表示范围从0到1的相应异常评分函数；真实正标注率(TPR)是评分函数f(va)将异常实例va正确分类为异常的比率：
Figure FDA0004079742520000021
其中，h是阈值，
Figure FDA0004079742520000022
是期望值，I(f(va)>h)表示条件为f(va)>h的指示函数；当f(va)>h为真时，I(f(va)>h)＝1，否则I(f(va)>h)＝0；同时，误报率(FPR)是评分函数f(vn)将来自pn的随机正常实例错误分类为异常的比率：
Figure FDA0004079742520000023
其中，h是阈值，
Figure FDA0004079742520000024
是期望值，I(f(vn)>h)表示条件为f(vn)>h的指示函数；当f(vn)>h时，I(f(vn)>h)＝1，否则I(f(vn)>h)＝0；
AUC是通过绘制所有点对(TPR(h),FPR(h))形成的曲线下的面积阈值h∈[0,1]；AUC的积分形式为：
Figure FDA0004079742520000025
其中，
Figure FDA0004079742520000026
是期望值，I(f(va)>f(vn))表示条件为f(va)>f(vn)的指示函数；当f(va)>f(vn)时，I(f(va)>f(vn))＝1，否则I(f(va)>f(vn))＝0；令|A|,|N|分别表示异常视频集合A和正常视频集合N的计数，
AUC的估计值为
Figure FDA0004079742520000031
6.根据权利要求5所述的管廊异常检测方法，其特征在于，还包括：
异常评分函数
Figure FDA0004079742520000032
将来自pS的随机正标注包中的至少一个实例分类为异常的比率：
Figure FDA0004079742520000033
其中，
Figure FDA0004079742520000034
表示条件为
Figure FDA0004079742520000035
的指示函数；当
Figure FDA0004079742520000036
时，
Figure FDA0004079742520000037
否则
Figure FDA0004079742520000038
令pn表示正标注包
Figure FDA0004079742520000039
的概率分布，h表示阈值，
Figure FDA00040797425200000310
表示期望值，
MIFPR表示异常评分函数
Figure FDA00040797425200000311
将来自pn的随机负标注数包中至少一个实例分类为异常的比率：
Figure FDA00040797425200000312
其中，
Figure FDA00040797425200000313
表示条件为
Figure FDA00040797425200000314
的指示函数；当
Figure FDA00040797425200000315
时，
Figure FDA00040797425200000316
否则
Figure FDA00040797425200000317
通过比较实例在正标注包和负标注包中获得最高的异常得分，对应于正标注包中异常评分最高的部分是真实的正标注实例的异常段，该段在负标注数包中拥有最高的异常分数是一个负标注实例的正常段，与异常段最相似，并且可能在实际异常检测中生成错误警报；然后，以MITPR(h)曲线下面积作为MIFPR(h)的函数，以与AUC相似的方式定义多实例AUC(MIAUC)，如下所示：
Figure FDA00040797425200000318
其中，
Figure FDA0004079742520000041
是期望值，
Figure FDA0004079742520000042
表示条件为
Figure FDA0004079742520000043
的指示函数；当
Figure FDA0004079742520000044
时，
Figure FDA0004079742520000045
否则
Figure FDA0004079742520000046
MIAUC是至少一个正包中的所有实例的异常得分高于负标注包中的所有实例；给定S为正包的集合，N为负标注包的集合，MIAUC的估计值如下计算：
Figure FDA0004079742520000047
其中，|S|,|N|分别表示异常视频集合A和正常视频集合N的计数，
Figure FDA0004079742520000048
表示条件为
Figure FDA0004079742520000049
的指示函数；当
Figure FDA00040797425200000410
时，
Figure FDA00040797425200000411
否则
Figure FDA00040797425200000412
7.一种管廊异常检测系统，其特征在于，包括：
视频捕获模块(10)，用于采集管廊内特定目标的视频数据，将该视频数据发送到异常检测模块；
异常检测模块(20)，与视频捕获模块(10)连接，用于接收视频捕获模块发送的视频数据，通过CenterNet从所述视频数据中提取兴趣区域的特征，并通过卷积自动编码器对视频数据中人员行为进行异常评分，确定兴趣区域内人员行为是否正常；异常评分具体为：将视频数据分成固定数量的片段，并进行标注形成正标注包和负标注包；通过CenterNet对正标注包和负标注包中人员行为特征进行提取；使用卷积自动编码器的异常评分函数对提取的特征进行异常评分；基于MIAUC函数对异常评分进行损失补偿；
监控显示模块(30)，与异常检测模块(20)连接，用于接收并显示异常检测模块(20)发送的结果，如果检测结果是异常事件，则弹出窗口并发出警报；如果检测结果正常，仅显示实时视频。
8.根据权利要求7所述的管廊异常检测系统，其特征在于，还包括：
智能连接模块(40)，与异常检测模块(20)连接，用于根据不同类型的人员行为异常结果，将不同的系统链接在一起，实现与管廊中其他系统的智能链接。
CN202010514752.5A 2020-06-08 2020-06-08 一种管廊异常检测系统及方法 Active CN111885349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010514752.5A CN111885349B (zh) 2020-06-08 2020-06-08 一种管廊异常检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010514752.5A CN111885349B (zh) 2020-06-08 2020-06-08 一种管廊异常检测系统及方法

Publications (2)

Publication Number Publication Date
CN111885349A CN111885349A (zh) 2020-11-03
CN111885349B true CN111885349B (zh) 2023-05-09

Family

ID=73156474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010514752.5A Active CN111885349B (zh) 2020-06-08 2020-06-08 一种管廊异常检测系统及方法

Country Status (1)

Country Link
CN (1) CN111885349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418122A (zh) * 2020-11-27 2021-02-26 罗普特科技集团股份有限公司 一种用于监测管廊异常的方法和装置
CN113989842A (zh) * 2021-10-28 2022-01-28 中国建设银行股份有限公司 网点客流分析方法及装置
CN114419503A (zh) * 2022-01-14 2022-04-29 北京商海文天科技发展有限公司 一种基于视频数据的无照游商游贩分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110853268A (zh) * 2019-11-01 2020-02-28 江苏安防科技有限公司 一种基于管廊系统海量数据分析实现入侵检测漏洞实时扫描的方法
CN111160117A (zh) * 2019-12-11 2020-05-15 青岛联合创智科技有限公司 一种基于多示例学习建模的异常行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110896190B (zh) * 2019-12-13 2020-09-25 嵊州润雅电子科技有限公司 一种电线接口外皮去除装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110853268A (zh) * 2019-11-01 2020-02-28 江苏安防科技有限公司 一种基于管廊系统海量数据分析实现入侵检测漏洞实时扫描的方法
CN111160117A (zh) * 2019-12-11 2020-05-15 青岛联合创智科技有限公司 一种基于多示例学习建模的异常行为检测方法

Also Published As

Publication number Publication date
CN111885349A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111885349B (zh) 一种管廊异常检测系统及方法
CN112669316B (zh) 电力生产异常监控方法、装置、计算机设备和存储介质
CN102859565B (zh) 用于安全系统恶意干扰检测的方法与系统
CN103326462A (zh) 一种变电站双视在线监测智能预警系统
CN102158379B (zh) 一种针对保障性住宅住户身份识别网络管理系统及方法
CN112671104A (zh) 面向复杂场景的变电站多维度场景管控平台
KR102213204B1 (ko) 인공 신경망을 이용하여, gis 기반의 소방 시설을 관리하고 화재를 예방하는 방법 및 장치
CN116579601B (zh) 矿山安全生产风险监测预警系统及方法
CN113569956A (zh) 一种基于ai算法的山火灾害勘查识别方法
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
CN113723184A (zh) 基于智能网关的场景识别系统、方法、装置和智能网关
CN114913663A (zh) 异常检测方法、装置、计算机设备和存储介质
CN117743659B (zh) 一种集成动力、环境和安防监控的机房监控方法及系统
CN115841730A (zh) 视频监控系统、异常事件检测方法
CN115880631A (zh) 一种配电站故障识别系统、方法、介质
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN114639046A (zh) 一种基于时间序列检测的打斗行为识别方法
CN118038619A (zh) 一种用于智能火情监测预警的多模态联邦学习方法和系统
CN113723701A (zh) 森林火灾监测预测方法及系统、电子设备及存储介质
CN116546438B (zh) 一种基于蓝牙mesh网络的楼宇监测系统
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
CN117372954A (zh) 充电站安全监测方法、装置、系统和计算机设备
Xie et al. On‐line physical security monitoring of power substations
CN114387391A (zh) 变电站设备的安全监测方法、装置、计算机设备和介质
Alsamurai et al. Detection of Animals and humans in forest fires using Yolov8

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 908, 9/F, Building 2, Beijing Investment Building, No. 6, Xiaoying North Road, Chaoyang District, Beijing 100,101

Applicant after: Beijing Infrastructure Investment Co.,Ltd.

Address before: Room 908, 9/F, Building 2, Beijing Investment Building, No. 6, Xiaoying North Road, Chaoyang District, Beijing 100,101

Applicant before: Beijing Infrastructure Investment Co.,Ltd. (formerly Beijing Metro Group Co.,Ltd.)

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant