CN110674790A

CN110674790A - 一种视频监控中异常场景处理方法及系统

Info

Publication number: CN110674790A
Application number: CN201910980049.0A
Authority: CN
Inventors: 曹建荣; 张旭; 武欣莹; 杨红娟; 吕俊杰; 张玉婷; 朱亚琴
Original assignee: Shandong Jianzhu University
Current assignee: Shandong Jianzhu University
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2020-01-10
Anticipated expiration: 2039-10-15
Also published as: CN110674790B

Abstract

本公开提供了一种视频监控中异常场景处理方法及系统。其中，视频监控中异常场景处理方法，包括：接收连续的视频监控若干帧视频数据；将这些视频数据逐帧输入至训练好的C‑NIC‑R模型，输出从异常场景开始至结束时间段内的视频片段；其中，C‑NIC‑R模型由依次串联的CNN模型、NIC模型和RNN模型；CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景，若有，则输出从异常场景开始时间点起之后的视频数据至NIC模型；NIC模型用于将接收到的视频数据转化为自然语言描述；RNN模型用于将相应帧视频数据对应的自然语言描述与异常场景开始时刻对应的自然语言描述进行相似度比较，确定异常场景结束时间点及其对应的视频帧。

Description

一种视频监控中异常场景处理方法及系统

技术领域

本公开属于监控视频中异常场景处理领域，尤其涉及一种视频监控中异常场景处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着社会的迅速发展，视频监控越来越成为安全管理的重要方法之一。基于计算机视觉和深度学习发展而形成的智能视频监控系统，在公安调查获取案件实际情况的过程中做出了重要的贡献。目前，国内一、二线城市基本实现视频监控公共场所全覆盖，有力的保障了城市市民的整体安全。但是近几年来出现的一些社会问题中，尤其涉及到如民用机场、火车站、大型商场、学校等公共场所时，在因某些原因查询相关视频数据时，大多出现了关键视频数据不清晰、甚至丢失等各种问题。这直接阻碍了还原客观事实的进程。而出现这些问题的原因有很多，如监控操作人员主观操作不当、他人蓄意修改视频数据等主观原因导致关键视频数据丢失和存储设备本身容量客观条件不达标等。

发明人发现，使用传统的计算机视觉方法在线判断监控视频中的各种异常场景主要有以下两个问题：一是处理结果肉眼识别率较低；二是在线处理等待时间较长。这两个问题直接导致了整体识别效率较低。目前市场上很多的存储硬件容量无法达到长时间存储视频数据的要求，尤其是一些高清摄像视频数据，每小时会产生3～8G视频数据。即便使用云存储，也会面临视频数据上传速度受网速影响、存储容量有限、数据被蓄意修改等问题。

发明内容

为了解决上述问题，本公开提供一种视频监控中异常场景处理方法及系统，其能够实时准确地对视频监控中异常场景进行识别，能够在线实时判断有无异常场景及类型，既可以保证较高正确率，又能满足实时性的要求。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供一种视频监控中异常场景处理方法。

一种视频监控中异常场景处理方法，包括：

接收连续的视频监控若干帧视频数据；

将这些视频数据逐帧输入至训练好的C-NIC-R模型，输出从异常场景开始至结束时间段内的视频片段；

其中，C-NIC-R模型由依次串联的CNN模型、NIC模型和RNN模型组成；

CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景；若存在异常场景，则输出从异常场景开始时间点起之后的视频数据至NIC模型中；

NIC模型用于将接收到的视频数据转化为自然语言描述；

RNN模型用于将相应帧视频数据对应的自然语言描述与异常场景开始时间点对应的自然语言描述进行相似度比较，确定异常场景结束时间点及其对应的视频帧。

作为一种实施方式，所述视频监控中异常场景处理方法还包括：

若C-NIC-R模型中的CNN模型检测到相应帧视频中有异常场景，则记录下异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息并输出告警信息。

上述技术方案所产生的优点在于，通过异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息能够准确识别异常场景的具体环境，为告警提供准确的信息，提高告警信息的处理效率。

判断从异常场景开始至结束时间段内的视频片段的容量是否超出区块的最大容量，若是，则采用最大容量保存法降低视频容量，即使用容量最大值判断最多保存视频数据的帧数，再按照等差数列抽出相应帧数的视频数据作为关键信息并持久化存储在相应区块中；否则，将视频片段直接持久化存储在相应区块中。

上述技术方案所产生的优点在于，利用区块技术存储视频片段，少或避免因技术不达标、存储空间不足、恶意修改等因素导致的视频数据无法再现等问题的发生，提高了数据存储的安全性及持久性。

作为一种实施方式，在区块中还存储有异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息；其中，区块由区块头和区块主体构成，所述区块头用来存储拍摄异常场景的设备相关信息；区块主体用来存储异常场景开始时间点、异常场景类型及相应视频片段。

上述技术方案所产生的优点在于，利用区块的不可任意篡改、可追溯的特点，记录公共场合中异常场景的短时间片段的相关信息，和记录每一次对异常场景片段及相关信息的操作。这样既可以保证视频数据有据可查，又能够避免视频资料被篡改等操作。

本公开的第二个方面提供一种视频监控中异常场景处理系统。

一种视频监控中异常场景处理系统，包括：

视频数据接收模块，其用于接收连续的视频监控若干帧视频数据；

异常场景识别模块，其用于将这些视频数据逐帧输入至训练好的C-NIC-R模型，输出从异常场景开始至结束时间段内的视频片段；

CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景；若存在异常场景，则输出从异常场景开始时间点起之后的视频数据至NIC模型；

NIC模型用于将接收到的视频数据转化为自然语言描述；

RNN模型用于将相应帧视频数据对应的自然语言描述与异常场景开始时刻对应的自然语言描述进行相似度比较，确定异常场景结束时间点及其对应的视频帧。

作为一种实施方式，所述视频监控中异常场景处理系统还包括：

异常场景告警模块，其用于若C-NIC-R模型中的CNN模型检测到相应帧视频中有异常场景，则记录下异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息并输出告警信息。

异常场景存储模块，其用于判断从异常场景开始至结束时间段内的视频片段的容量是否超出区块的最大容量，若是，则采用最大容量保存法降低视频容量，即使用容量最大值判断最多保存视频数据的帧数，再按照等差数列抽出相应帧数的视频数据作为关键信息并持久化存储在相应区块中；否则，将视频片段直接持久化存储在相应区块中。

本公开的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的视频监控中异常场景处理方法中的步骤。

本公开的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的视频监控中异常场景处理方法中的步骤。

本公开的有益效果是：

(1)本公开将这些视频数据逐帧输入至训练好的C-NIC-R模型，能够在线状态下实时判断有无异常场景及类型，既可以保证较高正确率，又能满足实时性的要求。

(2)本公开通过比较从异常场景开始至结束时间段内的视频片段的容量与区块的最大容量，当前者超过后者时，采用最大容量保存法降低视频容量，利用区块技术存储视频片段，少或避免因技术不达标、存储空间不足、恶意修改等因素导致的视频数据无法再现等问题的发生，还能够存储视频关键数据，提高了数据存储的安全性及持久性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例的一种视频监控中异常场景处理方法流程图；

图2是本公开实施例的C-NIC-R模型数据处理流程图；

图3是本公开实施例的C-NIC-R模型结构示意图；

图4是本公开实施例的另一种视频监控中异常场景处理方法流程图；

图5是本公开实施例的区块结构示意图；

图6是本公开实施例的监控系统结构示意图；

图7是本公开实施例的一种视频监控中异常场景处理系统结构示意图；

图8是本公开实施例的另一种视频监控中异常场景处理系统结构示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

如图1所示，本实施例的一种视频监控中异常场景处理方法，包括：

S101：接收连续的视频监控若干帧视频数据；

S102：将这些视频数据逐帧输入至训练好的C-NIC-R模型，输出从异常场景开始至结束时间段内的视频片段。

在本实施例中，异常场景类型主要包括基于人和基于物两种类型：

基于人：

单人：突然跌倒、加速快跑、平躺抽搐、手持管制器具等；

交互：拥挤、踩踏、抢夺物品、打架斗殴、手持管制器具、劫持行人等；

基于物：玻璃破碎、物体坠落、管道爆裂、突然起火、光线异常等。

获取异常场景方法主要包括真实获取和模拟获取两种方法：

真实获取是在特定公共场所的监控视频中按类别分找出相对应异常场景类型的视频数据，作为后期训练模型时的数据样本；

模拟获取方法是为了弥补训练小概率事件的异常场景视频数据不足而常用的一种重要方法。主要使用GAN网络，采用少量真实样本数据训练出较多训练样本。

其中，如图2所示，C-NIC-R模型由依次串联的CNN模型、NIC模型和RNN模型组成；

NIC模型用于将接收到的视频数据转化为自然语言描述；

CNN具有共享卷积核、手动选取标记特征的特点，识别效果十分明显且操作较为简单。此类模型十分符合实时状态下处理大量数据的情景。因此本实施例用CNN训练出能够分辨出是异常场景种类的模型；RNN是一种节点定向连接成环的人工神经网络，其属于反馈神经网络的一种。RNN利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，提高了对输入数据处理的容错性。

如图3所示，在本实施例中，构成C-NIC-R模型的三个模型CNN模型可采用D-LeNet-5模型来实现；NIC模型由VGG16和LSTM模型组成，RNN模型可由P-LSTM模型来实现。

其中D-LeNet-5模型为LeNet-5模型变形，用于检测异常场景是否发生的模型；LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征。D-LeNet-5模型的结构如图3所示。

其中VGG16+LSTM模型为使用自然语言描述输入图片内容的模型；

其中P-LSTM模型为用于分析句子相似度的模型。

P-LSTM全称Part-Aware LSTM，其对普通的LSTM进行了修改，应用于基于3D骨骼点的动作识别，可以对身体部分(头，胳膊，腿等)进行上下文分析，从而提高性能等。P-LSTM模型的结构为现有结构。

需要说明的是，在其他实施例中，CNN模型、NIC模型、RNN模型的结构也可为其他现有形式，本领域技术人员可根据实际精度需求自动选择。

C-NIC-R模型训练过程为：

数据预处理后，使用分类明确的各类异常场景图像训练CNN模型，判断模型训练合格的标准为正确率达到0.95以上且模型在线判断耗时小于实时监控中抽样间隔时段的一半；

同时使用相同训练集训练NIC模型，直到输出语言描述的语句能够为完整、清晰表达出异常场景显示的内容。判断模型合格的标准是：NIC模型输出的描述语言与制定的描述各类异常场景的语言表达含义相同；

RNN模型训练使用的数据是达标的NIC模型正常输出描述异常场景的语句。此处需要注意的是，训练时用于判断语句相似度的标准语句是人为制定的描述各类异常场景的语句，此语句与判断NIC模型是否达标使用的语句相同。每一种异常场景均需要依据标准语句进行描述。每一种异常场景均有两种同义描述方式，在错误可控范围内用于提高容错率。

获取不同场景下异常场景视频信息，检测精准度和泛化能力；

针对不同人种，不同行为再找一部分视频数据进行测试C-NIC-R模型测试。

在具体实施中，在监控正常拍摄的过程中，每隔一秒抽取中间时刻的一帧视频数据，使用CNN模型判断数据帧中是否存在异常场景。如果不存在异常场景，则等待处理下一帧视频数据；若存在，则记录下此时刻和异常场景类型和自动获取拍摄此异常场景的设备的相关信息，此时开始通知相关工作人员初步核查是否为真正的异常场景发生。同时启动C-NIC-R模型中的NIC-R部分(NIC模型+RNN模型)。此处需要指出的是，为了防止人为疏漏，即使在模型正在检测过程中，工作人员已经主观判定当前检测场景不是异常场景，C-NIC-R模型执行也不会被人为终止。

C-NIC-R模型中的NIC-R部分模型(NIC模型+RNN模型)启动后，每秒获取一帧视频数据用于形成描述视频数据内容的语言语句。此语句完成后通过序列编码进入RNN模型中。其中启动C-NIC-R模型中的NIC-R部分(NIC模型+RNN模型)后处理的第一帧视频数据形成的语句作为后续RNN模型对比语句是否发生变化的标准。

RNN模型持续接收通过序列编码后的语句，并不断与第一帧数据形成的语句进行相似度对比，判断描述的语句及语义是否发生变化。如果相似度在阈值范围内，则持续检测；如果相似度超出阈值，则记录此时刻作为此次异常场景记录终止点。

设表示两个待判定语句的向量表示分别为

采用余弦相似度计算两个句子相似度，具体的公式如下：

通过判断dis阈值范围的关系，判断是否为异常场景终止点。

本实施例的视频监控中异常场景处理方法还包括：截取本次异常场景视频，保存在本地服务器并通知给相关工作人员；

根据保存的异常场景发生的起始点时间和终止点时间，截取出本次异常场景的相关视频，并保存至本地服务器中。同时将全部保存的相关数据发送给相关工作人员。

作为一种实施方式，如图4所示，所述视频监控中异常场景处理方法还包括：

判断从异常场景开始至结束时间段内的视频片段的容量是否超出区块的最大容量，若是，则采用最大容量保存方法降低视频容量；否则，将视频片段直接持久化存储在相应区块中。

根据截取出的视频片段容量大小，采用最大容量保存方法降低视频容量，将关键信息与异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息一同写入区块中。

当截取的片段超过最大容量时，采用最大容量保存方法保证视频大小在最大限度之内。

即当判断视频容量超过具体最大允许值后，使用容量最大值判断最多可以保存视频中多少帧图像，接着等差数列抽出此若干帧图片作为关键信息。

设异常场景视频大小为l，区块体数据存储最大值为R，异常记录场景下记录的相应设备等信息数据大小为r，异常场景截取的视频中，每帧大小为h。

最大容量保存方法的具体步骤为：

Step1：计算使用容量最大值判断最多可以保存视频中的m帧图像。

Step2:计算等差数列距n。

其中函数F()为舍余取整函数,其中“m-2”的原因是因为指异常视频中第一帧(y₁)和最后一帧

必须要作为关键信息，这样只能再抽取(m-2)帧。

例如：17÷4＝4……1，F(17÷4＝4…1)＝4。

Step3:抽取等差视频帧形成关键信息集合

其中g₁为异常视频的第[(1-1)×n+1]帧,g₂为异常视频的第[(2-1)×n+1]帧，g_m-2为异常视频的第[(m-2-1)×n+1]帧，即g_i为异常视频的第[(i-1)×n+1]帧图像，其中i的取值区间为[1,m-2]。

区块链是一个分布式账本，一种通过去中心化和去信任的方式集体维护一个可靠数据库的技术方案。其为基于密码学原理且不需要第三方中介的参与，在双方达成一致的前提下直接交易。所有的区块以双向表的方式链接起来，每个区块都会保存其上一个区块的哈希值，而区块之间的顺序一旦确定，哈希值就无法更改。区块链是全网唯一的，一旦某个节点有更新，则全网均可通知。

区块链包含三种分类，分别为公有链、私有链，联盟链。根据本实施例实现的目的和要求，本文采用联盟链形式。联盟链只针对某个特定群体的成员和有限的第三方，其内部指定多个预选节点为记账人，每个块的生成由所有的预选节点共同决定。这种特点十分符合将异常场景进行逐级上报至相关各级机构(辖区派出所、公安机关等)的特点。

区块由区块头和区块主体两大部分构成，如图5所示。本实施例的相关信息如下：

(1)区块头：

①版本号：用来标识异常数据所属区域所属类型；

②父区块哈希：前一个区块头数据进行哈希计算得到。

③Merkle根：使用Merkle树能够快速检验交易数据的完整性，即数据是否被篡改过，Merkle根通过每一次交易合并最终得到的值，因此可以验证数据是否被篡改过。

④时间戳：每诞生一个新的区块，就会被盖上相应的时间戳，可以保证整条链上的区块均可按照时间顺序进行排列。

⑤难度值：本指挖矿难度大小，在本实施例中表示单位时间内产生异常场景视频的频次，频次越高，难度值会随之增加。

⑥随机数：本指挖矿时最先获取的比特币“验证码”，本实施例中表示权限查看等级。

(2)区块主体：

区块主体中主要包含需要记录的数据信息，包括以下几个部分：

①异常行为人数：产生并主导异常场景发生的人员数量；

②异常行为类型：步骤1中提到的若干情景中最相似的一种行为类型；

③异常行为发生时间：记录具体时间发生异常的时间值，此处和区块头中的时间戳不同，一般在时间戳之前；

④异常行为捕捉终端信息：获取异常行为设备编号等具有识别功能的信息；

⑤异常行为关键视频数据：经过处理得到的关键视频数据。

(3)上述相应信息形成后则根据规则持久化于区块头和区块体中，相应的顺序过程如下：

①把获取得到的区块体包含的信息记录到区块主体中；

②在区块主体中生成此区块中所有操作记录的Merkle树，并把Merkle树根的值保存在区块头中；

③把上一个刚生成区块的区块头的数据通过SHA算法生成一个哈希值，并填入到当前区块的父哈希值中；

④把当前时间保存在时间戳的相应位置中；

⑤字段难度根据之前一段时间区块的平均生成时间调整，用来应对被篡改的难度大小。

(4)当检测到有异常行为发生后立即通知相关工作人员，并根据实际情况做出相应处理。后续系统把记录在区块体中的全部信息亦保存至本地数据库。

具体实施案例：

场景选取：Y时间点智能大厦内单人在监控摄像机Z的监控范围内突然倒地，然后被人发现并抬走为例，解释说明区块信息的存储。当倒地人所在被监控区域中的摄像机捕捉到此场景时，分两部分同时收集信息。

区块头部分：

①版本号：智能大厦在系统中的唯一标识码和单人倒地此种异常类型的唯一标识码；

②父区块哈希：来自于上一次异常场景的记录，属于随机，但本次异常场景记录时已经确定；

③Merkle根：用于记录本次异常场景记录在进入区块链后每一次的被动操作；

④时间戳：写入区块头信息的时间点；

⑤难度值：单位时间与本次单人倒地的异常场景与上次发生异常场景的时间间隔的比值。

⑥随机数：本次异常场景属于一般建筑内异常场景。权限为一级、二级、三级的服务器所属单位均可查看，每次查看时Merkle根等均有记录。

区块体部分：

①异常行为人数：本次案例中人数为1；

②异常行为类型：单人突然倒地的系统唯一标识码；

③异常行为发生时间：发生异常场景时的具体时间，即Y时间点；

④异常行为捕捉终端信息：捕获单人倒地的监控摄像机的信息，即监控摄像机Z的设备信息；

⑤异常行为关键视频数据：从单人突然倒地，到被人发现并抬走的这个过程的视频段中抽取的关键视频帧(未超过最大容量则不用抽取，前面容量保存方法有相关介绍)。

如图6所示，给出了某一建筑内的监控系统，由相应的监控摄像机、信号传输设备、信息处理器等构成，并以单人突然倒地为例，绘制的场景。倒地人所在被监控区域中的摄像机捕捉到此场景并进行判断。当确定为异常场景后，则根据相应指令获取信息，以区块的形式传送至本地服务器。本地服务器在备份的同时，也会继续上传至三级、二级、一级服务器。每一级服务器的管理人员的权限不同，不同权限人员在访问此条记录时，均被记录并告知上一级权限管理人员。

本实施例中训练得到的模型均放置于终端(如图6中圈内所示)，直接与摄像机相连。这样既可以减少信息传输带来的耗时，又能够主观降低算法对服务器的性能要求。

实施例2

如图7所示，本实施例的一种视频监控中异常场景处理系统，包括：

(1)视频数据接收模块，其用于接收连续的视频监控若干帧视频数据；

(2)异常场景识别模块，其用于将这些视频数据逐帧输入至训练好的C-NIC-R模型，输出从异常场景开始至结束时间段内的视频片段；

CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景。若存在异常场景，则输出从异常场景开始时间点起之后的视频数据至NIC模型；

NIC模型用于将接收到的视频数据转化为自然语言描述；

如图8所示，在另一实施例中，所述视频监控中异常场景处理系统还包括：

实施例3

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1所述的视频监控中异常场景处理方法中的步骤。

实施例4

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例1所述的视频监控中异常场景处理方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种视频监控中异常场景处理方法，其特征在于，包括：

接收连续的视频监控若干帧视频数据；

其中，C-NIC-R模型由依次串联的CNN模型、NIC模型和RNN模型；

NIC模型用于将接收到的视频数据转化为自然语言描述；

2.如权利要求1所述的视频监控中异常场景处理方法，其特征在于，所述视频监控中异常场景处理方法还包括：

3.如权利要求1所述的视频监控中异常场景处理方法，其特征在于，所述视频监控中异常场景处理方法还包括：

4.如权利要求3所述的视频监控中异常场景处理方法，其特征在于，在区块中还存储有异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息；其中，区块由区块头和区块主体构成，所述区块头用来存储拍摄异常场景的设备相关信息；区块主体用来存储异常场景开始时间点、异常场景类型及相应视频片段。

5.一种视频监控中异常场景处理系统，其特征在于，包括：

其中，C-NIC-R模型由依次串联的CNN模型、NIC模型和RNN模型；

NIC模型用于将接收到的视频数据转化为自然语言描述；

6.如权利要求5所述的视频监控中异常场景处理系统，其特征在于，所述视频监控中异常场景处理系统还包括：

7.如权利要求5所述的视频监控中异常场景处理系统，其特征在于，所述视频监控中异常场景处理系统还包括：

异常场景存储模块，其用于判断从异常场景开始至结束时间段内的视频片段的容量是否超出区块的最大容量，若是，则采用最大容量保存方法降低视频容量，即使用容量最大值判断最多保存视频数据的帧数，再按照等差数列抽出相应帧数的视频数据作为关键信息并持久化存储在相应区块中；否则，将视频片段直接持久化存储在相应区块中。

8.如权利要求7所述的视频监控中异常场景处理系统，其特征在于，在区块中还存储有异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息；其中，区块由区块头和区块主体构成，所述区块头用来存储拍摄异常场景的设备相关信息；区块主体用来存储异常场景开始时间点、异常场景类型及相应视频片段。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的视频监控中异常场景处理方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的视频监控中异常场景处理方法中的步骤。