CN114565882A - 基于多视频摄像头智能联动的异常行为分析方法及装置 - Google Patents

Abstract

本发明涉及视觉检测技术，揭露一种基于多视频摄像头智能联动的异常行为分析方法，包括：对多视频摄像头的视频数据进行分帧处理及关键帧筛选，得到目标帧图像；对目标帧图像进行背景图像重构及背景剥离，得到运动目标的行为及异常行为库；根据运动目标及多视频摄像头的关联权重，从多视频摄像头对应的目标帧图像中提取运动目标的行为合集，根据行为合集中每一个行为的行为特征及骨骼特征计算得到运动目标的运动行为和肢体行为；根据异常行为库对运动行为与肢体行为判定运动目标的异常行为。本发明还提出一种基于多视频摄像头智能联动的异常行为分析装置。本发明可以提高异常行为检测的准确性以及在不同环境下检测的灵活性。

Description

基于多视频摄像头智能联动的异常行为分析方法及装置

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种基于多视频摄像头智能联动的异常行为分析方法及装置。

背景技术

随着人工智能及计算机视觉领域的蓬勃发展，基于视觉的异常行为检测成为研究热点。当前,人体异常行为识别与检测已在社会生产及生活中得到广泛应用。在医疗监护领域,通过异常行为识别与检测技术,可实现对无看护病患或老人的实时监控,判断目标是否出现跌倒或其他意外,并及时报警呼救,保证他们在第一时间得到治疗和帮助；在交通安全领域，通过异常行为检测技术可以监控包括驾驶员行为在内的车内、外异常情况，从而减少交通事故；在公共场所安全领域，该技术可用于判断公共场所人员是否摔倒、是否存在打架斗殴等异常行为，提高公共安全。

而在实际应用中，由于复杂的视频场景和运动目标的不同姿态及运动行为，影响着行为检测的精准性；并且不同环境下的同一行为可能存在不同的含义，使得异常行为检测缺乏灵活性。综上所述，现有技术中存在异常行为检测的准确性较低以及在不同环境下检测的灵活性较低的问题。

发明内容

本发明提供一种基于多视频摄像头智能联动的异常行为分析方法及装置，其主要目的在于解决在异常行为分析过程中异常行为检测的准确性较低以及在不同环境下检测的灵活性较低的问题。

为实现上述目的，本发明提供的一种基于多视频摄像头智能联动的异常行为分析方法，包括：

获取多视频摄像头的视频数据，对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像；

对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，并根据所述视频背景确定对应的异常行为库；

获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重；

根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为；

根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为；

当所述运动行为与所述肢体行为中至少一种行为属于所述异常行为库时，则判定所述运动目标存在异常行为。

可选地，所述对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，包括：

提取所述视频数据中的帧率，根据所述帧率设置截取频率；

根据所述截取频率对所述视频数据进行画面截取，得到多帧图像。

可选地，所述对所述多帧图像进行运动关键帧筛选，得到目标帧图像，包括：

逐一提取所述多帧图像中的相邻两张图像作为目标图像；

对所述目标图像进行掩膜操作，得到掩膜图像；

计算所述掩膜图像的差异特征值，当所述差异特征值大于预设差异值时，将所述目标图像作为目标帧图像。

可选地，所述对所述多帧图像进行运动关键帧筛选之前，所述方法还包括：

将所述多帧图像的像素信息从RGB转换为HSV颜色空间；

根据所述HSV颜色空间进行阴影检测，根据检测结果对所述多帧图像进行阴影抑制。

可选地，所述对所述目标帧图像进行背景图像重构，得到视频背景，包括：

从所述目标帧图像中选取预设帧数的图像作为序列图像；

对所述序列图像进行灰度化，得到灰度图像；

对所述灰度图像进行二值化，得到二值图像；

根据所述二值图像分离出所述目标帧图像的背景区域，得到视频背景。

可选地，所述根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，包括：

根据所述视频背景对于所述目标帧图像进行差分运算；

对差分运算后的图像进行形态学处理，得到形态图像；

根据所述形态图像进行特征提取，并根据特征提取结果生成图像标注；

根据所述形态图像以及所述图像标注生成运动目标的行为。

可选地，所述根据所述视频背景确定对应的异常行为库，包括：

对所述视频背景进行向量化，得到背景特征；

根据所述背景特征在预设的场景库中进行特征匹配，将匹配度最高的场景作为视频背景的目标场景；

根据所述目标场景在场景数据库中检索，得到所述目标场景对应的异常行为库。

可选地，所述根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重，包括：

对所述基础数据进行分类，根据每个类别的预设评价规则对所述基础数据进行计算，得到第一关联分值；

对每个视频摄像头对应的所述视频背景进行要素解构，提取解构后的要素的要素特征；

计算所述要素特征的相似度，将相似度大于预设阈值的要素特征作为相同要素特征；

对每一个视频摄像头的相同要素特征进行数量统计，根据数量统计的结果确定第二关联分值；

根据第一关联分值以及第二关联分值进行整合，得到每个视频摄像头的关联权重。

可选地，所述提取所述行为合集中每一个行为的行为特征以及骨骼特征，包括：

将所述行为合集中的行为转换三维坐标系的行为坐标；

根据所述行为坐标确定外接矩形区域，根据所述外接矩形区域计算质心坐标、行为对应的矩形宽高比以及矩形倾斜角度，得到行为特征；

根据预设的骨骼序列对所述行为坐标进行骨骼点划分，得到骨骼点坐标；

根据所述骨骼点坐标计算帧间骨骼点相对位移特征以及帧内骨骼点相对距离特征，得到骨骼特征。

为了解决上述问题，本发明还提供一种基于多视频摄像头智能联动的异常行为分析装置，所述装置包括：

目标帧图像生成模块，用于获取多视频摄像头的视频数据，对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像；

视频背景处理模块，用于对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，并根据所述视频背景确定对应的异常行为库；

关联权重生成模块，用于获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重；

运动行为及肢体行为生成模块，用于根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为；

异常行为判定模块，用于根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为；当所述运动行为与所述肢体行为中至少一种行为属于所述异常行为库时，则判定所述运动目标存在异常行为。

本发明实施例通过对每一个视频摄像头的视频数据进行帧处理以及帧筛选，使得获取的目标帧图像更具有检测价值，提高了异常行为检测的效率；通过根据运动目标以及权重从多视频摄像头对应的目标帧图像中提取该运动目标的行为合集，以及对运动目标的行为特征及骨骼特征两方面进行分析，使得对运动目标的异常行为分析更加准确；通过对背景图像重构获取的视频背景确定异常行为库，实现不同环境下不同行为的异常行为的区别认定，使得异常行为的确定能够灵活的贴合环境场景。因此本发明提出的基于多视频摄像头智能联动的异常行为分析方法及装置，可以解决在异常行为分析过程中异常行为检测的准确性较低以及在不同环境下检测的灵活性较低的问题。

附图说明

图1为本发明一实施例提供的基于多视频摄像头智能联动的异常行为分析方法的流程示意图；

图2为本发明一实施例提供的对目标帧图像进行背景图像重构的流程示意图；

图3为本发明一实施例提供的提取行为合集中每一个行为的行为特征以及骨骼特征的流程示意图；

图4为本发明一实施例提供的基于多视频摄像头智能联动的异常行为分析装置的功能模块图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于多视频摄像头智能联动的异常行为分析方法。所述基于多视频摄像头智能联动的异常行为分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于多视频摄像头智能联动的异常行为分析方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于多视频摄像头智能联动的异常行为分析方法的流程示意图。在本实施例中，所述基于多视频摄像头智能联动的异常行为分析方法包括：

S1、获取多视频摄像头的视频数据，对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像。

本发明实施例中，可以通过监控视频、穿戴式设备的监控视频采集得到视频数据。所述视频数据可以为实时监控的视频数据或者历史监控的视频数据，通过实时监控的视频数据可以对例如商场、高铁站等公共场所进行异常行为监控，防止危险事态的发生；通过历史监控的视频数据可以对学生、孩童等活动范围较小的空间进行安全监控，有利于预防校园暴力等不良情况。

本发明实施例中，所述对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，包括：

提取所述视频数据中的帧率，根据所述帧率设置截取频率；

根据所述截取频率对所述视频数据进行画面截取，得到多帧图像。

具体地，视频都是由静止的画面组成的, 这些静止的画面被称为帧；帧率低于15帧/秒，连续的运动视频就会有停顿的感觉，因此，通常视频为25帧/秒。根据帧率可以得知一秒视频中存在的画面数量，提取多帧图像可以将帧率设置为截取频率，获取的多帧图像的数量会更多，进而进行后续异常行为分析时的精度会更高；提取多帧图像也可以适应性的将截取频率设置的慢于帧率，获得的多帧图像的数量会较少，但会是的存储空间增大，计算速度提高，使得进行异常行为分析时，效率有所提高。

本发明实施例中，所述对所述多帧图像进行运动关键帧筛选之前，所述方法还包括：

将所述多帧图像的像素信息从RGB转换为HSV颜色空间；

根据HSV颜色空间进行阴影检测，根据检测结果对所述多帧图像进行阴影抑制。

本发明实施例中，通过 HSV 彩色空间变换算法进行阴影抑制，实现了对多帧图像的预处理。

本发明实施例中，多帧图像是根据视频数据进行逐帧提取获得的图像，早不同时间段中，可能存在视频中只存在背景或者静止的人、物等，因此可以通过对所述多帧图像进行筛选，获取存在运动个体的视频图像，从而减少对异常行为分析的数据量，提高了异常分析的效率。

本发明实施例中，所述对所述多帧图像进行运动关键帧筛选，得到目标帧图像，包括：

逐一提取所述多帧图像中的相邻两张图像作为目标图像；

对所述目标图像进行掩膜操作，得到掩膜图像；

计算所述掩膜图像的差异特征值，当所述差异特征值大于预设差异值时，将所述目标图像作为目标帧图像。

本发明实施例中，所述掩膜操作是将两张图像进行覆盖操作，覆盖后的形成的图像即为掩膜图像；所述掩膜图像可以显示出两张用于掩膜操作的图像的形状差异，所述形状特征包括图像坐标位置，物体体态比、物体轴心位置等。

S2、对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，并根据所述视频背景确定对应的异常行为库。

本发明实施例中，多视频摄像头的摄像头可以存在不同的场所以及位置，以商场为例，多视频摄像头可以存在于不同的楼层以及同一楼层的不同方位，然后不同楼层的场所背景是不同的，同一楼层不同方位的场所背景可能不同也可能存在重叠，因此在每一个摄像头关联的其他摄像头的权重是不同的。

本发明实施例中，不同的视频背景对于异常行为的定义会存在不同，例如，跑步这一运动行为在商场中可以定义为异常行为，而在操场上则可以不为异常行为；坐在地上这一肢体行为在马路上可以定义为异常行为，而在公园草坪上则可以不为异常行为。

请参阅图2所示，本发明实施例中，所述对所述目标帧图像进行背景图像重构，得到视频背景，包括：

S21、从所述目标帧图像中选取预设帧数的图像作为序列图像；

S22、对所述序列图像进行灰度化，得到灰度图像；

S23、对所述灰度图像进行二值化，得到二值图像；

S24、根据所述二值图像分离出所述目标帧图像的背景区域，得到视频背景。

进一步地，对所述灰度图像进行二值化可以通过如下公式计算得到：

其中，

第

帧的为二值图像，

、

、

分别为

第帧、第

帧、第

帧的 灰度图像；

通过上式的计算结果进行差分，进而分离得到第

帧序列图像静止区域，即视频背 景。

本发明另一可选实施例中，可以根据所述目标帧图像进行背景建模方法(均值法、混合高斯法)，生成背景模型，进而获得视频背景。

本发明实施例中，所述视频背景对所述目标帧图像进行背景剥离，得到运动目标的行为，包括：

根据所述视频背景对于所述目标帧图像进行差分运算；

对差分运算后的图像进行形态学处理，得到形态图像；

根据所述形态图像进行特征提取，并根据特征提取结果生成图像标注；

根据所述形态图像以及所述图像标注生成运动目标。

具体地，本发明实施例可以通过下式对差分运算后的图像进行形态学处理：

其中，

为形态图像，

为差分运算后的图像，

为形态学开运算，

为形态学闭运算;

通过对差分运算后的图像进行形态学处理，可以去除图像中存在的噪声点及目标的空洞部分。

本发明实施例中，所述形态图像为去除背景图像的运动目标的形态图像。例如，在一个画面中存在两个人物时，可以根据不同人物的身体、面部进行特征提取，进而形成图像标注，实现对画面中两个人物的区分。

进一步地，本发明实施例中，所述根据所述视频背景确定对应的异常行为库，包括：

对所述视频背景进行向量化，得到背景特征；

根据所述背景特征在预设的场景库中进行特征匹配，将匹配度最高的场景作为视频背景的目标场景；

根据所述目标场景在场景数据库中检索，得到所述目标场景对应的异常行为库。

本发明实施例中，将要素特征与场景库中每一个场景的要素特征进行匹配，可以得到每个场景的匹配度，匹配度最高的即为目标场景。

S3、获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重。

本发明实施例中，每个摄像头的基础数据可以为摄像头的分布位置，摄像头之间的距离等。

本发明实施例中，所述根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重，包括：

对所述基础数据进行分类，根据每个类别的预设评价规则对所述基础数据进行计算，得到第一关联分值；

对每个视频摄像头对应的所述视频背景进行要素解构，提取解构后的要素的要素特征；

计算所述要素特征的相似度，将相似度大于预设阈值的要素特征作为相同要素特征；

对每一个视频摄像头的相同要素特征进行数量统计，根据数量统计的结果确定第二关联分值；

根据第一关联分值以及第二关联分值进行整合，得到每个视频摄像头的关联权重。

例如，在基础数据中可以存在楼层数据，存在于同一楼层的摄像头之间的第一关联分值就会高于不存在于同一楼层的摄像头的第一关联分值。在视频背景中可以解构得到柜台、门店招牌、电梯等要素，将以上要素向量化，即提取到相应的要素特征；不同的摄像头拍摄的画面可能完全不同，可能存在较少重叠、或者较多重叠，因此，可以根据重叠特征的多少确定两两摄像头之间的关联分值。

S4、根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为。

本发明实施例中，在一个摄像头的视频数据检测到运动目标时，可能由于运动目标处于运动中而导致运动目标移动至另一个摄像头的视频数据中。通过赋予摄像头不同的权重，在存在多个摄像头中确定有运动目标时，能够优先性的选择摄像头去匹配运动目标，提高生成运动目标的行为合集的效率。

本发明实施例中，所述根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，包括：

判断是否多视频摄像头检测到运动目标；

若为单摄像头检测到运动目标，则将所述单摄像头检测的运动目标的行为作为行为合集；

若为多摄像头检测到运动目标，则将检测到运动目标的摄像头作为摄像头集合，从所述多摄像头中选取一个摄像头作为目标摄像头，根据所述目标摄像头与所述摄像头集合中其他摄像头的关联权重选取关联摄像头；

提取所述关联摄像头的运动目标的关联行为，将所述关联行为的图像标注进行相似度计算，将根据相似度计算结果选取目标行为，将所述目标行为以及目标摄像头检测到的行为作为行为集合。

本发明实施例中，所述行为特征可以为运动目标的区域特征，即包括：质心、矩形宽高比、倾斜角度；以人行走、奔跑和摔倒为例，当行人正常行走时，质心高度变化平稳，处于一个较小的范围、当行人奔跑时，质心忽高忽低、当行人发生摔倒时，质心逐渐下降；当行人正常行走和奔跑时，最小外接矩形的高的值远远大于的值，则宽高比的值明显小于 1、当行人发生摔倒时，行人高度降低，矩形的高的值会逐渐减小，矩形的宽的值增大，此时矩形的宽高比的值会大于 1；人在行走、奔跑和摔倒时的倾斜角度都是不同的。

本发明实施例中，所述骨骼特征可以为运动目标骨骼点的向量化表示，所述骨骼点以人体为例可以包括头、肩中心、脊柱、髋中心、右肩、右肘、右腕、右手、右髋、右膝、右踝、右脚、左肩、左肘、左腕、左手、左髋、左膝、左踝、左脚等。

请参阅图3所示，本发明实施例中，所述提取所述行为合集中每一个行为的行为特征以及骨骼特征，包括：

S31、将所述行为合集的中的行为转换三维坐标系的行为坐标；

S32、根据所述行为坐标确定外接矩形区域，根据所述外接矩形区域计算质心坐标、行为对应的矩形宽高比以及矩形倾斜角度，得到行为特征；

S33、根据预设的骨骼序列对所述行为坐标进行骨骼点划分，得到骨骼点坐标；

S34、根据所述骨骼点坐标计算帧间骨骼点相对位移特征以及帧内骨骼点相对距离特征，得到骨骼特征。

进一步地，可以设定行为的判定规则逐一对所述行为特征的质心坐标、行为对应的矩形宽高比以及矩形倾斜角度进行计算，进而确定所述行为特征对应的运动行为。

本发明实施例可以将所述骨骼特征输入预先训练的分类器模型中，通过输出的每个肢体类别标签的概率，然后取输出概率中最大值所在的类别作为所述骨骼特征所对应的肢体行为。其中，所述分类器模型可以为SVM分类器。

S5、根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为。

本发明实施例中，所述异常行为库中包括不同运动行为和不同肢体行为的异常行为判定标签；本发明实施例可以将所述运动行为与所述肢体行为分别在所述异常行为库中检索，根据检索结果进而判断所述运动行为与所述肢体行为是否为异常行为。

当所述运动行为与所述肢体行为中至少一种行为属于所述异常行为库时，则执行S6、判定所述运动目标存在异常行为。

本发明实施例中，所述判定所述运动目标存在异常行为之后，所述方法还可以包括对异常行为进行分级，根据不同等级的异常行为进行预警；或者根据不同的异常行为进行前端行为标识。

本发明实施例通过对每一个视频摄像头的视频数据进行帧处理以及帧筛选，使得获取的目标帧图像更具有检测价值，提高了异常行为检测的效率；通过根据运动目标以及权重从多视频摄像头对应的目标帧图像中提取该运动目标的行为合集，以及对运动目标的行为特征及骨骼特征两方面进行分析，使得对运动目标的异常行为分析更加准确；通过对背景图像重构获取的视频背景确定异常行为库，实现不同环境下不同行为的异常行为的区别认定，使得异常行为的确定能够灵活的贴合环境场景。因此本发明提出的基于多视频摄像头智能联动的异常行为分析方法及装置，可以解决在异常行为分析过程中异常行为检测的准确性较低以及在不同环境下检测的灵活性较低的问题。

如图4所示，是本发明一实施例提供的基于多视频摄像头智能联动的异常行为分析装置的功能模块图。

本发明所述基于多视频摄像头智能联动的异常行为分析装置100可以安装于电子设备中。根据实现的功能，所述基于多视频摄像头智能联动的异常行为分析装置100可以包括目标帧图像生成模块101、视频背景处理模块102、关联权重生成模块103、运动行为及肢体行为生成模块104及异常行为判定模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述目标帧图像生成模块101，用于获取多视频摄像头的视频数据，对每一个视频摄像头的所述视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像；

所述视频背景处理模块102，用于对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标的行为，并根据所述视频背景确定对应的异常行为库；

所述关联权重生成模块103，用于获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重；

所述运动行为及肢体行为生成模块104，用于根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为；

所述异常行为判定模块105，用于根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为；当所述运动行为与所述肢体行为中至少一种行为属于所述异常行为库时，则判定所述运动目标存在异常行为。

详细地，本发明实施例中所述基于多视频摄像头智能联动的异常行为分析装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于多视频摄像头智能联动的异常行为分析方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

所述安装所述视频摄像头智能联动的异常行为分析装置100的电子设备可以包括处理器、存储器、通信总线以及通信接口，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，如基于多视频摄像头智能联动的异常行为分析程序。

其中，所述处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块（例如执行基于多视频摄像头智能联动的异常行为分析程序等），以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。

所述存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于多视频摄像头智能联动的异常行为分析程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线可以是外设部件互连标准（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器等之间的连接通信。

所述通信接口用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

例如，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述方法包括：

获取多视频摄像头的视频数据，对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像；

对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，并根据所述视频背景确定对应的异常行为库；

获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重；

根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为；

根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为；

当所述运动行为与所述肢体行为中至少一种属于所述异常行为库时， 判定所述运动目标存在异常行为。

2.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，包括：

提取所述视频数据中的帧率，根据所述帧率设置截取频率；

根据所述截取频率对所述视频数据进行画面截取，得到多帧图像。

3.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述对所述多帧图像进行运动关键帧筛选，得到目标帧图像，包括：

逐一提取所述多帧图像中的相邻两张图像作为目标图像；

对所述目标图像进行掩膜操作，得到掩膜图像；

计算所述掩膜图像的差异特征值，当所述差异特征值大于预设差异值时，将所述目标图像作为目标帧图像。

4.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述对所述多帧图像进行运动关键帧筛选之前，所述方法还包括：

将所述多帧图像的像素信息从RGB转换为HSV颜色空间；

根据所述HSV颜色空间进行阴影检测，根据检测结果对所述多帧图像进行阴影抑制。

5.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述对所述目标帧图像进行背景图像重构，得到视频背景，包括：

从所述目标帧图像中选取预设帧数的图像作为序列图像；

对所述序列图像进行灰度化，得到灰度图像；

对所述灰度图像进行二值化，得到二值图像；

根据所述二值图像分离出所述目标帧图像的背景区域，得到视频背景。

6.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，包括：

根据所述视频背景对于所述目标帧图像进行差分运算；

对差分运算后的图像进行形态学处理，得到形态图像；

根据所述形态图像进行特征提取，并根据特征提取结果生成图像标注；

根据所述形态图像以及所述图像标注生成运动目标。

7.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述根据所述视频背景确定对应的异常行为库，包括：

对所述视频背景进行向量化，得到背景特征；

根据所述背景特征在预设的场景库中进行特征匹配，将匹配度最高的场景作为视频背景的目标场景；

根据所述目标场景在场景数据库中检索，得到所述目标场景对应的异常行为库。

8.如权利要求1所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重，包括：

对所述基础数据进行分类，根据每个类别的预设评价规则对所述基础数据进行计算，得到第一关联分值；

对每个视频摄像头对应的所述视频背景进行要素解构，提取解构后的要素的要素特征；

计算所述要素特征的相似度，将相似度大于预设阈值的要素特征作为相同要素特征；

对每一个视频摄像头的相同要素特征进行数量统计，根据数量统计的结果确定第二关联分值；

根据第一关联分值以及第二关联分值进行整合，得到每个视频摄像头的关联权重。

9.如权利要求1至8中任一项所述的基于多视频摄像头智能联动的异常行为分析方法，其特征在于，所述提取所述行为合集中每一个行为的行为特征以及骨骼特征，包括：

将所述行为合集中的行为转换三维坐标系的行为坐标；

根据所述行为坐标确定外接矩形区域，根据所述外接矩形区域计算质心坐标、行为对应的矩形宽高比以及矩形倾斜角度，得到行为特征；

根据预设的骨骼序列对所述行为坐标进行骨骼点划分，得到骨骼点坐标；

根据所述骨骼点坐标计算帧间骨骼点相对位移特征以及帧内骨骼点相对距离特征，得到骨骼特征。

10.一种基于多视频摄像头智能联动的异常行为分析装置，其特征在于，所述装置包括：

目标帧图像生成模块，用于获取多视频摄像头的视频数据，对每一个所述视频摄像头的视频数据进行分帧处理，得到多帧图像，并对所述多帧图像进行运动关键帧筛选，得到目标帧图像；

视频背景处理模块，用于对所述目标帧图像进行背景图像重构，得到视频背景，根据所述视频背景对所述目标帧图像进行背景剥离，得到运动目标，并根据所述视频背景确定对应的异常行为库；

关联权重生成模块，用于获取每个摄像头的基础数据，根据所述基础数据以及所述视频背景之间的相似度设置每个视频摄像头的关联权重；

运动行为及肢体行为生成模块，用于根据所述运动目标以及所述关联权重从所述多视频摄像头对应的目标帧图像中提取所述运动目标的行为合集，提取所述行为合集中每一个行为的行为特征以及骨骼特征，根据所述行为特征计算所述运动目标的运动行为，根据所述骨骼特征计算所述运动目标的肢体行为；

异常行为判定模块，用于根据所述异常行为库判断所述运动行为与所述肢体行为是否为异常行为；当所述运动行为与所述肢体行为中至少一种行为属于所述异常行为库时，则判定所述运动目标存在异常行为。

Images