CN118075511A - 一种基于物联网摄像头智能监控系统 - Google Patents

Abstract

本发明公开了一种基于物联网摄像头智能监控系统，涉及智能摄像头领域，解决了现有智能监控系统工作效率低下的问题，包括数据获取模块、音频分析模块、图像分析模块以及监控反馈模块，数据获取模块获取监控基础数据，音频分析模块根据监控基础数据进行音频分析，得到监控音频分析数据，图像分析模块根据监控基础数据进行监控图像分析，得到二次检测异常图像数量，监控反馈模块根据监控音频分析数据和二次检测异常图像数量进行监控反馈，本发明能够将视频监控和音频监控相结合，充分提高智能摄像头的监控全面性。

Description

一种基于物联网摄像头智能监控系统

技术领域

本发明属于智能摄像头领域，涉及物联网技术，具体是一种基于物联网摄像头智能监控系统。

背景技术

物联网是指通过互联网将各种物理设备连接起来，实现设备之间的数据交换和互联互通的技术，物联网技术使得设备能够相互通信、收集数据、共享信息，从而实现智能化、自动化和远程控制，物联网技术包括传感器技术、通信技术、云计算、大数据分析等多个方面，通过这些技术的结合，物联网可以实现智能家居、智慧城市、智能健康、工业自动化等多种应用场景；

在现有技术中，摄像头在进行监控时，存在以下缺陷：

1、现有的智能摄像头在进行监控时，依靠摄像头终端在所处环境遭受碰撞时进行异常预警，无法自动识别监控视频进行安全预警，存在预警精度低的问题；

2、现有的智能摄像头录制的监控视频需要依靠工作人员进行人工观看，导致监控预警成本高且存在一定滞后性的问题；

为此，我们提出一种基于物联网摄像头智能监控系统。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于物联网摄像头智能监控系统，本发明基于获取监控基础数据，根据监控基础数据对正常音频样本和异常音频样本进行划分，根据异常音频样本获取异常音频监测结果数据并反馈至物联网控制终端，获取异常音频累计出现时长数值和异常音频样本数量值，得到监控音频分析数据，分别创建第一监控异常识别模型对实时图像监控数据进行异常识别，得到第一异常图像监测结果数据和第二异常图像监测结果数据，对第一异常图像监测结果数据进行安全预警，创建第二监控异常识别模型对第二异常图像监测结果数据进行异常检测，并统计异常检测周期内异常图像出现的次数，得到二次检测异常图像数量，根据监控音频分析数据和二次检测异常图像数量计算得到监控异常判断系数，通过对监控异常判断系数进行阈值判断，并进行异常信号安全预警。

为了实现上述目的，本发明采用了如下技术方案，一种基于物联网摄像头智能监控系统各模块具体工作过程如下：

数据获取模块：分别获取摄像头编号标记数据和实时图像监控数据，并对实时图像监控数据进行音频提取，得到实时音频监控数据，将摄像头编号标记数据、实时图像监控数据以及实时音频监控数据定义为监控基础数据；

音频分析模块：根据实时音频监控数据获取多个实时音频样本，对每一个实时音频样本进行分析，得到多个音频样本RMS值，并获取音频样本RMS阈值与音频样本RMS值进行数值比对，将音频样本划分为正常音频样本和异常音频样本，根据异常音频样本获取异常音频监测结果数据并反馈至物联网控制终端，获取异常音频累计出现时长数值和异常音频样本数量值，得到监控音频分析数据；

图像分析模块：分别创建第一监控异常识别模型对实时图像监控数据进行异常识别，得到第一异常图像监测结果数据和第二异常图像监测结果数据，对第一异常图像监测结果数据进行安全预警，创建第二监控异常识别模型对第二异常图像监测结果数据进行异常检测，并统计异常检测周期内异常图像出现的次数，得到二次检测异常图像数量；

监控反馈模块：根据监控音频分析数据和二次检测异常图像数量计算得到监控异常判断系数，通过对监控异常判断系数进行阈值判断，并进行异常信号安全预警。

进一步地，还包括数据库，数据库中存储的数据包括目标监控区域平面图；

通过数据库获取目标监控区域平面图，根据目标监控区域平面图将目标监控区域划分为m个面积大小相同的目标监控子区域，并将其分别标记为第一监控子区域至第m监控子区域；

分别给第一监控子区域至第m监控子区域分别安装摄像头，将每一个摄像头与物联网控制终端进行无线连接，并分别给每一个监控子区域的摄像头进行编号标记，得到摄像头编号标记数据；

通过在每一个目标监控子区域中安装的摄像头对所在监控区域进行实时监控，得到实时图像监控数据；

监控数据进行音频提取，得到实时音频监控数据；

将摄像头编号标记数据、实时图像监控数据和实时音频监控数据定义为监控基础数据。

进一步地，还包括数据库，数据库存储的数据包括监控区域基准音频数据；

音频分析模块获取监控音频分析数据具体如下：

根据监控基础数据获取每一个摄像头对应的实时音频监控数据，将实时音频监控数据划分为n个实时音频样本，将其分别标记为第一实时音频样本至第n实时音频样本；

分别对第一实时音频样本至第n实时音频样本进行分析，得到第一音频样本RMS值至第n音频样本RMS值；

获取音频样本RMS阈值，将第一音频样本RMS值至第n音频样本RMS值与音频样本RMS阈值进行数值比对，将音频样本划分为正常音频样本和异常音频样本；

分别通过在异常音频检测周期内异常音频样本出现的数量值，得到异常音频样本数量值；

当监控基础数据出现异常音频样本时，获取异常音频样本对应的时间数值和摄像头编号标记数据，将其作为异常音频监测结果数据，在监控基础数据进行标记，并将其反馈至物联网控制终端；

分别获取异常音频在异常音频检测周期内累计出现的时长，得到异常音频累计出现时长数值；

将异常音频累计出现时长数值和异常音频样本数量值定义为监控音频分析数据。

进一步地，所述音频分析模块对第一音频样本RMS值至第n音频样本RMS值进行获取，具体如下：

在每一个实时音频样本中随机选择i个音频特征点，并将其分别标记为第一音频特征点至第i音频特征点，且每连续两个音频特征点之间的时间间隔为一个特征时间片段；

通过音频分析设备将对第一实时音频样本进行音频信号提取，并将音频信号映射为标定声音信号振幅区间，并分别获取第一实时音频样本中的第一音频特征点至第i音频特征点分别对应的音频信号振幅；

将第一音频特征点至第i音频特征点分别对应的音频信号振幅通过计算得到第一实时音频样本对应的音频信号RMS值；

重复上述对第一实时音频样本对应的RMS值的获取过程，分别对第二实时音频样本至第n实时音频样本对应的RMS值进行获取，得到第一音频样本RMS值至第n音频样本RMS值。

进一步地，所述音频分析模块获取音频样本RMS阈值并进行数值比对，具体如下：

从数据库中提取监控区域基准音频数据，在监控区域基准音频数据中分别标记k个基准音频特征点，并将其分别标记为第一基准音频特征点至第k基准音频特征点，通过音频分析设备分别获取第一基准音频特征点至第k基准音频特征点分别对应的音频信号振幅，得到第一基准音频信号振幅至第k基准音频信号振幅；

将第一基准音频信号振幅至第k基准音频信号振幅通过计算得到音频样本RMS阈值；

具体数值比对过程如下：

若音频样本RMS值大于等于音频样本RMS阈值，则将对应的实时音频样本标记为异常音频样本；

若音频样本RMS值小于音频样本RMS阈值，则将对应的实时音频样本标记为正常音频样本。

进一步地，还包括数据库，数据库中存储的数据还包括第一类型图像集和第二类型图像集；

分别创建第一图像识别模型和第二图像识别模型，通过第一类型图像集对第一图像识别模型进行训练，得到第一监控异常识别模型，通过第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

获取监控基础数据，根据监控基础数据获取实时图像监控数据，并将图像监控数据划分为多个异常图像检测周期；

通过第一监控异常识别模型对实时图像监控数据进行模型识别，得到二次异常检测周期图像；

使用第二监控异常识别模型对二次异常检测周期图像进行异常检测，若检测结果为异常图像，则对异常图像检测周期出现的异常图像进行数量统计，得到二次检测异常图像数量；

若检测结果不为异常图像，则检测结束；

图像分析模块对二次检测异常图像数量进行获取。

进一步地，所述图像分析模块对第一监控异常识别模型和第二监控异常识别模型进行获取，具体如下：

通过CNN模型平台创建第一图像识别模型，将第一类型图像集划分为第一图像测试集和第一图像训练集；

对第一图像训练集中存在的异常场景进行手动数据标注，得到第一图像标注测试集，通过第一图像标注测试集对第一图像识别模型进行训练，并通过反向传播算法对第一图像识别模型进行参数调整；

待第一图像标注测试集对第一图像识别模型训练完成，使用第一图像测试集对第一图像识别模型进行训练，并对第一图像识别模型进行实时准确性评估，若第一图像识别模型识别准确性达到目标识别率，则第一图像训练模型训练完成，得到第一监控异常识别模型；

若第一图像识别模型识别准确性未达到目标识别率，则使用第一图像标注测试集对第一图像训练模型进行重复训练，直至第一图像训练模型达到目标识别率；

重复对第一监控异常识别模型的获取过程，使用第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型。

进一步地，所述图像分析模块对二次异常检测周期图像进行获取，具体如下：

分别对每一个异常图像检测周期对应的实时图像监控数据进行图像截取，得到异常检测周期图像；

使用第一监控异常识别模型对异常检测周期图像进行异常检测；

若检测结果为异常图像，获取异常图像对应的时间数值和摄像头编号标记数据，将其作为第一异常图像监测结果数据，在监控基础数据进行标记，将其反馈至物联网控制终端并发布安全预警；

若检测结果不为异常图像，则将对应的异常检测周期图像标记为二次异常检测周期图像。

进一步地，还包括数据库，数据库中存储的数据还包括二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

监控反馈模块进行异常信号安全预警具体如下：

获取监控音频分析数据，根据监控音频分析数据获取异常音频累计出现时长数值和异常音频样本数量值；

获取二次检测异常图像数量；

将二次检测异常图像数量、异常音频累计出现时长数值和异常音频样本数量值通过计算得到监控异常判断系数；

获取监控异常判断系数阈值，将监控异常判断系数与监控异常判断系数阈值进行数值比对，并根据数值比对结果进行监控反馈。

进一步地，所述监控反馈模块获取监控异常判断系数阈值进行监控反馈，具体如下：

从数据库中提取二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

将二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值通过计算得到监控异常判断系数；

当监控异常判断系数大于等于监控异常判断系数阈值，则判断监控出现异常，反馈异常信号至物联网控制终端并发布安全预警；

当监控异常判断系数小于监控异常判断系数阈值，则监控正常工作，无需反馈异常信号。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明通过获取监控图像对应的音频数据进行安全预警，能够有效规避传统视频监控不能充分进行异常音频预警的不足，能够充分保障智能监控的全面性；

2、本发明通过创建监控异常识别模型对监控图像进行自动识别，相较于传统视频监控技术能够有效降低人力资源使用成本，提高监控系统的智能性和科学性。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的整体系统框图；

图2为本发明的实施步骤图；

图3为本发明中音频信号振幅示意图；

在信号振幅示意图中：

1为第一音频特征点，2为第二音频特征点，3为第i音频特征点，4为标定声音信号振幅区间上限，5为标定声音信号振幅区间下限；

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本发明提供一种技术方案：一种基于物联网摄像头智能监控系统，包括数据获取模块、音频分析模块、图像分析模块、监控反馈模块和服务器，所述数据获取模块、音频分析模块、图像分析模块以及监控反馈模块分别与服务器相连；

数据获取模块获取监控基础数据；

还包括数据库，数据库中存储的数据包括目标监控区域平面图；

通过数据库获取目标监控区域平面图，根据目标监控区域平面图将目标监控区域划分为m个面积大小相同的目标监控子区域，并将其分别标记为第一监控子区域至第m监控子区域；

分别给第一监控子区域至第m监控子区域分别安装摄像头，将每一个摄像头与物联网控制终端进行无线连接，并分别给每一个监控子区域的摄像头进行编号标记，得到摄像头编号标记数据；

此处需要说明的是：

若第一监控子区域安装有三个摄像头，将其分别编号标记为1-01、1-02以及1-03；

若第m监控子区域安装有j个摄像头，将其分别编号标记为m-01、m-02、m-03……m-0j；

物联网控制终端具体为通过物联网技术实现远程监控和控制的终端设备，在本申请中，物联网控制终端包括但不限于手机、PC、平板电脑、车机；

通过在每一个目标监控子区域中安装的摄像头对所在监控区域进行实时监控，得到实时图像监控数据；

通过音频提取程序对实时图像监控数据进行音频提取，得到实时音频监控数据；

此处需要说明的是：

在本申请中，涉及的音频提取程序可以为ffmpeg；

将摄像头编号标记数据、实时图像监控数据和实时音频监控数据定义为监控基础数据；

数据获取模块对监控基础数据进行获取，并将其输送至音频分析模块和图像分析模块；

音频分析模块根据监控基础数据进行音频分析，得到监控音频分析数据；

还包括数据库，数据库存储的数据包括监控区域基准音频数据；

此处需要说明的是：

此处涉及的监控区域基准音频数据具体为在异常事件发生的环境中，目标监控区域在常规环境下的音频数据；

根据监控基础数据获取每一个摄像头对应的实时音频监控数据，将实时音频监控数据划分为n个实时音频样本，将其分别标记为第一实时音频样本至第n实时音频样本；

在每一个实时音频样本中随机选择i个音频特征点，并将其分别标记为第一音频特征点至第i音频特征点，且每连续两个音频特征点之间的时间间隔为一个特征时间片段；

此处需要说明的是：

相邻两个音频样本在时间上是连续的，不存在时间间隔；

在本申请中，涉及的特征时间片段具体设定为0.1秒，每个实时音频样本的时长设定1秒；

上述设定仅适用于本实施例，在具体生产应用中，可根据实际情况进行具体设定；

请参阅图3，通过音频分析设备将对第一实时音频样本进行音频信号提取，并将音频信号映射为标定声音信号振幅区间，并分别获取第一实时音频样本中的第一音频特征点至第i音频特征点分别对应的音频信号振幅；

此处需要说明的是：

在本申请中，涉及的标定声音信号振幅区间具体设定为-1到1之间，此处设定的标定声音信号振幅区间仅适用于申请，在具体生产应用中，可根据实际情况进行具体设定；

将第一音频特征点至第i音频特征点分别对应的音频信号振幅通过计算得到第一实时音频样本对应的音频信号RMS值；

对第一实时音频样本对应的RMS值进行计算，具体公式配置如下：

；

其中，RMS1为第一实时音频样本对应的音频信号RMS值、Zf1至Zfi分别为第一实时音频样本中的第一音频特征点至第i音频特征点分别对应的音频信号振幅，i为在第一实时音频样本中选定的音频特征点的数量值；

重复上述对第一实时音频样本对应的RMS值的获取过程，分别对第二实时音频样本至第n实时音频样本对应的RMS值进行获取，得到第一音频样本RMS值至第n音频样本RMS值；

分别获取音频样本RMS阈值，将第一音频样本RMS值至第n音频样本RMS值与音频样本RMS阈值进行数值比对，实现对实时音频监控数据的异常标记；

对音频样本RMS阈值进行获取，具体如下：

从数据库中提取监控区域基准音频数据，在监控区域基准音频数据中分别标记k个基准音频特征点，并将其分别标记为第一基准音频特征点至第k基准音频特征点，通过音频分析设备分别获取第一基准音频特征点至第k基准音频特征点分别对应的音频信号振幅，得到第一基准音频信号振幅至第k基准音频信号振幅；

将第一基准音频信号振幅至第k基准音频信号振幅通过计算得到音频样本RMS阈值；

对音频样本RMS阈值进行计算，具体公式配置如下：

；

其中，RMSj为音频样本RMS阈值、Zj1至Zjk分别为第一基准音频信号振幅至第k基准音频信号振幅，k为在监控区域基准音频数据中选定的基准音频特征点的数量值，a1为设定的比例系数，在申请中，a1具体设定为20%，在具体生产应用中，a1可根据实际情况进行具体设定；

具体数值比对过程如下：

若音频样本RMS值大于等于音频样本RMS阈值，则将对应的实时音频样本标记为异常音频样本；

若音频样本RMS值小于音频样本RMS阈值，则将对应的实时音频样本标记为正常音频样本；

分别通过在异常音频检测周期内异常音频样本出现的数量值，得到异常音频样本数量值；

分别获取异常音频在异常音频检测周期内累计出现的时长，得到异常音频累计出现时长数值；

此处需要说明的是：

由于在本申请中，相邻两个音频样本在时间上是连续的，不存在时间间隔，不同音频样本之间的异常音频持续时长能够进行累计；

异常音频检测周期具体限定为两个小时；

当监控基础数据出现异常音频样本时，获取异常音频样本对应的时间数值和摄像头编号标记数据，将其作为异常音频监测结果数据，在监控基础数据进行标记，并将其反馈至物联网控制终端；

将异常音频累计出现时长数值和异常音频样本数量值定义为监控音频分析数据；

音频分析模块对监控音频分析数据进行获取，并将其输送至图像分析模块；

图像分析模块根据监控基础数据进行监控图像分析，得到二次检测异常图像数量；

还包括数据库，数据库中存储的数据还包括第一类型图像集和第二类型图像集；

此处需要说明的是：

第一类型图像集用于训练直接触发安全预警的识别模型，第一类型图像集包含的特定异常情况，例如：火灾、爆炸等极端异常情况；

第二类型图像集用于训练不能直接触发安全预警但存在一定安全隐患的异常行为的识别模型，例如：图像出现模糊、人员拥挤等；

分别创建第一图像识别模型和第二图像识别模型，通过第一类型图像集对第一图像识别模型进行训练，得到第一监控异常识别模型，通过第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

对第一监控异常识别模型进行获取，具体如下：

通过CNN模型平台创建第一图像识别模型，将第一类型图像集划分为第一图像测试集和第一图像训练集；

其中，第一图像测试集和第一图像训练集的划分比例为3：7；

对第一图像训练集中存在的异常场景进行手动数据标注，得到第一图像标注测试集，通过第一图像标注测试集对第一图像识别模型进行训练，并通过反向传播算法对第一图像识别模型进行参数调整，待第一图像标注测试集对第一图像识别模型训练完成，使用第一图像测试集对第一图像识别模型进行训练，并对第一图像识别模型进行实时准确性评估，若第一图像识别模型识别准确性达到目标识别率，则第一图像训练模型训练完成，得到第一监控异常识别模型，若第一图像识别模型识别准确性未达到目标识别率，则使用第一图像标注测试集对第一图像训练模型进行重复训练，直至第一图像训练模型达到目标识别率；

重复对第一监控异常识别模型的获取过程，使用第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

此处需要说明的是：

在本申请中，CNN模型平台具体为ResNet，目标识别率具体设定95%；

此处涉及的具体设定仅适用于申请，在具体生产应用中，可根据实际情况进行具体设定；

获取监控基础数据，根据监控基础数据获取实时图像监控数据，并将图像监控数据划分为多个异常图像检测周期；

分别对每一个异常图像检测周期对应的实时图像监控数据进行图像截取，得到异常检测周期图像；

使用第一监控异常识别模型对异常检测周期图像进行异常检测，若检测结果为异常图像，获取异常图像对应的时间数值和摄像头编号标记数据，将其作为第一异常图像监测结果数据，在监控基础数据进行标记，将其反馈至物联网控制终端并发布安全预警；

若检测结果不为异常图像，则将对应的异常检测周期图像标记为二次异常检测周期图像；

使用第二监控异常识别模型对二次异常检测周期图像进行异常检测，若检测结果为异常图像，则对异常图像检测周期出现的异常图像进行数量统计，得到二次检测异常图像数量；

若检测结果不为异常图像，则检测结束；

此处需要说明的是：异常图像检测周期与异常音频检测周期在时间数值上相互对应，异常图像检测周期具体限定为两个小时；

图像分析模块对二次检测异常图像数量进行获取，并将其输送至监控反馈模块；

监控反馈模块根据监控音频分析数据和二次检测异常图像数量进行监控反馈；

还包括数据库，数据库中存储的数据还包括二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

此处需要说明的是：

此处涉及的二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值均为设定的二次检测异常图像数量判断为异常时的临界值、异常音频累计出现时长判断为异常时的临界值以及异常音频样本数据判断为异常时的临界值；

此处涉及的具体设定仅适用于申请，在具体生产应用中，可根据实际情况进行具体设定；

获取监控音频分析数据，根据监控音频分析数据获取异常音频累计出现时长数值和异常音频样本数量值；

获取二次检测异常图像数量；

将二次检测异常图像数量、异常音频累计出现时长数值和异常音频样本数量值通过计算得到监控异常判断系数；

对监控异常判断系数进行计算，具体公式配置如下：

；

其中，Jkx为监控异常判断系数，Eys为二次检测异常图像数量，Yys为异常音频累计出现时长数值，Yss为异常音频样本数量值，b1为设定的比例系数且b1大于0；

获取监控异常判断系数阈值，将监控异常判断系数与监控异常判断系数阈值进行数值比对，并根据数值比对结果进行监控反馈；

对监控异常判断系数阈值进行获取，具体如下：

从数据库中提取二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

将二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值通过计算得到监控异常判断系数；

对监控异常判断系数阈值进行计算，具体公式配置如下：

；

其中，Jkx1为监控异常判断系数阈值，Eys1为二次检测异常图像数量阈值，Yys1为异常音频累计出现时长阈值，Yss1为异常音频样本数量阈值，b1为设定的比例系数且b1大于0；

数值比对过程具体如下：

当监控异常判断系数大于等于监控异常判断系数阈值，则判断监控出现异常，反馈异常信号至物联网控制终端并发布安全预警；

当监控异常判断系数小于监控异常判断系数阈值，则监控正常工作，无需反馈异常信号；

在本申请中，若出现相应的计算公式，则上述计算公式均是去量纲取其数值计算，公式中存在的权重系数、比例系数等系数，其设置的大小是为了将各个参数进行量化得到的一个结果值，关于权重系数和比例系数的大小，只要不影响参数与结果值的比例关系即可。

实施例二

请参阅图2，基于同一发明的又一构思，现提出一种基于物联网摄像头智能监控方法，包括如下步骤：

步骤S1：获取监控基础数据；

还包括数据库，数据库中存储的数据包括目标监控区域平面图；

步骤S11：通过数据库获取目标监控区域平面图，根据目标监控区域平面图将目标监控区域划分为m个面积大小相同的目标监控子区域，并将其分别标记为第一监控子区域至第m监控子区域；

步骤S12：分别给第一监控子区域至第m监控子区域分别安装摄像头，将每一个摄像头与物联网控制终端进行无线连接，并分别给每一个监控子区域的摄像头进行编号标记，得到摄像头编号标记数据；

步骤S13：通过在每一个目标监控子区域中安装的摄像头对所在监控区域进行实时监控，得到实时图像监控数据；

步骤S14：通过音频提取程序对实时图像监控数据进行音频提取，得到实时音频监控数据；

步骤S15：将摄像头编号标记数据、实时图像监控数据和实时音频监控数据定义为监控基础数据；

步骤S2：根据监控基础数据进行音频分析，得到监控音频分析数据；

还包括数据库，数据库存储的数据包括监控区域基准音频数据；

步骤S21：根据监控基础数据获取每一个摄像头对应的实时音频监控数据，将实时音频监控数据划分为n个实时音频样本，将其分别标记为第一实时音频样本至第n实时音频样本；

步骤S22：在每一个实时音频样本中随机选择i个音频特征点，并将其分别标记为第一音频特征点至第i音频特征点，且每连续两个音频特征点之间的时间间隔为一个特征时间片段；

步骤S23：通过音频分析设备将对第一实时音频样本进行音频信号提取，并将音频信号映射为标定声音信号振幅区间，并分别获取第一实时音频样本中的第一音频特征点至第i音频特征点分别对应的音频信号振幅；

步骤S24：将第一音频特征点至第i音频特征点分别对应的音频信号振幅通过计算得到第一实时音频样本对应的音频信号RMS值；

步骤S25：重复步骤S22-步骤S24，分别对第二实时音频样本至第n实时音频样本对应的RMS值进行获取，得到第一音频样本RMS值至第n音频样本RMS值；

步骤S26：分别获取音频样本RMS阈值，将第一音频样本RMS值至第n音频样本RMS值与音频样本RMS阈值进行数值比对，实现对实时音频监控数据的异常标记；

所述步骤S26中，还包括以下具体步骤：

步骤S261：从数据库中提取监控区域基准音频数据，在监控区域基准音频数据中分别标记k个基准音频特征点，并将其分别标记为第一基准音频特征点至第k基准音频特征点，通过音频分析设备分别获取第一基准音频特征点至第k基准音频特征点分别对应的音频信号振幅，得到第一基准音频信号振幅至第k基准音频信号振幅；

步骤S262：将第一基准音频信号振幅至第k基准音频信号振幅通过计算得到音频样本RMS阈值；

步骤S263：若音频样本RMS值大于等于音频样本RMS阈值，则将对应的实时音频样本标记为异常音频样本；

步骤S264：若音频样本RMS值小于音频样本RMS阈值，则将对应的实时音频样本标记为正常音频样本；

步骤S265：当监控基础数据出现异常音频样本时，获取异常音频样本对应的时间数值和摄像头编号标记数据，将其作为异常音频监测结果数据，在监控基础数据进行标记，并将其反馈至物联网控制终端；

步骤S27：分别通过在异常音频检测周期内异常音频样本出现的数量值，得到异常音频样本数量值；

步骤S28：分别获取异常音频在异常音频检测周期内累计出现的时长，得到异常音频累计出现时长数值；

步骤S29：将异常音频累计出现时长数值和异常音频样本数量值定义为监控音频分析数据；

步骤S3：根据监控基础数据进行监控图像分析，得到二次检测异常图像数量；

还包括数据库，数据库中存储的数据还包括第一类型图像集和第二类型图像集；

步骤S31：分别创建第一图像识别模型和第二图像识别模型，通过第一类型图像集对第一图像识别模型进行训练，得到第一监控异常识别模型，通过第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

所述步骤S31中，还包括以下具体步骤：

步骤S311：通过CNN模型平台创建第一图像识别模型，将第一类型图像集划分为第一图像测试集和第一图像训练集，其中，第一图像测试集和第一图像训练集的划分比例为3：7；

步骤S312：对第一图像训练集中存在的异常场景进行手动数据标注，得到第一图像标注测试集，通过第一图像标注测试集对第一图像识别模型进行训练，并通过反向传播算法对第一图像识别模型进行参数调整，待第一图像标注测试集对第一图像识别模型训练完成，使用第一图像测试集对第一图像识别模型进行训练，并对第一图像识别模型进行实时准确性评估，若第一图像识别模型识别准确性达到目标识别率，则第一图像训练模型训练完成，得到第一监控异常识别模型，若第一图像识别模型识别准确性未达到目标识别率，则使用第一图像标注测试集对第一图像训练模型进行重复训练，直至第一图像训练模型达到目标识别率；

步骤S313：重复步骤S312，使用第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

步骤S32：获取监控基础数据，根据监控基础数据获取实时图像监控数据，并将图像监控数据划分为多个异常图像检测周期；

步骤S33：分别对每一个异常图像检测周期对应的实时图像监控数据进行图像截取，得到异常检测周期图像；

步骤S34：使用第一监控异常识别模型对异常检测周期图像进行异常检测，若检测结果为异常图像，获取异常图像对应的时间数值和摄像头编号标记数据，将其作为第一异常图像监测结果数据，在监控基础数据进行标记，将其反馈至物联网控制终端并发布安全预警；

步骤S35：若检测结果不为异常图像，则将对应的异常检测周期图像标记为二次异常检测周期图像；

步骤S36：使用第二监控异常识别模型对二次异常检测周期图像进行异常检测，若检测结果为异常图像，则对异常图像检测周期出现的异常图像进行数量统计，得到二次检测异常图像数量；

步骤S37：若检测结果不为异常图像，则检测结束；

步骤S38：图像分析模块对二次检测异常图像数量进行获取；

步骤S4：根据监控音频分析数据和二次检测异常图像数量进行监控反馈；

还包括数据库，数据库中存储的数据还包括二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

步骤S41：获取监控音频分析数据，根据监控音频分析数据获取异常音频累计出现时长数值和异常音频样本数量值；

步骤S42：获取二次检测异常图像数量；

步骤S43：将二次检测异常图像数量、异常音频累计出现时长数值和异常音频样本数量值通过计算得到监控异常判断系数；

步骤S44：获取监控异常判断系数阈值，将监控异常判断系数与监控异常判断系数阈值进行数值比对，并根据数值比对结果进行监控反馈；

所述步骤S44中，还包括具体以下步骤：

步骤S441：从数据库中提取二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

步骤S442：将二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值通过计算得到监控异常判断系数；

步骤S443：当监控异常判断系数大于等于监控异常判断系数阈值，则判断监控出现异常，反馈异常信号至物联网控制终端并发布安全预警；

步骤S444：当监控异常判断系数小于监控异常判断系数阈值，则监控正常工作，无需反馈异常信号；

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于物联网摄像头智能监控系统，其特征在于，包括：

数据获取模块：分别获取摄像头编号标记数据和实时图像监控数据，并对实时图像监控数据进行音频提取，得到实时音频监控数据，将摄像头编号标记数据、实时图像监控数据以及实时音频监控数据定义为监控基础数据；

音频分析模块：根据实时音频监控数据获取多个实时音频样本，对每一个实时音频样本进行分析，得到多个音频样本RMS值，并获取音频样本RMS阈值与音频样本RMS值进行数值比对，将音频样本划分为正常音频样本和异常音频样本，根据异常音频样本获取异常音频监测结果数据并反馈至物联网控制终端，获取异常音频累计出现时长数值和异常音频样本数量值，得到监控音频分析数据；

图像分析模块：分别创建第一监控异常识别模型对实时图像监控数据进行异常识别，得到第一异常图像监测结果数据和第二异常图像监测结果数据，对第一异常图像监测结果数据进行安全预警，创建第二监控异常识别模型对第二异常图像监测结果数据进行异常检测，并统计异常检测周期内异常图像出现的次数，得到二次检测异常图像数量；

监控反馈模块：根据监控音频分析数据和二次检测异常图像数量计算得到监控异常判断系数，通过对监控异常判断系数进行阈值判断，并进行异常信号安全预警。

2.根据权利要求1所述的一种基于物联网摄像头智能监控系统，其特征在于，还包括数据库，数据库中存储的数据包括目标监控区域平面图；

通过数据库获取目标监控区域平面图，根据目标监控区域平面图将目标监控区域划分为m个面积大小相同的目标监控子区域，并将其分别标记为第一监控子区域至第m监控子区域；

分别给第一监控子区域至第m监控子区域分别安装摄像头，将每一个摄像头与物联网控制终端进行无线连接，并分别给每一个监控子区域的摄像头进行编号标记，得到摄像头编号标记数据；

通过在每一个目标监控子区域中安装的摄像头，对所在监控区域进行实时监控，得到实时图像监控数据；

对实时图像监控数据进行音频提取，得到实时音频监控数据；

将摄像头编号标记数据、实时图像监控数据和实时音频监控数据定义为监控基础数据。

3.根据权利要求1所述的一种基于物联网摄像头智能监控系统，其特征在于，还包括数据库，数据库存储的数据包括监控区域基准音频数据；

音频分析模块获取监控音频分析数据具体如下：

根据监控基础数据获取每一个摄像头对应的实时音频监控数据，将实时音频监控数据划分为n个实时音频样本，将其分别标记为第一实时音频样本至第n实时音频样本；

分别对第一实时音频样本至第n实时音频样本进行分析，得到第一音频样本RMS值至第n音频样本RMS值；

获取音频样本RMS阈值，将第一音频样本RMS值至第n音频样本RMS值与音频样本RMS阈值进行数值比对，将音频样本划分为正常音频样本和异常音频样本；

分别通过在异常音频检测周期内异常音频样本出现的数量值，得到异常音频样本数量值；

当监控基础数据出现异常音频样本时，获取异常音频样本对应的时间数值和摄像头编号标记数据，将其作为异常音频监测结果数据，在监控基础数据进行标记，并将其反馈至物联网控制终端；

分别获取异常音频在异常音频检测周期内累计出现的时长，得到异常音频累计出现时长数值；

将异常音频累计出现时长数值和异常音频样本数量值定义为监控音频分析数据。

4.根据权利要求3所述的一种基于物联网摄像头智能监控系统，其特征在于，所述音频分析模块对第一音频样本RMS值至第n音频样本RMS值进行获取，具体如下：

在每一个实时音频样本中随机选择i个音频特征点，并将其分别标记为第一音频特征点至第i音频特征点，且每连续两个音频特征点之间的时间间隔为一个特征时间片段；

通过音频分析设备将对第一实时音频样本进行音频信号提取，并将音频信号映射为标定声音信号振幅区间，并分别获取第一实时音频样本中的第一音频特征点至第i音频特征点分别对应的音频信号振幅；

将第一音频特征点至第i音频特征点分别对应的音频信号振幅计算得到第一实时音频样本对应的音频信号RMS值；

重复上述对第一实时音频样本对应的RMS值的获取过程，分别对第二实时音频样本至第n实时音频样本对应的RMS值进行获取，得到第一音频样本RMS值至第n音频样本RMS值。

5.根据权利要求3所述的一种基于物联网摄像头智能监控系统，其特征在于，所述音频分析模块获取音频样本RMS阈值并进行数值比对，具体如下：

从数据库中提取监控区域基准音频数据，在监控区域基准音频数据中分别标记k个基准音频特征点，并将其分别标记为第一基准音频特征点至第k基准音频特征点，通过音频分析设备分别获取第一基准音频特征点至第k基准音频特征点分别对应的音频信号振幅，得到第一基准音频信号振幅至第k基准音频信号振幅；

将第一基准音频信号振幅至第k基准音频信号振幅通过计算得到音频样本RMS阈值；

具体数值比对过程如下：

若音频样本RMS值大于等于音频样本RMS阈值，则将对应的实时音频样本标记为异常音频样本；

若音频样本RMS值小于音频样本RMS阈值，则将对应的实时音频样本标记为正常音频样本。

6.根据权利要求1所述的一种基于物联网摄像头智能监控系统，其特征在于，还包括数据库，数据库中存储的数据还包括第一类型图像集和第二类型图像集；

图像分析模块对二次检测异常图像数量进行获取具体如下：

分别创建第一图像识别模型和第二图像识别模型，通过第一类型图像集对第一图像识别模型进行训练，得到第一监控异常识别模型，通过第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型；

获取监控基础数据，根据监控基础数据获取实时图像监控数据，并将图像监控数据划分为多个异常图像检测周期；

通过第一监控异常识别模型对实时图像监控数据进行模型识别，得到二次异常检测周期图像；

使用第二监控异常识别模型对二次异常检测周期图像进行异常检测，若检测结果为异常图像，则对异常图像检测周期出现的异常图像进行数量统计，得到二次检测异常图像数量；

若检测结果不为异常图像，则检测结束。

7.根据权利要求6所述的一种基于物联网摄像头智能监控系统，其特征在于，所述图像分析模块对第一监控异常识别模型和第二监控异常识别模型进行获取，具体如下：

通过CNN模型平台创建第一图像识别模型，将第一类型图像集划分为第一图像测试集和第一图像训练集；

对第一图像训练集中存在的异常场景进行手动数据标注，得到第一图像标注测试集，通过第一图像标注测试集对第一图像识别模型进行训练，并通过反向传播算法对第一图像识别模型进行参数调整；

待第一图像标注测试集对第一图像识别模型训练完成，使用第一图像测试集对第一图像识别模型进行训练，并对第一图像识别模型进行实时准确性评估，若第一图像识别模型识别准确性达到目标识别率，则第一图像训练模型训练完成，得到第一监控异常识别模型；

若第一图像识别模型识别准确性未达到目标识别率，则使用第一图像标注测试集对第一图像训练模型进行重复训练，直至第一图像训练模型达到目标识别率；

重复对第一监控异常识别模型的获取过程，使用第二类型图像集对第二图像识别模型进行训练，得到第二监控异常识别模型。

8.根据权利要求6所述的一种基于物联网摄像头智能监控系统，其特征在于，所述图像分析模块对二次异常检测周期图像进行获取，具体如下：

分别对每一个异常图像检测周期对应的实时图像监控数据进行图像截取，得到异常检测周期图像；

使用第一监控异常识别模型对异常检测周期图像进行异常检测；

若检测结果为异常图像，获取异常图像对应的时间数值和摄像头编号标记数据，将其作为第一异常图像监测结果数据，在监控基础数据进行标记，将其反馈至物联网控制终端并发布安全预警；

若检测结果不为异常图像，则将对应的异常检测周期图像标记为二次异常检测周期图像。

9.根据权利要求1所述的一种基于物联网摄像头智能监控系统，其特征在于，还包括数据库，数据库中存储的数据还包括二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

监控反馈模块进行异常信号安全预警具体如下：

获取监控音频分析数据，根据监控音频分析数据获取异常音频累计出现时长数值和异常音频样本数量值；

获取二次检测异常图像数量；

将二次检测异常图像数量、异常音频累计出现时长数值和异常音频样本数量值通过计算得到监控异常判断系数；

获取监控异常判断系数阈值，将监控异常判断系数与监控异常判断系数阈值进行数值比对，并根据数值比对结果进行监控反馈。

10.根据权利要求9所述的一种基于物联网摄像头智能监控系统，其特征在于，所述监控反馈模块获取监控异常判断系数阈值进行监控反馈，具体如下：

从数据库中提取二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值；

将二次检测异常图像数量阈值、异常音频累计出现时长阈值和异常音频样本数量阈值通过计算得到监控异常判断系数；

当监控异常判断系数大于等于监控异常判断系数阈值，则判断监控出现异常，反馈异常信号至物联网控制终端并发布安全预警；

当监控异常判断系数小于监控异常判断系数阈值，则监控正常工作，无需反馈异常信号。