CN112689125B - 基于物联网的多终端安全监控方法和系统 - Google Patents

Abstract

本发明提供了基于物联网的多终端安全监控方法和系统，其通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

Description

基于物联网的多终端安全监控方法和系统

技术领域

本发明涉及安全监控的技术领域，特别涉及基于物联网的多终端安全监控方法和系统。

背景技术

目前，在公共场所中都会设置相应的监控设备来进行相应的视频监控，以此确定公共场所的实时安全状态，但是现有的公共场所监控系统都只是对公共场所进行视频拍摄并将拍摄得到的视频信息传送到相应的监控中心进行人工甄别，这种监控方式只能实现监控中心与公共场所的一对一监控，其并不能进行多公共场所的同步监控，并且其只能通过人工方式来对视频信息进行分析处理，这不仅降低对公共场所监控的准确性和可靠性，并且还增加了对视频信息进行分析处理的人力物力。可见，现有技术需要能够对公共场所进行多终端的图像/声音同步监控的方式。

发明内容

针对现有技术存在的缺陷，本发明提供基于物联网的多终端安全监控方法和系统，其通过对目标区域进行图像拍摄和声音采集，以此分别获得关于该目标区域的图像信息和声音信息，并对该图像信息和该声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息，并基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息，再对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否；可见，该基于物联网的多终端安全监控方法和系统通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

本发明提供基于物联网的多终端安全监控方法，其特征在于，其包括如下步骤：

步骤S1，对目标区域进行图像拍摄和声音采集，以此分别获得关于所述目标区域的图像信息和声音信息，并对所述图像信息和所述声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息；

步骤S2，基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

步骤S3，对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否；

进一步，在所述步骤S1中，对目标区域进行图像拍摄和声音采集，以此分别获得关于所述目标区域的图像信息和声音信息，并对所述图像信息和所述声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息具体包括：

步骤S101，对所述目标区域进行扫描拍摄，从而获得关于所述目标区域在不同时间段的若干图像信息，并对所述在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

步骤S102，对所述目标区域进行多方位声音采集，从而获得关于所述目标区域在不同时间段的若干声音信息，并对所述在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息；

进一步，在所述步骤S2中，基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

步骤S201，基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

步骤S202，获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

步骤S203，获取所述声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据所述相同声音片段部分，将所述相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息；

进一步，在所述步骤S202中，获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息具体为：

判断所述图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，若存在相同图像片段，则提取所述相同图像片段，并将相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息，其具体包括：

第一、利用下面公式(1)，判断所述图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，

在上述公式(1)中，μ(t,t+T)表示t时刻和t+T时刻的相邻图像信息之间是否存在相同图像片段的判定值，A_ij(t)表示t时刻的图像信息中图像像素矩阵的第i行第j列像素点的像素值，T表示相邻两个图像信息之间在时序中的时间间隔，m表示所述图像信息中图像像素矩阵每一行的像素点个数，n表示所述图像信息中图像像素矩阵每一列的像素点个数；

当μ(t,t+T)≠0时，表示t时刻和t+T时刻的相邻两个图像信息之间不存在相同图像片段；

当μ(t,t+T)＝0时，表示t时刻和t+T时刻的相邻两个图像信息之间存在相同图像片段，此时利用下一步对相同图像片段进行提取；

第二、利用下面公式(2)，提取相邻两个图像信息之间的相同图像片段，

在上述公式(2)中，X_ij表示提取得到的相邻两个图像信息之间的相同图像片段对应的图像矩阵第i行第j列像素点的像素值，δ[]表示单位冲激函数，当括号内的值等于0时单位冲激函数的函数值为1，当括号内的值不等于0时单位冲激函数的函数值为0，将t时刻的图像信息中图像像素矩阵的每一个像素点的像素值都利用上述公式(2)进行计算而得新的像素值，将每一个像素点的新的像素值按照图像矩阵的行列顺序进行矩阵排列，从而提取得到相邻两个图像像素之间的相同图像片段的图像矩阵；

第三、利用下面公式(3)和(4)，提取所述相邻两个图像信息之间的相同图像片段，并将所述相邻两个图像信息接合为无重复图像片段的接合图像信息，

在上述公式(3)和(4)中，A_ij,new(t)表示接合后的t时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，A_ij,new(t+T)表示接合后的t+T时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，这样将相邻两个图像信息接合为无重复图像片段的整合图像信息，，从而获得在时间上连贯的连续化图像信息；

进一步，在所述步骤S3中，对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否具体包括：

步骤S301，对所述连续化图像信息进行人物识别处理，以此从所述连续化图像信息中提取得到包含人物画面的图像帧，再对所述图像帧进行分析处理，从而得到所述图像帧的人物画面切换频率值，以此作为所述人物画面变化信息；

步骤S302，对所述连续化声音信息进行声纹识别处理，以此从所述连续化声音信息中提取得到包含人物声纹的声音帧，再对所述声音帧进行分析处理，从而得到所述声音帧的人物声纹切换频率值，以此作为所述声纹变化信息；

步骤S303，将所述人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将所述人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若所述人物画面切换频率值超过所述预设人物画面切换频率阈值和/或所述人物声纹切换频率值超过所述预设人物声纹切换频率阈值，则确定所述目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

本发明还提供基于物联网的多终端安全监控系统，其特征在于，其包括图像信息获取与预处理模块、声音信息获取与预处理模块、物联网信息整合模块和目标区域现场状态判断模块；其中，

所述图像信息获取与预处理模块用于对目标区域进行图像拍摄，以此获得关于所述目标区域的图像信息，并对所述图像信息进行预处理，从而对应得到预处理后的图像信息；

所述声音信息获取与预处理模块用于对目标区域进行声音采集，以此获得关于所述目标区域的声音信息，并对所述声音信息进行预处理，从而对应得到预处理后的声音信息；

所述物联网信息整合模块用于基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

所述目标区域现场状态判断模块用于对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否；

进一步，所述图像信息获取与预处理模块对目标区域进行图像拍摄，以此获得关于所述目标区域的图像信息，并对所述图像信息进行预处理，从而对应得到预处理后的图像信息具体包括：

对所述目标区域进行扫描拍摄，从而获得关于所述目标区域在不同时间段的若干图像信息，并对所述在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

以及，

所述声音信息获取与预处理模块对目标区域进行声音采集，以此获得关于所述目标区域的声音信息，并对所述声音信息进行预处理，从而对应得到预处理后的声音信息具体包括：

对所述目标区域进行多方位声音采集，从而获得关于所述目标区域在不同时间段的若干声音信息，并对所述在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息；

进一步，所述物联网信息整合模块基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

获取所述声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据所述相同声音片段部分，将所述相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息；

进一步，所述目标区域现场状态判断模块对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否具体包括：

对所述连续化图像信息进行人物识别处理，以此从所述连续化图像信息中提取得到包含人物画面的图像帧，再对所述图像帧进行分析处理，从而得到所述图像帧的人物画面切换频率值，以此作为所述人物画面变化信息；

对所述连续化声音信息进行声纹识别处理，以此从所述连续化声音信息中提取得到包含人物声纹的声音帧，再对所述声音帧进行分析处理，从而得到所述声音帧的人物声纹切换频率值，以此作为所述声纹变化信息；

再将所述人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将所述人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若所述人物画面切换频率值超过所述预设人物画面切换频率阈值和/或所述人物声纹切换频率值超过所述预设人物声纹切换频率阈值，则确定所述目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

相比于现有技术，该基于物联网的多终端安全监控方法和系统通过对目标区域进行图像拍摄和声音采集，以此分别获得关于该目标区域的图像信息和声音信息，并对该图像信息和该声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息，并基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息，再对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否；可见，该基于物联网的多终端安全监控方法和系统通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于物联网的多终端安全监控方法的流程示意图。

图2为本发明提供的基于物联网的多终端安全监控系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的基于物联网的多终端安全监控方法的流程示意图。该基于物联网的多终端安全监控方法包括如下步骤：

步骤S1，对目标区域进行图像拍摄和声音采集，以此分别获得关于该目标区域的图像信息和声音信息，并对该图像信息和该声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息；

步骤S2，基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

步骤S3，对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否。

上述技术方案的有益效果为：该基于物联网的多终端安全监控方法通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

优选地，在该步骤S1中，对目标区域进行图像拍摄和声音采集，以此分别获得关于该目标区域的图像信息和声音信息，并对该图像信息和该声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息具体包括：

步骤S101，对该目标区域进行扫描拍摄，从而获得关于该目标区域在不同时间段的若干图像信息，并对该在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

步骤S102，对该目标区域进行多方位声音采集，从而获得关于该目标区域在不同时间段的若干声音信息，并对该在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息。

上述技术方案的有益效果为：通过对该目标区域进行扫描拍摄和多方位声音采集，能够对该目标区域的实际景象和实际声音分布进行全面的记录，从而有效地避免发生景象拍摄遗漏和声音记录遗漏的情况；此外，对该图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理和对该声音信息进行声音背景噪声成分滤波处理，能够有效地去除图像信息和声音信息中的干扰成分，从而提高图像信息和声音信息的信息有效性。

优选地，在该步骤S2中，基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

步骤S201，基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

步骤S202，获取该图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据该相同图像片段部分，将该相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

步骤S203，获取该声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据该相同声音片段部分，将该相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息。

上述技术方案的有益效果为：将若干图像信息和若干声音信息按照其对应的时序进行排列后，再将任意相邻两个图像信息之间存在的相同图像片段部分和任意相邻两个声音信息之间存在的相同声音片段部分分别进行重叠消除，能够实现任意相邻两个图像信息之间和任意相邻两个声音信息之间各自的无缝接合，从而改善该整合图像信息和该整合声音信息在时间上的连贯性。

优选地，在该步骤S202中，获取该图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据该相同图像片段部分，将该相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息具体为：

判断该图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，若存在相同图像片段，则提取该相同图像片段，并将相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息，其具体包括：

第一、利用下面公式(1)，判断该图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，

在上述公式(1)中，μ(t,t+T)表示t时刻和t+T时刻的相邻图像信息之间是否存在相同图像片段的判定值，A_ij(t)表示t时刻的图像信息中图像像素矩阵的第i行第j列像素点的像素值，T表示相邻两个图像信息之间在时序中的时间间隔，m表示该图像信息中图像像素矩阵每一行的像素点个数，n表示该图像信息中图像像素矩阵每一列的像素点个数；

当μ(t,t+T)≠0时，表示t时刻和t+T时刻的相邻两个图像信息之间不存在相同图像片段；

当μ(t,t+T)＝0时，表示t时刻和t+T时刻的相邻两个图像信息之间存在相同图像片段，此时利用下一步对相同图像片段进行提取；

第二、利用下面公式(2)，提取相邻两个图像信息之间的相同图像片段，

在上述公式(2)中，X_ij表示提取得到的相邻两个图像信息之间的相同图像片段对应的图像矩阵第i行第j列像素点的像素值，δ[]表示单位冲激函数，当括号内的值等于0时单位冲激函数的函数值为1，当括号内的值不等于0时单位冲激函数的函数值为0，将t时刻的图像信息中图像像素矩阵的每一个像素点的像素值都利用上述公式(2)进行计算而得新的像素值，将每一个像素点的新的像素值按照图像矩阵的行列顺序进行矩阵排列，从而提取得到相邻两个图像像素之间的相同图像片段的图像矩阵；

第三、利用下面公式(3)和(4)，提取该相邻两个图像信息之间的相同图像片段，并将该相邻两个图像信息接合为无重复图像片段的接合图像信息，

在上述公式(3)和(4)中，A_ij,new(t)表示接合后的t时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，A_ij,new(t+T)表示接合后的t+T时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，这样将相邻两个图像信息接合为无重复图像片段的整合图像信息，，从而获得在时间上连贯的连续化图像信息。

上述技术方案的有益效果为：利用公式(1)根据所述图像信息序列判断图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，从而筛选出相邻两个图像信息之间存在相同图像片段的图像信息；然后利用公式(2)提取所述相邻两个图像信息之间的相同图像片段，从而可以利用相同图像片段将相邻两个图像信息接合为无重复图像片段；最后利用公式(3)得到接合后的接合图像信息，从而使得相邻两个图像信息中无重复图像片段，进而获得在时间上连贯的连续化图像信息；上述过程保证了接合后的相邻两个图像信息中无重复图像片段的准确性以及可靠性，并且还可以使得图像信息在接合的过程中保存完整。

优选地，在该步骤S3中，对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否具体包括：

步骤S301，对该连续化图像信息进行人物识别处理，以此从该连续化图像信息中提取得到包含人物画面的图像帧，再对该图像帧进行分析处理，从而得到该图像帧的人物画面切换频率值，以此作为该人物画面变化信息；

步骤S302，对该连续化声音信息进行声纹识别处理，以此从该连续化声音信息中提取得到包含人物声纹的声音帧，再对该声音帧进行分析处理，从而得到该声音帧的人物声纹切换频率值，以此作为该声纹变化信息；

步骤S303，将该人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将该人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若该人物画面切换频率值超过该预设人物画面切换频率阈值和/或该人物声纹切换频率值超过该预设人物声纹切换频率阈值，则确定该目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

上述技术方案的有益效果为：由于该图像帧的人物画面切换频率值是用于表示图像帧中人物画面是否出现在对应图像帧的变化频率，该人物声纹切换频率值是用于表示声音帧中人物声纹是否出现在对应声音帧的变化频率，当上述两种变化频率过高，则表明该目标区域中人物出现状态变化过于频繁，此时即可认定该目标区域存在安全隐患，而通过将该人物画面切换频率值和/或该人物声纹切换频率值进行阈值比较，能够对该目标区域的现场状态安全与否进行定量化的评判，从而提高对该目标区域的现场状态安全与否判断的科学性和准确性。

参阅图2，为本发明实施例提供的基于物联网的多终端安全监控系统的结构示意图。该基于物联网的多终端安全监控系统包括图像信息获取与预处理模块、声音信息获取与预处理模块、物联网信息整合模块和目标区域现场状态判断模块；其中，

该图像信息获取与预处理模块用于对目标区域进行图像拍摄，以此获得关于该目标区域的图像信息，并对该图像信息进行预处理，从而对应得到预处理后的图像信息；

该声音信息获取与预处理模块用于对目标区域进行声音采集，以此获得关于该目标区域的声音信息，并对该声音信息进行预处理，从而对应得到预处理后的声音信息；

该物联网信息整合模块用于基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

该目标区域现场状态判断模块用于对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否。

上述技术方案的有益效果为：该基于物联网的多终端安全监控系统通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

优选地，该图像信息获取与预处理模块对目标区域进行图像拍摄，以此获得关于该目标区域的图像信息，并对该图像信息进行预处理，从而对应得到预处理后的图像信息具体包括：

对该目标区域进行扫描拍摄，从而获得关于该目标区域在不同时间段的若干图像信息，并对该在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

以及，

该声音信息获取与预处理模块对目标区域进行声音采集，以此获得关于该目标区域的声音信息，并对该声音信息进行预处理，从而对应得到预处理后的声音信息具体包括：

对该目标区域进行多方位声音采集，从而获得关于该目标区域在不同时间段的若干声音信息，并对该在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息。

上述技术方案的有益效果为：通过对该目标区域进行扫描拍摄和多方位声音采集，能够对该目标区域的实际景象和实际声音分布进行全面的记录，从而有效地避免发生景象拍摄遗漏和声音记录遗漏的情况；此外，对该图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理和对该声音信息进行声音背景噪声成分滤波处理，能够有效地去除图像信息和声音信息中的干扰成分，从而提高图像信息和声音信息的信息有效性。

优选地，该物联网信息整合模块基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

获取该图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据该相同图像片段部分，将该相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

获取该声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据该相同声音片段部分，将该相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息。

上述技术方案的有益效果为：将若干图像信息和若干声音信息按照其对应的时序进行排列后，再将任意相邻两个图像信息之间存在的相同图像片段部分和任意相邻两个声音信息之间存在的相同声音片段部分分别进行重叠消除，能够实现任意相邻两个图像信息之间和任意相邻两个声音信息之间各自的无缝接合，从而改善该整合图像信息和该整合声音信息在时间上的连贯性。

优选地，该目标区域现场状态判断模块对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否具体包括：

对该连续化图像信息进行人物识别处理，以此从该连续化图像信息中提取得到包含人物画面的图像帧，再对该图像帧进行分析处理，从而得到该图像帧的人物画面切换频率值，以此作为该人物画面变化信息；

对该连续化声音信息进行声纹识别处理，以此从该连续化声音信息中提取得到包含人物声纹的声音帧，再对该声音帧进行分析处理，从而得到该声音帧的人物声纹切换频率值，以此作为该声纹变化信息；

再将该人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将该人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若该人物画面切换频率值超过该预设人物画面切换频率阈值和/或该人物声纹切换频率值超过该预设人物声纹切换频率阈值，则确定该目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

上述技术方案的有益效果为：由于该图像帧的人物画面切换频率值是用于表示图像帧中人物画面是否出现在对应图像帧的变化频率，该人物声纹切换频率值是用于表示声音帧中人物声纹是否出现在对应声音帧的变化频率，当上述两种变化频率过高，则表明该目标区域中人物出现状态变化过于频繁，此时即可认定该目标区域存在安全隐患，而通过将该人物画面切换频率值和/或该人物声纹切换频率值进行阈值比较，能够对该目标区域的现场状态安全与否进行定量化的评判，从而提高对该目标区域的现场状态安全与否判断的科学性和准确性。

从上述实施例的内容可知，该基于物联网的多终端安全监控方法和系统通过对目标区域进行图像拍摄和声音采集，以此分别获得关于该目标区域的图像信息和声音信息，并对该图像信息和该声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息，并基于物联网对来自不同监控端的该预处理后的图像信息和该预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息，再对该连续化图像信息和该连续化声音信息进行识别分析处理，以此确定该连续化图像信息对应的人物画面变化信息和该连续化声音信息对应的声纹变化信息，再根据该人物画面变化信息和该声纹变化信息，确定该目标区域的现场状态安全与否；可见，该基于物联网的多终端安全监控方法和系统通过对目标区域进行图像信息和声音信息的采集获取，以对该目标区域进行图像和声音的双重记录，并且将采集获取得到的图像信息和声音信息分别进行连续化整合，以此得到在时间上连贯的连续化图像信息和连续化声音信息，最后相应地获得其对应的人物画面变化信息和声纹变化信息，以此作为判断该目标区域现场状态安全与否的依据，其能够在图像和声音两个不同方面对目标区域进行监控，并且还利用物联网对采集得到的图像信息和声音信息进行处理，从而有效地提高对目标区域监控的准确性与可靠性，以及降低对图像信息和声音信息处理所需要的人力物力。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.基于物联网的多终端安全监控方法，其特征在于，其包括如下步骤：

步骤S1，对目标区域进行图像拍摄和声音采集，以此分别获得关于所述目标区域的图像信息和声音信息，并对所述图像信息和所述声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息；

步骤S2，基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

步骤S3，对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否；

其中，在所述步骤S1中，对目标区域进行图像拍摄和声音采集，以此分别获得关于所述目标区域的图像信息和声音信息，并对所述图像信息和所述声音信息进行预处理，从而对应得到预处理后的图像信息和预处理后的声音信息具体包括：

步骤S101，对所述目标区域进行扫描拍摄，从而获得关于所述目标区域在不同时间段的若干图像信息，并对所述在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

步骤S102，对所述目标区域进行多方位声音采集，从而获得关于所述目标区域在不同时间段的若干声音信息，并对所述在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息；

其中，在所述步骤S2中，基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

步骤S201，基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

步骤S202，获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

步骤S203，获取所述声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据所述相同声音片段部分，将所述相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息。

2.如权利要求1所述的基于物联网的多终端安全监控方法，其特征在于：

在所述步骤S202中，获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息具体为：

判断所述图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，若存在相同图像片段，则提取所述相同图像片段，并将相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息，其具体包括：

第一、利用下面公式(1)，判断所述图像信息序列中任意相邻两个图像信息之间是否存在相同图像片段，

在上述公式(1)中，μ(t,t+T)表示t时刻和t+T时刻的相邻图像信息之间是否存在相同图像片段的判定值，A_ij(t)表示t时刻的图像信息中图像像素矩阵的第i行第j列像素点的像素值，T表示相邻两个图像信息之间在时序中的时间间隔，m表示所述图像信息中图像像素矩阵每一行的像素点个数，n表示所述图像信息中图像像素矩阵每一列的像素点个数；当μ(t,t+T)≠0时，表示t时刻和t+T时刻的相邻两个图像信息之间不存在相同图像片段；

当μ(t,t+T)＝0时，表示t时刻和t+T时刻的相邻两个图像信息之间存在相同图像片段，此时利用下一步对相同图像片段进行提取；

第二、利用下面公式(2)，提取相邻两个图像信息之间的相同图像片段，

在上述公式(2)中，X_ij表示提取得到的相邻两个图像信息之间的相同图像片段对应的图像矩阵第i行第j列像素点的像素值，δ[]表示单位冲激函数，当括号内的值等于0时单位冲激函数的函数值为1，当括号内的值不等于0时单位冲激函数的函数值为0，将t时刻的图像信息中图像像素矩阵的每一个像素点的像素值都利用上述公式(2)进行计算而得新的像素值，将每一个像素点的新的像素值按照图像矩阵的行列顺序进行矩阵排列，从而提取得到相邻两个图像像素之间的相同图像片段的图像矩阵；

第三、利用下面公式(3)和(4)，提取所述相邻两个图像信息之间的相同图像片段，并将所述相邻两个图像信息接合为无重复图像片段的接合图像信息，

在上述公式(3)和(4)中，A_ij,new(t)表示接合后的t时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，A_ij,new(t+T)表示接合后的t+T时刻的接合图像信息中图像像素矩阵的第i行第j列像素点的新的像素值，这样将相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息。

3.如权利要求1所述的基于物联网的多终端安全监控方法，其特征在于：

在所述步骤S3中，对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否具体包括：

步骤S301，对所述连续化图像信息进行人物识别处理，以此从所述连续化图像信息中提取得到包含人物画面的图像帧，再对所述图像帧进行分析处理，从而得到所述图像帧的人物画面切换频率值，以此作为所述人物画面变化信息；

步骤S302，对所述连续化声音信息进行声纹识别处理，以此从所述连续化声音信息中提取得到包含人物声纹的声音帧，再对所述声音帧进行分析处理，从而得到所述声音帧的人物声纹切换频率值，以此作为所述声纹变化信息；

步骤S303，将所述人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将所述人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若所述人物画面切换频率值超过所述预设人物画面切换频率阈值和/或所述人物声纹切换频率值超过所述预设人物声纹切换频率阈值，则确定所述目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

4.基于物联网的多终端安全监控系统，其特征在于，其包括图像信息获取与预处理模块、声音信息获取与预处理模块、物联网信息整合模块和目标区域现场状态判断模块；其中，

所述图像信息获取与预处理模块用于对目标区域进行图像拍摄，以此获得关于所述目标区域的图像信息，并对所述图像信息进行预处理，从而对应得到预处理后的图像信息；

所述声音信息获取与预处理模块用于对目标区域进行声音采集，以此获得关于所述目标区域的声音信息，并对所述声音信息进行预处理，从而对应得到预处理后的声音信息；

所述物联网信息整合模块用于基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息；

所述目标区域现场状态判断模块用于对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否；

其中，所述图像信息获取与预处理模块对目标区域进行图像拍摄，以此获得关于所述目标区域的图像信息，并对所述图像信息进行预处理，从而对应得到预处理后的图像信息具体包括：

对所述目标区域进行扫描拍摄，从而获得关于所述目标区域在不同时间段的若干图像信息，并对所述在不同时间段的若干图像信息进行图像背景噪声成分滤波处理和图像对比度调整处理，从而获得在不同时间段的预处理后的若干图像信息；

以及，

所述声音信息获取与预处理模块对目标区域进行声音采集，以此获得关于所述目标区域的声音信息，并对所述声音信息进行预处理，从而对应得到预处理后的声音信息具体包括：

对所述目标区域进行多方位声音采集，从而获得关于所述目标区域在不同时间段的若干声音信息，并对所述在不同时间段的若干声音信息进行声音背景噪声成分滤波处理，从而获得在不同时间段的预处理后的若干声音信息；

其中，所述物联网信息整合模块基于物联网对来自不同监控端的所述预处理后的图像信息和所述预处理后的声音信息进行整合，从而获得在时间上连贯的连续化图像信息和连续化声音信息具体包括：

基于物联网，将来自不同监控端的在不同时间段的预处理后的若干图像信息和若干声音信息，按照其对应的时序进行排列，从而对应地得到图像信息序列和声音信息序列；

获取所述图像信息序列中任意相邻两个图像信息之间存在的相同图像片段部分，并根据所述相同图像片段部分，将所述相邻两个图像信息接合为无重复图像片段的整合图像信息，从而获得在时间上连贯的连续化图像信息；

获取所述声音信息序列中任意相邻两个声音信息之间存在的相同声音片段部分，并根据所述相同声音片段部分，将所述相邻两个声音信息接合为无重复声音片段的整合声音信息，从而获得在时间上连贯的连续化声音信息。

5.如权利要求4所述的基于物联网的多终端安全监控系统，其特征在于：所述目标区域现场状态判断模块对所述连续化图像信息和所述连续化声音信息进行识别分析处理，以此确定所述连续化图像信息对应的人物画面变化信息和所述连续化声音信息对应的声纹变化信息，再根据所述人物画面变化信息和所述声纹变化信息，确定所述目标区域的现场状态安全与否具体包括：

对所述连续化图像信息进行人物识别处理，以此从所述连续化图像信息中提取得到包含人物画面的图像帧，再对所述图像帧进行分析处理，从而得到所述图像帧的人物画面切换频率值，以此作为所述人物画面变化信息；

对所述连续化声音信息进行声纹识别处理，以此从所述连续化声音信息中提取得到包含人物声纹的声音帧，再对所述声音帧进行分析处理，从而得到所述声音帧的人物声纹切换频率值，以此作为所述声纹变化信息；再将所述人物画面切换频率值与预设人物画面切换频率阈值进行比对，以及将所述人物声纹切换频率值与预设人物声纹切换频率阈值进行比对，若所述人物画面切换频率值超过所述预设人物画面切换频率阈值和/或所述人物声纹切换频率值超过所述预设人物声纹切换频率阈值，则确定所述目标区域的现场状态安全，否则，确定目标区域的现场状态不安全。

Images