CN113194297A - 一种智能监控系统及方法 - Google Patents

Abstract

本发明属于视频监控技术领域，公开了一种智能监控系统及方法，包括以下步骤：数据源端压缩保存摄像头拍摄到的事件，并自动截取和标识视频中的关键图像帧，并将关键图像帧上传到云端，再向用户端发送监控报警信息，用户端收到报警信息后，向云端获取关键图像帧，并对关键图像帧进行忽略或者警告标注，将标注好的关键图像帧反馈给数据源端，数据源端通过学习后再次遇到此类事件便会根据用户的反馈选择是否向用户端发送监控报警信息。该方法节约了数据存储和传输资源，并且解决了用户端被频繁打扰的问题，可广泛用于各种需要长时间监控的场所。

Description

一种智能监控系统及方法

技术领域

本发明属于视频监控领域，具体涉及一种智能监控系统及方法。

背景技术

随着云计算和物联网技术的发展，家用视频监控应用也从把数据存储在本地转向了把数据传输保存到云端，通讯技术的发展比如5G或者6G，使得网络带宽越来越大，而人们又想尽可能的把所有的原始数据都存储起来并且加以分析，但在传输和保存海量的并没有太大实际意义的数据会造成网络流量和存储资源的极大浪费，并且阿里的物联云平台，不仅按流量的大小收费，而且也按访问云端次数收费。

另外现有的基于AI的视频监控技术和系统还只能实现部分物体识别，不具备高级智能学习能力，比如，基于AI的智能视频监控系统可以识别出是动物类别，但不同的动物所引起的关注度是不同的，在一个居民小区，如果是一条蛇，就要引起强烈关注并且马上采取措施。如果监控发现的是一只猫，可能就不需要太多关注。而现有技术无论识别到猫还是蛇都会统一推送监控报警信息，导致用户频繁被打扰。

发明内容

本发明意在提供一种智能监控系统及方法，解决了现有技术消耗大量网络流量、占用过多的数据存储以及用户端频繁被打扰的问题。

为实现上述目的，本发明提供如下技术方案，1.一种智能监控方法，其特征在于：所述智能监控方法包括标注行为，标注行为包括：

拍摄步骤：监控画面出现变化，触发摄像头开始拍摄视频；

标识步骤：数据源端通过人工智能学习算法找出视频中的关键行为，截出关键图像帧，并且在关键图像帧里面标识触发此次视频拍摄的区域部位；

存储步骤：数据源端对拍摄的视频和关键图像帧进行压缩存储；

发送步骤：数据源端把带有标识的关键图像帧发送到云端，同时向用户端发送监控报警信息；

标注步骤：用户端收到监控报警信息后，向云端获取带有标识的关键图像帧，对关键图像帧标识区域做标注，所述标注包括警告标注和忽略标注，并将标注好的关键图像帧反馈到数据源端；

优化步骤：数据源端将标注好的关键图像帧保存在行为模型中，同时对报警规则进行迭代，当摄像头拍摄到与行为模型中的关键图像帧所匹配的事件时，数据源端根据标注判断是否继续向用户端发送监控报警信息。

本技术方案的原理：数据源端对存储视频中关键图像帧进行标记发送给云端，并向用户端发送监控警报信息，用户端从云端获取关键图像帧，对其中的标记进行标注，并将标注好的关键图像帧反馈到数据源端，数据源端根据反馈进行深度学习，以此判断拍摄到类似的关键行为时，是否继续向用户端发送监控警报信息。

本技术方案的有益效果：数据源端对拍摄的视频进行标识，根据标注选择性地向云端发送监控报警信息，并且发送关键图像帧。比起现有技术来说，节约了传输所消耗的网络资源和云端的存储资源；用户通过对关键图像帧的标记进行忽略标注，数据源端对这类标注进行深入学习后，基于关键行为和报警规则，不再频繁向用户端发送监控警报信息，减少用户端被打扰的次数，也节约了发送和接受信息所消耗的资源。

进一步，还包括检测步骤、判断步骤和存疑处理步骤；

检测步骤：数据源端检测用户端反馈的标注，若是“警告”标注，则直接跳到优化步骤，若是“忽略”标注，则执行下列步骤；

判断步骤：数据源端自行判断用户端标注的区域是否可以被忽略；

存疑处理步骤：数据源端将自行判断结果与用户的标注结果存在差异的事件标注为存疑事件，数据源端对存疑事件的处理方式与“警告”标注事件的处理方式相同。

有益效果：数据源端对用户做出的“忽略”标记再次进行确认，防止用户因为不小心错误标记而漏掉一些关键事件的监控警报信息，保证监控区域的安全。

进一步，还包括查看步骤：用户端向云端请求查看实时监控和拍摄视频。

有益效果：方便用户端随时对监控区域的情况进行查看，方便用户端查看拍摄视频了解监控区域的发生过的关键事件，增加用户端使用的多样性。

进一步，还包括定制行为步骤，所述定制行为步骤包括：

启动步骤：用户端获得权限查看实时监控和拍摄视频后，锁定一个静止画面，启动

“定制行为”功能；

定制步骤：在静止画面中，标注需要识别的事物和行为，将所述静止画面设为“定制行为”图片，并设定事件名和报警规则，将“定制行为”图片、事件名和报警规则组合成“定制行为”数据提交到云端；

训练步骤：云端收到“定制行为”提交后，将“定制行为”数据加入专属训练库中进行行为模型训练；

发送模型步骤：云端将训练好的行为模型发送到数据源端；

保存步骤：数据源端将训练好的行为模型保存在行为模型库中。

有益效果：当标记行为功能无法满足与用户的需求时，用户将一些行为按照自己的需求和喜好进行标注，增加报警信息的准确性。云端根据用户的定制行为进行学习和分析，使监控更加智能化和个性化。

进一步，所述“定制行为”数据中包含多张“定制行为”帧图片。

有益效果：对需要识别的事件和同种行为提交的“定制行为”帧图片越多，针对于事件训练的精准度就越高，行为分析模型越完善，监控更加智能化。

进一步，还包括简化步骤：数据源端根据用户端的标注反馈，把用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分在视频压缩存储前，做数据滤波简化处理；

述滤波简化处理包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧做静态化处理；还包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理。

有益效果：将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧做静态化处理，在视频压缩中P帧和B帧的数据量会进一步减少，将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理，把运动向量与多数像素不协调的像素的运动向量值调整成与多数像素统一的那些运动向量与多数像素不协调的像素的运动向量值调整成与多数像素统一的，这样就会让运动向量的块或宏块变大从而提高压缩比，都节约了视频的储存空间和传输时所需要消耗的网络流量。

进一步，还包括排序步骤：数据源端将带有“警告”标注或者“定制行为”的关键图像帧的视频事件定为一级事件，将存疑处理的时间定为二级事件，将带有“忽略”标注且数据源端判断可忽略的时间定为三级事件，将一级事件、二级事件、三级事件依次排序，同级事件之间晚发生的事件排在前，早发生的事件排在后；

在进行查看步骤后，数据源端收到请求并按照排序步骤的结果将视频列表发送到用户端。

有益效果：用户端可以针对性地浏览重要事件，比起按照事件前后顺序浏览事件，用户可以更加直观的查看在所查时间段内的重要事件，不需要在时间轴上去翻找重要事件，更节约用户的浏览时间，使用户端的操作更方便、更直接。

进一步，还包括覆盖步骤：数据源端检测到存储空间不足，按照所述排序步骤的结果，从后到前依次对存储视频进行覆盖。

有益效果：这种方式使关键图像帧的视频相对其他的视频数据保留的时间更长，现有技术通常是保留过去一个星期或者三个月的视频监控数据，这种方式能够为用户保留比现有技术长几倍时间的重要监控数据。

进一步，还包括智能分析行为，所述智能分析行为包括智能分析步骤：摄像头周期性地拍摄图像，数据源端将拍摄到的图像统一上传到云端并单独进行保存，云端根据不同时间尺度反复做无监督学习。

有益效果：摄像头周期性地拍摄图像，能够捕捉到一些需要长期观察才能发现的变化，按照时间尺度对这些图像进行深度学习，推断出长期变化趋势，使用户端能够清楚了解到监控区的变化趋势，并做好相关的应对。

另外，本发明还提供一种智能监控系统，使用了上述任一方案提到的一种智能监控方法。

附图说明

图1是标注行为的流程示意图。

图2是定制行为的流程示意图。

图3是周期性监控图像分析的流程示意图。

具体实施方式

实施例1：

一种智能监控系统，使用了一种智能监控方法，所述智能监控方法包括标记行为、定制定位和智能分析行为，所述标记行为包括以下步骤：

拍摄步骤：监控画面出现变化，触发摄像头开始拍摄视频；

标识步骤：数据源端通过人工智能学习算法找出视频中的关键行为，截出关键图像帧，并且在关键图像帧里面标识触发此次视频拍摄的区域部位；

存储步骤：数据源端对视频和关键图像帧进行压缩存储；

简化步骤：数据源端根据用户端的标注反馈，把用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分在视频压缩存储前，做数据滤波简化处理；

所述滤波简化处理包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧做静态化处理；还包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理。

发送步骤：数据源端把带有标识的关键图像帧发送到云端，同时向用户端发送监控报警信息；

标注步骤：用户端收到监控报警信息后，向云端获取带有标识的关键图像帧，对关键图像帧标识区域做标注，所述标注包括警告标注和忽略标注，并将标注好的关键图像帧反馈到数据源端；

检测步骤：数据源端检测用户端反馈的标注，若是“警告”标注，则直接跳到优化步骤，若是“忽略”标注，则执行下列步骤；

判断步骤：数据源端自行判断用户端标注的区域是否可以被忽略；

存疑处理步骤：数据源端将自行判断结果与用户的标注结果存在差异的事件标注为存疑事件，数据源端对存疑事件的处理方式与“警告”标注事件的处理方式相同；

优化步骤：数据源端将标注好的关键图像帧保存在行为模型库中，同时对报警规则和进行迭代，当摄像头拍摄到与行为模型库中的关键图像帧所匹配的事件时，数据源端根据标注判断是否继续向用户端发送监控报警信息；

覆盖步骤：数据源端检测到存储空间不足，按照所述排序步骤的结果，从后到前依次对存储视频进行覆盖。

所述定制行为包括以下步骤：

查看步骤：用户端向云端请求查看实时监控和拍摄视频；

排序步骤：数据源端将带有“警告”标注或者“定制行为”的关键图像帧的视频定为一级事件，将存疑处理的事件定为二级事件，将带有“忽略”标注且数据源端判断可忽略的事件定为三级事件，将一级事件、二级事件、三级事件依次排序，同级事件之间晚发生的事件排在前，早发生的事件排在后；

在查看步骤中，用户端向云端请求查看某时间段的拍摄视频，数据源端收到请求后，按照排序步骤的结果将视频列表发送到用户端；

启动步骤：用户端获得权限查看实时监控和拍摄视频后，锁定一个静止画面，启动

“定制行为”功能；

定制步骤：在静止画面中，标注需要识别的事物和行为，将所述静止画面设为“定制行为”图片，并设定事件名和报警规则，将“定制行为”图片、事件名和报警规则组合成“定制行为”数据提交到云端，所述“定制行为”数据中包含多张“定制行为”帧图片；

训练步骤：云端收到“定制行为”提交后，将“定制行为”数据加入专属训练库中进行行为模型训练；

发送模型步骤：云端将训练好的行为模型发送到数据源端；

保存步骤：数据源端将训练好的行为模型保存在行为模型库中。

所述智能分析行为包括以下步骤：

智能分析步骤：摄像头周期性地拍摄图像，数据源端将拍摄到的图像统一上传到云端并单独进行保存，云端根据不同时间尺度反复做无监督学习。

具体实施过程如下：

用所述智能监控方式监控小区的某一处。

如图1所示：4.18日监控区域内出现了一条蛇，触发摄像头拍摄一段10秒的视频，数据源端通过人工智能学习找到视频中的关键图像帧，将关键图像帧中蛇的活动区域进行标识，数据源端将拍摄到的视频和关键图像帧进行压缩，压缩方式可以是将用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧做静态化处理，也可以是将用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理，在本实施例中，选择对除了蛇活动范围以外的部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理，减少视频和关键图像帧的占用空间，视频和关键图像帧压缩并成功保存后，数据源端将关键图像帧上传到云端，并向用户端发送监控报警信息。

用户端在收到监控报警信息后，向云端获取带有标识的关键图像帧。用户端发现关键图像帧中的标识区域有一条蛇时，将这个标识标注为警告，意在当监控区域再次出现蛇时，立刻向用户端发送监控报警信息。用户端将标注好的关键图像帧发送回数据源端，数据源端对该标注中的物体进行深度学习，同时对人工智能学习算法进行迭代，当拍摄到近似的物体和事件时，则立即向用户端发送监控报警信息。

若用户端将此标识标注为忽略，数据源端通过人工智能学习算法判断该物体是蛇，危险系数较高，是不可忽视的。但是用户的判断跟数据源端自行判断差异较大，所以数据源端对该类事件进行存疑处理，在下一次出现同样情况时依然会向用户端发送监控报警信息，当用户端超过3次对该事件标注为忽略时，数据源端将不再针对该类事件向用户端发送监控报警信息。

4.20日监控区域内出现了一只猫，经过上述流程，数据源端确认触发监控拍摄的是一只猫，该监控区域以前也出现过此类事件，并被用户端标注为忽略，因此4.19日拍摄到的事件不会向用户端发送监控报警信息。

如图2所示：4.22日用户端查看摄像头实时数据，此时摄像头的拍摄区域出现一位男士，从该男士身上掉下一个钱包，男士毫无察觉从拍摄区域离开，钱包被遗留在地上。暂停画面，在画面上点击“定制行为”，截取钱包从该男士身上掉落至无人拾起的关键图像帧，为“定制行为”帧图片，在关键图像帧上标注男士和钱包为“遗失物品事件”，并设置当该类事件发生时，立即向用户端发送监控报警信息。

设置完成后将“定制行为”帧图片和设置数据一起提交到云端，“定制行为”帧图片应当有3张以上，本实施例中提交了8张“定制行为”帧图片。云端将收到的“定制行为”帧图片加入专属训练库中进行行为模型训练，训练完成后，将模型发送到数据源端。

4.25日，摄像头拍摄到一段视频，一位女士掉落了一部手机，并毫无察觉得从监控区域离开。数据源端通过人工智能学习算法找到视频中的关键行为，截出关键图像帧，并与行为模型库中的行为模型进行对比，识别到该事件为“遗失物品事件”，将截出的关键图像帧发送到云端，并向用户发送设置好的监控报警信息。

7.25日，用户端查看4.23日之前拍摄的视频，因为云端可以保存三个月的监控视频，当存储空间不够时，把最早的三级事件数据先覆盖掉，因此，先覆盖掉4.25日以前的三级事件，由于“4.20日猫出现事件”是三级事件，已经被覆盖掉了，而二级事件和一级事件没有被覆盖，“4.18日蛇出现事件”为二级事件、“4.22日遗失物品事件”和“4.25日遗失物品时间”为一级事件，所以用户端依然可以查看。按照排序步骤，这里依次出现的视频为“4.25日遗失物品时间”、“4.22日遗失物品事件”、“4.18日蛇出现事件”。

用户端查看了4.20日的“猫出现事件”，云端检测到该用户端虽然将“猫出现”事件标注为忽略，但频繁对该类事件视频进行查看，所以数据源端自行判断用户端比较关心该类事件，该事件不应该被忽略，此时数据源端自行判断与用户判断存在差异，数据源端对该类事件进行存疑处理，当下次再发生类似事件时，数据源端则会向用户端发送监控报警信息。

如图3所示：摄像头周期性地拍摄监控区域图像，可以一分钟一次或者一小时一次，本实施例选用一天一次。将7.25日之前的周期性拍摄数据统一上传到云端，再单独进行保存。这些数据在云端根据不同时间的尺度反复做没有指导的深度学习，发现从4.10日起，数据源端标识的关键事件集中发生在视频画面的左下方，并且集中的区域越来越小，而画面中其他区域长时间无变动。通过云端的深度学习得出，按照集中区域缩小的频率继续改变，再过5个月，视频监控区域将不再有画面变动。云端将深度学习结果反馈给用户端，用户端收到反馈后发现，监控旁的树枝慢慢地挡住了一部分监控画面，云端的深入学习结果给用户端一个提醒，避免了因为摄像头被遮挡而监控不到的一些关键事件。

对于本领域的技术人员来说，在不脱离本发明技术方案构思的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本专利实施的效果和专利的实用性。

Claims (10)

1.一种智能监控方法，其特征在于：所述智能监控方法包括标注行为，标注行为包括：

拍摄步骤：监控画面出现变化，触发摄像头开始拍摄视频；

标识步骤：数据源端通过人工智能学习算法找出视频中的关键行为，截出关键图像帧，并且在关键图像帧里面标识触发此次视频拍摄的区域部位；

存储步骤：数据源端对视频和关键图像帧进行压缩存储；

发送步骤：数据源端把带有标识的关键图像帧发送到云端，同时向用户端发送监控报警信息；

标注步骤：用户端收到监控报警信息后，向云端获取带有标识的关键图像帧，对关键图像帧标识区域做标注，所述标注包括警告标注和忽略标注，并将标注好的关键图像帧反馈到数据源端；

优化步骤：数据源端将标注好的关键图像帧保存在行为模型库中，同时对报警规则和进行迭代，当摄像头拍摄到与行为模型库中的关键图像帧所匹配的事件时，数据源端根据标注判断是否继续向用户端发送监控报警信息。

2.根据权利要求1所述的一种智能监控方法，其特征在于：还包括检测步骤、判断步骤和存疑处理步骤；

检测步骤：数据源端检测用户端反馈的标注，若是“警告”标注，则直接跳到优化步骤，若是“忽略”标注，则执行下列步骤；

判断步骤：数据源端自行判断用户端标注的区域是否可以被忽略；

存疑处理步骤：数据源端将自行判断结果与用户的标注结果存在差异的事件标注为

存疑事件，数据源端对存疑事件的处理方式与“警告”标注事件的处理方式相同。

3.根据权利要求2所述的一种智能监控方法，其特征在于：还包括查看步骤：用户端向云端请求查看实时监控和拍摄视频。

4.根据权利要求3所述的一种智能监控方法，其特征在于：还包括定制行为，所述定制行为包括：

启动步骤：用户端获得权限查看实时监控和拍摄视频后，锁定一个静止画面，启动“定制行为”功能；

定制步骤：在静止画面中，标注需要识别的事物和行为，将所述静止画面设为“定制行为”图片，并设定事件名和报警规则，将“定制行为”图片、事件名和报警规则组合成“定制行为”数据提交到云端；

训练步骤：云端收到“定制行为”提交后，将“定制行为”数据加入专属训练库中进行行为模型训练；

发送模型步骤：云端将训练好的行为模型发送到数据源端；

保存步骤：数据源端将训练好的行为模型保存在行为模型库中。

5.根据权利要求4所述的一种智能监控方法，其特征在于：所述“定制行为”数据中包含多张“定制行为”帧图片。

6.根据权利要求5所述的一种智能监控方法，其特征在于：还包括简化步骤：数据源端根据用户端的标注反馈，把用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分在视频压缩存储前，做数据滤波简化处理；

所述滤波简化处理包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧做静态化处理；还包括将所述用户端标记为“忽略”且数据源端判断可忽略的物体部分，以及关键行为以外的物体部分依据关键图像帧和其他帧的像素运动向量差值规律做和谐化运动处理。

7.根据权利要求6所述的一种智能监控方法，其特征在于：还包括排序步骤：数据源端将带有“警告”标注或者“定制行为”的关键图像帧的视频定为一级事件，将存疑处理的事件定为二级事件，将带有“忽略”标注且数据源端判断可忽略的事件定为三级事件，将一级事件、二级事件、三级事件依次排序，同级事件之间晚发生的事件排在前，早发生的事件排在后；

在进行查看步骤中，用户端向云端请求查看某时间段的拍摄视频，数据源端收到请求后，按照排序步骤的结果将视频列表发送到用户端。

8.根据权利要求7所述的一种智能监控方法，其特征在于：还包括覆盖步骤：数据源端检测到存储空间不足，按照所述排序步骤的结果，从后到前依次对存储视频进行覆盖。

9.根据权利要求8所述的一种智能监控方法，其特征在于：还包括智能分析行为，所述智能分析行为包括智能分析步骤：摄像头周期性地拍摄图像，数据源端将拍摄到的图像统一上传到云端并单独进行保存，云端根据不同时间尺度反复做无监督学习。

10.一种智能监控系统，其特征在于：使用了权利要求1-9任一所述的一种智能监控方法。

Images