CN112019821A - 一种智能循环监测摄像头图像内容的方法 - Google Patents

Abstract

本发明提出了一种智能循环监测摄像头图像内容的方法，通过服务器接入N路所述摄像头，并设置AI巡逻模式，按照一定先后顺序将N路摄像头排成一个队列，依次选取队列中的前M个摄像头为一组同时进行图像监测；并采用轮排的方式进行队列中N个摄像头的循环监测，即：设定进行图像监测的监测时长为Y；并设定加时监测的条件；当被监测的M个摄像头在时长Y范围内并未满足加时条件时，则停止监测，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；对于在Y时长范围内满足加时条件的摄像头，进行加时监测，直到在加时监测的时长结束前不再满足加时条件时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测。

Description

一种智能循环监测摄像头图像内容的方法

技术领域

本发明属于计算机图像识别技术领域，具体地说，涉及一种智能循环监测摄像头图像内容的方法。

背景技术

在视频监控中，通常一台服务器接入多路的摄像头进行视频的监控。这会造成服务器负载增加，成本也会增加。在此基础上，随着科技的发展，在对视频的监控中渐渐地开始应用AI分析，通过利用电脑中GPU和CPU资源对图形图像进行解码，计算等操作。而想要AI分析技术同时应用在了多路的摄像头图像分析领域时，其本身就对设备硬件等具有相当高的要求，一个服务器连接多少路的摄像头就需要设置相应配置的服务器；若同时对多路连接在同一服务器上的视频监控都进行AI分析，对设备的负担是极其巨大的，这使得AI分析技术的应用很难落于实际的需要考虑经济效应的生产运行中，先进的技术也束之高阁，难以实施普及。

发明内容

本发明针对现有技术的上述缺点，提出了一种智能循环监测摄像头图像内容的方法，通过对连接的多路摄像头进行分析，筛选出最可能或最频繁发生异常事件的摄像头进行监测，并将所有摄像头排成队列轮排循环监测，在保证了监测质量的情况下，最大概率的把有限地成本应用在最需要监测的摄像头上，同时适应性地设置时长增加。本发明通过上述设置在实现了成本的节约的同时，还使得设备的性能伸缩自如。

本发明具体实现内容如下：

本发明提出了一种智能循环监测摄像头图像内容的方法，对多个摄像头采集的图像内容进行循环监测，所述方法操作为：设定摄像头的数量为N，通过服务器接入N路所述摄像头，并设置多种巡逻模式对N路摄像头进行异常事件监测；所述多种巡逻模式包括：AI巡逻模式、固定AI监控模式、传统监控模式；所述固定AI监控模式是为固定某几个摄像头进行监测，所述传统监控模式是对所有摄像头进行监控；

采用所述AI巡逻模式进行监测的操作为：按照一定先后顺序将N路摄像头排成一个队列，依次选取队列中的前M个摄像头为一组同时进行图像监测；并采用轮排的方式进行队列中N个摄像头的循环监测，即：设定进行图像监测的监测时长为Y；并设定加时监测的条件；当被监测的M个摄像头在时长Y范围内并未满足加时条件时，则停止监测，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；对于在Y时长范围内满足加时条件的摄像头，进行加时监测，直到在加时监测的时长结束前不再满足加时条件时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；

所述M小于等于N。

为了更好地实现本发明，进一步地，对所述摄像头进行图像异常事件监测分为同时进行的物品相关监测算法和人员相关监测算法两部分；所述物品相关监测算法、人员相关监测算法都包括多个图像监测算法；

在使用AI巡逻模式进行摄像头的监测时，可选择的使用物品相关监测算法、人员相关监测算法中的一个或多个图像监测算法进行AI巡逻监测。

为了更好地实现本发明，进一步地，在判断摄像头是否满足所述加时条件时，通过算法判断摄像头采集的图像内容中是否包含人员；

若摄像头采集的图像内容中包含人员时，则在进行Y时长的异常事件监测过程中，使用人员相关监测算法判断时长Y范围内的图像内容中是否出现了新的人员，若未出现新的人员，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若出现了新的人员，则加时Y1秒继续进行异常事件监测，若在加时Y1的监测时长中又出现了新的人员，则继续加时Y2进行监测，以此类推，直到不再出现新的人员后，切换；

若摄像头采集的内容中不包含人员时，使用背景建模算法对摄像头采集的图像中的场景进行监测，若在时长Y的范围内场景无变化；则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若在时长Y的范围内场景发生变化，则使用物品相关监测算法判断场景变化时出现的物体是否为需要监测的物体，若不是，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测，若是，则增加Y1时长继续进行监测，若在Y1时长范围内又出现场景变化，且出现了需要监测的物体，则继续增加Y2时长进行监测，以此类推直到场景无变化或者场景变化但未出现需要监测物体时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测。

为了更好地实现本发明，进一步地，在进行切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测的操作时，采用预拉流的方式进行切换，即：对服务器的显存进行显存分配，设置M+H段显存，对正在监测的摄像头拉取的视频流存储在M段显存中进行监测，然后使用H段显存对队列中排在后等待进行监测的H个摄像头进行视频流的提前拉取存储，当被监测的M个摄像头中有摄像头停止监测时，切换到预拉流的H个摄像头中对应的摄像头进行监测。

为了更好地实现本发明，进一步地，当被监测的M个摄像头中的某个摄像头未满足加时条件，且距离监测时长结束还有时长A时，开启预拉流操作，使用H段显存中的某一段显存来对队列中排在后等待进行监测的摄像头进行视频流的拉取。

为了更好地实现本发明，进一步地，所述时长Y为AI巡逻模式中选择的所有的图像监测算法的监测时间乘以5再加上时长D，所述时长D为自定义的值，大小随用户需求可调节。

为了更好地实现本发明，进一步地，设定时长阈值C，时长Y与后续所有加时的累积小于等于时长阈值C，当对于某一摄像机的监测总时长达到时长阈值C后，切换到队列中未被监测的下一摄像头继续进行监测。

为了更好地实现本发明，进一步地，在判断场景是否出现新物体时，首先计算场景建模阈值和物体识别阈值，然后判断场景建模阈值和物体识别阈值之和是否大于1，当大于1时，判定场景中进入新物体，反之则判定为未进入新物体。

为了更好地实现本发明，进一步地，所述物品相关监测算法包括识别运动物体的算法，追踪运动物体的算法、监测人体衣着的算法、监测特定物品的算法；

所述人员相关监测算法包括人脸识别算法、人体监测算法、人体追踪算法、去重监测算法、人脸质量监测算法、戴口罩监测算法。

本发明与现有技术相比具有以下优点及有益效果：

（1）减少了设备的负载，节约了成本开销，使用有限的设备实现了最大化效率和利用率的摄像头监测；

（2）现有技术每多接入一个摄像头，对服务器配置的要求呈几何式的增长，而本发明接入摄像头对于服务器配置的增长要求并没有现有技术那么高，其大大地增加了实际应用中的承载能力。

附图说明

图1为本发明实际应用时的配置摄像头、配置监测的巡逻模式等的示意图；

图2为本发明实际应用时AI巡逻模式下队列示意图；

图3为本发明监测时以时间为维度进行帧数监测的示意图；

图4为本发明预拉流与现有技术无预拉流的区别示意图；

图5为本发明异常事件监测及加时的流程示意图；

图6为本发明同时对队列中的三组摄像头进行监测的示意图；

图7为图6中三组中某一摄像头监测结束，轮排切换为队列中下一摄像头进行监测的示意图；

图8为在某次具体实施后的各场景监测时长总结对比表。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例提出了一种智能循环监测摄像头图像内容的方法，对多个摄像头采集的图像内容进行循环监测，所述方法操作为：设定摄像头的数量为N，通过服务器接入N路所述摄像头，并设置多种巡逻模式对N路摄像头进行异常事件监测；所述多种巡逻模式包括：AI巡逻模式；

采用所述AI巡逻模式进行监测的操作为：按照一定先后顺序将N路摄像头排成一个队列，依次选取队列中的前M个摄像头为一组同时进行图像监测；并采用轮排的方式进行队列中N个摄像头的循环监测，即：设定进行图像监测的监测时长为Y；并设定加时监测的条件；当被监测的M个摄像头在时长Y范围内并未满足加时条件时，则停止监测，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；对于在Y时长范围内满足加时条件的摄像头，进行加时监测，直到在加时监测的时长结束前不再满足加时条件时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；

所述M小于等于N。

工作原理：通过对连接的多路摄像头进行分析，筛选出最可能或最频繁发生异常事件的摄像头进行监测，并将所有摄像头排成队列轮排循环监测，在保证了监测质量的情况下，最大概率的把有限地成本应用在最需要监测的摄像头上，同时适应性地设置时长增加。本发明通过上述设置在实现了成本的节约的同时，还使得设备的性能伸缩自如。

实施例2：

本实施例在上述实施例1的基础上，为了更好地实现本发明，进一步地，对所述摄像头进行图像异常事件监测分为同时进行的物品相关监测算法和人员相关监测算法两部分；所述物品相关监测算法、人员相关监测算法都包括多个图像监测算法；

在使用AI巡逻模式进行摄像头的监测时，可选择的使用物品相关监测算法、人员相关监测算法中的一个或多个图像监测算法进行AI巡逻监测；

所述时长Y为AI巡逻模式中选择的所有的图像监测算法的监测时间乘以5再加上时长D，所述时长D为自定义的值，大小随用户需求可调节。

工作原理：通过设置不同的算法，可以满足不同场景下不同需求的应用，如在考场上需要监控是否有人作弊，则需要采取人体识别和人体追踪的算法对考场的考生进行监控，监控每个考生是否存在异常违规的行为，当然也可以增加物体监测的算法，对同样进行监控，避免传阅试卷的情况出现。

设置时长Y为AI巡逻模式中选择的所有的图像监测算法的监测时间乘以5再加上时长D，根据选取的算法不同，每个摄像头的监测时长也不一样，可以做到根据实际需求和应用的不同进行适应性的调整，方案的适应性强。

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例1-2任一项的基础上，为了更好地实现本发明，如图5所示，进一步地，在判断摄像头是否满足所述加时条件时，通过算法判断摄像头采集的图像内容中是否包含人员；

若摄像头采集的图像内容中包含人员时，则在进行Y时长的异常事件监测过程中，使用人员相关监测算法判断时长Y范围内的图像内容中是否出现了新的人员，若未出现新的人员，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若出现了新的人员，则加时Y1秒继续进行异常事件监测，若在加时Y1的监测时长中又出现了新的人员，则继续加时Y2进行监测，以此类推，直到不再出现新的人员后，切换；

若摄像头采集的内容中不包含人员时，使用背景建模算法对摄像头采集的图像中的场景进行监测，若在时长Y的范围内场景无变化；则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若在时长Y的范围内场景发生变化，则使用物品相关监测算法判断场景变化时出现的物体是否为需要监测的物体，若不是，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测，若是，则增加Y1时长继续进行监测，若在Y1时长范围内又出现场景变化，且出现了需要监测的物体，则继续增加Y2时长进行监测，以此类推直到场景无变化或者场景变化但未出现需要监测物体时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测。

工作原理：根据人员或场景的变化可以筛选出最可能发生或最频繁发生异常事件的摄像头进行重点监控，而进一步根据算法筛选出有异常行为或者异常物体的摄像头进行监控，可以最大化地利用资源在最需要的地方，同时，设置监控时长，并进行轮排切换，可以实现尽可能地照顾到每一个摄像头，在有限的资源的情况下实现最大化的利用。

本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。

实施例4：

本实施例在上述实施例1-3任一项的基础上，为了更好地实现本发明，如图4、图6、图7所示，进一步地，在进行切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测的操作时，采用预拉流的方式进行切换，即：对服务器的显存进行显存分配，设置M+H段显存，对正在监测的摄像头拉取的视频流存储在M段显存中进行监测，然后使用H段显存对队列中排在后等待进行监测的H个摄像头进行视频流的提前拉取存储，当被监测的M个摄像头中有摄像头停止监测时，切换到预拉流的H个摄像头中对应的摄像头进行监测。

为了更好地实现本发明，进一步地，当被监测的M个摄像头中的某个摄像头未满足加时条件，且距离监测时长结束还有时长A时，开启预拉流操作，使用H段显存中的某一段显存来对队列中排在后等待进行监测的摄像头进行视频流的拉取。

工作原理：如图6所示，设置M为3，则同时对三路摄像头拉取出视频流存储进行监测，并选取后N段进行预拉流处理，当如图7所示，例如第2段的结束监测后，服务器可以直接切换到已经预先进行预拉流的第4端进行监测，期间不会出现黑屏的情况。如图4所示，在现有技术中，一个摄像头结束监测切换为1号摄像头的视频流进行监测时，会出现黑帧的情况，而应用了预拉流的方式后，视频流之间的切换因为系统的事先拉取，不会出现黑帧等待的情况。

本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。

实施例5：

本实施例在上述实施例1-4任一项的基础上，为了更好地实现本发明，进一步地，设定时长阈值C，时长Y与后续所有加时的累积小于等于时长阈值C，当对于某一摄像机的监测总时长达到时长阈值C后，切换到队列中未被监测的下一摄像头继续进行监测。

工作原理：为了避免同一摄像头长期占用资源，设置最长时长，当超过最长时长后，切换为下一摄像头，从而保证了资源的合理分配。

本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。

实施例6：

本实施例在上述实施例1-5任一项的基础上，为了更好地实现本发明，进一步地，在判断场景是否出现新物体时，首先计算场景建模阈值和物体识别阈值，然后判断场景建模阈值和物体识别阈值之和是否大于1，当大于1时，判定场景中进入新物体，反之则判定为未进入新物体。

本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。

实施例7：

本实施例在上述实施例1-6任一项的基础上，为了更好地实现本发明，进一步地，所述物品相关监测算法包括识别运动物体的算法，追踪运动物体的算法、监测人体衣着的算法、监测特定物品的算法；

所述人员相关监测算法包括人脸识别算法、人体监测算法、人体追踪算法、去重监测算法、人脸质量监测算法、戴口罩监测算法。

本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。

实施例8：

本实施例在上述实施例1-7任一项的基础上，进一步地，如图1、图2、图3、图8所示，当本发明应用于餐饮领域时，同一服务器对分别设置在洗菜间、库房、走廊、厨房、打菜间、洗碗间、消毒间等进行监测时，如图1所示，首先选择AI巡逻模式进行监测，同时，因为餐饮领域的需求，需要对老鼠、食品安全人员的行为、衣着等等进行监测，故设置了对人员衣着、异常行为、老鼠等进行监测的算法，选择需要的算法后，开始监测。具体涉及的算法包括：人体监测、人体跟踪、人脸监测、去重监测、人脸质量监测、戴口罩人脸监测、厨师服监测、厨师帽监测、头罩监测、手套监测、口罩监测、老鼠监测、活体老鼠监测、老鼠跟踪监测、烟头监测、智能手机监测、抽烟动作监测、玩手机动作监测等等。

如图2所示，在监测过程中，将所有的摄像头依次排成队列进行监测，同时可以配置同时监测的摄像头数量，本实施例中配置的同时监测数量为3，原则上，只要服务器配置跟得上，可以相应地增设更多的摄像头；

如图3所示，在监测过程中，巡逻的方案以时间为维度，即每个摄像头监测一段时间，而不是单帧图像识别，这样做的好处是既可以满足图像识别，也可以满足动作识别，还可以满足算法综合预判，在不干扰原本识别效果的情况下进行巡逻监测；

本次实施例在完成AI巡逻各路摄像头后，得到的各场景的监测时长对比如图8所示；洗菜间占总时长的21%，库房占4%、走廊占5%、厨房占38%、打菜间占11%、洗碗间占14%、消毒间占7%。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种智能循环监测摄像头图像内容的方法，对多个摄像头采集的图像内容进行循环监测，其特征在于，设定摄像头的数量为N，通过服务器接入N路所述摄像头，并设置多种巡逻模式对N路摄像头进行异常事件监测；所述多种巡逻模式包括：AI巡逻模式、固定AI监控模式、传统监控模式；所述固定AI监控模式是为固定某几个摄像头进行监测，所述传统监控模式是对所有摄像头进行监控；

采用所述AI巡逻模式进行监测的操作为：按照一定先后顺序将N路摄像头排成一个队列，依次选取队列中的前M个摄像头为一组同时进行图像监测；并采用轮排的方式进行队列中N个摄像头的循环监测，即：设定进行图像监测的监测时长为Y；并设定加时监测的条件；当被监测的M个摄像头在时长Y范围内并未满足加时条件时，则停止监测，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；对于在Y时长范围内满足加时条件的摄像头，进行加时监测，直到在加时监测的时长结束前不再满足加时条件时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；M小于等于N。

2.如权利要求1所述的一种智能循环监测摄像头图像内容的方法，其特征在于，对所述摄像头进行图像异常事件监测分为同时进行的物品相关监测算法和人员相关监测算法两部分；所述物品相关监测算法、人员相关监测算法都包括多个图像监测算法；

在使用AI巡逻模式进行摄像头的监测时，可选择的使用物品相关监测算法、人员相关监测算法中的一个或多个图像监测算法进行AI巡逻监测。

3.如权利要求2所述的一种智能循环监测摄像头图像内容的方法，其特征在于，在判断摄像头是否满足所述加时条件时，通过算法判断摄像头采集的图像内容中是否包含人员；

若摄像头采集的图像内容中包含人员时，则在进行Y时长的异常事件监测过程中，使用人员相关监测算法判断时长Y范围内的图像内容中是否出现了新的人员，若未出现新的人员，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若出现了新的人员，则加时Y1秒继续进行异常事件监测，若在加时Y1的监测时长中又出现了新的人员，则继续加时Y2进行监测，以此类推，直到不再出现新的人员后，切换；

若摄像头采集的内容中不包含人员时，使用背景建模算法对摄像头采集的图像中的场景进行监测，若在时长Y的范围内场景无变化；则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测；若在时长Y的范围内场景发生变化，则使用物品相关监测算法判断场景变化时出现的物体是否为需要监测的物体，若不是，则切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测，若是，则增加Y1时长继续进行监测，若在Y1时长范围内又出现场景变化，且出现了需要监测的物体，则继续增加Y2时长进行监测，以此类推直到场景无变化或者场景变化但未出现需要监测物体时，切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测。

4.如权利要求1-3任一项所述的一种智能循环监测摄像头图像内容的方法，其特征在于，在进行切换到队列中未被监测的下一摄像头继续进行Y时长的异常事件监测的操作时，采用预拉流的方式进行切换，即：对服务器的显存进行显存分配，设置M+H段显存，对正在监测的摄像头拉取的视频流存储在M段显存中进行监测，然后使用H段显存对队列中排在后等待进行监测的H个摄像头进行视频流的提前拉取存储，当被监测的M个摄像头中有摄像头停止监测时，切换到预拉流的H个摄像头中对应的摄像头进行监测。

5.如权利要求4所述的一种智能循环监测摄像头图像内容的方法，其特征在于，当被监测的M个摄像头中的某个摄像头未满足加时条件，且距离监测时长结束还有时长A时，开启预拉流操作，使用H段显存中的某一段显存来对队列中排在后等待进行监测的摄像头进行视频流的拉取。

6.如权利要求2所述的一种智能循环监测摄像头图像内容的方法，其特征在于，所述时长Y为AI巡逻模式中选择的所有的图像监测算法的监测时间乘以5再加上时长D，所述时长D为自定义的值，大小随用户需求可调节。

7.如权利要求1、2、3、6任一项所述的一种智能循环监测摄像头图像内容的方法，其特征在于，设定时长阈值C，时长Y与后续所有加时的累积小于等于时长阈值C，当对于某一摄像机的监测总时长达到时长阈值C后，切换到队列中未被监测的下一摄像头继续进行监测。

8.如权利要求4所述的一种智能循环监测摄像头图像内容的方法，其特征在于，设定时长阈值C，时长Y与后续所有加时的累积小于等于时长阈值C，当对于某一摄像机的监测总时长达到时长阈值C后，切换到队列中未被监测的下一摄像头继续进行监测。

9.如权利要求3所述的一种智能循环监测摄像头图像内容的方法，其特征在于，在判断场景是否出现新物体时，首先计算场景建模阈值和物体识别阈值，然后判断场景建模阈值和物体识别阈值之和是否大于1，当大于1时，判定场景中进入新物体，反之则判定为未进入新物体。

10.如权利要求2所述的一种智能循环监测摄像头图像内容的方法，其特征在于，所述物品相关监测算法包括识别运动物体的算法，追踪运动物体的算法、监测人体衣着的算法、监测特定物品的算法；

所述人员相关监测算法包括人脸识别算法、人体监测算法、人体追踪算法、去重监测算法、人脸质量监测算法、戴口罩监测算法。

Images