CN113065615A

CN113065615A - 基于场景化的边缘分析算法下发方法、装置及存储介质

Info

Publication number: CN113065615A
Application number: CN202110612245.XA
Authority: CN
Inventors: 杨帆; 汪帮磊
Original assignee: Nanjing Zhenshi Intelligent Technology Co Ltd
Current assignee: Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2021-07-02

Abstract

本发明公开了一种基于场景化的边缘分析算法下发方法、装置及存储介质，其中下法方法包括：获取已安装摄像机已有的视频流或照片；采用神经网络模型对获取的视频流或照片进行场景识别，输出待分类场景；将待分类场景与平台侧场景库的目标场景进行对比，并根据对比结果配置与场景库中目标场景相对应的边缘分析算法。本发明通过边缘分析主机的预分析以及通过平台侧的场景库对比，得出最合适和最不合适的算法结果，再结合人员的简单配置，并得出最合理的场景化算法应用，最大的优点就是利用上面的方法简化了人员操作的繁琐以及给出最合理的方案推荐，克服了客户的使用痛点，结合场景化的预分析，实现算法配置的最合理化。

Description

基于场景化的边缘分析算法下发方法、装置及存储介质

技术领域

本发明涉及图像处理计算领域，具体涉及图像处理不同算法的下发方法。

背景技术

近年来，国家政府持续支持平安城市和智慧城市建设，加大以视频监控为技术手段的安防项目建设，通过对摄像机进行算法赋能，实现对社区、园区、校园、企业等多场景的人、车、物、事的自动监测、智能化记录与报警，提升场所的综合安防管理水平。故需要在边缘分析主机上植入人脸/人体分析、行为预警分析、机物预警分析、人数统计、热区分析等多种算法类型，细分下去的话，会有几十种或上百种算法，所以需要针对不同的应用场景进行平台侧的人工配置，配置摄像机的服务，步骤比较繁琐和麻烦，同时容易出现配置错误导致应用不得当的情况。

发明内容

本发明重点针对目前现有方案的缺陷进行整改，提出基于场景化的边缘分析算法下发方法、装置及存储介质。

为解决上述技术问题，本发明采用的技术方案是：

基于场景化的边缘分析算法下发方法，其特征在于，包括：

获取已安装摄像机已有的视频流或照片；

采用神经网络模型对获取的视频流或照片进行场景识别，输出待分类场景；

将待分类场景与平台侧场景库的目标场景逐一对比得到待分类场景与目标场景的相似度；根据相似度高低进行排序，选择相似度高的至少一个目标场景并将选择的至少一个目标场景相对应的边缘分析算法下放给待分类场景。

得出该摄像机最适合和最不适合安装的算法类型和分析功能，并将该分析结果给到平台侧供操作人员进行配置，综合以上三种路径获取的算法配置（最适合算法、最不适合算法、人员结合应用自行删选一部分算法）下发给到算法平台，算法平台在下载和授权对应算法，并下发到边缘分析主机。

有益效果：

本发明提出的基于场景化的边缘分析算法下发方法，通过对利旧摄像机和新安装摄像机的分类，针对不同的分类给出不同的解决方案，通过边缘分析主机的预分析以及通过平台侧的场景库对比，得出最合适和最不合适的算法结果，再结合人员的简单配置，并得出最合理的场景化算法应用，最大的优点就是利用上面的方法简化了人员操作的繁琐以及给出最合理的方案推荐，客服了客户的使用痛点，结合场景化的预分析，实现算法配置的最合理化，另外针对新安装的摄像机，在未安装前，通过调取全景静态地图或人员拍摄现场预安装的几种方案的图片，来配置最合理的算法，克服了必须安装好才能获取视频流或图片的缺点，同时在算法下发的同时还给平台推荐出最佳安装位置和视角图。

附图说明

图1是本发明边缘分析算法下发方法流程图；

图2是本发明边缘分析算法下发方法的原理框图；

图3为相似度判断流程图。

具体实施方式

下面结合附图，对本发明作详细说明：

本发明边缘分析算法下发方法，如图1所示。

目前的很多场景都存在很多原有旧的监控摄像机，其安装位置和拍摄位置已固定，无法进行很大的调整，故针对实际情况，需要分为旧摄像机和新安装摄像机。

第一种情况：针对已有旧型摄像机，边缘分析算法下发方法的方法步骤为：

直接获取该摄像机已有的视频流或照片，传输给到边缘分析主机进行预分析，得到场景识别结果；

场景识别结果与平台侧的场景库（该库提供很多种的场景，并针对不同场景给出适合的算法配置）进行对比得出相似度结果，根据相似度结果的最大值和最小值，得出该摄像机最适合和最不适合安装的算法类型和分析功能，并将该对比结果给到平台侧供操作人员进行配置，综合以上三种路径获取的算法配置（最适合算法、最不适合算法、人员结合应用自行删选一部分算法）下发给到算法平台；

算法平台在下载和授权对应算法，并下发到边缘分析主机。

第二种情况：针对新安装的摄像机，边缘分析算法下发方法的方法步骤为：

因摄像机还未安装，调取安装地点的全景静态地图，根据全景地图中不同方位的实景图查找预安装位置（如主干道马路、街道、小区出入口等关键位置，全景地图均能很轻易的找到上述关键位置），并保存预安装位置的全景图；如有些场景在全景地图未覆盖或其他情形，导致在全景地图中缺少必要的预安装位置，可通过安装人员实地采集多个位置的图片或视频素材加入到边缘主机的预分析中；

通过边缘分析主机的预分析，对全景地图进行场景识别并与平台侧的场景库对比，得出相似度结果，根据相似度结果的最大值和最小值，得出最适合和最不推荐算法类型，在结合操作人员的配置，配置出最合理的方案，同样进行算法下载和授权。如果还涉及到人工采集的图片或视频素材，同样通过边缘分析主机的预分析，与平台侧的场景库对比，得出相似度结果，根据相似度结果的最大值和最小值，得出最适合和最不推荐算法类型，在结合操作人员的配置，配置出最合理的方案，同样进行算法下载和授权。

该处与第一种情况不同的地方在于，针对未安装摄像机的位置，还可以推荐出最佳安装视角图，以便安装工人实际安装。人工采集几个预安装位置的图片或者视频素材，上传到分析平台，分析平台会针对每个预安装位置给出分析结果。

先将每个场景下的所有相似度的前两位和后两位取均值，然后推荐前两位均值最大的场景以及对应的分析功能给到系统操作人员，对应也会通知到该场景下不适合的分析功能，如操作人员对该场景有特定的分析功能要求，可点击系统展开每种算法和分析功能对应的相似度表格进行查找其关心的分析功能的相似度结果。然后进行选择最合适的安装位置。

边缘分析通过深度学习算法来进行预分析，得到场景的识别结果。

深度学习中的人工神经网络由很多层组成，每一层有很多节点，节点之间有边相连，每条边有一个权重。通过前向传输对输入的图片进行权值运算，最后一层层传下去得出最终输出预测的值。同时也会进行反向传播，与真实值做对比修正前向传播的权值和偏置。例如停车检测算法对应的停车场景图，平台侧已有很多停车位置或车辆图片，这些图片同样进行语义分割算法预分类处理，并放置到平台侧进行训练，通过前向和反向传播的权值和偏置修正，得出停车检测分析功能对应的训练模型和结果。

在本发明实施例中，通过利用语义分割算法进行区域分类，基于深度学习模型，提取待分析图像的目标图像特征，通过T次迭代训练收敛，更新深度学习模型的参数，最终输出准确的区域分类种类。待评估场景识别和场景图片库均通过深度学习模型和语义分割算法，得出区域分类种类数量，并引进损失函数来评估待评估场景识别结果与场景库中的目标场景的公共区域，公共区域越多，则相似度越高。

场景化的边缘算法下发不是简单的目标识别或者图片识别，更多的需要找到该场景的区域分类，通过区域分类与场景库中的区域分类进行损失函数模型评估，最终得出相似度排名。

通过新旧摄像机提供的素材照片进行场景识别并推荐合适的算法，其需要对照片进行精细化的区域分类，首先使用语义分割算法从图像中提取自由形式的区域并对其进行深度学习收敛，并输出对应的区域分类种类和每种种类数量，记为矩阵集合A。

系统平台中每种算法对应的图片库进行语义分割深度学习算法，输出每个库对应的区域分类种类数量，记为集合

。

引进损失函数来评估相似度，该损失函数模型是基于Dice系数的损失，其本质上是衡量两个样本之间的重叠度。该度量值在0~1之间，其中Dice系数为1表示完全重叠。

公式中

表示集合A和集合

的共有种类数量，|A|为集合A含有种类数量，

为集合

含有种类数量，i为对应算法，i的上限为N，N表示所有算法场景数量。

例如新旧摄像机提供的素材照片中含有人、狗、闸机、树（种类存在为1，种类不存在为0；A矩阵中的数值代表种类*数量），而场景库中的所有场景包含的分类元素为100种，每种算法对应的图片素材为50个，15种算法。

则A为1*m的矩阵，m为分类元素种类值，上例中A则为1*100的矩阵，A=[1 2 1 1 00..0]代表图片中含有种类数量为：一个人、两条狗、一台闸机、一棵树；

B为n*100的矩阵，n代表有多少种算法种类（即场景数量），例如：

、|A|、

行列求和，最终再查看每种算法场景对应的数值的大小，Dice系数输出结果越大，则相似度越高，Dice系数即为识别相似度。

将新旧摄像机提供的素材RGB图片（视频素材进行取帧处理，转化为图片）作为输入 I ，输出语义割分算法的结果A 。

其中，

为像素点，R₃代表RGB三维数据集，其中n表示输入图像中的像素数。

为语义分割的分类结果，Z为整数集合，其中n代表分类结果数。

为输入图片进行『预分类』：调整算法参数，为语义信息明显相同的小区域分配相同的语义标签。由于具有相同语义的像素通常存在于一张图片中的连续区域，所以我们可以假设：颜色接近，纹理接近，且位置接近的像素，可以为其分配相同的语义标签。

待分类场景图片的相似度判断步骤如图3所述，步骤为：

输入RGB图片：将RGB图片作为输入图片I；

图像进行初步聚类：使用图片分割slic算法对输入图片I进行初步聚类：

式中，Preseg（）代表的便是超像素分割 slic算法，

为预分类的分类结果，k为分类种类，K代表分类种类最大值。

使用卷积网络得到特征值：

采用深度学习模型中的卷积神经网络模型CNN提取待分析图像中的图像特征，取卷积神经网络模型CNN最后一层全连接层的输出特征，并将该输出特征作为待分析图像特征。

上述过程的具体公式如下：

为图片特征，N为图像特征

的特征维度。

根据图片特征，采用argmax函数取数值最大者为对应像素的标签。

对于经典语义分割聚类的所有预分类的分类结果，采用argmax函数统计每个聚类中，出现次数最多的类别，将这个聚类中的所有像素，都记录为这个类别。

式中，

为每个聚类中，出现次数最多的类别；

式中，将这个聚类中的所有像素，都记录归类为这个类别中。

为分类类别值，

为预分类的分类结果。

计算归一化指数

：

式中，softmax（）为归一化指数函数。

使用随机梯度下降更新正前向传播的权值和偏置：

更新参数后，再次使用卷积网络进行迭代；判断达到迭代数T次，T为初始化提前设定的迭代数值，本案例中默认为50次：

如果迭代次数达到T次，则输出待评估图片的区域分类种类数量；如果迭代次数未达到，则继续进行迭代。

采用损失函数Dice系数计算得出识别相似度。

当旧摄像机或新安装摄像机提供图片或视频流作为输入数据时，如图2所示，边缘盒子将利用以上各种分析功能类型对应深度学习算法训练出的模型和结果进行智能预分析，与平台侧的场景库进行对比，并给出所有分析功能的场景相似度结果，根据结果推荐出最适合（排名前2位）和最不适合（排名后2位）的预分析结果。

平台侧的场景库包括但不限于人脸检测图片或者视频库、打电话检测图片库或者视频库、人员聚集图片库或者视频库、吸烟检测图片库或者视频库、停车或停车位图片库或者视频库、物品遗留图片库或者视频库、人数统计图片库或者视频库，详见图2。每一个场景库对应一个或多个算法类型，如打电话检测图片库或者视频库对应打电话检测算法。

本发明还提供一种装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于场景化的边缘分析算法下发。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于场景化的边缘分析算法下发。

实施例1

安装地点为某小区，原有摄像机安装的位置为小区出入口，原摄像机主要是用于小区出入口的安防监控使用，摄像机拍摄的范围为出入口的闸机处人员进出通道，焦距比较大，视场角比较小，通过该系统预分析，得出该场景下最适合的分析功能为人脸检测/人脸对比相似度为95%、区域入侵87%；最不适合的分析功能为停车检测11%、热区分析9%；平台将该分析结果推送给到操作人员进行配置，该结果也与摄像机的特性一致，视场角小，拍摄的范围有限，停车检测及热区分析确实不适合该场景。最终通过平台的推荐及考虑到客户需求，最终对该摄像机配置了人脸检测、区域入侵、抽烟检测。

实施例2

安装地点为某街道（既有已安装摄像机，也有未安装摄像机位置），对于已安装摄像机，获取到该摄像机抓拍的图片或者视频流进行预分析并推送分析的结果给到平台，方法同实施案例1；对于街道的某场景，需要安装新的摄像机，则需要通过平台调用全景地图，在全景地图中输入该街道地点进行搜索，并在地图中人为的移动鼠标进行调整，找出2-3个合适的预安装位置，并保留下该位置的全景图提交到系统进行分析；如通过全景地图未找到该街道的全景地图，则需要人工进行实际勘察，上传现场勘察的位置图片；以上步骤获取到了2-3个预安装位置分析素材，系统通过对素材进行深度学习算法分析，该街道通过全景地图已上传3个预安装位置，三个位置均为街道的路旁安装，通过系统分析的结果如下：

平台系统将三种预安装场景的前两种分析结果相似度取均值，排名最高的为场景1，系统会给操作人员推荐场景1，但是操作人员再结合自己最想安装的场景的相似度结果进行综合选择，该场景下客户最想选配的也是停车检测，刚好两个结果一致，则选出场景1作为最佳安装视角图推荐出来，给到安装人员，安装人员根据该图片进行实际安装。