CN113469938B - 基于嵌入式前端处理服务器的管廊视频分析方法及系统 - Google Patents

基于嵌入式前端处理服务器的管廊视频分析方法及系统 Download PDF

Info

Publication number
CN113469938B
CN113469938B CN202110573006.8A CN202110573006A CN113469938B CN 113469938 B CN113469938 B CN 113469938B CN 202110573006 A CN202110573006 A CN 202110573006A CN 113469938 B CN113469938 B CN 113469938B
Authority
CN
China
Prior art keywords
model
abnormal
pipe gallery
neural network
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110573006.8A
Other languages
English (en)
Other versions
CN113469938A (zh
Inventor
钱学明
王萱
王泽远
汤培勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changxing Yunshang Technology Co ltd
Original Assignee
Changxing Yunshang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changxing Yunshang Technology Co ltd filed Critical Changxing Yunshang Technology Co ltd
Priority to CN202110573006.8A priority Critical patent/CN113469938B/zh
Publication of CN113469938A publication Critical patent/CN113469938A/zh
Application granted granted Critical
Publication of CN113469938B publication Critical patent/CN113469938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入式前端处理服务器的管廊视频分析方法及系统，所述方法，包括以下步骤：将待分析的管廊视频输入检测模型中，获得异常检测结果，基于异常检测结果完成管廊视频分析；所述检测模型的获取方法包括以下步骤：获取正常及异常学习样本集；采用所述正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的深度神经网络模型；对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型，所述RKNN模型为检测模型。本发明使用嵌入式前端处理服务器可达到低功耗、低成本，能够实时对管廊异常情况进行分析，可加强地下管廊的管理效率。

Description

基于嵌入式前端处理服务器的管廊视频分析方法及系统
技术领域
本发明属于计算机数字图像处理与模式识别技术领域，特别涉及一种基于嵌入式前端处理服务器的管廊视频分析方法及系统。
背景技术
综合管廊是水电气暖信等管线统一接入到管廊内，从而有利于运营、管理、维修和查询；它的出现可以追溯到19世纪的法国，然后首先由西方发达国家借鉴法国综合管廊的经验，设计并建设出符合自己国家国情的管廊工程。我国自然也不例外，将管廊建设作为一项重点推动项目，并推出专门的《管廊法》以保障管廊建设。
在过去的一段时间里，管廊的异常分析和属性分析主要依赖的是巡检人员下管廊肉眼判断和工人检查机器人巡检的视频进行判断；其中，采用工人下管廊进行巡检的方式时，由于管廊下的环境比较危险，会对巡检人员带来危险；让巡检人员去检查巡检机器人的视频对于大型管廊存在效率问题，且人的注意力会分散，很多异常情况会检测不到，检测结果的可靠性不能得到保障。
近几年由于人工智能技术的兴起，在综合管廊的基础上开发出“智慧管廊”，其由机器自动进行巡逻维护可解放人力，具体实现手段是在管廊顶部铺设有管道，在管道内设置一个自动机器人，可以由控制室远程控制，在远程控制下沿着管道进行移动，在移动过程中用自带的摄像机将拍到的视频通过AI算法进行管廊的管道异常搭放的识别和管廊位置检测的检测，解决了之前存在的下管廊检查有危险以及效率低和可靠性较差的问题。
近几年的国产智能芯片发展也十分的迅速，如瑞芯微公司的RK3399PRO和华为的海思35系列，都开发了属于自己的神经网络推理框架，能够将原本在云端运行的AI算法转换到嵌入式设备上，嵌入式设备相对云端服务器体积和功耗都会小不少，成本也更低，对于管廊这种复杂的系统，嵌入式设备作为边缘计算设备十分合适。
综上，亟需一种新的基于嵌入式前端处理服务器的管廊视频分析方法及系统。
发明内容
本发明的目的在于提供一种基于嵌入式前端处理服务器的管廊视频分析方法及系统，以解决上述存在的一个或多个技术问题。本发明使用嵌入式前端处理服务器可达到低功耗、低成本，能够实时对管廊异常情况进行分析，可加强地下管廊的管理效率。
为达到上述目的，本发明采用以下技术方案：
本发明的一种基于嵌入式前端处理服务器的管廊视频分析方法，包括以下步骤：
将待分析的管廊视频输入检测模型中，获得异常检测结果，基于异常检测结果完成管廊视频分析；
所述检测模型运行于嵌入式前端处理服务器；
所述检测模型的获取方法包括以下步骤：
获取正常及异常学习样本集；
采用所述正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的深度神经网络模型；
对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型，所述RKNN模型为检测模型。
本发明的进一步改进在于，所述深度神经网络为基于深度可分离卷积的轻量化网络。
本发明的进一步改进在于，将待分析的管廊视频输入检测模型中，获得异常检测结果的步骤包括：
从待分析的管廊视频获取图像，对图像进行裁剪、组成batch预处理，获得处理后的待识别图像；
使用检测模型对处理后的待识别图像进行异常检测，获得编码式异常检测结果。
本发明的进一步改进在于，对图像进行裁剪、组成batch预处理的步骤包括：对图像进行切割，将切割所得图像在第一维度上进行拼接组成一个batch。
本发明的进一步改进在于，基于异常检测结果完成管廊视频分析的步骤包括：
使用预设异常阈值对编码式异常检测结果进行筛选，获得筛选后异常检测结果；
对获得的筛选后异常检测结果进行时域平滑处理，获得最终异常检测结果；
基于最终异常检测结果完成管廊视频分析。
本发明的进一步改进在于，所述使用预设异常阈值对编码式异常检测结果进行筛选，获得筛选后异常检测结果的步骤包括：
采用预设异常阈值筛选，将筛选结果进行softmax归一化处理，对异常置信度大于预设异常阈值的进行显示。
本发明的进一步改进在于，所述对获得的筛选后异常检测结果进行时域平滑处理，获得最终异常检测结果的步骤具体包括：
在第一帧检测出正常或异常结果时，计数器开始计数，并保存每个结果而不输出；
后续帧检测到相应类别结果时，对应计数器累加；
出现与之前不同检测结果的帧时，计数器分析；所述计数器分析包括：当计数大于预设置信度阈值时，调小异常显示阈值；小于预设置信度阈值时，调大异常显示阈值。
本发明的进一步改进在于，所述对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型的步骤具体包括：
利用netadapt方法进行剪枝搜索；
搜索结束后重新finetune 5个epoch，确定模型参数，获得训练好的模型；
将训练好的模型转换为ONNX格式，并将模型参数进行量化为int8类型，获得量化后的模型；
将量化后的模型通过RKNNtoolkit转化为RKNN格式。
本发明的进一步改进在于，所述利用netadapt方法进行剪枝搜索的步骤具体包括：
设定优化目标T，搜索次数N；
假设深度神经网络共有L层，从第一层到第L层依次计算每一层减少多少通道可以达到优化目标，获得计算结果；
选择所述计算结果中准确率最高的结果作为下一次搜索的初始化模型，重复以上过程N次，完成搜索。
本发明的一种基于嵌入式前端处理服务器的管廊视频分析系统，包括：
视频分析模块，用于将待分析的管廊视频输入检测模型中，获得异常检测结果，基于异常检测结果完成管廊视频分析；
其中，所述检测模型运行于嵌入式前端处理服务器；
其中，所述检测模型的获取方法包括以下步骤：
获取正常及异常学习样本集；
采用所述正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的深度神经网络模型；
对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型，所述RKNN模型为检测模型。
与现有技术相比，本发明具有以下有益效果：
本发明中，将人工智能技术与嵌入式平台结合，提出了一套可以在嵌入式前端处理服务器上运行的管廊视频智能分析方法，用来代替传统人工巡检方法，实现增效提速。本发明中，训练好的模型部署于嵌入式设备，采用训练好的模型对新获取、待识别的图像进行异常情况检测。本发明使用嵌入式设备达到低功耗，低成本，实时的对城市中的管廊异常情况进行分析，加强了城市地下管廊的管理效率；为了适应嵌入式前端处理服务器本发明方法的具体改进步骤包括：对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，压缩了模型的参数,有益于加快模型在嵌入式设备上的速度；使用RKNN自带的量化方法，将参数由float32转换成了int8，减小了计算量。
本发明中，结合异常检测结果和数字图像处理技术消除弱光源干扰，最后通过连续帧检测结果进行时域分析，达到实时精确的识别效果
本发明的管廊视频智能分析方法，通过巡逻机器人在线采集各种类型正常以及异常视频，将视频处理成图片，组成管廊异常图像学习样本集；基于样本训练学习生成深度学习网络分类器；对模型进行优化并将模型部署于嵌入式设备。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于嵌入式前端处理服务器的管廊视频分析方法的流程示意图；
图2是本发明实施例中，摄像头或者视频中提取的异常分类的训练样本示意图；
图3是本发明实施例中，管廊图像取景方式示意图；
图4是本发明实施例中，异常检测结果示意图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
本发明实施例的一种基于嵌入式前端处理服务器的管廊视频分析方法，包括以下步骤：
将待分析的管廊视频输入检测模型中，获得异常检测结果；基于异常检测结果完成管廊视频分析；
其中，所述检测模型运行于嵌入式前端处理服务器；
其中，所述检测模型的获取方法包括以下步骤：
从原始管廊监控视频抽帧再进行人工标注得到正常及异常学习样本集；
使用得到的正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的网络模型；其中，可选的本发明实施例的方法采用的深度神经网络为基于深度可分离卷积的轻量化网络；
对训练好的网络模型利用NetAdapt方法(参考Yang T J,Howard A,Chen B,etal.NetAdapt:Platform-Aware Neural Network Adaptation for MobileApplications.2018)进行剪枝搜索，搜索结束后将模型转换为开放神经网络交换ONNX(Open Neural Network Exchange)格式再进行量化，得到RKNN(一种嵌入式上的推理框架)模型，所述RKNN模型为检测模型。
本发明实施例公开了一种基于嵌入式前端处理的管廊视频智能分析方法，包括：获取管廊正常以及异常学习样本集；深度神经网络分类器训练；将模型转换成嵌入式设备上方便推理的模型形式，保证能够实时的处理图片；采用训练后的深度神经网络分类器对新获取，待识别的图像进行智能分析；进行数据增强处理，消除样本类别间频数不均干扰；进行时间连续性分析，消除摄像头抖动影响。本发明能有效对管廊视频进行识别分析，可快速地进行异常预警，提高管廊日常运营维护管理的效率。
本发明实施例中，将待分析的管廊视频输入检测模型中，获得异常检测结果的步骤包括：
直接从摄像头或者从本地硬盘上的视频文件获取图像，并对图像进行裁剪，组成batch等预处理操作，使用检测模型对处理后的待识别图像进行异常检测，获得编码式的异常检测结果。
本发明实施例中，基于异常检测结果完成管廊视频分析的步骤包括：
使用预设异常阈值对编码式的异常检测结果进行筛选，消除模糊样本干扰，获得筛选后的异常检测结果；对获得的筛选后的异常检测结果进行时域平滑处理，减小摄像头抖动干扰，获得最终的异常检测结果；基于最终的异常检测结果完成管廊视频分析。
假设异常检测最终输出的结果为一个5维矩阵。该矩阵从左到右的元素表示的是输入图像在batch中的位置，左部管廊正常的概率，左部管廊异常的概率，右部管廊正常的概率，右部管廊异常的概率。本发明通过softmax对检测结果进行归一化处理，softmax的操作过程为：
其中，V表示输出矩阵，Vi表示V中的第i个元素。
具体地，本发明实施例中，采用深度神经网络分类器对新获取的待识别的图像进行异常检测，包括：对视野内管廊图像进行切割，分别代表管廊左右的情况；将所得图像在第一维度上进行拼接组成一个batch并输入网络进行前向推理；采用阈值筛选，将检测结果进行归一化处理，对异常置信度大于异常阈值的进行显示。
本发明实施例中，采用时域因素进行限制，减少摄像头抖动影响，步骤包括：
在第一帧检测出正常或异常结果时，计数器开始计数，并保存每个结果而不输出；
后续帧检测到相应类别结果时，对应计数器累加；
出现与之前不同检测结果的帧时，计数器分析，当计数大于置信度阈值时，调小异常显示阈值；小于置信度阈值时，调大异常显示阈值。
本发明实施例中，所述从原始管廊监控视频抽帧再进行人工标注得到正常及异常学习样本集的具体步骤包括：获取管廊正常及异常图像学习样本集为深度神经网络学习样本集，包括正样本和负样本；正样本包含待检测的管廊异常目标，负样本为管廊正常图像。
本发明实施例中，使用得到的正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的网络模型的步骤具体包括：采用深度神经网络作为基础网络，可选网络为MobileNet，VGGNet等。对样本过采样并增加仿射变换平衡样本类别间频数，训练中进行随机平移与旋转变换，模拟摄像头抖动情况，增加网络泛化性能。
本发明实施例中，对训练好的网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型，包括：
4.1)利用netadapt方法进行剪枝搜索，减少模型计算量。
4.2)搜索结束后重新finetune 5个epoch，得到最终模型参数。
4.3)对训练好的模型转换为ONNX格式，并将模型参数进行量化为int8类型。
4.4)将量化后的模型通过RKNNtoolkit转化为RKNN格式，以便在嵌入式前端运行。
其中，netadapt搜索步骤为：
1)设定优化目标T，搜索次数N，则每一次的优化目标为T/N.
2)假设网络共有L层，则从第一层到第L层依次计算每一层减少多少通道可以达到优化目标。
3)选择步骤2中准确率最高的结果作为下一次搜索的初始化模型，重复以上过程N次。
4)搜索结束后finetune 5个epoch得到最终模型结果。
本发明实施例公开了一种基于嵌入式前端处理的管廊视频智能分析方法，通过巡逻机器人在线采集各种类型正常以及异常视频，将视频处理成图片，组成管廊异常图像学习样本集；基于样本训练学习生成深度学习网络分类器；之后我们对模型进行优化并将模型部署于嵌入式设备。采用训练好的模型对新获取、待识别的图像进行异常情况检测；结合异常检测结果和数字图像处理技术消除弱光源干扰，最后通过连续帧检测结果进行时域分析，达到实时精确的识别效果。本发明使用嵌入式设备达到低功耗，低成本，实时的对城市中的管廊异常情况进行分析，加强了城市地下管廊的管理效率。
如图1所示，本发明实施例的一种基于嵌入式前端处理的管廊视频智能分析方法，包括如下步骤：
步骤1，获取管廊正常及异常学习样本集：
本发明实例以管廊正负样本集为深度神经网络学习样本集，用于训练深度神经网络分类器。具体通过安装于管廊顶部跑道上的巡逻机器人采集若干管廊实地视频，形成管廊正常及异常学习样本集。其中，深度神经网络学习样本集包括正样本和负样本，正样本数据量为11486，负样本为31955，图2是部分深度神经网络学习样本集。正样本中必须包含待检测的管廊异常目标，负样本中包含各种正常类型。其中，图2是本发明实施例中，摄像头或者视频中提取的异常分类的训练样本示意图；第一列代表的是管道乱搭的图片，第二列代表的是管道支架脱落的图片，第三列和第四列代表的是管廊正常的图片。
步骤2：深度神经网络分类器训练；
本发明实例通过深度神经网络学习样本集，通过不断减少真实标签与预测标签之间的误差使网络的预测结果与真实结果相近，采用深度学习算法训练一个深度神经网络分类器，步骤包括：对数据集进行仿射变换，将所有样本过采样至7000张，解决类别间频次失衡问题；用深度神经网络进行训练10个epoch，生成深度神经网络分类器，在10个epoch中挑选一个性能最好的模型保存下来。
步骤3：将网络模型转换到嵌入式设备上；
本发明实例通过RKNN工具提供的量化工具对训练好的模型转换成RK3399PRO上推理框架的模型，步骤包括：
3.1)利用netadapt方法进行剪枝搜索，减少模型计算量。
3.2)对训练好的模型转换为ONNX格式，并将模型参数进行量化为int8类型。
3.3)将量化后的模型通过RKNNtoolkit转化为RKNN格式，以便在嵌入式前端运行。
其中netadapt搜索步骤为：
1)设定优化目标T，搜索次数N，则每一次的优化目标为T/N。
2)假设网络共有L层，则从第一层到第L层依次计算每一层减少多少通道可以达到优化目标。
3)选择准确率最高的结果作为下一次搜索的初始化模型，重复以上过程N次。
4)搜索结束后finetune 5个epoch得到最终模型结果。
步骤4：采用训练好的深度神经网络分类器对新获取的待识别的图像进行异常情况分析；
本发明实例采用多尺度分析机制对管廊正常与异常情况进行分析，步骤是：
1)对视野内管廊图像进行切割，如图3所示，分别代表管廊左右的情况；每个框都可以由两个点的坐标唯一确定：左上角和右下角。以图像左上角为原点，以水平方向为x轴，以垂直方向为y轴建立坐标系，则四个框的位置可以表示为：
左边矩形框:(80，150)，(680,1070)，右边矩阵框:(1100,150),(1800,950)；
2)对两个区域分别进行分析，得出该区域是否异常的结果。
步骤5：采用阈值筛选，对检测结果进行softmax归一化处理，对异常置信度大于异常阈值的帧进行显示。
步骤6：采用时域因素进行限制，减少摄像头抖动影响，步骤包括：
1)在第一帧检测出正常或异常结果时，计数器开始计数，并保存每个结果而不输出；
2)后续帧检测到相应类别结果时，对应计数器累加；
3)出现与之前不同检测结果的帧时，计数器分析，当计数大于置信度阈值时，调小异常显示阈值；小于置信度阈值时，调大异常显示阈值。
步骤7：将检测的结果展示在屏幕上；如图4所示，当左右区域判断出异常之后，将对应的区域用红框标注出来，代表当前帧该区域出现了异常；图4是异常检测结果图，左侧的异常是管廊支架的异常，右侧的异常时管道乱搭的异常。
本发明实施例的实验结果表明，通过本本发明技术方案，可以对复杂背景下，随机出现的管廊异常情况作出精确的分析，达到大于30帧每秒的检测速度，大于90％的准确率(正确分类数量/总的图像数量)。相比现有方法，本发明无需云端服务器的控制，对于复杂的城市管廊系统可以非常方便的部署。具体地，本发明无需一般的服务器部署深度学习模型，只需要深度学习模型转换到嵌入式设备即可。一般一台配备GPU的服务器价格经常到了上万元，而一个嵌入式的设备仅需要几千元。大大节省了成本，对于复杂的城市管廊更加现实。另外嵌入式设备相对于服务器来说，体积更小，功耗也更小，更加方便如管廊机器人这样的设备进行部署。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种基于嵌入式前端处理服务器的管廊视频分析方法，其特征在于，包括以下步骤：
将待分析的管廊视频输入检测模型中，获得异常检测结果，基于异常检测结果完成管廊视频分析；其中，所述检测模型运行于嵌入式前端处理服务器；
所述检测模型的获取方法包括以下步骤：
获取正常及异常学习样本集；
采用所述正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的深度神经网络模型；
对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化得到RKNN模型，将所述RKNN模型作为检测模型；
其中，所述深度神经网络为基于深度可分离卷积的轻量化网络；
所述对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型的步骤具体包括：
利用netadapt方法进行剪枝搜索；
搜索结束后重新finetune 5个epoch，确定模型参数，获得训练好的模型；
将训练好的模型转换为ONNX格式，并将模型参数进行量化为int8类型，获得量化后的模型；
将量化后的模型通过RKNNtoolkit转化为RKNN格式；
所述利用netadapt方法进行剪枝搜索的步骤具体包括：
设定优化目标T，搜索次数N；
假设深度神经网络共有L层，从第一层到第L层依次计算每一层减少多少通道可以达到优化目标，获得计算结果；
选择所述计算结果中准确率最高的结果作为下一次搜索的初始化模型，重复以上过程N次，完成搜索。
2.根据权利要求1所述的管廊视频分析方法，其特征在于，将待分析的管廊视频输入检测模型中，获得异常检测结果的步骤包括：
从待分析的管廊视频获取图像，对图像进行裁剪、组成batch预处理，获得处理后的待识别图像；
使用检测模型对处理后的待识别图像进行异常检测，获得编码式异常检测结果。
3.根据权利要求2所述的管廊视频分析方法，其特征在于，对图像进行裁剪、组成batch预处理的步骤包括：
对图像进行切割，将切割所得图像在第一维度上进行拼接组成一个batch。
4.根据权利要求2所述的管廊视频分析方法，其特征在于，基于异常检测结果完成管廊视频分析的步骤包括：
使用预设异常阈值对编码式异常检测结果进行筛选，获得筛选后异常检测结果；
对获得的筛选后异常检测结果进行时域平滑处理，获得最终异常检测结果；
基于最终异常检测结果完成管廊视频分析。
5.根据权利要求4所述的管廊视频分析方法，其特征在于，所述使用预设异常阈值对编码式异常检测结果进行筛选，获得筛选后异常检测结果的步骤包括：
采用预设异常阈值筛选，将筛选结果进行softmax归一化处理，对异常置信度大于预设异常阈值的进行显示。
6.根据权利要求4所述的管廊视频分析方法，其特征在于，所述对获得的筛选后异常检测结果进行时域平滑处理，获得最终异常检测结果的步骤具体包括：
在第一帧检测出正常或异常结果时，计数器开始计数，并保存每个结果而不输出；
后续帧检测到相应类别结果时，对应计数器累加；
出现与之前不同检测结果的帧时，计数器分析；所述计数器分析包括：当计数大于预设置信度阈值时，调小异常显示阈值；小于预设置信度阈值时，调大异常显示阈值。
7.一种基于嵌入式前端处理服务器的管廊视频分析系统，其特征在于，包括：
视频分析模块，用于将待分析的管廊视频输入检测模型中，获得异常检测结果，基于异常检测结果完成管廊视频分析；
其中，所述检测模型运行于嵌入式前端处理服务器；
其中，所述检测模型的获取方法包括以下步骤：
获取正常及异常学习样本集；
采用所述正常及异常学习样本集对预定义的深度神经网络进行训练，获得训练好的深度神经网络模型；
对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型，所述RKNN模型为检测模型；
其中，所述深度神经网络为基于深度可分离卷积的轻量化网络；
所述对训练好的深度神经网络模型利用netadapt方法进行剪枝搜索，搜索结束后将模型转换为ONNX格式再进行量化，得到RKNN模型的步骤具体包括：
利用netadapt方法进行剪枝搜索；
搜索结束后重新finetune 5个epoch，确定模型参数，获得训练好的模型；
将训练好的模型转换为ONNX格式，并将模型参数进行量化为int8类型，获得量化后的模型；
将量化后的模型通过RKNNtoolkit转化为RKNN格式；
所述利用netadapt方法进行剪枝搜索的步骤具体包括：
设定优化目标T，搜索次数N；
假设深度神经网络共有L层，从第一层到第L层依次计算每一层减少多少通道可以达到优化目标，获得计算结果；
选择所述计算结果中准确率最高的结果作为下一次搜索的初始化模型，重复以上过程N次，完成搜索。
CN202110573006.8A 2021-05-25 2021-05-25 基于嵌入式前端处理服务器的管廊视频分析方法及系统 Active CN113469938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110573006.8A CN113469938B (zh) 2021-05-25 2021-05-25 基于嵌入式前端处理服务器的管廊视频分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573006.8A CN113469938B (zh) 2021-05-25 2021-05-25 基于嵌入式前端处理服务器的管廊视频分析方法及系统

Publications (2)

Publication Number Publication Date
CN113469938A CN113469938A (zh) 2021-10-01
CN113469938B true CN113469938B (zh) 2024-02-02

Family

ID=77871541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573006.8A Active CN113469938B (zh) 2021-05-25 2021-05-25 基于嵌入式前端处理服务器的管廊视频分析方法及系统

Country Status (1)

Country Link
CN (1) CN113469938B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821346B (zh) * 2022-06-28 2022-09-02 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN116226778B (zh) * 2023-05-09 2023-07-07 水利部珠江水利委员会珠江水利综合技术中心 基于三维分析平台的挡土墙结构异常分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967594A (zh) * 2020-08-06 2020-11-20 苏州浪潮智能科技有限公司 一种神经网络压缩方法、装置、设备及存储介质
CN112165600A (zh) * 2020-08-26 2021-01-01 苏宁云计算有限公司 一种溺水的识别方法、装置、摄像头及计算机系统
CN112686282A (zh) * 2020-12-11 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于自学习数据的目标检测方法
CN112766795A (zh) * 2021-01-29 2021-05-07 长兴云尚科技有限公司 一种基于云端处理的管廊智能信息管理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967594A (zh) * 2020-08-06 2020-11-20 苏州浪潮智能科技有限公司 一种神经网络压缩方法、装置、设备及存储介质
CN112165600A (zh) * 2020-08-26 2021-01-01 苏宁云计算有限公司 一种溺水的识别方法、装置、摄像头及计算机系统
CN112686282A (zh) * 2020-12-11 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于自学习数据的目标检测方法
CN112766795A (zh) * 2021-01-29 2021-05-07 长兴云尚科技有限公司 一种基于云端处理的管廊智能信息管理方法及系统

Also Published As

Publication number Publication date
CN113469938A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113469938B (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN112380982A (zh) 一种电力行业基建项目进度与质量的一体化监测方法
CN107782733A (zh) 金属表面缺陷的图像识别无损检测装置及方法
CN112183313A (zh) 一种基于SlowFast的电力作业现场动作识别方法
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN102915432A (zh) 一种车载微机图像视频数据提取方法及装置
CN112669269A (zh) 一种基于图像识别的管道缺陷分类分级方法及系统
CN111754737A (zh) 一种计量装置安装验收在线识别评价装置及评价方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
CN117523177A (zh) 一种基于人工智能混合大模型的燃气管道监测系统和方法
CN111767826A (zh) 一种定时定点场景异常检测方法
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN112766795B (zh) 一种基于云端处理的管廊智能信息管理方法及系统
CN110738272A (zh) 一种输电线路通道可视化机械类连续告警样本的标注方法
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN115862021B (zh) 基于yolo的水电站闸门自动识别方法
CN112861681B (zh) 一种基于云端处理的管廊视频智能分析方法及系统
CN116862867A (zh) 基于改进AnoGAN的小样本变电站设备视觉缺陷检测方法及系统
CN116432078A (zh) 建筑楼宇机电设备监测系统
CN112784914B (zh) 一种基于云端处理的管廊视频智能属性检测方法及系统
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统
CN111930982A (zh) 一种电网图像智能标签方法
CN1419361A (zh) 网上图像智能安全监管方法
Tan et al. Pepper Target Recognition and Detection Based on Improved YOLO v4

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant