CN113239728A - 一种用于互联网视频识别算法加速的方法 - Google Patents

一种用于互联网视频识别算法加速的方法 Download PDF

Info

Publication number
CN113239728A
CN113239728A CN202110375568.1A CN202110375568A CN113239728A CN 113239728 A CN113239728 A CN 113239728A CN 202110375568 A CN202110375568 A CN 202110375568A CN 113239728 A CN113239728 A CN 113239728A
Authority
CN
China
Prior art keywords
network
convolution
network structure
optimization process
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110375568.1A
Other languages
English (en)
Inventor
缪亚男
李扬曦
王佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN202110375568.1A priority Critical patent/CN113239728A/zh
Publication of CN113239728A publication Critical patent/CN113239728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种用于互联网视频识别算法加速的方法，适用于视频识别技术领域，具体包括获取视频数据；对所述视频数据进行预处理；将预处理后的视频数据输入优化后的网络模型中；所述优化后的网络模型输出视频分类结果；所述网络模型的优化过程包括残差网络ResNet50模型优化过程和/或TensorRT模型优化过程，残差网络ResNet50模型优化过程包括改变下采样位置、卷积替换、卷积步长替换；TensorRT模型优化过程包括对网络结构进行垂直整合；对网络结构进行水平整合；减少网络结构中的concat层；解析网络结构，将网络结构中无用的输出层消除。本发明对视频具有较高的识别准确度，并且识别的速度更快。

Description

一种用于互联网视频识别算法加速的方法
技术领域
本发明涉及视频识别技术领域，更具体的说是涉及一种用于互联网视频识别算法加速的方法。
背景技术
随着互联网的发展，互联网上的视频也日益增多，但是同样也会带来一些安全问题，对社会稳定造成较大的隐患，因此很有必要对互联网上的视频进行审核。
已有的方法是通过人工审核来识别视频，不仅效率低，而且需要较大的人力成本。现有技术中的识别模型一般用CNN模型，比如ResNet，作为一个图像分类器，对输入的视频进行抽帧，下采样，经过一系列预处理后输入到ResNet中，得出视频和正常视频的分类结果，一般为了提高准确率，模型都比较复杂，但同时也会使得推理较慢、模型较大。模型占用显存较大，不利于部署，消耗太多机器资源，很难大规模进行部署应用。
因此提供一种视频识别速度快、精确度高的视频识别算法加速方法，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种用于互联网视频识别算法加速的方法，通过网络结构优化和TensorRT加速优化对网络模型进行加速。
为了实现上述目的，本发明提供如下技术方案：
一种用于互联网视频识别算法加速的方法，包括：
获取视频数据；
对所述视频数据进行预处理，具体包括抽帧和下采样；
将预处理后的视频数据输入优化后的网络模型中；
所述优化后的网络模型输出视频分类结果，所述视频分类结果包括和正常；
所述网络模型的优化过程包括残差网络ResNet50模型优化过程和/或TensorRT模型优化过程。
所述残差网络ResNet50模型优化过程包括改变下采样位置、卷积替换、卷积步长替换，
残差网络ResNet50中的skip-connection结构分为Path A路径和 Path B路径，所述改变下采样位置，具体为，改变所述skip-connection 结构的Path A路径中下采样的位置，将下采样的位置由第一个1x1 卷积改动到第二个3x3卷积，避免在第一个卷积丢失比较多的信息；
所述卷积替换，具体为，将输入图像后的7x7卷积改成3个3x3 的卷积，在不改变初始感受野的情况下有更好的性能；
所述卷积步长替换，具体为，在所述skip-connection结构的Path B路径中每个残差模块的1x1卷积前做一个2x2的Avg-Pool，替换所述1x1卷积的s＝2，在不增加计算量的同时可以避免有效信息丢失。
所述TensorRT模型优化过程具体步骤为：
对网络模型的网络结构进行垂直整合，具体为，将conv层、BN 层、Relu层共三个层融合为一个CBR层
对网络结构进行水平整合，具体为，将输入为相同张量和执行相同操作的模块进行融合；
减少网络结构中的concat层，具体为，将concat层的输入直接送到所述concat层的下一层操作中；
解析网络结构，将网络结构中无用的输出层消除。
本发明的有益效果为：
1.本发明能够快速有效地对图像分类网络进行加速。
2.本发明具有较高的识别精确度。
经由上述的技术方案可知，与现有技术相比，本发明针对已有的识别模型比较慢、模型大的问题进行优化，提供了一种用于互联网视频识别算法加速的方法，通过残差网络ResNet50模型优化和 TensorRT模型优化等方法，在确保识别准确率的前提下，使得模型识别的速度更快，在实际部署应用中有着重大的意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明整体流程图；
图2为本发明残差网络ResNet50模型优化过程流程图；
图3为本发明TensorRT模型优化过程流程图；
图4为传统残差网络ResNet50模型结构示意图；
图5(a)为本发明改变Path A路径下采样位置后的skip-connection 结构示意图；
图5(b)为本发明改变7x7卷积后的对应结构示意图；
图5(c)为本发明对Path B路径进行下采样替换后的 skip-connection结构示意图；
图6为传统网络结构示意图；
图7为本发明conv、BN、Relu三层融合后的TensorRT模型结构示意图；
图8为本发明TensorRT模型优化后的网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种用于互联网视频识别算法加速的方法，图1为整体流程图，具体包括：
获取视频数据；
对所述视频数据进行预处理；
将预处理后的视频数据输入优化后的网络模型中；
所述优化后的网络模型输出视频分类结果；
所述网络模型的优化过程包括残差网络ResNet50模型优化过程和/或TensorRT模型优化过程。
具体的，残差网络ResNet50是一种经典的图像分类网络，能够加速收敛，训练深层网络，防止网络退化现象，其结构如图4所示，由多个Block结构组成，其中右侧部分为skip-connection结构，分为 Path A路径和Path B路径。
图2为本发明残差网络ResNet50模型优化过程流程图，具体优化过程包括：
步骤101、改变skip-connection结构中下采样的位置，具体的，将Path A路径中下采样的位置由第一个1x1卷积改动到第二个3x3 卷积，避免在第一个卷积丢失比较多的信息，如图5(a)所示的为改变Path A路径下采样位置后的skip-connection结构示意图；
步骤102、将输入图像后的7x7卷积改成3个3x3的卷积，在不改变初始感受野的情况下有更好的性能，图5(b)所示的为改变7x7 卷积后的对应结构示意图；
步骤103、对skip-connection结构进行下采样替换，具体的，在 skip-connection结构的Path B路径中每个残差模块的1x1卷积前做一个2x2的Avg-Pool来替换所述1x1卷积的s＝2，所述s＝2即为strid＝2，为卷积的步长，s＝2时会对图像进行下采样。采取这种方案，在不增加计算量的同时可以避免有效信息丢失，图5(c)为在步骤101基础上，对Path B路径进行下采样替换后的skip-connection结构示意图。
通常的网络模型训练完直接用于推理，在推理速度上会有一定的影响，所以再通过TensorRT优化技术进行优化，传统网络结构示意图如图6所示，图3为本发明TensorRT模型优化过程流程图，具体的优化过程包括：
步骤201、对网络结构进行垂直整合，将图6中的conv层、BN 层、Relu层共三个层融合为一个CBR层，融合结果如图7所示，其中BN为Batch-Normalization批标准化，一般用在卷积后，bias是BN 的主要参数，Relu是激活函数；
步骤202、对网络结构进行水平整合，将输入为相同张量和执行相同操作的模块进行融合；
步骤203、减少网络结构中的concat层，将concat层的输入直接送到concat层的下一层操作中，减少传输吞吐，在一种实施例中，将图7中3个1x1 CBR张量大小相同，进行合并，并减少concat层，结果如图8所示。
步骤204、解析网络结构，将网络结构中无用的输出层消除，减少计算量。
本发明在经过网络结构优化和TensorRT加速后，能够将网络的单张推理速度在p40达到20ms以内，满足实时性的需求。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种用于互联网视频识别算法加速的方法，其特征在于，包括：
获取视频数据；
对所述视频数据进行预处理；
将预处理后的视频数据输入优化后的网络模型中；
所述优化后的网络模型输出视频分类结果；
所述网络模型的优化过程包括残差网络ResNet50模型优化过程和/或TensorRT模型优化过程；
所述残差网络ResNet50模型优化过程包括改变下采样位置、卷积替换、卷积步长替换；
所述TensorRT模型优化过程包括对网络结构进行垂直整合；对网络结构进行水平整合；减少网络结构中的concat层；解析网络结构，将网络结构中无用的输出层消除。
2.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，残差网络ResNet50中的skip-connection结构分为Path A路径和Path B路径，所述改变下采样位置，具体为，改变所述skip-connection结构的Path A路径中下采样的位置，将下采样的位置由第一个1x1卷积改动到第二个3x3卷积；
所述卷积替换，具体为，将输入图像后的7x7卷积改成3个3x3的卷积；
所述卷积步长替换，具体为，在所述skip-connection结构的Path B路径中每个残差模块的1x1卷积前做一个2x2的Avg-Pool，替换所述1x1卷积的s＝2。
3.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，所述对网络结构进行垂直整合，具体为，将conv层、BN层、Relu层共三个层融合为一个CBR层。
4.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，所述对网络结构进行水平整合，具体为，将输入为相同张量和执行相同操作的模块进行融合。
5.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，所述减少网络结构中的concat层，具体为，将所述concat层的输入直接送到所述concat层的下一层操作中。
6.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，对所述视频数据进行预处理，具体包括抽帧和下采样。
7.根据权利要求1所述的一种用于互联网视频识别算法加速的方法，其特征在于，所述视频分类结果包括和正常。
CN202110375568.1A 2021-04-03 2021-04-03 一种用于互联网视频识别算法加速的方法 Pending CN113239728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110375568.1A CN113239728A (zh) 2021-04-03 2021-04-03 一种用于互联网视频识别算法加速的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110375568.1A CN113239728A (zh) 2021-04-03 2021-04-03 一种用于互联网视频识别算法加速的方法

Publications (1)

Publication Number Publication Date
CN113239728A true CN113239728A (zh) 2021-08-10

Family

ID=77131119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110375568.1A Pending CN113239728A (zh) 2021-04-03 2021-04-03 一种用于互联网视频识别算法加速的方法

Country Status (1)

Country Link
CN (1) CN113239728A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质
CN110956104A (zh) * 2019-11-20 2020-04-03 河南华衍智能科技有限公司 一种检测垃圾桶溢出的方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FBI-PC: "TensorRT的优化原理", 《CSDN》 *
TONG HE等: "Bag of Tricks for Image Classification with Convolutional Neural Networks", 《ARXIV》 *

Similar Documents

Publication Publication Date Title
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN110084274B (zh) 实时图像语义分割方法及系统、可读存储介质和终端
US11630990B2 (en) Systems and methods for auto machine learning and neural architecture search
CN111160350A (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN115761645A (zh) 一种基于YOLOv5的轻量化安全帽佩戴检测方法
CN112084911A (zh) 一种基于全局注意力的人脸特征点定位方法及系统
Matsubara et al. Split computing for complex object detectors: Challenges and preliminary results
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN110634127A (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
WO2020207393A1 (zh) 算子运算调度方法和装置
CN111160387B (zh) 一种基于多视角字典学习的图模型
CN113239728A (zh) 一种用于互联网视频识别算法加速的方法
CN116721078A (zh) 一种基于深度学习的带钢表面缺陷检测方法及装置
CN112541469B (zh) 基于自适应分类的人群计数方法及系统
CN114821224A (zh) 铁路图像风格转换数据扩增方法及系统
CN114494236A (zh) 基于过完备卷积神经网络的织物缺陷检测方法及系统
CN111767919B (zh) 一种多层双向特征提取与融合的目标检测方法
CN114298909A (zh) 一种超分辨网络模型及其应用
CN112861697A (zh) 基于图片自对称性人群计数网络的人群计数方法及装置
Runhu et al. Semantic segmentation using DeepLabv3+ model for fabric defect detection
CN110134775A (zh) 问答数据生成方法及装置、存储介质
CN114882449B (zh) 一种基于Car-Det网络模型的车辆检测方法及装置
CN111914085B (zh) 文本细粒度情感分类方法、系统、装置及存储介质
CN110046650B (zh) 一种快递包裹条形码快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Miao Yanan

Inventor after: Li Yangxi

Inventor after: Wang Pei

Inventor after: Liu Kedong

Inventor after: Peng Chengwei

Inventor before: Miao Yanan

Inventor before: Li Yangxi

Inventor before: Wang Pei