CN108012156A - 一种视频处理方法及控制平台 - Google Patents

一种视频处理方法及控制平台 Download PDF

Info

Publication number
CN108012156A
CN108012156A CN201711147343.0A CN201711147343A CN108012156A CN 108012156 A CN108012156 A CN 108012156A CN 201711147343 A CN201711147343 A CN 201711147343A CN 108012156 A CN108012156 A CN 108012156A
Authority
CN
China
Prior art keywords
image data
pending image
network model
neural network
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711147343.0A
Other languages
English (en)
Other versions
CN108012156B (zh
Inventor
吴伟华
贺武
李殿平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY Co Ltd filed Critical SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority to CN201711147343.0A priority Critical patent/CN108012156B/zh
Publication of CN108012156A publication Critical patent/CN108012156A/zh
Application granted granted Critical
Publication of CN108012156B publication Critical patent/CN108012156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

本发明实施例提供了一种视频处理方法及控制平台，所述方法包括：接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，获得加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端。采用本发明实施例可以提升了视频结构化分析效率。

Description

一种视频处理方法及控制平台
技术领域
本发明涉及视频处理技术领域，具体涉及一种视频处理方法及控制平台。
背景技术
目前，传统视频监控录像，一般是基于CPU服务器或者CPU和GPU异构服务器进行本地处理，不能实现云端化，受到时空限制，极为不便，而且视频解码通常放在CPU上进行，导致CPU内存和GPU显存存在大量数据交互，造成瓶颈，影响视频结构化分析性能，处理时间过长，常常用户无法忍受。因此，如何提升视频结构化分析效率的问题亟待解决。
发明内容
本发明实施例提供了一种视频处理方法及控制平台，可以提升视频结构化分析效率。
本发明实施例第一方面提供了一种视频处理方法，包括：
接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
根据所述属性信息为所述待处理影像数据配置GPU资源；
通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
通过多级压缩优化方法对深度神经网络模型进行加速操作；
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
将所述特征集发送给所述客户端。
本发明实施例第二方面提供了一种控制平台，所述控制平台包括高吞吐量分布式发布订阅消息装置，其用于与服务器集群之间进行通信，所述高吞吐量分布式发布订阅消息装置包括接收单元、配置单元、加速单元、分析单元和发送单元，其中，
所述接收单元，用于接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
所述配置单元，用于根据所述属性信息为所述待处理影像数据配置GPU资源；
所述接收单元，还用于通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
所述加速单元，用于通过多级压缩优化方法对深度神经网络模型进行加速操作；
所述分析单元，用于通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
所述发送单元，用于将所述特征集发送给所述客户端。
第三方面，本发明实施例提供了一种控制平台，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本发明实施例第一方面中所描述的部分或全部步骤的指令。
第五方面，本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例，具有如下有益效果：
可以看出，通过本发明实施例，接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，通过加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端，如此，可以对待处理影像数据分配GPU资源，并通过其进行解码，在此基础上，通过多级压缩优化方法对深度神经网络模型进行加速操作，来对解码操作后的待处理影像数据进行视频结构化分析，得到分析结果，从而，提升了视频结构化分析效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种视频处理系统的网络架构图；
图1b是本发明实施例提供的一种视频处理方法的第一实施例流程示意图；
图2是本发明实施例提供的一种视频处理方法的第二实施例流程示意图；
图3a是本发明实施例提供的一种控制平台的实施例结构示意图；
图3b是本发明实施例提供的图3a所描述的控制平台的配置单元的结构示意图；
图3c是本发明实施例提供的图3a所描述的控制平台的加速单元的结构示意图；
图3d是本发明实施例提供的图3a所描述的视频处理装置的又一结构示意图；
图4是本发明实施例提供的一种控制平台的实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
需要说明的是，相关技术中的的视频结构化分析系统都是基于图形处理器GPU(Graphics Processing Unit)解码+GPU分析实现。而相关技术是CPU解码+GPU分析，通常CPU解码是利用现有解码库实现，将压缩的视频信息解码成计算机能够读懂的像素信息，储存在内存中，GPU分析是使用根据需求预训练的深度神经网络模型，实现端到端的视频结构化分析。
进一步地，CPU软解码，利用CPU计算资源进行解码，但是高清视频分辨率越来越高，网络传输视频要求压缩率很高，使得解码运算的运算量很大，极大地消耗CPU运算能力。而且解码后视频像素信息存在内存中，与GPU显存进行大量数据交换，造成带宽瓶颈，分析速度往往达不到用户的需求。
因此，深度神经网络模型对视频特征进行提取，通过特征信息实现目标检测、识别和跟踪，达到视频结构化分析的目的。但是深度神经网络模型往往参数存在大量冗余，占据大量带宽和计算资源，硬解要求高，导致系统成本上升。
基于上述原因，本发明实施例可以利用GPU实现视频硬解码和结构化分析的云系统，CPU只负责调度，对性能要求不高。解码和处理都放在GPU上好处是避免数据交换带来的性能损失，缺点是对显存和计算资源需求更多，这就是本发明实施例要解决的问题，因此，如图1a所示，提供了一种视频处理系统的网络架构，其包括客户端、控制平台以及服务器集群，该服务器集群可以包含多个服务器。本发明实施例所描述控制平台可以为视频矩阵，服务器，等等，所述控制平台包括高吞吐量分布式发布订阅消息装置，本发明实施例中的深度神经网络模型可以预先保存在控制平台或者服务器集群中。本发明实施例中的待处理影像数据可以为以下至少一种：视频数据、图像数据等等。本发明实施例中的待处理影像数据的属性信息可以包括以下至少一种：内存大小、数据类型、数据格式、数据来源等等。需要说明的是，本发明实施例中的深度神经网络模型在诸多机器视觉任务，如分类、识别、检测等，都表现出具有强大的实现能力。并且实验表明，随着网络深度和广度的增加，模型的表现能力有很大的提升。但这也随之出现计算量增大，模型参数剧增等问题。本发明实施例中的神经网络模型可以用于实现以下至少一种功能：人脸识别、车牌识别、车型识别、目标检测、目标跟踪等等。本发明实施例中的客户端可以包括智能手机(如Android手机、iOS手机、WindowsPhone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述数据处理装置还可以为服务器。
另外，本发明实施例中，高吞吐量分布式发布订阅消息装置在视频处理系统中处于核心枢纽作用，负责用户与计算集群之间任务调度、负载平衡。例如，用户上传视频的话，首先，上传到高吞吐分布式消息模块的高速队列缓冲区，高吞吐量分布式发布订阅消息装置通过负载算法确定可用计算资源，发起一个push消息，由具有pull状态的计算单元将视频拉入所在单元进行后续运算。这种消息路由的push-pull机制，避免直接向计算集群推送视频，导致数据流阻塞、性能下降。
本发明实施例提供了一种视频处理方法，该视频处理方法，由控制平台实施，具体包括如下步骤：
接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
根据所述属性信息为所述待处理影像数据配置GPU资源；
通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
通过多级压缩优化方法对深度神经网络模型进行加速操作；
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
将所述特征集发送给所述客户端。
可以看出，通过本发明实施例，接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端，如此，可以对待处理影像数据分配GPU资源，并通过其进行解码，在此基础上，通过深度神经网络模型进行加速处理，并对加速处理之后的待处理影像数据进行视频结构化分析，得到分析结果，从而，提升了视频结构化分析效率。
基于图1a所描述的网络架构，请参阅图1b，为本发明实施例提供的一种视频处理方法的第一实施例流程示意图。本实施例中所描述的视频处理方法，包括以下步骤：
101、接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息。
其中，控制平台包括高吞吐量分布式发布订阅消息装置，其用于接收客户端发送的解析请求。
102、根据所述属性信息为所述待处理影像数据配置GPU资源。
其中，不同的属性信息可以采用不同的GPU资源机制，例如，若视频的内存较小，则可以不实施本发明实施例，而是只有视频的内存较大时，才实施本发明实施例。
可选地，上述步骤102，根据所述属性信息为所述待处理影像数据配置GPU资源，可包括如下步骤：
21、获取服务器集群的资源状态信息；
22、根据所述服务器集群的资源状态信息以及所述属性信息确定所述待处理影像数据的GPU资源。
其中，服务器集群的资源状态信息包含服务器集群中每一服务器的资源状态信息，其中，资源状态信息可包括以下至少一种：GPU使用情况、GPU的接口、GPU的带宽、GPU的优先级等等。如此，可以预先设置属性信息与GPU资源之间的映射关系，进而，可以确定待处理影像数据的属性信息对应的GPU资源，根据该GPU资源以及服务器集群的资源状态信息获取相应的资源。
103、通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作。
其中，GPU在视频解码能力上具有数倍于CPU的性能，但是在GPU中进行硬解码，占用显存资源，极大限制GPU进行视频结构化分析的路数，使得不能充分发挥GPU并行计算能力，造成对GPU计算资源的浪费，增加了系统成本。
可选地，本发明实施中，在执行所述对所述待处理影像数据进行解码操作的过程中，具体执行采用GPU高速共享显存解码技术对待处理影像数据进行解码操作。单路解码占用资源包括两部分：内部硬解器context资源和视频纹理缓冲区，GPU高速共享显存解码通过共享解码过程中的context资源，实现多路视频并行解码，而不是每一路解码单独占用context资源，共享显存实现1路*(内部硬解器context资源)+n路*(视频纹理缓冲区)，context资源与视频缓冲区所占显存相近，使得显存减少了1倍，提高资源利用率。
104、通过多级压缩优化方法对深度神经网络模型进行加速操作。
其中，通过多级压缩优化方法对深度神经网络模型进行加速操作，并通过加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行结构化分析，可以提升待处理影像数据的处理效率，减低GPU资源消耗。
可选地，上述步骤104，通过多级压缩优化方法对深度神经网络模型进行加速操作，可包括如下步骤：
41、获取所述通过深度神经网络模型的精度阈值；
42、根据所述多级压缩优化方法对深度神经网络模型对解码操作后的待处理影像数据进行多级加速操作，所述多级压缩优化方法依次执行顺序为：层融合操作、通道稀疏操作、核规整化操作以及权值INT8量化，所述加速操作后的深度神经网络模型的精度高于所述精度阈值。
其中，上述精度阈值可以由多级压缩优化方法确定，当然，精度阈值也可以由用户自行设置或者系统默认。
另外，相关技术中，深度神经网络模型在视频结构化分析中具有很好的效果，但是模型存在大量冗余，占用大量存储和计算资源。因此，为了更好地实现工程化平台化，本发明实施例中，深度神经网络模型采用多级压缩优化方法进行加速操作，使得在GPU平台实现高速实时运算。首先，对结构化分析需要的检测和识别模型进行融合层、通道稀疏、核规整化及INT8量化等多级压缩优化方法，这种方法不受模型限制，均可达到对显存和计算资源的最优化使用。
融合层，可以是，conv+bn+scale三层变成只计算conv了，减少了后面两层的计算量，是将神经网络中常见的Convolution层、BatchNorm层、Scale层对这三层原始权重进行更新，融合成一个Conv+BN+Scale层，层融合后消除了BatchNorm和Scale层，减少了这两层所带来的计算量，降低了计算复杂度。
其中，C1、C2是Convolution层权重，B1、B2、B3是BatchNorm层的权重，S1、S2是Scale层权重。融合后，将上述公式第一项作为C1，后三项作为C2，更新Convolution权重，即消除BatchNorm和Scale层。
通道稀疏和核规整化INT8量化，具体地，可以通过减少Convolution层的输出通道，较少模型参数量的同时，降低计算量，减少中间结果占用的GPU显存资源，INT8量化理论可以获得4倍并行运算加速效果，即对现有的模型进行再次fine-tuning，去掉冗余的通道，使网络节点处于未激活状态，同时卷积层参数进行核规整化，寻找一个饱和阈值T，使参数值尽量向0值附近对称压缩，以便进行INT8量化，即将原始32位浮点模型(FP32)转换为8位整形模型(INT8)来压缩显存和并行化提速的方法。通过这个凸优化问题，使得INT8量化后的深度神经网络模型不至于造成精度下降。通常情况下，对c个通道的激活函数输出值进行稀疏，使得原始模型的输出激活值A与从原始c个通道稀疏裁剪成c’(0<c’<c)个通道的裁剪模型的各个激活值求代价函数最小化，另外n对应每一个激活函数输出层，求取FP32激活值统计分布Pn和核规整化激活值统计分布Qn相似度，并且对激活值规整化使得卷积核被约束到(-|T|,|T|)范围内，同时获得FP32激活值统计分布和核规整化激活值统计分布的最大相似度，如下公式：
是Frobenius范数，Wi是卷积核权重，λ最相是惩罚因子，值越大稀疏裁剪的通道越多，Pn是n个激活层的(i＝1,...,c)个FP32激活值统计分布,Qn是核规整化激活层的激活值的INT8量化统计分布，相关熵函数KL(q,p)用于FP32激活值和核规整化激活值统计分布相似性度量，以得到两者最相似分布，反推出饱和阈值T，从而可以将输入输出Feature map也量化到INT8范围。Fine-tuning是通过固定β，训练Wi，然后固定Wi训练β，得到最优解。
105、通过所述深度神经网络模型对所述加速操作后的待处理影像数据进行视频结构化分析，得到特征集。
其中，上述特征集可以为以下至少一种：关键信息(时间、地点、位置)、特征点、特征区域、目标人物及属性(例如，性别，身高，年龄，身份等等)、比对结果(例如，相似度值、匹配图像等等)。
可选地，上述步骤105，通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集，可包括如下步骤：
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行目标检测，得到目标，并对所述目标进行特征比对，以及识别，并确定所述目标的关键特征，得到所述特征集。
106、将所述特征集发送给所述客户端。
其中，可以将特征集发送给客户端，客户端可以查阅视频分析结果。
可以看出，通过本发明实施例，接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，通过加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端，如此，可以对待处理影像数据分配GPU资源，并通过其进行解码，在此基础上，通过多级压缩优化方法对深度神经网络模型进行加速操作，并对解码操作后的待处理影像数据进行视频结构化分析，得到分析结果，从而，提升了视频结构化分析效率。
与上述一致地，请参阅图2，为本发明实施例提供的一种视频处理方法的第二实施例流程示意图。本实施例中所描述的视频处理方法，包括以下步骤：
201、接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息。
202、获取当前网络速率。
其中，在当前网络速率较慢时，也无法较好实施本发明实施例，因此，本发明实施例也可以应用在网络速率较好的环境。
203、在所述当前网络速率以及所述待处理影像数据的内存大小满足预设条件时，根据所述属性信息为所述待处理影像数据配置GPU资源。
其中，上述预设条件可以由系统默认，或者，用户自行设置。上述预设条件可以为：网络速率大于第一预设阈值，待处理影像数据的内存大小大于第二预设阈值，上述第一预设阈值、第二预设阈值均可以由用户自行设置或者系统默认，或者，上述预设条件可以为：网络速率处于第一预设范围，待处理影像数据的内存大小处于第二预设范围，上述第一预设范围、第二预设范围均可以由用户自行设置或者系统默认。
204、通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作。
205、通过多级压缩优化方法对深度神经网络模型进行加速操作。
206、通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集。
207、将所述特征集发送给所述客户端。
其中，上述步骤201、203-步骤207的具体描述可参照图1b所描述的视频处理方法的对应步骤101-步骤106，在此不再赘述。
可以看出，通过本发明实施例，接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，获取当前网络速率，在当前网络速率以及待处理影像数据的内存大小满足预设条件时，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，通过所述加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端，如此，可以对待处理影像数据分配GPU资源，并通过其进行解码，在此基础上，通过多级压缩优化方法对深度神经网络模型进行加速操作，并对解码操作后的待处理影像数据进行视频结构化分析，得到分析结果，从而，提升了视频结构化分析效率。
与上述一致地，以下为实施上述视频处理方法的装置，具体如下：
请参阅图3a，为本发明实施例提供的一种控制平台的实施例结构示意图。本实施例中所描述的所述控制平台包括高吞吐量分布式发布订阅消息装置，其用于与服务器集群之间进行通信，包括：接收单元301、配置单元302、加速单元303、分析单元304和发送单元305，具体如下：
所述接收单元301，用于接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
所述配置单元302，用于根据所述属性信息为所述待处理影像数据配置GPU资源；
所述接收单元301，还用于通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
所述加速单元303，用于通过多级压缩优化方法对深度神经网络模型进行加速操作；
所述分析单元304，用于通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
所述发送单元305，用于将所述特征集发送给所述客户端。
可选地，如图3b，图3b为图3a中所描述的控制平台中的配置单元302的具体细化结构，所述配置单元302可包括：第一获取模块3021和配置模块3022，具体如下：
第一获取模块3021，用于获取服务器集群的资源状态信息；
配置模块3022，用于根据所述服务器集群的资源状态信息以及所述属性信息确定所述待处理影像数据的GPU资源。
可选地，如图3c，图3c为图3a中所描述的控制平台中的加速单元303的具体细化结构，所述加速单元303可包括：第二获取模块3031和加速模块3032，具体如下：
第二获取模块3031，用于获取所述通过深度神经网络模型的精度阈值；
加速模块3032，用于根据所述多级压缩优化方法对深度神经网络模型进行多级加速操作，所述多级压缩优化方法依次执行顺序为：层融合操作、通道稀疏操作、核规整化操作以及权值INT8量化，所述加速操作后的深度神经网络模型的精度高于所述精度阈值。
可选地，所述分析单元304具体用于：
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行目标检测，得到目标，并对所述目标进行特征比对，以及识别，并确定所述目标的关键特征，得到所述特征集。
可选地，所述属性信息包括所述待处理影像数据的内存大小，图3d为图3a中所描述的控制平台的又一变型结构，图3d与图3a相比较，其还可包括：获取单元306，具体如下：
获取单元306，用于获取当前网络速率；由所述配置单元302在所述当前网络速率以及所述待处理影像数据的内存大小满足预设条件时，执行所述根据所述属性信息为所述待处理影像数据配置GPU资源的步骤。
可以看出，通过本发明实施例所描述的控制平台，接收由客户端发送的解析请求，解析请求中携带待处理影像数据的属性信息，根据属性信息为待处理影像数据配置GPU资源，通过GPU资源接收待处理影像数据，并对待处理影像数据进行解码操作，通过多级压缩优化方法对深度神经网络模型进行加速操作，通过加速操作后的深度神经网络模型对解码操作后的待处理影像数据进行视频结构化分析，得到特征集，将特征集发送给客户端，如此，可以对待处理影像数据分配GPU资源，并通过其进行解码，在此基础上，通过深度神经网络模型进行加速处理，并对加速处理之后的待处理影像数据进行视频结构化分析，得到分析结果，从而，提升了视频结构化分析效率。
与上述一致地，请参阅图4，为本发明实施例提供的一种控制平台的实施例结构示意图。本实施例中所描述的控制平台，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。所述控制平台包括高吞吐量分布式发布订阅消息装置，其用于与服务器集群之间进行通信，所述控制平台包括高吞吐量分布式发布订阅消息装置集成于处理器3000。
其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行包括上述方法实施例中记载的任何一种视频处理方法的部分或全部步骤。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种视频处理方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种视频处理方法的部分或全部步骤。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程视频处理设备的处理器以产生一个机器，使得通过计算机或其他可编程视频处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程视频处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程视频处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
根据所述属性信息为所述待处理影像数据配置GPU资源；
通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
通过多级压缩优化方法对深度神经网络模型进行加速操作；
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
将所述特征集发送给所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述根据所述属性信息为所述待处理影像数据配置GPU资源，包括：
获取服务器集群的资源状态信息；
根据所述服务器集群的资源状态信息以及所述属性信息确定所述待处理影像数据的GPU资源。
3.根据权利要求1或2所述的方法，其特征在于，所述通过多级压缩优化方法对深度神经网络模型进行加速操作，包括：
获取所述深度神经网络模型的精度阈值；
根据所述多级压缩优化方法对深度神经网络模型进行加速操作，所述多级压缩优化方法依次执行顺序为：层融合操作、通道稀疏操作、核规整化操作以及权值INT8量化，所述加速操作后的深度神经网络模型的精度高于所述精度阈值。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集，包括：
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行目标检测，得到目标，并对所述目标进行特征比对，以及识别，并确定所述目标的关键特征，得到所述特征集。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述属性信息包括所述待处理影像数据的内存大小；
所述方法还包括：
获取当前网络速率；
在所述当前网络速率以及所述待处理影像数据的内存大小满足预设条件时，执行所述根据所述属性信息为所述待处理影像数据配置GPU资源的步骤。
6.一种控制平台，所述控制平台包括高吞吐量分布式发布订阅消息装置，其用于与服务器集群之间进行通信，其特征在于，所述高吞吐量分布式发布订阅消息装置包括接收单元、配置单元、加速单元、分析单元和发送单元，其中，
所述接收单元，用于接收由客户端发送的解析请求，所述解析请求中携带待处理影像数据的属性信息；
所述配置单元，用于根据所述属性信息为所述待处理影像数据配置GPU资源；
所述接收单元，还用于通过所述GPU资源接收所述待处理影像数据，并对所述待处理影像数据进行解码操作；
所述加速单元，用于通过多级压缩优化方法对深度神经网络模型进行加速操作；
所述分析单元，用于通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行视频结构化分析，得到特征集；
所述发送单元，用于将所述特征集发送给所述客户端。
7.根据权利要求6所述的控制平台，其特征在于，所述配置单元包括：
第一获取模块，用于获取服务器集群的资源状态信息；
配置模块，用于根据所述服务器集群的资源状态信息以及所述属性信息确定所述待处理影像数据的GPU资源。
8.根据权利要求6或7所述的控制平台，其特征在于，所述加速单元包括：
第二获取模块，用于获取所述通过深度神经网络模型的精度阈值；
加速模块，用于根据所述多级压缩优化方法对深度神经网络模型进行加速操作，所述多级压缩优化方法依次执行顺序为：层融合操作、通道稀疏操作、核规整化操作以及权值INT8量化，所述加速操作后的深度神经网络模型的精度高于所述精度阈值。
9.根据权利要求6至8任一项所述的控制平台，其特征在于，所述分析单元具体用于：
通过所述加速操作后的深度神经网络模型对所述解码操作后的待处理影像数据进行目标检测，得到目标，并对所述目标进行特征比对，以及识别，并确定所述目标的关键特征，得到所述特征集。
10.根据权利要求6至9任一项所述的控制平台，其特征在于，所述属性信息包括所述待处理影像数据的内存大小；
所述控制平台还包括：
获取单元，用于获取当前网络速率；由所述配置单元在所述当前网络速率以及所述待处理影像数据的内存大小满足预设条件时，执行所述根据所述属性信息为所述待处理影像数据配置GPU资源的步骤。
CN201711147343.0A 2017-11-17 2017-11-17 一种视频处理方法及控制平台 Active CN108012156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711147343.0A CN108012156B (zh) 2017-11-17 2017-11-17 一种视频处理方法及控制平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711147343.0A CN108012156B (zh) 2017-11-17 2017-11-17 一种视频处理方法及控制平台

Publications (2)

Publication Number Publication Date
CN108012156A true CN108012156A (zh) 2018-05-08
CN108012156B CN108012156B (zh) 2020-09-25

Family

ID=62052891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711147343.0A Active CN108012156B (zh) 2017-11-17 2017-11-17 一种视频处理方法及控制平台

Country Status (1)

Country Link
CN (1) CN108012156B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145798A (zh) * 2018-08-13 2019-01-04 浙江零跑科技有限公司 一种驾驶场景目标识别与可行驶区域分割集成方法
CN110162398A (zh) * 2019-04-11 2019-08-23 平安科技（深圳）有限公司 一种疾病分析模型的调度方法、装置及终端设备
CN110175641A (zh) * 2019-05-22 2019-08-27 中国科学院苏州纳米技术与纳米仿生研究所 图像识别方法、装置、设备和存储介质
CN110659384A (zh) * 2018-06-13 2020-01-07 杭州海康威视数字技术股份有限公司 视频结构化分析方法及装置
CN110688223A (zh) * 2019-09-11 2020-01-14 深圳云天励飞技术有限公司 数据处理方法及相关产品
WO2021026775A1 (zh) * 2019-08-13 2021-02-18 深圳鲲云信息科技有限公司 神经网络数据流加速方法、装置、计算机设备及存储介质
CN112615794A (zh) * 2020-12-08 2021-04-06 四川迅游网络科技股份有限公司 一种面向业务流量特征的智能加速系统和方法
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN112954357A (zh) * 2021-01-26 2021-06-11 四川天翼网络服务有限公司 一种动态高效自适应视频流智能编解码方法及系统
CN112990310A (zh) * 2021-03-12 2021-06-18 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN113031484A (zh) * 2021-03-12 2021-06-25 国网智能科技股份有限公司 一种电力巡检嵌入式边缘智能系统及方法
CN113393367A (zh) * 2021-07-08 2021-09-14 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN110162398B (zh) * 2019-04-11 2024-05-03 平安科技（深圳）有限公司 一种疾病分析模型的调度方法、装置及终端设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873874A (zh) * 2014-02-19 2014-06-18 同观科技（深圳）有限公司 一种基于可编程并行处理器的全搜索运动估计方法
CN104268021A (zh) * 2014-09-15 2015-01-07 西安电子科技大学 基于图形处理器的rs解码方法
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN105869117A (zh) * 2016-03-28 2016-08-17 上海交通大学 一种针对深度学习超分辨率技术的gpu加速方法
CN106791861A (zh) * 2016-12-20 2017-05-31 杭州当虹科技有限公司 一种基于CUDA架构的DNxHD VLC编码方法
CN106797485A (zh) * 2014-10-02 2017-05-31 恩特里克丝有限公司 云端流媒体服务系统、使用最佳gpu的云端流媒体服务方法及其装置
CN107067365A (zh) * 2017-04-25 2017-08-18 中国石油大学(华东) 基于深度学习的分布嵌入式实时视频流处理系统及方法
CN107231558A (zh) * 2017-05-23 2017-10-03 江苏火米互动科技有限公司 一种基于cuda的h.264并行编码器的实现方法
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
CN107330439A (zh) * 2017-07-14 2017-11-07 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873874A (zh) * 2014-02-19 2014-06-18 同观科技（深圳）有限公司 一种基于可编程并行处理器的全搜索运动估计方法
CN104268021A (zh) * 2014-09-15 2015-01-07 西安电子科技大学 基于图形处理器的rs解码方法
CN106797485A (zh) * 2014-10-02 2017-05-31 恩特里克丝有限公司 云端流媒体服务系统、使用最佳gpu的云端流媒体服务方法及其装置
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN105869117A (zh) * 2016-03-28 2016-08-17 上海交通大学 一种针对深度学习超分辨率技术的gpu加速方法
CN106791861A (zh) * 2016-12-20 2017-05-31 杭州当虹科技有限公司 一种基于CUDA架构的DNxHD VLC编码方法
CN107229904A (zh) * 2017-04-24 2017-10-03 东北大学 一种基于深度学习的目标检测与识别方法
CN107067365A (zh) * 2017-04-25 2017-08-18 中国石油大学(华东) 基于深度学习的分布嵌入式实时视频流处理系统及方法
CN107231558A (zh) * 2017-05-23 2017-10-03 江苏火米互动科技有限公司 一种基于cuda的h.264并行编码器的实现方法
CN107330439A (zh) * 2017-07-14 2017-11-07 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖辉: "基于轻量级卷积神经网络的人脸检测算法", 《浙江大学硕士学位论文》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659384A (zh) * 2018-06-13 2020-01-07 杭州海康威视数字技术股份有限公司 视频结构化分析方法及装置
CN109145798A (zh) * 2018-08-13 2019-01-04 浙江零跑科技有限公司 一种驾驶场景目标识别与可行驶区域分割集成方法
CN110162398A (zh) * 2019-04-11 2019-08-23 平安科技（深圳）有限公司 一种疾病分析模型的调度方法、装置及终端设备
CN110162398B (zh) * 2019-04-11 2024-05-03 平安科技（深圳）有限公司 一种疾病分析模型的调度方法、装置及终端设备
CN110175641A (zh) * 2019-05-22 2019-08-27 中国科学院苏州纳米技术与纳米仿生研究所 图像识别方法、装置、设备和存储介质
WO2021026775A1 (zh) * 2019-08-13 2021-02-18 深圳鲲云信息科技有限公司 神经网络数据流加速方法、装置、计算机设备及存储介质
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN110688223A (zh) * 2019-09-11 2020-01-14 深圳云天励飞技术有限公司 数据处理方法及相关产品
CN110688223B (zh) * 2019-09-11 2022-07-29 深圳云天励飞技术有限公司 数据处理方法及相关产品
CN112615794B (zh) * 2020-12-08 2022-07-29 四川迅游网络科技股份有限公司 一种面向业务流量特征的智能加速系统和方法
CN112615794A (zh) * 2020-12-08 2021-04-06 四川迅游网络科技股份有限公司 一种面向业务流量特征的智能加速系统和方法
CN112954357A (zh) * 2021-01-26 2021-06-11 四川天翼网络服务有限公司 一种动态高效自适应视频流智能编解码方法及系统
CN113031484A (zh) * 2021-03-12 2021-06-25 国网智能科技股份有限公司 一种电力巡检嵌入式边缘智能系统及方法
CN112990310A (zh) * 2021-03-12 2021-06-18 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN112990310B (zh) * 2021-03-12 2023-09-05 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN113031484B (zh) * 2021-03-12 2023-12-05 国网智能科技股份有限公司 一种电力巡检嵌入式边缘智能系统及方法
CN113393367A (zh) * 2021-07-08 2021-09-14 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质

Also Published As

Publication number Publication date
CN108012156B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN108012156A (zh) 一种视频处理方法及控制平台
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
CN106503791B (zh) 用于有效神经网络部署的系统和方法
CN106959894B (zh) 资源分配方法和装置
CN109597965B (zh) 基于深度神经网络的数据处理方法、系统、终端及介质
US11334758B2 (en) Method and apparatus of data processing using multiple types of non-linear combination processing
US20190114541A1 (en) Method and system of controlling computing operations based on early-stop in deep neural network
CN111506434B (zh) 一种任务处理方法、装置及计算机可读存储介质
WO2023231794A1 (zh) 一种神经网络参数量化方法和装置
CN112508768B (zh) 单算子多模型流水线推理方法、系统、电子设备及介质
CN111931917A (zh) 前向计算的实现方法及装置、存储介质、电子装置
CN112036558A (zh) 模型管理方法、电子设备和介质
CN115600676A (zh) 深度学习模型推理方法、装置、设备及存储介质
Li et al. An intelligent collaborative inference approach of service partitioning and task offloading for deep learning based service in mobile edge computing networks
Nwogbaga et al. Investigation into the effect of data reduction in offloadable task for distributed IoT-fog-cloud computing
CN106649377A (zh) 一种图像处理系统及图像处理的方法
CN109840597B (zh) 一种模型预测方法、装置、电子设备及存储介质
US11720414B2 (en) Parallel execution controller for partitioned segments of a data model
Lu et al. Dynamic offloading on a hybrid edge–cloud architecture for multiobject tracking
WO2023273515A1 (zh) 目标检测方法、装置、电子设备和存储介质
EP4357917A1 (en) Task execution method and apparatus
CN112669353B (zh) 数据处理方法、装置、计算机设备和存储介质
Lisovskaya et al. On the total customers’ capacity in multi-server queues
CN115273148A (zh) 行人重识别模型训练方法、装置、电子设备及存储介质
CN115080197A (zh) 计算任务调度方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant