CN114501131A - 一种视频分析方法、装置、存储介质及电子设备 - Google Patents
一种视频分析方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114501131A CN114501131A CN202111585056.4A CN202111585056A CN114501131A CN 114501131 A CN114501131 A CN 114501131A CN 202111585056 A CN202111585056 A CN 202111585056A CN 114501131 A CN114501131 A CN 114501131A
- Authority
- CN
- China
- Prior art keywords
- neural network
- delay
- deep neural
- proportion value
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 264
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000004364 calculation method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 24
- 238000005192 partition Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频分析方法、装置、存储介质及电子设备，应用于视频处理终端，当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；根据深度神经网络中边缘侧网络接入的待分析视频的路数对深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对深度神经网络进行推理与计算直至输入最佳网络分割点以及匹配边缘算力的最佳batch size，将分割后算力相对较小的神经网络用于终端侧的视频分析，实现了对少量实时视频的部分推理计算；将算力相对较大的神经网络用于云端侧的视频分析，实现了对所有边缘侧视频的其余部分推理计算。因此，通过本发明，解决了大量视频需要实时分析的问题，实现了大量实时视频推理的实时性。
Description
技术领域
本发明涉及边缘智能和深度学习技术领域，具体涉及一种视频分析方法、装置、存储介质及电子设备。
背景技术
智能视频分析技术在当前的安防监控中有广泛的应用，主要目标是对突发事件的智能报警，即当异常状况发生时进行实时告警，异常状况发生后进行事件分析和目标追踪，从而避免突发事件的影响扩大。因此智能监控系统在公共安全领域有非常急迫的应用需求。现在的智能监控分析技术主要采用的是深度神经网络进行分析，包括了目标检测、目标追踪、图像分割、图片检测等等方面。但是这种技术存在很多问题：(1)高精度的深度神经网络都是精心设计的复杂网络，推理的实时性会比较差，无法应对每秒25或更高的实时视频分析；(2)不论是直播视频还是监控视频都需要从终端汇聚到云端进行分析处理，但是视频网络传输和解码会加剧视频分析的延迟情况。
发明内容
有鉴于此，本发明实施例提供了涉及一种视频分析方法、装置、存储介质及电子设备，以解决现有技术中视频分析过程中实时性较差的技术问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种视频分析方法，应用于视频处理终端；该视频分析方法包括：当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值；根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络；分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值；将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点；将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。
可选地，所述对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值，包括：对所述深度神经网络进行推理并记录推理过程中每个算子的平均延迟时间和所述深度神经网络总体的平均延迟时间；根据所述每个算子的平均延迟时间与所述深度神经网络总体的平均延迟时间计算所述每个算子与所述深度神经网络的第一延迟比例值。
可选地，所述根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络，包括：当所述第一延迟比例值与所述第二延迟比例值相等时，根据贪心策略搜索适配边缘侧算力的网络分割点。
可选地，所述当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点，包括：当所述第三延迟比例值与所述第四延迟比例值等于所述第二延迟比例值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
可选地，所述当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点，还包括：对所述第一神经网络与所述第二神经网络分别进行推理并得到所述第一神经网络占用所述边缘侧网络对应的边缘设备的第一算力比例值和所述第二神经网络占用所述边缘侧网络对应的边缘设备的第二算力比例值；当所述第一算力比例值或所述第二算力比例值大于预设阈值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
可选地，所述方法还包括：当比对结果不满足预设要求，对所述第一神经网络与所述第二神经网络的连接处算子进行重新拆分组合直至所述比对结果满足预设要求。
可选地，所述分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟之前，所述方法还包括：对所述第一神经网络与所述第二神经网络分别进行算子合并与优化处理。
本发明实施例第二方面提供一种视频分析装置，应用于视频处理终端；该视频分析装置包括：第一处理模块，用于当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；第二处理模块，用于根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值；划分模块，用于根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络；推理模块，用于分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值；比对模块，用于将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点；使用模块，用于将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的视频分析方法。
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的视频分析方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的视频分析方法，应用于视频处理终端，当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理与计算直至输入最佳网络分割点以及匹配边缘算力的最佳batch size，将分割后算力相对较小的神经网络用于终端侧的视频分析，实现了对少量实时视频的部分推理计算；将算力相对较大的神经网络用于云端侧的视频分析，实现了对所有边缘侧视频的其余部分推理计算。该方法将深度神经网络拆分为边缘侧算力和云端算力相结合的方式，解决了大量视频需要实时分析的问题，实现了大量实时视频推理的实时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的视频分析方法的流程图；
图2是根据本发明实施例的视频分析方法架构示意图；
图3是根据本发明实施例的视频分析装置的结构框图；
图4是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图5是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种视频分析方法，应用于视频处理终端；如图1所示，该方法包括如下步骤：
步骤S101：当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解。具体地，当视频处理终端接收到待分析的视频时，对预先配置好的UNet网络进行网络优化，去除掉深度神经网络图中的初始化参数和孤立节点，并为该深度神经网络中非训练得到的参数设置精确值，去除该深度神经网络中的多余分支，保留该深度神经网络图中的卷积、池化、激活等基本算子。其中，网络优化方法包括：图优化、常量折叠、算子级别的拆分等，本发明实施例不做具体限定，只要满足优化需求即可。
步骤S102：根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batchsize对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值。具体地，将该深度神经网络进行初步优化和算力拆解之后，依据该深度神经网络中边缘侧网络对应的边缘设备的解码能力设置该深度神经网络中边缘侧网络的最小、最大接入视频路数并确定该深度神经网络的batch size范围。其中，在算法网络中根据边缘算法可以得到该深度神经网络的边缘侧网络。
在一实施例中，确定batch size范围为[1，16]，则表明该边缘设备会至少接入1路视频进行分析，最多会有16路视频同时分析。
然后，在该深度神经网络不同batch size下分别进行算力评估得到该边缘侧网络的实际算力估值。在不同batch size下对该深度神经网络进行推理并统计每个算子的延迟，并计算可以得到每个算子在整个推理过程中与该深度神经网络的延迟的第一延迟比例值。具体地，从该深度神经网络输入处开始统计推理过程中每个算子的延迟与该深度神经网络的延迟。
步骤S103：根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络。具体地，在进行算力评估之后，计算该边缘侧网络的实际算力值并根据该实际算力值设置推理延比例值即第二延迟比例值，并将该推理延比例值与每个算子在整个推理过程中与该深度神经网络的延迟的第一延迟比例值进行比对，并搜索适配该边缘测算力的最佳网络分割点并根据该分割点将深度神经网络分为partE和partC即第一神经网络与第二神经网络。
步骤S104：分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值。具体地，针对partE和partC，分别进行推理并记录推理过程中每个算子的延迟，并计算每个算子在整个推理过程中的延迟比例，得到第一神经网络对应的第三延迟比例值和第二神经网络对应的第四延迟比例值。
步骤S105：将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点。具体地，将计算得到的第三延迟比例值与第四延迟比例值分别与第二延迟比例值进行比对，当比对结果满足要求时，确定步骤S103中搜索得到的深度神经网络的最佳分割点即为该深度神经网络拆解的最佳分割点。
步骤S106：将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。具体地，确定最佳分割点之后，比较第一神经网络和第二神经网络地算力值，将算力相对较小的神经网络用于终端侧(边缘侧)的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。
本发明实施例提供的视频分析方法，应用于视频处理终端，当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理与计算直至输入最佳网络分割点以及匹配边缘算力的最佳batch size，将分割后算力相对较小的神经网络用于终端侧的视频分析，实现了对少量实时视频的部分推理计算；将算力相对较大的神经网络用于云端侧的视频分析，实现了对所有边缘侧视频的其余部分推理计算。该方法将深度神经网络拆分为边缘侧算力和云端算力相结合的方式，解决了大量视频需要实时分析的问题，实现了大量实时视频推理的实时性。
作为本发明实施例一种可选的实施方式，对该深度神经网络进行推理并记录推理过程中每个算子的延迟，计算每个算子与深度神经网络的第一延迟比例值时，首先对该深度神经网络进行推理并记录推理过程中每个算子的平均延迟时间和该深度神经网络总体的平均延迟时间，然后根据每个算子的平均延迟时间和该深度神经网络总体的平均延迟时间可以得到每个算子与该深度神经网络的第一延迟比例值。具体地计算公式为：
作为本发明实施例一种可选的实施方式，步骤S103，包括：当计算得到的第一延迟比例值与设置的第二延迟比例值相等时，根据贪心策略进行搜索得到适配边缘侧算力的最佳网络分割点。具体地，根据贪心策略进行搜索包括将搜索网络分割点拆解为查找每个算子的最优延迟比例值，由于分割后网络优化可能会影响到每一次算子的推理延迟比例，因此通过每一次优化后的延迟比例值进行搜索和累加，当最终查找得到每个算子的最优延迟比例值即第一延迟比例值与设置的第二延迟比例值相等时，得到一个对应的分割点。
作为本发明实施例一种可选的实施方式，步骤S105，包括：将计算得到的第三延迟比例值与第四延迟比例值分别与第二延迟比例值进行比对，当该第三延迟比例值和该第四延迟比例值分别等于该第二延迟比例值时，确定步骤S103中搜索得到的深度神经网络的最佳分割点即为该深度神经网络拆解的最佳分割点。
作为本发明实施例一种可选的实施方式，步骤S105，还包括：对所述第一神经网络与所述第二神经网络分别进行推理并得到所述第一神经网络占用所述边缘侧网络对应的边缘设备的第一算力比例值和所述第二神经网络占用所述边缘侧网络对应的边缘设备的第二算力比例值；当所述第一算力比例值或所述第二算力比例值大于预设阈值，确定搜索到的所述深度神经网络的分割点为最佳分割点。具体地，对得到的第一神经网络与第二神经网络分别进行推理并得到该第一神经网络占用边缘侧网络对应的边缘设备的第一算力比例值和该第二神经网络占用所述边缘侧网络对应的边缘设备的第二算力比例值；然后将该第一算力比例值和第二算力比例值分别与预设阈值进行比较，当该第一算力比例值或第二算力比例值大于预设阈值时，确定步骤S103中搜索得到的深度神经网络的最佳分割点即为该深度神经网络拆解的最佳分割点。其中，预设阈值指算力比例值小于0.5的任意值。
在一实施例中，选取预设阈值为0.3，当第一算力比例值或第二算力比例值大于0.3时，步骤S103中搜索得到的深度神经网络的最佳分割点即为该深度神经网络拆解的最佳分割点；当第一算力比例值和第二算力比例值小于0.3时，该搜索得到的深度神经网络的最佳分割点不是该深度神经网络拆解的最佳分割点。
作为本发明实施例一种可选的实施方式，所述方法还包括：当比对结果不满足预设要求，对所述第一神经网络与所述第二神经网络的连接处算子进行重新拆分组合直至所述比对结果满足预设要求。具体地，当计算得到的第三延迟比例值和第四延迟比例值不等于该第二延迟比例值或计算得到的第一算力比例值或第二算力比例值小于预设阈值时，确定步骤S103中搜索得到的深度神经网络的最佳分割点不是该深度神经网络拆解的最佳分割点，需要重新确定该深度神经网络拆解的最佳分割点。具体地，对该第一神经网络与第二神经网络的连接处算子进行重新拆分组合直至该第三延迟比例值和该第四延迟比例值分别等于该第二延迟比例值或该第一算力比例值或第二算力比例值大于预设阈值时，确定该深度神经网络的最佳分割点。这种动态拆分网络地搜索方法可以有效解决不同边缘设备硬件和算力参差不齐的问题。
作为本发明实施例一种可选的实施方式，所述分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟之前，所述方法还包括：对所述第一神经网络与所述第二神经网络分别进行算子合并与优化处理。具体地，推理之前，首先对第一神经网络与第二神经网络分别分别执行算子合并、图优化等网络优化策略，去除孤立节点。
在一实例中，如图2所示，表示边缘侧算力和云端算力相结合的视频分析的总架构。具体地，在视频处理终端接收到待分析实时视频A、B、C、D，并对预先配置的深度神经网络进行初步优化，去除掉网络图中的边缘节点1和边缘节点2，然后对待分析实时视频A、B、C、D分别在预先配置的深度神经网络中进行推理并确定最佳网络分割点，根据该最佳网络分割点将待分析实时视频A、B、C、D分别分割为part1和part2两部分；分割后将算力相对较大的视频A中的part1、视频B中的part1、视频C中的part2以及视频D中的part2传输至云端侧进行分析并得到对应的分析结果。
本发明实施例还提供一种视频分析装置，应用于视频处理终端；如图3所示，该装置包括：
第一处理模块301，用于当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；详细内容参见上述方法实施例中步骤S101的相关描述。
第二处理模块302，用于根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值；详细内容参见上述方法实施例中步骤S102的相关描述。
划分模块303，用于根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络；详细内容参见上述方法实施例中步骤S103的相关描述。
推理模块304，用于分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值；详细内容参见上述方法实施例中步骤S104的相关描述。
比对模块305，用于将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点；详细内容参见上述方法实施例中步骤S105的相关描述。
使用模块306，用于将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析；详细内容参见上述方法实施例中步骤S106的相关描述。
本发明实施例提供的视频分析装置，应用于视频处理终端，当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理与计算直至输入最佳网络分割点以及匹配边缘算力的最佳batch size，将分割后算力相对较小的神经网络用于终端侧的视频分析，实现了对少量实时视频的部分推理计算；将算力相对较大的神经网络用于云端侧的视频分析，实现了对所有边缘侧视频的其余部分推理计算。本发明将深度神经网络拆分为边缘侧算力和云端算力相结合的方式，解决了大量视频需要实时分析的问题，实现了大量实时视频推理的实时性。
作为本发明实施例一种可选的实施方式，所述装置还包括：记录模块，用于对所述深度神经网络进行推理并记录推理过程中每个算子的平均延迟时间和所述深度神经网络总体的平均延迟时间；计算模块，用于根据所述每个算子的平均延迟时间与所述深度神经网络总体的平均延迟时间计算所述每个算子与所述深度神经网络的第一延迟比例值。
作为本发明实施例一种可选的实施方式，所述划分模块包括：搜索模块，用于当所述第一延迟比例值与所述第二延迟比例值相等时，根据贪心策略搜索适配边缘侧算力的网络分割点。
作为本发明实施例一种可选的实施方式，所述装置还包括：第一确定模块，用于当所述第三延迟比例值与所述第四延迟比例值等于所述第二延迟比例值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
作为本发明实施例一种可选的实施方式，所述装置还包括：第一推理模块，用于对所述第一神经网络与所述第二神经网络分别进行推理并得到所述第一神经网络占用所述边缘侧网络对应的边缘设备的第一算力比例值和所述第二神经网络占用所述边缘侧网络对应的边缘设备的第二算力比例值；第二确定模块，用于当所述第一算力比例值或所述第二算力比例值大于预设阈值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
作为本发明实施例一种可选的实施方式，所述装置还包括：第三处理模块，用于当比对结果不满足预设要求，对所述第一神经网络与所述第二神经网络的连接处算子进行重新拆分组合直至所述比对结果满足预设要求。
作为本发明实施例一种可选的实施方式，所述装置还包括：第四处理模块，用于对所述第一神经网络与所述第二神经网络分别进行算子合并与优化处理。
本发明实施例提供的视频分析装置的功能描述详细参见上述实施例中视频分析方法描述。
本发明实施例还提供一种存储介质，如图4所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中视频分析方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的视频分析方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－2所示实施例中的视频分析方法。
上述电子设备具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种视频分析方法，应用于视频处理终端；其特征在于，包括如下步骤：
当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；
根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batch size对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值；
根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络；
分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值；
将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点；
将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。
2.根据权利要求1所述的方法，其特征在于，所述对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值，包括：
对所述深度神经网络进行推理并记录推理过程中每个算子的平均延迟时间和所述深度神经网络总体的平均延迟时间；
根据所述每个算子的平均延迟时间与所述深度神经网络总体的平均延迟时间计算所述每个算子与所述深度神经网络的第一延迟比例值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络，包括：
当所述第一延迟比例值与所述第二延迟比例值相等时，根据贪心策略搜索适配边缘侧算力的网络分割点。
4.根据权利要求1所述的方法，其特征在于，所述当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点，包括：
当所述第三延迟比例值与所述第四延迟比例值等于所述第二延迟比例值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
5.根据权利要求1所述的方法，其特征在于，所述当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点，还包括：
对所述第一神经网络与所述第二神经网络分别进行推理并得到所述第一神经网络占用所述边缘侧网络对应的边缘设备的第一算力比例值和所述第二神经网络占用所述边缘侧网络对应的边缘设备的第二算力比例值；
当所述第一算力比例值或所述第二算力比例值大于预设阈值，确定搜索到的所述深度神经网络的分割点为最佳分割点。
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
当比对结果不满足预设要求，对所述第一神经网络与所述第二神经网络的连接处算子进行重新拆分组合直至所述比对结果满足预设要求。
7.根据权利要求1所述的方法，其特征在于，所述分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟之前，所述方法还包括：
对所述第一神经网络与所述第二神经网络分别进行算子合并与优化处理。
8.一种视频分析装置，应用于视频处理终端；其特征在于，包括：
第一处理模块，用于当接收到待分析视频，对预先配置的深度神经网络进行初步优化与算力拆解；
第二处理模块，用于根据所述深度神经网络中边缘侧网络接入的待分析视频的路数对所述深度神经网络的batch size范围进行设置并根据所述batch size范围内不同的batchsize对所述深度神经网络进行推理并记录推理过程中每个算子的延迟，计算所述每个算子与所述深度神经网络的第一延迟比例值；
划分模块，用于根据所述边缘侧网络的实际算力设置第二延迟比例值，将所述第一延迟比例值与所述第二延迟比例值进行比对并搜索所述深度神经网络分割点并划分所述深度神经网络得到第一神经网络与第二神经网络；
推理模块，用于分别对所述第一神经网络与所述第二神经网络进行推理并记录推理过程中每个算子的延迟，得到所述第一神经网络对应的第三延迟比例值和所述第二神经网络对应的第四延迟比例值；
比对模块，用于将所述第三延迟比例值与所述第四延迟比例值分别与所述第二延迟比例值进行比对，当比对结果满足预设要求，确定搜索到的所述深度神经网络的分割点为最佳分割点；
使用模块，用于将分割得到的第一神经网络和第二神经网络中算力相对较小的神经网络用于终端侧的视频分析，将算力相对较大的神经网络用于云端侧的视频分析。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－7任一项所述的视频分析方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－7任一项所述的视频分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111585056.4A CN114501131B (zh) | 2021-12-22 | 2021-12-22 | 一种视频分析方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111585056.4A CN114501131B (zh) | 2021-12-22 | 2021-12-22 | 一种视频分析方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114501131A true CN114501131A (zh) | 2022-05-13 |
| CN114501131B CN114501131B (zh) | 2023-08-08 |
Family
ID=81494200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111585056.4A Active CN114501131B (zh) | 2021-12-22 | 2021-12-22 | 一种视频分析方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114501131B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078615A1 (zh) * | 2022-10-14 | 2024-04-18 | 维沃移动通信有限公司 | 模型选择方法、终端及网络侧设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740735A (zh) * | 2018-12-29 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
| WO2020101121A1 (ko) * | 2018-11-14 | 2020-05-22 | (주)투아트 | 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말 |
| CN112348172A (zh) * | 2020-11-13 | 2021-02-09 | 之江实验室 | 一种基于端边云架构的深度神经网络协同推理方法 |
| CN112804302A (zh) * | 2020-12-30 | 2021-05-14 | 南京南瑞信息通信科技有限公司 | 一种基于云边协同的电力视频图像分析系统及方法 |
| US11063881B1 (en) * | 2020-11-02 | 2021-07-13 | Swarmio Inc. | Methods and apparatus for network delay and distance estimation, computing resource selection, and related techniques |
-
2021
- 2021-12-22 CN CN202111585056.4A patent/CN114501131B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020101121A1 (ko) * | 2018-11-14 | 2020-05-22 | (주)투아트 | 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말 |
| CN109740735A (zh) * | 2018-12-29 | 2019-05-10 | 百度在线网络技术（北京）有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
| US11063881B1 (en) * | 2020-11-02 | 2021-07-13 | Swarmio Inc. | Methods and apparatus for network delay and distance estimation, computing resource selection, and related techniques |
| CN112348172A (zh) * | 2020-11-13 | 2021-02-09 | 之江实验室 | 一种基于端边云架构的深度神经网络协同推理方法 |
| CN112804302A (zh) * | 2020-12-30 | 2021-05-14 | 南京南瑞信息通信科技有限公司 | 一种基于云边协同的电力视频图像分析系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| WANG XIAOYAN ET AL.: "Research on Intelligent Analysis Technology of Power Monitoring Video Data Based on Convolutional Neural Network", 《IEEE》 * |
| 孙宇飞等: "基于深度神经网络的基建视频智能分析系统", 《电力信息与通信技术》 * |
| 李麟等: "一种新的基于注意力机制的细粒度视频分析神经网络结构（英文）", 《上海师范大学学报(自然科学版)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024078615A1 (zh) * | 2022-10-14 | 2024-04-18 | 维沃移动通信有限公司 | 模型选择方法、终端及网络侧设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114501131B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110351118B (zh) | 根因告警决策网络构建方法、装置和存储介质 | |
| CN113467851B (zh) | 一种基于车辆聚类的动态车辆计算任务卸载方法和装置 | |
| CN113705981B (zh) | 一种基于大数据的异常监测的方法及装置 | |
| US11270126B2 (en) | Person tracking method, device, electronic device, and computer readable medium | |
| CN111935140B (zh) | 异常报文识别方法及装置 | |
| US11972334B2 (en) | Method and apparatus for generating a combined isolation forest model for detecting anomalies in data | |
| CN111639230B (zh) | 一种相似视频的筛选方法、装置、设备和存储介质 | |
| CN113379176A (zh) | 电信网络异常数据检测方法、装置、设备和可读存储介质 | |
| CN112001401A (zh) | 实例分割网络的训练模型及训练方法，实例分割网络 | |
| CN114501131B (zh) | 一种视频分析方法、装置、存储介质及电子设备 | |
| CN116432736A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN107292320B (zh) | 系统及其指标优化方法及装置 | |
| CN114398350A (zh) | 训练数据集的清洗方法、装置及服务器 | |
| CN117081996A (zh) | 基于服务端实时反馈和软值的流量控制方法及相关设备 | |
| CN116841753B (zh) | 一种流处理和批处理的切换方法及切换装置 | |
| CN108463813B (zh) | 一种进行数据处理的方法和装置 | |
| CN116912636A (zh) | 目标识别方法及装置 | |
| CN111884874A (zh) | 一种基于可编程数据平面的舰船网络实时异常检测方法 | |
| CN115409991B (zh) | 目标识别方法、装置、电子设备和存储介质 | |
| CN116610958A (zh) | 面向无人机群水库水质检测的分布式模型训练方法及系统 | |
| CN114818907A (zh) | 输电线路的状态监测方法、装置、设备及存储介质 | |
| US11681920B2 (en) | Method and apparatus for compressing deep learning model | |
| CN114860426A (zh) | 数据协作处理方法、系统、装置、设备及存储介质 | |
| CN109614854B (zh) | 视频数据处理方法及装置、计算机装置及可读存储介质 | |
| CN114401398B (zh) | 智能视频运维管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |