CN115205765A - 一种基于fpga的视频分析方法及系统 - Google Patents

Abstract

本发明提供的一种基于FPGA的视频分析方法及系统，涉及图像处理技术领域。在本发明中，通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成原始监控视频对应的目标监控视频。从目标监控视频中，识别出关键监控视频帧组合，关键监控视频帧组合包括至少一帧关键监控视频帧。利用预先训练形成的故障检测神经网络，对关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，原始监控视频基于对目标区域进行视频采集得到。基于上述内容，可以在一定程度上提高视频分析的效率。

Description

一种基于FPGA的视频分析方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于FPGA的视频分析方法及系统。

背景技术

随着计算机数据处理能力的不断提升，使得其应用场景较多，例如，可以用于对视频帧进行分析，即图像处理。并且，随着视频分析的可靠逐渐增加，使得视频分析的应用也较多，例如，在一些应用中，可以对电力巡检视频进行分析，以确定出对应的电力故障。但是，在现有技术中，在一定程度上还存在着对视频分析的效率不高的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于FPGA的视频分析方法及系统，以在一定程度上提高视频分析的效率。

为实现上述目的，本发明实施例采用如下技术方案：

一种基于FPGA的视频分析方法，包括：

通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频；

从所述目标监控视频中，识别出关键监控视频帧组合，所述关键监控视频帧组合包括至少一帧关键监控视频帧；

利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，所述原始监控视频基于对所述目标区域进行视频采集得到。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频的步骤，包括：

通过现场可编程门阵列对当前采集得到的原始监控视频帧进行缓存；

通过现场可编程门阵列对原始监控视频帧进行预处理，以形成所述原始监控视频帧对应的目标监控视频帧，该预处理包括对所述原始监控视频帧进行图像亮度调节、图像坏点修复、图像噪点抑制中的至少一种。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤，包括：

对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列；

依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数，再依据每一个所述视频影响力参数，构建得到所述目标监控视频对应的视频影响力参数有序集合；

依据从所述每一个监控视频子集中识别出的视频信息特征分布，构建得到所述目标监控视频对应的视频信息特征分布有序集合，再对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合；

在所述相关度数据有序集合中，提取出所述监控视频子集对应的特征相关数据，再将所述监控视频子集对应的视频影响力参数与所述监控视频子集对应的特征相关数据进行融合计算，以输出所述监控视频子集对应的视频筛选数据；以及，基于所述视频筛选数据分析确定出所述监控视频子集对应的代表视频筛选数据；

依据每一个所述监控视频子集对应的代表视频筛选数据之间的数据相对大小关系，对每一个所述监控视频子集进行对应排序，对排序在前或在后的至少一个监控视频子集进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；或者，将对应的代表视频筛选数据不小于预先配置的代表视频筛选数据参考值每一个的监控视频子集进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；以及，将所述关键监控视频子集标记为关键监控视频帧组合。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列的步骤，包括：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布；

将所述视频信息整体特征分布标记为对应的视频覆盖物，以对所述目标监控视频进行监控对象分解操作，以输出所述目标监控视频中每一个监控对象分别对应的目标监控子视频帧序列，所述视频覆盖物的轮廓线用于区分不同的监控对象之间的对象轮廓。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布的步骤，包括：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的第一视频信息特征分布；

对所述第一视频信息特征分布进行多次特征压缩和筛选操作，以输出所述目标监控视频对应的多个第二视频信息特征分布，所述多次特征压缩和筛选操作中的每两次特征压缩和筛选操作的参数不同；

融合所述多个第二视频信息特征分布，以输出所述目标监控视频对应的视频信息整体特征分布。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，在执行所述依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数的步骤之前，所述视频分析方法还包括分析出与所述监控对象匹配的至少一个子视频帧序列片段的步骤，该步骤包括：

对于每一个所述监控对象，从该监控对象对应的所述目标监控子视频帧序列中，选择出包括的目标监控子视频帧的数量大于或等于预先配置的数量参考值的子视频帧序列片段，以进行标记处理，以标记形成与该监控对象匹配的子视频帧序列片段；

所述依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数的步骤，包括：

对所述目标监控视频进行分段处理，以形成所述目标监控视频对应的多个监控视频子集，每一个所述监控视频子集包括多帧目标监控视频帧，每两个监控视频子集之间包括的目标监控视频帧的数量相同；以及，对于所述目标监控视频中的每一个监控视频子集，确定出该监控视频子集在视频帧时序上匹配的且与所述监控对象匹配的子视频帧序列片段，再依据该子视频帧序列片段包括的目标监控子视频帧之间的视频帧差异度，分析输出该监控视频子集对应的视频影响力参数。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，在执行所述对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合的步骤之前，所述方法还包括：

对所述目标监控视频包括的每一个所述监控视频子集对应的视频信息特征分布进行特征整合操作，以输出每一个所述视频信息特征分布对应的视频信息特征分布整合结果；

所述对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合的步骤，包括：对于所述视频信息特征分布有序集合包括每一个所述视频信息特征分布，对该视频信息特征分布执行目标配置操作，其中，该目标配置操作包括：

对所述视频信息特征分布对应的视频信息特征分布整合结果和其它监控视频子集对应的其它视频信息特征分布对应的视频信息特征分布整合结果进行乘积计算，以输出所述视频信息特征分布与所述其它监控视频子集对应的视频信息特征分布之间的特征分布关联系数，所述其它监控视频子集为所述目标监控视频包括的多个监控视频子集中所述视频信息特征分布对应的监控视频子集以外的监控视频子集；

聚合所述视频信息特征分布和所述特征分布关联系数，以输出所述视频信息特征分布对应的聚合特征相关系数；

对所述视频信息特征分布对应的每一个所述聚合特征相关系数进行求和计算，以输出所述视频信息特征分布对应的特征相关数据；以及，依据每一个所述视频信息特征分布对应的监控视频子集在所述目标监控视频中的视频帧时序先后关系，对每一个所述视频信息特征分布对应的特征相关数据进行排序处理，以形成所述目标监控视频对应的相关度数据有序集合。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤通过预先训练形成的视频帧识别神经网络实现，所述视频帧识别神经网络的训练，包括：

依据示例性目标监控视频包括的每一个真实示例性关键监控视频子集对应的真实代表视频筛选数据，构成所述目标监控视频对应的真实代表视频筛选数据有序集合；利用初始的视频帧识别神经网络，分析确定出所述示例性目标监控视频对应的估计代表视频筛选数据有序集合；

依据所述真实代表视频筛选数据有序集合与所述估计代表视频筛选数据有序集合分析计算出所述初始的视频帧识别神经网络对应的网络学习代价值；对所述网络学习代价值和所述示例性目标监控视频对应的真实示例性监控视频子集的数量进行比值计算，以输出对应的网络学习代价值均值，再依据所述网络学习代价值均值对所述初始的视频帧识别神经网络训练，以输出训练形成的视频帧识别神经网络。

在一些优选的实施例中，在上述基于FPGA的视频分析方法中，所述利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果的步骤，包括：

利用预先训练形成的故障检测神经网络，分别对所述关键监控视频帧组合包括的每一帧关键监控视频帧进行故障检测处理，以输出每一帧所述关键监控视频帧对应的初始故障检测结果；

对所述关键监控视频帧组合包括的每一帧关键监控视频帧对应的初始故障检测结果进行融合处理，以输出目标区域的故障检测结果。

本发明实施例还提供一种基于FPGA的视频分析系统，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现上述的基于FPGA的视频分析方法。

本发明实施例提供的一种基于FPGA的视频分析方法及系统，通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成原始监控视频对应的目标监控视频。从目标监控视频中，识别出关键监控视频帧组合，关键监控视频帧组合包括至少一帧关键监控视频帧。利用预先训练形成的故障检测神经网络，对关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，原始监控视频基于对目标区域进行视频采集得到。基于前述的内容，一方面通过现场可编程门阵列进行预测处理，另一方面通过识别出关键监控视频帧组合，再进行故障检测处理，使得可以在一定程度上提高视频分析的效率，改善现有技术中视频分析效率不高的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的基于FPGA的视频分析系统的结构框图。

图2为本发明实施例提供的基于FPGA的视频分析方法包括的各步骤的流程示意图。

图3为本发明实施例提供的基于FPGA的视频分析装置包括的各模块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

人工智能(Artificial Intelligence，简称AI)，是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能基础技术，一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术，

如图1所示，本发明实施例提供了一种基于FPGA的视频分析系统。其中，所述基于FPGA的视频分析系统可以包括存储器、第一处理器和现场可编程门阵列（FPGA，Field－Programmable Gate Array）。

示例性地，在一些可以实施的示例中，所述存储器和第一处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述第一处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于FPGA的视频分析方法。

示例性地，在一些可以实施的示例中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。

示例性地，在一些可以实施的示例中，所述第一处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等，还可以是数字信号处理器（DSP）、专用集成电路（ASIC）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

示例性地，在一些可以实施的示例中，图1所示的结构仅为示意，所述基于FPGA的视频分析系统还可包括比图1中所示更多或者更少的组件，或具有与图1所示不同的配置，例如，可以包括通信单元。

示例性地，在一些可以实施的示例中，所述基于FPGA的视频分析系统可以是一种具备数据处理能力的服务器。

结合图2，本发明实施例还提供一种基于FPGA的视频分析方法，可应用于上述基于FPGA的视频分析系统。其中，所述基于FPGA的视频分析方法有关的流程所定义的方法步骤，可以由所述基于FPGA的视频分析系统实现。下面将对图2所示的具体流程，进行详细阐述。

步骤S110，通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频。

在本发明实施例中，所述基于FPGA的视频分析系统可以通过包括的现场可编程门阵列对采集得到的原始监控视频（如电力巡检视频等）包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频。所述目标监控视频可以包括多帧目标监控视频。

步骤S120，从所述目标监控视频中，识别出关键监控视频帧组合。

在本发明实施例中，所述基于FPGA的视频分析系统可以从所述目标监控视频中，识别出关键监控视频帧组合，所述关键监控视频帧组合包括至少一帧关键监控视频帧（即识别出的目标监控视频帧）。

步骤S130，利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果。

在本发明实施例中，所述基于FPGA的视频分析系统可以利用（通过样本视频帧）预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果（示例性地，所述故障检测结果可以是有没有故障，或具体的故障类型）。所述原始监控视频基于对所述目标区域进行视频采集得到。

基于前述的内容，一方面通过现场可编程门阵列进行预测处理，另一方面通过识别出关键监控视频帧组合，再进行故障检测，使得可以在一定程度上提高视频分析的效率，改善现有技术中视频分析效率不高的问题。

示例性地，在一些可以实施的示例中，在执行所述通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频的步骤的过程，具体可以执行以下更为详细的内容：

通过现场可编程门阵列对当前采集得到的原始监控视频帧进行缓存；

通过现场可编程门阵列对原始监控视频帧进行预处理，以形成所述原始监控视频帧对应的目标监控视频帧，该预处理包括对所述原始监控视频帧进行图像亮度调节、图像坏点修复、图像噪点抑制中的至少一种（使得在基于目标监控视频帧进行识别时，可以保障识别的可靠度）。

示例性地，在一些可以实施的示例中，在执行所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤的过程，具体可以执行以下更为详细的内容：

对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列；

依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数，再依据每一个所述视频影响力参数，构建得到所述目标监控视频对应的视频影响力参数有序集合；

依据从所述每一个监控视频子集中识别出的视频信息特征分布，构建得到所述目标监控视频对应的视频信息特征分布有序集合，再对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合；

在所述相关度数据有序集合中，提取出所述监控视频子集对应的特征相关数据，再将所述监控视频子集对应的视频影响力参数与所述监控视频子集对应的特征相关数据进行融合计算（如计算乘积），以输出所述监控视频子集对应的视频筛选数据；以及，基于所述视频筛选数据分析确定出（如通过softmax函数处理）所述监控视频子集对应的代表视频筛选数据；

依据每一个所述监控视频子集对应的代表视频筛选数据之间的数据相对大小关系，对每一个所述监控视频子集进行对应排序，对排序在前或在后的至少一个监控视频子集（如代表视频筛选数据最大的10%等）进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；或者，将对应的代表视频筛选数据不小于预先配置的代表视频筛选数据参考值（示例性地，所述代表视频筛选数据参考值可以为0.8、0.9等）每一个的监控视频子集进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；以及，将所述关键监控视频子集标记为关键监控视频帧组合。

示例性地，在一些可以实施的示例中，在执行所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤的过程，具体还可以执行以下更为详细的内容（在执行所述对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列的步骤之前，还可以执行以下步骤）：

对当前的目标监控视频进行去重筛选，以得到最终的目标监控视频帧。其中，进行去重筛选的依据可以是相邻两帧目标监控视频帧之间的相似度，即将相似度大于相似度参考值的两帧目标监控视频帧中的后一帧筛除，另外，该相似度的计算方式，可以包括以下内容：

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，依据预先配置的多个第一像素值区间（可以是任意的，如0-10、11-20、21-30、...、251-255等），对该目标监控视频帧包括的每一个像素点的像素值进行分类处理，以输出该目标监控视频帧对应的多个第一像素值集合，所述多个第一像素值区间与所述多个第一像素值集合之间具有一一对应关系；

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，分别对该目标监控视频帧对应的多个第一像素值集合中的每一个第一像素值集合包括的像素值数量进行统计（即像素值属于对应第一像素值区间的像素点的数量），以输出每一个第一像素值集合对应的像素值统计数量；

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，依据该目标监控视频帧对应的多个第一像素值集合对应的多个像素值统计数量，按照对应的第一像素值区间的变化关系，确定出该目标监控视频帧对应的像素分布变化趋势信息（所述像素分布变化趋势信息可以通过对应的波形图表示，在该波形图中横坐标可以为所述第一像素值区间，在该波形图中纵坐标可以为所述像素值统计数量）；

对所述两帧目标监控视频帧对应的两条像素分布变化趋势信息进行融合处理（如均值计算），以输出目标像素分布变化趋势信息；

从所述目标像素分布变化趋势信息中，确定出具有最大值的变化曲线波峰点，再确定出与该最大值的变化曲线波峰点最近、且位于该最大值的变化曲线波峰点两侧的两个变化曲线波谷点；

依据所述两个变化曲线波谷点对应的两个第一像素值区间，确定出目标第一像素值区间（示例性地，可以依据所述两个第一像素值区间对应的两个区间下限值中的较小值确定所述目标第一像素值区间对应的区间下限值，可以依据所述两个第一像素值区间对应的两个区间上限值中的较大值确定所述目标第一像素值区间对应的区间上限值），以及，对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，提取出所述目标监控视频帧中，像素值属于所述目标第一像素值区间的每一个像素点，以形成该目标监控视频帧对应的像素点集合；

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，确定出该目标监控视频帧对应的像素点集合包括的每一个像素点对应的第一最小矩形框，再计算输出所述两帧目标监控视频帧对应的两个第一最小矩形框之间的面积比值（即较小面积除以较大面积），以得到第一相似系数；

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，依据每一个像素点与以该像素点为中心的目标区域内（示例性地，所述目标区域可以为圆形，半径可以为10等数值）的相邻像素点之间的像素差异值（示例性地，可以是与每一个相邻像素点之间的像素值差值的和，作为该像素差异值，以及，在该像素差异度大于预先配置的像素差异值参考值时，确定为代表像素点），从该目标监控视频帧中提取出每一个对应的代表像素点；

对于所述两帧目标监控视频帧中的每一帧目标监控视频帧，确定出该目标监控视频帧对应的代表像素点对应的第二最小矩形框，再计算输出所述两帧目标监控视频帧对应的两个第二最小矩形框之间的面积比值（即较小面积除以较大面积），以得到第二相似系数；

对所述第一相似系数和所述第二相似系数进行融合处理（如均值或加权均值计算等），以输出所述两帧目标监控视频帧之间的相似度。

示例性地，在一些可以实施的示例中，在执行所述对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列的步骤的过程，具体可以执行以下更为详细的内容：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布；

将所述视频信息整体特征分布标记为对应的视频覆盖物（即mask），以对所述目标监控视频进行监控对象分解操作，以输出所述目标监控视频中每一个监控对象分别对应的目标监控子视频帧序列（所述目标监控子视频帧序列中的每一帧目标监控子视频帧为从对应的目标监控视频帧中依据所述监控对象所在的区域截取处理的部分），所述视频覆盖物的轮廓线用于区分不同的监控对象之间的对象轮廓。

示例性地，在一些可以实施的示例中，在执行所述对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布的步骤的过程，具体可以执行以下更为详细的内容：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的第一视频信息特征分布；对所述第一视频信息特征分布进行多次特征压缩和筛选操作，以输出所述目标监控视频对应的多个第二视频信息特征分布，所述多次特征压缩和筛选操作中的每两次特征压缩和筛选操作的参数不同；融合所述多个第二视频信息特征分布，以输出所述目标监控视频对应的视频信息整体特征分布（示例性地，所述多次特征压缩和筛选操作可以是通过多个具有不同尺寸的卷积核进行实现，其中，通过所述多个具有不同尺寸的卷积核可以将第一视频信息特征分布映射为不同的子区域，并形成针对不同视频帧子区域的第二视频信息特征分布。另外，不同尺寸的卷积核可以输出不同尺寸的第二视频信息特征分布，将输出的不同尺寸的第二视频信息特征分布合并处理，得到视频信息整体特征分布）。

示例性地，在一些可以实施的示例中，在执行所述依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数的步骤之前，所述视频分析方法还包括分析出与所述监控对象匹配的至少一个子视频帧序列片段的步骤，另外，在执行该步骤的过程，具体可以执行以下更为详细的内容：

对于每一个所述监控对象（如电力器件等），从该监控对象对应的所述目标监控子视频帧序列中，选择出包括的目标监控子视频帧的数量大于或等于预先配置的数量参考值的子视频帧序列片段，以进行标记处理，以标记形成与该监控对象匹配的子视频帧序列片段。

示例性地，在一些可以实施的示例中，在执行所述依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，对所述目标监控视频中的每一个监控视频子集确定出对应的视频影响力参数的步骤的过程，具体可以执行以下更为详细的内容：

对所述目标监控视频进行分段处理，以形成所述目标监控视频对应的多个监控视频子集，每一个所述监控视频子集包括多帧目标监控视频帧，每两个监控视频子集之间包括的目标监控视频帧的数量相同；以及，对于所述目标监控视频中的每一个监控视频子集，确定出该监控视频子集在视频帧时序上匹配的且与所述监控对象匹配的子视频帧序列片段，再依据该子视频帧序列片段包括的目标监控子视频帧之间的视频帧差异度（示例性地，可以先对相邻的每两帧目标监控子视频帧进行视频帧差异度计算，对该视频帧差异度进行均值或累积计算，再将计算结果的正相关系数作为对应的视频影响力参数），分析输出该监控视频子集对应的视频影响力参数。

示例性地，在一些可以实施的示例中，在执行所述依据从所述每一个监控视频子集中识别出的视频信息特征分布，构建得到所述目标监控视频对应的视频信息特征分布有序集合的步骤之前，所述基于FPGA的视频分析方法还包括其它步骤，该其它步骤具体可以执行以下更为详细的内容：

对于所述目标监控视频包括的每一个监控视频子集，分析输出该监控视频子集对应的第一视频信息提取结果与第二视频信息提取结果，所述第一视频信息提取结果用于反映所述监控视频子集包括的各目标监控视频帧之间的像素值变化状态（即先确定每相邻的两帧目标监控视频帧之间的视频帧差异度，再将该视频帧差异度随着时间的变化情况作为第一视频信息提取结果），所述第二视频信息提取结果用于反映所述像素值变化状态对应的变化曲线的频率分布状态（示例性地，可以通过对所述第一视频信息提取结果进行傅里叶变换，以得到所述第二视频信息提取结果）；

依据每一个所述目标监控子视频帧序列中与所述监控对象匹配的至少一个子视频帧序列片段，分析输出所述第一视频信息提取结果对应的第一视频影响力参数（示例性地，可以依据该子视频帧序列片段与所述第一视频信息提取结果对应的监控视频子集之间视频帧时序的重合度，确定出具有正相关关系的第一视频影响力参数，再基于该第一视频影响力参数确定出具有负相关关系的第二视频影响力承诺书），并分析输出所述第二视频信息提取结果对应的第二视频影响力参数，再通过配置的多个卷积核依次对所述第一视频影响力参数和所述第一视频信息提取结果的融合结果（该融合结果可以是指所述第一视频影响力参数和所述第一视频信息提取结果的乘积）进行特征挖掘操作，以输出对应的第一维度的视频信息特征分布，以及，通过配置的多个卷积核依次对所述第二视频影响力参数和所述第二视频信息提取结果的融合结果（该融合结果可以是指所述第二视频影响力参数和所述第二视频信息提取结果的乘积）进行特征挖掘操作，以输出对应的第二维度的视频信息特征分布；

对所述第一维度的视频信息特征分布进行维度拉伸操作，以形成拉伸后的第一维度的视频信息特征分布，所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布的维度相同；

聚合所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布（由于所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布的维度相同，可以对所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布直接聚合），以形成所述监控视频子集对应的视频信息特征分布。

示例性地，在一些可以实施的示例中，在执行所述聚合所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布，以形成所述监控视频子集对应的视频信息特征分布的步骤的过程，具体可以执行以下更为详细的内容：

对所述拉伸后的第一维度的视频信息特征分布和所述第二维度的视频信息特征分布进行和值计算，以输出对应的融合视频信息特征分布，再从所述融合视频信息特征分布对应的卷积处理结果中提取出具有最大值的第一特征分布、具有最小值的第二特征分布和具有平均值的第三特征分布（也就是说，需要先对所述融合视频信息特征分布进行卷积处理，以得到对应的卷积处理结果，再从所述卷积处理结果中的三个特征分布）；

对所述第一特征分布、所述第二特征分布和所述第三特征分布进行融合处理（示例性地，可以对所述第一特征分布、所述第二特征分布和所述第三特征分布进行和值计算，然后，再通过过Relu函数进行处理，以得到对应的视频信息特征分布），再基于融合处理的结果分析输出所述监控视频子集对应的视频信息特征分布。

示例性地，在一些可以实施的示例中，在执行所述对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合的步骤之前，所述基于FPGA的视频分析方法还可以包括其它步骤，在执行该其它步骤的过程，具体可以执行以下更为详细的内容：

对所述目标监控视频包括的每一个所述监控视频子集对应的视频信息特征分布进行特征整合操作（示例性地，可以对所述视频信息特征分布进行转化处理，以形成一维的视频信息特征分布整合结果），以输出每一个所述视频信息特征分布对应的视频信息特征分布整合结果。

示例性地，在一些可以实施的示例中，在执行所述对所述视频信息特征分布有序集合进行特征挖掘操作，以输出所述目标监控视频对应的相关度数据有序集合的步骤的过程，具体可以执行以下更为详细的内容：

对于所述视频信息特征分布有序集合包括每一个所述视频信息特征分布，对该视频信息特征分布执行目标配置操作，该目标配置操作包括：

对所述视频信息特征分布对应的视频信息特征分布整合结果和其它监控视频子集对应的其它视频信息特征分布对应的视频信息特征分布整合结果进行乘积计算，以输出所述视频信息特征分布与所述其它监控视频子集对应的视频信息特征分布之间的特征分布关联系数（示例性地，对于视频信息特征分布A，可以将视频信息特征分布A对应的视频信息特征分布整合结果与任意一个其它监控视频子集对应的其它视频信息特征分布对应的视频信息特征分布整合结果进行内积，以得到一个特征分布关联系数），所述其它监控视频子集为所述目标监控视频包括的多个监控视频子集中所述视频信息特征分布对应的监控视频子集以外的监控视频子集；

聚合所述视频信息特征分布和所述特征分布关联系数（如计算乘积），以输出所述视频信息特征分布对应的聚合特征相关系数；

对所述视频信息特征分布对应的每一个所述聚合特征相关系数进行求和计算，以输出所述视频信息特征分布对应的特征相关数据；以及，依据每一个所述视频信息特征分布对应的监控视频子集在所述目标监控视频中的视频帧时序先后关系，对每一个所述视频信息特征分布对应的特征相关数据进行排序处理，以形成所述目标监控视频对应的相关度数据有序集合。

示例性地，在一些可以实施的示例中，所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤通过预先训练形成的视频帧识别神经网络实现，因此，所述基于FPGA的视频分析方法预先训练形成所述视频帧识别神经网络的步骤，在执行该骤的过程，可以执行以下更为详细的内容：

依据示例性目标监控视频包括的每一个真实示例性关键监控视频子集对应的真实代表视频筛选数据，构成所述目标监控视频对应的真实代表视频筛选数据有序集合；利用初始的视频帧识别神经网络，分析确定出所述示例性目标监控视频对应的估计代表视频筛选数据有序集合；

依据所述真实代表视频筛选数据有序集合与所述估计代表视频筛选数据有序集合分析计算出所述初始的视频帧识别神经网络对应的网络学习代价值；对所述网络学习代价值和所述示例性目标监控视频对应的真实示例性监控视频子集的数量进行比值计算，以输出对应的网络学习代价值均值，再依据所述网络学习代价值均值对所述初始的视频帧识别神经网络训练（可以进行多次训练，直到当前的网络学习代价值均值小于预先配置的代价参考值），以输出训练形成的视频帧识别神经网络。

示例性地，在一些可以实施的示例中，在执行所述利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果的步骤的过程，具体可以执行以下更为详细的内容：

利用预先训练形成的故障检测神经网络（所述故障检测神经网络可以通过具有标签信息的示例视频帧进行训练得到，所述标签信息用于反映所述示例视频帧中是否具有故障或故障的类型），分别对所述关键监控视频帧组合包括的每一帧关键监控视频帧进行故障检测处理，以输出每一帧所述关键监控视频帧对应的初始故障检测结果；对所述关键监控视频帧组合包括的每一帧关键监控视频帧对应的初始故障检测结果进行融合处理（如直接将各初始故障检测结果合并，得到一个结果集合，再将该结果集合作为目标区域的故障检测结果），以输出目标区域的故障检测结果。

结合图3，本发明实施例还提供一种基于FPGA的视频分析装置，可应用于上述基于FPGA的视频分析系统。其中，所述基于FPGA的视频分析装置可以包括以下软件功能模块：

视频帧预处理模块，用于通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频（具体内容可以参照上述的步骤S110的解释说明）；

关键视频帧识别模块，用于从所述目标监控视频中，识别出关键监控视频帧组合，所述关键监控视频帧组合包括至少一帧关键监控视频帧（具体内容可以参照上述的步骤S120的解释说明）；

故障检测处理模块，用于利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，所述原始监控视频基于对所述目标区域进行视频采集得到（具体内容可以参照上述的步骤S130的解释说明）。

综上所述，本发明提供的一种基于FPGA的视频分析方法及系统，通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成原始监控视频对应的目标监控视频。从目标监控视频中，识别出关键监控视频帧组合，关键监控视频帧组合包括至少一帧关键监控视频帧。利用预先训练形成的故障检测神经网络，对关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，原始监控视频基于对目标区域进行视频采集得到。基于前述的内容，一方面通过现场可编程门阵列进行预测处理，另一方面通过识别出关键监控视频帧组合，再进行故障检测处理，使得可以在一定程度上提高视频分析的效率，改善现有技术中视频分析效率不高的问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于FPGA的视频分析方法，其特征在于，包括：

通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频；

从所述目标监控视频中，识别出关键监控视频帧组合，所述关键监控视频帧组合包括至少一帧关键监控视频帧；

利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果，所述原始监控视频基于对所述目标区域进行视频采集得到。

2.如权利要求1所述的基于FPGA的视频分析方法，其特征在于，所述通过现场可编程门阵列对采集得到的原始监控视频包括的每一帧原始监控视频帧进行预处理，以形成所述原始监控视频对应的目标监控视频的步骤，包括：

通过现场可编程门阵列对当前采集得到的原始监控视频帧进行缓存；

通过现场可编程门阵列对原始监控视频帧进行预处理，以形成所述原始监控视频帧对应的目标监控视频帧，该预处理包括对所述原始监控视频帧进行图像亮度调节、图像坏点修复、图像噪点抑制中的至少一种。

3.如权利要求1所述的基于FPGA的视频分析方法，其特征在于，所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤，包括：

对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列；

对于每一个所述监控对象，从该监控对象对应的所述目标监控子视频帧序列中，选择出包括的目标监控子视频帧的数量大于或等于预先配置的数量参考值的子视频帧序列片段，以进行标记处理，以标记形成与该监控对象匹配的子视频帧序列片段；

对所述目标监控视频进行分段处理，以形成所述目标监控视频对应的多个监控视频子集，每一个所述监控视频子集包括多帧目标监控视频帧，每两个监控视频子集之间包括的目标监控视频帧的数量相同；以及，对于所述目标监控视频中的每一个所述监控视频子集，确定出该监控视频子集在视频帧时序上匹配的且与所述监控对象匹配的子视频帧序列片段，再依据该子视频帧序列片段包括的目标监控子视频帧之间的视频帧差异度，分析输出该监控视频子集对应的视频影响力参数，再依据每一个所述视频影响力参数，构建得到所述目标监控视频对应的视频影响力参数有序集合；

依据从每一个所述监控视频子集中识别出的视频信息特征分布，构建得到所述目标监控视频对应的视频信息特征分布有序集合，对所述目标监控视频包括的每一个所述监控视频子集对应的视频信息特征分布进行特征整合操作，以输出每一个所述视频信息特征分布对应的视频信息特征分布整合结果，以及，对于所述视频信息特征分布有序集合包括每一个所述视频信息特征分布，分别对该视频信息特征分布对应的视频信息特征分布整合结果和每一个其它监控视频子集对应的其它视频信息特征分布对应的视频信息特征分布整合结果进行乘积计算，以输出该视频信息特征分布与每一个其它监控视频子集对应的视频信息特征分布之间的特征分布关联系数，所述其它监控视频子集为所述目标监控视频包括的多个监控视频子集中该视频信息特征分布对应的监控视频子集以外的监控视频子集，分别聚合该视频信息特征分布和每一个所述特征分布关联系数，以输出该视频信息特征分布对应的每一个聚合特征相关系数，对该视频信息特征分布对应的每一个所述聚合特征相关系数进行求和计算，以输出该视频信息特征分布对应的特征相关数据；

依据每一个所述视频信息特征分布对应的监控视频子集在所述目标监控视频中的视频帧时序先后关系，对每一个所述视频信息特征分布对应的特征相关数据进行排序处理，以形成所述目标监控视频对应的相关度数据有序集合；

在所述相关度数据有序集合中，提取出每一个所述监控视频子集对应的特征相关数据，再将每一个所述监控视频子集对应的视频影响力参数与每一个所述监控视频子集对应的特征相关数据进行融合计算，以输出每一个所述监控视频子集对应的视频筛选数据；以及，基于所述视频筛选数据分析确定出每一个所述监控视频子集对应的代表视频筛选数据；

依据每一个所述监控视频子集对应的代表视频筛选数据之间的数据相对大小关系，对每一个所述监控视频子集进行对应排序，对排序在前或在后的至少一个监控视频子集进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；或者，将对应的代表视频筛选数据不小于预先配置的代表视频筛选数据参考值的每一个所述监控视频子集进行标记处理，以形成所述目标监控视频对应的关键监控视频子集；以及，将所述关键监控视频子集标记为关键监控视频帧组合。

4.如权利要求3所述的基于FPGA的视频分析方法，其特征在于，所述对所述目标监控视频进行监控对象分解操作，以形成所述目标监控视频包括的每一个监控对象分别对应的目标监控子视频帧序列的步骤，包括：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布；

将所述视频信息整体特征分布标记为对应的视频覆盖物，以对所述目标监控视频进行监控对象分解操作，以输出所述目标监控视频中每一个监控对象分别对应的目标监控子视频帧序列，所述视频覆盖物的轮廓线用于区分不同的监控对象之间的对象轮廓。

5.如权利要求4所述的基于FPGA的视频分析方法，其特征在于，所述对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的视频信息整体特征分布的步骤，包括：

对所述目标监控视频进行视频信息挖掘操作，以输出所述目标监控视频对应的第一视频信息特征分布；

对所述第一视频信息特征分布进行多次特征压缩和筛选操作，以输出所述目标监控视频对应的多个第二视频信息特征分布，所述多次特征压缩和筛选操作中的每两次特征压缩和筛选操作的参数不同；

融合所述多个第二视频信息特征分布，以输出所述目标监控视频对应的视频信息整体特征分布。

6.如权利要求3所述的基于FPGA的视频分析方法，其特征在于，所述从所述目标监控视频中，识别出关键监控视频帧组合的步骤通过预先训练形成的视频帧识别神经网络实现，所述视频帧识别神经网络的训练，包括：

依据示例性目标监控视频包括的每一个真实示例性关键监控视频子集对应的真实代表视频筛选数据，构成所述目标监控视频对应的真实代表视频筛选数据有序集合；利用初始的视频帧识别神经网络，分析确定出所述示例性目标监控视频对应的估计代表视频筛选数据有序集合；

依据所述真实代表视频筛选数据有序集合与所述估计代表视频筛选数据有序集合分析计算出所述初始的视频帧识别神经网络对应的网络学习代价值；对所述网络学习代价值和所述示例性目标监控视频对应的真实示例性监控视频子集的数量进行比值计算，以输出对应的网络学习代价值均值，再依据所述网络学习代价值均值对所述初始的视频帧识别神经网络训练，以输出训练形成的视频帧识别神经网络。

7.如权利要求1-6任意一项所述的基于FPGA的视频分析方法，其特征在于，所述利用预先训练形成的故障检测神经网络，对所述关键监控视频帧组合包括的关键监控视频帧进行故障检测处理，以输出目标区域的故障检测结果的步骤，包括：

利用预先训练形成的故障检测神经网络，分别对所述关键监控视频帧组合包括的每一帧关键监控视频帧进行故障检测处理，以输出每一帧所述关键监控视频帧对应的初始故障检测结果；

对所述关键监控视频帧组合包括的每一帧关键监控视频帧对应的初始故障检测结果进行融合处理，以输出目标区域的故障检测结果。

8.一种基于FPGA的视频分析系统，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现权利要求1-7任意一项所述的方法。

Images