CN109525803B - 基于fpga和人工智能的视频结构化处理装置和方法 - Google Patents

Abstract

本公开提供一种基于FPGA和人工智能的视频结构化处理装置和方法。根据本公开的一种基于FPGA和人工智能的视频结构化处理装置(100)包括视频解码器(110)，用于对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA(120、130)。FPGA(120、130)从视频解码器(110)接收解码后的视频数据，利用FPGA中编程的人工智能算法对接收的解码后的视频数据进行结构化处理，将结构化信息返回到视频解码器(110)。视频解码器(110)从FPGA(120、130)接收结构化信息，根据接收到的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

Description

基于FPGA和人工智能的视频结构化处理装置和方法

技术领域

本发明涉及人工智能领域，更具体涉及使用FPGA来进行视频结构化处理的装置和方法。

背景技术

随着“平安城市”、“城市立体化治安防控”、“智慧城市”等科技强警项目建设的开展不断深入，我国一线、二线、三线城市已经基本完成城市监控与报警系统由标清改高清的建设，并且基于统一的国家标准正在开展视频监控资源的联网整合任务。一线、二线城市已经在联网整合后视频资源基础上深入开展智能视频分析系统、且取得了初步成果。然而，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。当下主要的问题在于：缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式；视频信息化情报化警务应用各环节缺乏统一的标准和规范。解决这一问题的核心技术即是视频结构化描述技术。

视频结构化技术是一种将视频内容(人、车、物、活动目标)特征属性自动提取的技术，对视频内容按照语义关系，采用目标分割、时序分析、对象识别、深度学习等处理手段，分析和识别目标信息，组织成可供计算机和人理解的文本信息的技术。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

目前视频结构化技术在实际应用中还存在以下问题：

(1)分析准确率受环境影响大

系统针对复杂异常行为建模困难，目标与背景接近会导致目标特征信息提取困难；运动目标被遮挡会造成目标信息缺失；目标移动速度过快或算法过于复杂导致跟踪的有效性较低，上述因素易造成误报、漏报、跟踪困难等结果。

(2)海量数据分析速度较慢

针对后端平台的结构化处理而言，前端采集设备回传大量的视频、图片等信息，都需要在平台服务器上叠加算法进行分析，由于服务器本身处理性能的限制，无法并行处理大量数据，因此，虽然智能分析服务器的应用为公安、交警等需要大量检索视频的情况节省了人力与时间，但整体的效率仍有很大提高的空间。

随着人工智能、机器学习算法的不断成熟，相关的硬件能力不断提高，人工智能、神经网络算法在视频结构化处理中的应用得到越来越广泛的关注。服务器端用于人工智能算法加速的硬件现在主要分为GPU(英文术语Graphics Processing Unit的缩写，中文可以译为图形处理单元)和FPGA(英文术语Field Programmable Gate Array的缩写，中文可以译为现场可编程门阵列)两类。

例如，现有的主流采用人工智能算法的视频结构化处理方案为NVIDIA的GPU方案，采用GPU对视频进行解码，然后使用人工智能、神经网络算法进行结构化分析和处理。

另一方面，中国发明专利申请公布CN101902617A披露了一种用DSP和FPGA实现视频结构化描述的装置及方法。其发明目的在于公开一种用DSP和FPGA实现视频结构化描述的装置及方法，用DSP和FPGA实现对输入视频进行结构化描述将视频结构化描述的智能图象处理技术和基于DSP和FPGA的嵌入式系统进行了有机的结合，对视频图像进行分析、理解，并产生结构化描述数据，有效地对视频监控和视频数据进行管理，实现对视频图像数据的查询、浏览、检索等信息化的应用；工作性能稳定可靠，适用范围较为广泛，能够大幅度提高现有视频监控系统的智能化程度，降低人工监控的成本，实现视频监控的信息化管理，实现该发明的目的。该方案采用Spartan-3E FPGA和DSP搭配，主要使用DSP芯片作为主运算芯片来进行视频结构化处理，而FPGA在该方案中只作为接口来使用。

总的来说，FPGA相比GPU有更高的稳定性，能耗更低，同时性价比更高。因此，希望采用FPGA来作为用于视频结构化处理的人工智能算法的运算和加速平台。

发明内容

本方案采用FPGA作为用于视频结构化处理的人工智能算法的运算和加速平台。

根据本发明的第一方面，提供一种基于FPGA和人工智能的视频结构化处理装置，包括：视频解码器，用于对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA；FPGA，用于从所述视频解码器接收解码后的视频数据，利用所述FPGA中编程的人工智能算法对接收的解码后的视频数据进行结构化处理，将结构化信息返回到所述视频解码器。所述视频解码器进一步用于从所述FPGA接收结构化信息，根据接收到的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

在根据本发明的第一方面的装置中，优选地，所述FPGA可以包括多个FPGA芯片，并且所述视频解码器可以用于对输入的多路视频数据进行解码，解码后的多路视频数据输入到所述多个FPGA芯片，每个FPGA芯片可以对一路或多路视频数据进行结构化处理。

在根据本发明的第一方面的装置中，优选地，所述FPGA可以包括两个相同的FPGA芯片，并且所述视频解码器可以用于对输入的16路视频数据进行解码，解码后的16路视频数据输入到所述两个FPGA芯片，每个FPGA芯片对8路视频数据进行结构化处理。

在根据本发明的第一方面的装置中，优选地，所述视频解码器可以将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口直接输入到所述两个FPGA芯片；所述两个FPGA芯片可以分别对两组8路视频数据并行进行结构化处理，处理完后，各自直接将结构化信息返回到所述视频解码器。

在根据本发明的第一方面的装置中，优选地，所述视频解码器可以通过高速接口将解码后的16路视频数据输入到所述两个FPGA芯片中的第一FPGA芯片；所述第一FPGA芯片可以将其中的8路视频数据通过自身的高速接口发送到所述两个FPGA芯片中的第二FPGA芯片，并且对未发送的8路视频数据进行结构化处理；所述第二FPGA芯片可以接收从所述第一FPGA芯片发送的8路视频数据，进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片；所述第一FPGA芯片可以进一步从所述第二FPGA芯片接收结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器。

根据本发明的第二方面，提供一种计算处理设备，包括：主控制器；主板；以及根据本发明的第一方面的基于FPGA和人工智能的视频结构化处理装置，通过PCIE接口连接到所述主板。

根据本发明的第三方面，提供一种基于FPGA和人工智能的视频结构化处理方法，包括：通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA；所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理；由所述FPGA将结构化信息返回到所述视频解码器；所述视频解码器根据从所述FPGA返回的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

在根据本发明的第三方面的方法中，优选地，所述FPGA包括多个FPGA芯片，所述方法进一步包括：通过所述视频解码器对输入的多路视频数据进行解码，将解码后的多路视频数据输入到所述多个FPGA芯片；每个FPGA芯片对一路或多路视频数据进行结构化处理。

在根据本发明的第三方面的方法中，优选地，所述FPGA包括两个相同的FPGA芯片，并且所述方法进一步包括：通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口直接输入到所述两个FPGA芯片；所述两个FPGA芯片分别对两组8路视频数据并行进行结构化处理；所述两个FPGA芯片各自直接将结构化信息返回到所述视频解码器。

在根据本发明的第三方面的方法中，优选地，所述FPGA包括两个相同的FPGA芯片，并且所述方法进一步包括：通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据通过高速接口输入到所述两个FPGA芯片中的第一FPGA芯片；所述第一FPGA芯片将其中的8路视频数据通过自身的高速接口发送到所述两个FPGA芯片中的第二FPGA芯片，并且对未发送的8路视频数据进行结构化处理；所述第二FPGA芯片对接收到的从所述第一FPGA芯片发送的8路视频数据进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片；所述第一FPGA芯片将从所述第二FPGA芯片返回的结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器。

根据本发明的方案采用了先进的人工智能算法对视频进行结构化处理，大大提高了分析准确率，同时使得视频分析对于环境和图像质量的要求大大降低；由于采用了双FPGA进行同步处理，本方案可以同时处理例如16路最高1080p分辨率的视频流数据，大大提高了单板的处理能力，并且由于采用了标准PCIE接口，可以在服务器主机上大规模部署，使得服务器可以并行处理大量数据，可以更好地满足对于海量数据分析速率的要求。

附图说明

下面参考附图结合实施例说明本发明。在附图中：

图1是图示说明根据本发明的优选实施例的基于FPGA和人工智能的视频结构化处理装置的示意图；

图2是图示说明用于实现根据本发明的基于FPGA和人工智能的视频结构化处理装置的计算处理环境的示意图；

图3是图示说明根据本发明的基于FPGA和人工智能的视频结构化处理方法的流程图。

具体实施方式

附图仅用于示例说明，不能理解为对本发明的限制；下面结合附图和实施例对本发明的技术方案做进一步的说明。

图1是图示说明根据本发明的优选实施例的基于FPGA和人工智能的视频结构化处理装置100的示意图。

总的来说，根据本发明的实施例，如图1中所示，提供一种基于FPGA和人工智能的视频结构化处理装置100，包括：视频解码器110，用于对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA；FPGA 120、130，用于从所述视频解码器110接收解码后的视频数据，利用所述FPGA中编程的人工智能算法对接收的解码后的视频数据进行结构化处理，将结构化信息返回到所述视频解码器110。所述视频解码器110进一步用于从所述FPGA接收结构化信息，根据接收到的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

所述FPGA可以包括多个FPGA芯片，例如图中所示的120和130，并且所述视频解码器110可以用于对输入的多路视频数据进行解码，解码后的多路视频数据输入到所述多个FPGA芯片120、130，每个FPGA芯片120或130可以对一路或多路视频数据进行结构化处理。

更具体地说，所述FPGA可以包括两个相同的FPGA芯片120和130，并且所述视频解码器110可以用于对输入的16路视频数据进行解码，解码后的16路视频数据输入到所述两个FPGA芯片120和130，每个FPGA芯片对8路视频数据进行结构化处理。

在以上的两个相同FPGA芯片的实施例中，一方面，所述视频解码器110可以将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口141、142直接输入到所述两个FPGA芯片120和130；所述两个FPGA芯片120和130可以分别对两组8路视频数据并行进行结构化处理，处理完后，各自直接将结构化信息返回到所述视频解码器110。

另一方面，所述视频解码器110可以通过高速接口141将解码后的16路视频数据输入到所述两个FPGA芯片中的第一FPGA芯片120；所述第一FPGA芯片120可以将其中的8路视频数据通过自身的高速接口143发送到所述两个FPGA芯片中的第二FPGA芯片130，并且对未发送的8路视频数据进行结构化处理；所述第二FPGA芯片130可以接收从所述第一FPGA芯片120发送的8路视频数据，进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片120；所述第一FPGA芯片120可以进一步从所述第二FPGA芯片130接收结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器110。

如图1中所示，本发明的优选实施例具体表现为一块PCIE(PCI-Express，全称为Peripheral Component Interconnect Express)接口的硬件板卡，采用一片华为海思的多通道视频解码芯片110和两片XILINX Zynq UltraScale+MPSoC系列FPGA芯片120、130作为主芯片。

下面是对该具体实施例的详细说明。

解码芯片110对输入的编码视频数据进行解码和校正后发送给FPGA120、130，接收FPGA 120、130返回的处理得到的结构化信息并将目标图片和相应的结构化信息返回给主控端。PCIE接口作为和主控计算机的数据接口，承担输入编码视频数据、返回视频和叠加结构化信息的任务。外部晶体(XTAL)提供解码芯片110的工作时钟，外部的FLASH为解码芯片110的外部启动存储和数据存储模块，外接DDR作为内存模块。与两个FPGA 120、130通过高速数字接口141和/或142发送解码后的视频数据，通过接口145和/或146接收返回的结构化信息。

两片FPGA型号相同，都是XILINX Zynq UltraScale+MPSoC系列FPGA，拥有大量可编程逻辑资源可供人工智能算法使用。FPGA内部的人工智能算法对输入的解码后的视频数据进行相应的结构化处理并返回相应的结构化信息。第一FPGA 120通过第一高速数字接口141和接口145与解码芯片110相连，第二FPGA 130通过第二高速数字接口142和接口146与解码芯片110相连，两个FPGA之间通过接口144和第三高速数字接口143进行数据连接。两个FPGA都有外接的DDR内存颗粒和FLASH大容量存储颗粒。

本方案的数据流说明如下。

编码的原始视频数据通过PCIE接口由主控计算机(包括主控制器与主板，参见下文中提到的图2)传入解码芯片110，解码芯片110经解码等处理后通过第一高速数字接口141和/或第二高速数字接口142把视频数据传给两个FPGA 120、130进行处理，FPGA内部有专门用于视频结构化处理的人工智能算法，处理完成后两个FPGA 120、130把结构化信息回传给解码芯片110，解码芯片110根据回传的结构化信息对原始视频数据进行处理，最后将目标图片和相应的结构化信息通过PCIE接口传回到主控。

解码芯片与两片FPGA数据接口有两种可选的具体实现方式，以下详细说明。

第一方式：单板的处理能力为同时处理16路视频数据，每片FPGA的处理能力是同时处理8路视频数据，因此使用2片FPGA芯片。其中，接解码芯片110的第一高速数字接口141的为第一FPGA 120，接解码芯片110的第二高速数字接口142的为第二FPGA 130。每片FPGA与解码芯片110之间都有独立的视频输入和结构化信息返回接口：第一FPGA 120与解码芯片110通过第一高速数字接口141接收解码后的原始视频数据，通过接口145返回处理完成的结构化信息，第二FPGA 130与解码芯片110通过第二高速数字接口142接收解码后的原始视频数据，通过接口146返回处理完成的结构化信息。

第二方式：由于第一高速数字接口141的传输速率比较高，解码芯片110可以通过第一高速数字接口141将16路解码后的原始视频数据全部发送给第一FPGA 120，第一FPGA120再通过第三高速数字接口143将其中8路视频数据转发给第二FPGA 130进行处理，剩下的8路视频数据由第一FPGA 120自身处理。第二FPGA 130处理完成后，将结构化信息通过接口144传给第一FPGA 120，第一FPGA 120将自身8路视频结构化信息和第二FPGA 130传回的结构化信息合并通过接口145回传给解码芯片110。

以上两种数据接口连接方式在考虑到解码芯片110处理能力和速度，第一FPGA120资源使用度等方面并结合具体使用场景，选择合适的方式来使用。

此外，目前市面上已有的视频结构化分析功能大多集中在对单路摄像头采集的单源视频进行独立分析，缺乏多路多源监控视频的协同分析，而本方案由于采取了双FPGA同步进行处理，可以对多个摄像头的视频进行协同分析，实现跨摄像机目标跟踪技术，从而获取目标在更大场景内的行踪轨迹，以进行更准确的行为分析和应用。

本方案后续还可以进行进一步的扩展，如果前端的视频解码芯片可以同时解码更多的视频流(例如32路)，后端的处理用FPGA数量可以相应的增加(例如增加到4片)，进一步增强单板处理能力，提高系统效率。

此外，尽管在以上的优选实施例中，解码后的多路视频信号被平均分配到两个或更多个FPGA中进行结构化处理，但是本领域技术人员应该明白，这样的平均分配只是示例；而实际上，视频信号的分配可以是不均衡的，例如有的FPGA芯片可能只处理一路，而其他FPGA芯片处理多路信号；或者某一个或某几个FPGA芯片处理的视频流的数量多于或少于其他FPGA芯片等等。

本领域技术人员应当理解，高速接口或高速数字接口可以包括HDMI、BT1120、Aurora以及其他任何实用接口。此外，在以上的优选实施例中，可以使用诸如MAC、SGMII的网口以及USB3.0接口来作为回传结构化信息的接口144、145、146，但本领域技术人员应该理解，也可以使用其他的接口来回传结构化信息。

此外，尽管本发明的具体实施例中使用了海思的芯片作为视频解码芯片，并使用了XILINX的FPGA产品，但本领域技术人员应该理解，这只是示例说明，而本发明不限于这样的具体芯片和具体产品，而是可以广泛适用于各种解码芯片和FPGA产品。

而且，本发明对于FPGA芯片的数量不做限制。也就是说，尽管在上述的优选实施例中，可以使用两个FPGA芯片来对多路视频信号进行结构化处理，但在资源适当、处理能力足够的情况下，也可以使用一个FPGA芯片来进行结构化处理；另一方面，如之前所述，也可以使用更多数量的FPGA来同步或以主-从方式进行结构化处理。

根据本发明的上述实施例，本方案作为视频结构化处理的核心运算板卡，采用华为海思多通道视频解码芯片对输入的编码视频流(实时视频或存储的历史视频)进行解码，然后传输到两个FPGA中使用人工智能算法来进行结构化处理，并从视频中提取出关键有效信息，FPGA采用XILINX ZynqUltraScale+MPSoC系列FPGA芯片，输出视频和对应的结构化信息到外部应用，用于对视频内车辆和其他目标的快速查询和检索。

根据本发明的上述实施例，由于本方案采用了先进的人工智能算法对视频进行结构化处理，大大提高了分析准确率，同时使得视频分析对于环境和图像质量的要求大大降低；由于采用了双FPGA进行同步处理，本方案可以同时处理16路最高1080p分辨率的视频流数据，大大提高了单板的处理能力，并且由于采用了标准PCIE接口，可以在服务器主机上大规模部署，使得服务器可以并行处理大量数据，可以更好地满足对于海量数据分析速率的要求。

图2是图示说明用于实现根据本发明的基于FPGA和人工智能的视频结构化处理装置100的计算处理环境的示意图。

如图2中所示，根据本发明的计算处理环境是一种计算处理设备200，其包括：主控制器210；主板220；以及根据以上所述的基于FPGA和人工智能的视频结构化处理装置100，通过PCIE接口连接到所述主板220。

如上所述，编码的原始视频数据在主控制器210的控制下经由主板220通过PCIE接口传入基于FPGA和人工智能的视频结构化处理装置100的视频解码器110。在主控制器210的控制下，将视频解码器110最终生成的目标图片和相应的结构化信息通过PCIE接口传回计算处理设备200的主板220，以便计算处理设备上的其他部件(未示出)进行分析、输出或其他处理。

尽管本发明的实施例中使用的是基于PCIE接口的板卡，但本领域技术人员应该理解，随着技术的更新，本发明也可能会应用于其他类型接口的板卡。

图3是图示说明根据本发明的基于FPGA和人工智能的视频结构化处理方法300的流程图。

如图3中所示，基于FPGA和人工智能的视频结构化处理方法300开始于步骤S310，在此步骤，通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA。

如前所述，所述的视频数据可以是多路视频数据，例如16路视频数据。也就是说，视频解码器可以对多路视频数据进行解码，然后将解码后的多路视频数据输入到所述FPGA。如前所述，所述FPGA可以包括多个FPGA芯片。例如，所述FPGA包括两个相同的FPGA芯片。例如，步骤S310可以包括通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口直接输入到所述两个FPGA芯片。

接下来，在步骤S320，所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理。在有多个FPGA芯片的情况下，每个FPGA芯片对一路或多路视频数据进行结构化处理。

更具体地，接着上面的具体示例，步骤S320可以进一步包括；所述两个FPGA芯片分别对两组8路视频数据并行进行结构化处理。

在步骤S330，由所述FPGA将结构化信息返回到所述视频解码器。

更具体地，接着上面的具体示例，步骤S330可以进一步包括；所述两个FPGA芯片各自直接将结构化信息返回到所述视频解码器。

另一方面，在另一具体实现示例中，步骤S310可以进一步包括：通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据通过高速接口输入到所述两个FPGA芯片中的第一FPGA芯片。

接下来，步骤S320可以进一步包括：所述第一FPGA芯片将其中的8路视频数据通过自身的高速接口发送到所述两个FPGA芯片中的第二FPGA芯片，并且对未发送的8路视频数据进行结构化处理；所述第二FPGA芯片对接收到的从所述第一FPGA芯片发送的8路视频数据进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片。

然后，步骤S330可以进一步包括：述第一FPGA芯片将从所述第二FPGA芯片返回的结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器。

在步骤S340，所述视频解码器根据从所述FPGA返回的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。例如，如图2中所示，在主控制器的控制下，视频解码器将目标图片与相应的结构化信息通过PCIE接口输出到主板，再经由主板传送到未示出的其他部件，以进行显示、分析或其他进一步处理。

此后，方法300结束。

本领域普通技术人员应该认识到，本发明的方法和系统可以实现为计算机程序。如上结合图1-3所述，根据上述实施例的方法和系统可以执行一个或多个程序，包括指令来使得计算机或处理器执行结合附图所述的算法。这些程序可以使用各种类型的非瞬时计算机可读介质存储并提供给计算机或处理器。非瞬时计算机可读介质包括各种类型的有形存贮介质。非瞬时计算机可读介质的示例包括磁性记录介质(诸如软盘、磁带和硬盘驱动器)、磁光记录介质(诸如磁光盘)、CD-ROM(紧凑盘只读存储器)、CD-R、CD-R/W以及半导体存储器(诸如ROM、PROM(可编程ROM)、EPROM(可擦写PROM)、闪存ROM和RAM(随机存取存储器))。进一步，这些程序可以通过使用各种类型的瞬时计算机可读介质而提供给计算机。瞬时计算机可读介质的示例包括电信号、光信号和电磁波。瞬时计算机可读介质可以用于通过诸如电线和光纤的有线通信路径或无线通信路径提供程序给计算机。

上面已经描述了本发明的各种实施例和实施情形。但是，本发明的精神和范围不限于此。本领域技术人员将能够根据本发明的教导而做出更多的应用，而这些应用都在本发明的范围之内。

也就是说，本发明的上述实施例仅仅是为清楚说明本发明所做的举例，而非对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、替换或改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于FPGA和人工智能的视频结构化处理装置，包括：

视频解码器，用于对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA；

FPGA，用于从所述视频解码器接收解码后的视频数据，利用所述FPGA中编程的人工智能算法对接收的解码后的视频数据进行结构化处理，将结构化信息返回到所述视频解码器，

所述视频解码器进一步用于从所述FPGA接收结构化信息，根据接收到的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

2.根据权利要求1所述的装置，其中，所述FPGA包括多个FPGA芯片，并且其中，所述视频解码器用于对输入的多路视频数据进行解码，解码后的多路视频数据输入到所述多个FPGA芯片，每个FPGA芯片对一路或多路视频数据进行结构化处理。

3.根据权利要求1或2所述的装置，其中，所述FPGA包括两个相同的FPGA芯片，并且其中，所述视频解码器用于对输入的16路视频数据进行解码，解码后的16路视频数据输入到所述两个FPGA芯片，每个FPGA芯片对8路视频数据进行结构化处理。

4.根据权利要求3所述的装置，其中，

所述视频解码器将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口直接输入到所述两个FPGA芯片，

所述两个FPGA芯片分别对两组8路视频数据并行进行结构化处理，处理完后，各自直接将结构化信息返回到所述视频解码器。

5.根据权利要求3所述的装置，其中，

所述视频解码器通过高速接口将解码后的16路视频数据输入到所述两个FPGA芯片中的第一FPGA芯片，

所述第一FPGA芯片将其中的8路视频数据通过自身的高速接口发送到所述两个FPGA芯片中的第二FPGA芯片，并且对未发送的8路视频数据进行结构化处理，

所述第二FPGA芯片接收从所述第一FPGA芯片发送的8路视频数据，进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片，

所述第一FPGA芯片进一步从所述第二FPGA芯片接收结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器。

6.一种计算处理设备，包括：

主控制器；

主板；以及

根据权利要求1到5中任意一项所述的基于FPGA和人工智能的视频结构化处理装置，通过PCIE接口连接到所述主板。

7.一种基于FPGA和人工智能的视频结构化处理方法，包括：

通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA；

所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理；

由所述FPGA将结构化信息返回到所述视频解码器；

所述视频解码器根据从所述FPGA返回的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

8.根据权利要求7所述的方法，其中，所述FPGA包括多个FPGA芯片，并且其中，

通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA进一步包括：通过所述视频解码器对输入的多路视频数据进行解码，将解码后的多路视频数据输入到所述多个FPGA芯片，

所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理进一步包括：每个FPGA芯片对一路或多路视频数据进行结构化处理。

9.根据权利要求7或8所述的方法，其中，所述FPGA包括两个相同的FPGA芯片，并且其中，

所述的通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA进一步包括：通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据分为两组8路视频数据，分别通过高速接口直接输入到所述两个FPGA芯片，

所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理进一步包括：所述两个FPGA芯片分别对两组8路视频数据并行进行结构化处理，

由所述FPGA将结构化信息返回到所述视频解码器进一步包括：所述两个FPGA芯片各自直接将结构化信息返回到所述视频解码器。

10.根据权利要求7或8所述的方法，其中，所述FPGA包括两个相同的FPGA芯片，并且其中，

所述的通过视频解码器对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA进一步包括：通过所述视频解码器对输入的16路视频数据进行解码，将解码后的16路视频数据通过高速接口输入到所述两个FPGA芯片中的第一FPGA芯片，

所述FPGA利用所述FPGA中编程的人工智能算法对从所述视频解码器输入的解码后的视频数据进行结构化处理进一步包括：所述第一FPGA芯片将其中的8路视频数据通过自身的高速接口发送到所述两个FPGA芯片中的第二FPGA芯片，并且对未发送的8路视频数据进行结构化处理；所述第二FPGA芯片对接收到的从所述第一FPGA芯片发送的8路视频数据进行结构化处理，处理完后，将结构化信息返回到所述第一FPGA芯片，

由所述FPGA将结构化信息返回到所述视频解码器进一步包括：所述第一FPGA芯片将从所述第二FPGA芯片返回的结构化信息，与自身处理得到的结构化信息合并，一起返回到所述视频解码器。