CN112116067A - 一种基于fpga的摄像装置实现方法及设备 - Google Patents

Abstract

本申请公开了一种基于FPGA的摄像装置实现方法及设备，应用在摄像系统中，方法包括：预先训练的多个神经网络模型；根据各摄像装置的属性，向各摄像装置发送相对应的神经网络模型。通过基于FPGA的摄像装置，可以实现快捷方便的对接现有监控摄像头，可以直接对接协议，无需更改IP地址，也就不会影响现有业务。而通过云平台推送实现云端能力的个性化下发，充分考虑摄像装置智能化业务需求，利用FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，灵活动态加载各种云端能力，在设备侧完成业务处理，能更加有效地利用资源，提升执行效率，满足实时性、个性化、智能化的需求，提升摄像头智能业务场景的效率。

Description

一种基于FPGA的摄像装置实现方法及设备

技术领域

本申请涉及FPGA领域，具体涉及一种基于FPGA的摄像装置实现方法及设备。

背景技术

近年来，随着智慧城市建设的逐步推进，公共视频监控网络获得了长足发展，监控摄像头作为最重要的视频采集基础设施，已经广泛部署在城市各个角落，不仅在提高治安水平、预防和打击犯罪方面成果卓著，也有效改善了交通管理、应急指挥、防灾预警、市政设施抢修等工作效率。

在新的业务场景下，对传统摄像头有了新的要求，个性化和智能化成为主要的关注点。在这种情况下，如何实现高效能的摄像头智能化，提升摄像头个性化能力，满足摄像头设备侧智能业务场景的要求，成为亟需解决的问题。

发明内容

为了解决上述问题，本申请提出了一种基于FPGA的摄像装置实现方法，包括：应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景；根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。

在一个示例中，所述多个神经网络模型的训练过程包括：通过预先确定的训练样本，训练得到初始神经网络模型；针对所述摄像装置不同的属性，对所述初始神经网络模型进行再处理，得到对应的多个神经网络模型，所述再处理包括量化、剪枝、重训练中的至少一种。

在一个示例中，根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，包括：确定所述各摄像装置的应用场景的实时环境数据；根据所述各摄像装置的属性，以及所述实时环境数据，向所述各摄像装置发送相对应的神经网络模型。

在一个示例中，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。

另一方面，本申请还提出了一种基于FPGA的摄像装置实现方法，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：所述摄像装置通过所述摄像单元采集视频数据；通过神经网络模型对所述视频数据进行相应处理，所述视频数据为所述云平台根据所述摄像装置的属性预先训练并发送至所述摄像装置的，所述属性包括FPGA硬件能力和/或应用场景；将处理结果发送至所述云平台。

在一个示例中，通过神经网络模型对所述视频数据进行相应处理，包括：通过神经网络模型对所述视频数据进行数据处理和/或视频分析，所述数据处理包括视频压缩。

在一个示例中，所述视频分析包括：非法入侵检测、人员违规检测、指定物品识别中的至少一种。

在一个示例中，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。

在一个示例中，当所述摄像单元为网络摄像头时，所述FPGA单元与所述云平台进行数据交互时所使用的IP地址，与所述摄像单元直接与所述云平台进行数据交互时所使用的IP地址相同。

另一方面，本申请还提出了一种基于FPGA的摄像装置实现设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一个示例所述的方法。

通过本申请提出基于FPGA的摄像装置实现方法能够带来如下有益效果：

通过基于FPGA的摄像装置，可以实现快捷方便的对接现有监控摄像头，并且通过FPGA单元与云端进行交互，特别针对传统的网络摄像头，可以直接对接协议，无需更改IP地址，也就不会影响现有业务。

而通过云平台推送实现云端能力(即相应的神经网络模型)的个性化下发，充分考虑摄像装置智能化业务需求，利用FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，灵活动态加载各种云端能力，在设备侧完成业务处理，能更加有效地利用资源，提升执行效率；通过FPGA单元完成视频编解码协议转换、视频数据压缩、视频内容提取等功能，满足实时性、个性化、智能化的需求，提升摄像头智能业务场景的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中基于FPGA的摄像装置实现方法的流程示意图；

图2为本申请实施例中摄像系统示意图；

图3为本申请实施例中另一种基于FPGA的摄像装置实现方法的流程示意图；

图4为本申请实施例中基于FPGA的摄像装置实现设备的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供一种基于FPGA的摄像装置实现方法，应用在摄像系统中。FPGA(Field Programmable Gate Array)即现场可编程门阵列，是在PAL、GAL等可编程器件的基础上进一步发展的产物，是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。与CPU和GPU不同，FPGA是一种典型的非诺依曼架构，是硬件适配软件的模式，能够根据系统资源和算法特征灵活的调整并行度，达到最优的适配，因此能效比高于CPU和GPU。其功耗低、成本小、灵活性高的特点更是其在相关领域中都起到了良好的技术效果。

如图2所示，摄像系统中包括有云平台以及与云平台连接的摄像装置，而摄像装置中包括有FPGA单元以及与FPGA单元连接的摄像单元。摄像单元则可以是应用在各不同场景中的监控摄像头，监控摄像头可以是网络摄像头，也可以是支持BNC传输的摄像头。在设置FPGA单元之前，网络摄像头可以与云平台之间通过网络模块连接，并进行数据交互。而在设置有FPGA单元之后，FPGA单元与云平台之间连接进行数据交互，并对摄像单元进行相应的控制。

具体地，FPGA单元中包括硬件设备以及运行在硬件设备上的软件系统。硬件设备可以包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块等，而软件系统可以包括：通过神经网络模型对视频数据进行相应处理、与云平台进行数据交互、对摄像单元进行控制视频处理、设备管理、OTA软固件升级等功能，实现RTSP协议，支持AVC/RTP/UDP等传输方式。其中，主控制器模块起到整体的控制作用；存储模块则用于存储神经网络模型以及其他相关数据；FPGA加速模块可以完成H.264、H.265等视频编码操作，同时具有执行深度学习模型推理业务的能力；摄像单元连接器用于与摄像单元之间进行连接，以便于对摄像单元下发相关指令；网络模块包括RJ-45网络适配器，同时可选的有wifi模块和5G网络模块，用于与云平台之间进行网络连接，以进行数据交互；接口模块则包括相关接口，主要包括RS232和RS485接口，实现其他物联网设备的对接以及该装置的调试。

云平台聚集大量计算资源，部署FPGA单元的FPGA加速卡，具备模型训练、裁剪、优化的能力，并且可以将模型下发到FPGA单元。而云平台可以向摄像装置发送指令更新摄像装置的内容，摄像装置可以通过OTA方式从云平台下载相应数据完成升级。

如图1所示，本申请实施例中的实现方法包括：

S101、所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景。

首先云平台可以预先训练的多个神经网络，这里的多个神经网络是不同的，例如，训练时采用的训练样本不同、输入输出不同、模型内的相关参数不同等，进而形成不同的多个神经网络模型。

具体地，在训练这多个神经网络模型时，可以首先基于训练样本训练得到初始神经网络。其中，这里的训练样本可以是不同的摄像装置在不同的应用场景中采集到的图像。然后可以针对摄像装置的不同属性，对初始神经网络进行再处理，即可得到与各摄像装置相对应的多个神经网络模型。其中，对初始神经网络进行再处理的过程可以包括量化、剪枝、重训练等。当然，初始神经网络模型针对不同的功能也可以包括有多个，例如，针对人脸识别、异物识别、目标追踪等功能，都训练有初始神经网络模型，然后针对每个功能下的摄像装置，根据该摄像装置的属性对该功能的初始神经网络进行再处理。

其中，摄像装置的属性包括FPGA硬件能力和/或应用场景。FPGA硬件能力决定了该摄像装置在处理、存储、传输数据时的能力，如果某个摄像装置中，FPGA单元的硬件能力较低，则可能会导致在使用结构复杂的神经网络模型时，容易出现卡顿、崩溃等异常结果，因此在训练神经网络模型时，要针对摄像装置中的FPGA硬件能力进行个性化训练。而应用场景则决定了摄像装置所在的场地以及所要达到的目的。例如，应用场景可以是光照强度较高的场景，或者应用场景可以为工地、河流等，则在训练模型时要针对应用场景中的相关特点进行针对性训练。当然，应用场景也可以表示摄像装置的功能，例如，功能可以是人脸识别、异物识别等，此时基于功能的不同，也可以进行针对化的训练。

进一步地，各摄像装置中所存储使用的神经网络模型可以是不变的，也可以是通过云平台进行相应调整的，此时，云平台可以向摄像装置重新发送神经网络模型，或发送需要修改的参数。摄像装置在接收到后，即可使用新的神经网络模型来对图像进行处理。

其中，云平台向摄像装置发送新的神经网络模型的原因可以是多种的。例如，云平台可以持续收来自摄像装置传输的数据，在汇集进行模型训练，持续优化模型，将优化后有更好效果的神经网络模型发送至摄像装置处。当然，云平台也可以确定各摄像装置的应用场景的实时环境数据，然后基于摄像装置的属性以及实时环境数据向摄像装置发送相对应的神经网络模型。其中，实时环境数据可以包括：温度、湿度、可见度、光照情况、降雨情况、降雪情况等，确定实时环境数据的方式可以是通过设置在应用场景中的传感器获取，也可以是与相关的环境数据平台对接，得到实时环境数据。例如，通常情况下，某摄像装置使用A神经网络模型进行非法入侵识别，但是在雾天，能见度降低，继续使用A进行非法入侵识别的效果显著降低。而此时使用B神经网络模型的效果要比A更好，并且B也符合该摄像装置的属性，则此时可以将B发送至该摄像装置处，摄像装置即可使用B进行非法入侵识别。当能见度恢复到一定程度后，该摄像装置可以重新使用A进行非法入侵识别。根据环境数据选择相应的神经网络模型，可以起到更好的处理效果。

S102、根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。

在训练得到各神经网络模型后，即可根据不同摄像装置的不同属性，选择相对应的神经网络模型进行发送，摄像装置即可存储并接收到的神经网络模型对采集到的视频数据进行相应处理。

如图3所示，本申请实施例还提供了一种基于FPGA的摄像装置实现方法，应用在如上述实施例中的摄像系统中，方法包括：

S301、所述摄像装置通过所述摄像单元采集视频数据。

S302、通过神经网络模型对所述视频数据进行相应处理，所述视频数据为所述云平台根据所述摄像装置的属性预先训练并发送至所述摄像装置的，所述属性包括FPGA硬件能力和/或应用场景。

摄像装置可以通过摄像单元采集得到视频数据，该视频数据可以是实时采集的，也可以是定时采集的。然后，可以通过从云平台接收到的神经网络模型对神经网络模型进行相应数据处理和/或视频分析。其中，数据处理指的是对视频数据本身进行处理，而视频分析则指的是对于视频所呈现出的内容进行分析，而神经网络模型的生成以及发送过程在上述实施例中已经描述，在此不再赘述。

具体地，摄像装置在对视频数据进行处理时，可以包括两种模式。一种是不通过神经网络模型对视频数据进行处理，例如，可以通过FPGA单元自带的硬件能力，对视频数据中的视频内容进行提取，并将其中的结构化数据提取出来，或者，对视频数据进行编码、解码操作，根据实际需要形成指定的编码格式。另一种是通过神经网络模型对视频数据进行处理，例如，可以是对视频数据进行压缩，得到压缩后的视频数据。

而摄像装置在对视频数据进行视频分析时，则需要使用神经网络模型进行视频分析。视频分析基于摄像装置的功能，可以只针对一种功能，也可以针对多重功能。视频分析可以包括非法入侵检测、人员违规检测、指定物品识别等。其中，非法入侵检测可以是在工地、河流等场地中，是否有非法的人员、车辆、船只等入侵至场景中，而人员违规检测可以是检测工地中的人员是否未带安全帽、出入危险场地等，指定物品识别则可以是检测河流中的漂浮物等。

S303、将处理结果发送至所述云平台。

摄像装置在对视频数据处理完成后，即可将处理结果发送至云平台，云平台即可根据该处理结果继续下发相关指令或者进行其他相关的处理。而摄像装置在上传处理结果时，可以通过有线网络、wifi、5G等方式上传，在此不再赘述。

在一个实施例中，当摄像单元为网络摄像头时，在摄像单元FPGA单元与云平台进行数据交互时所使用的IP地址，与摄像单元直接与云平台进行数据交互时所使用的IP地址相同。即，在未设置FPGA单元时，摄像装置使用相应的IP地址与云平台进行通讯，而在摄像装置中设置FPGA单元后，FPGA单元仍用原IP地址与云平台进行通讯，无需更改IP地址，可以直接对接协议，不影响现有业务。

如图4所示，本申请实施例还提供了一种基于FPGA的摄像装置实现设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一个实施例所述的方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于FPGA的摄像装置实现方法，其特征在于，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：

所述云平台确定预先训练的多个神经网络模型，所述多个神经网络模型与各摄像装置的属性相对应，所述属性包括FPGA硬件能力和/或应用场景；

根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，以使所述各摄像装置对采集到的视频数据进行相应处理。

2.根据权利要求1所述的方法，其特征在于，所述多个神经网络模型的训练过程包括：

通过预先确定的训练样本，训练得到初始神经网络模型；

针对所述摄像装置不同的属性，对所述初始神经网络模型进行再处理，得到对应的多个神经网络模型，所述再处理包括量化、剪枝、重训练中的至少一种。

3.根据权利要求1所述的方法，其特征在于，根据所述各摄像装置的属性，向所述各摄像装置发送相对应的神经网络模型，包括：

确定所述各摄像装置的应用场景的实时环境数据；

根据所述各摄像装置的属性，以及所述实时环境数据，向所述各摄像装置发送相对应的神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；

所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。

5.一种基于FPGA的摄像装置实现方法，其特征在于，应用在摄像系统中，所述摄像系统包括云平台、与所述云平台连接的摄像装置，所述摄像装置包括FPGA单元、与所述FPGA单元连接的摄像单元，所述方法包括：

所述摄像装置通过所述摄像单元采集视频数据；

通过神经网络模型对所述视频数据进行相应处理，所述视频数据为所述云平台根据所述摄像装置的属性预先训练并发送至所述摄像装置的，所述属性包括FPGA硬件能力和/或应用场景；

将处理结果发送至所述云平台。

6.根据权利要求5所述的方法，其特征在于，通过神经网络模型对所述视频数据进行相应处理，包括：

通过神经网络模型对所述视频数据进行数据处理和/或视频分析，所述数据处理包括视频压缩。

7.根据权利要求6所述的方法，其特征在于，所述视频分析包括：非法入侵检测、人员违规检测、指定物品识别中的至少一种。

8.根据权利要求5所述的方法，其特征在于，所述FPGA单元包括：主控制器模块、存储模块、FPGA加速模块、摄像单元连接器、网络模块、接口模块；

所述FPGA单元，用于通过所述神经网络模型对所述视频数据进行相应处理、与所述云平台进行数据交互、对所述摄像单元进行控制。

9.根据权利要求5所述的方法，其特征在于，当所述摄像单元为网络摄像头时，所述FPGA单元与所述云平台进行数据交互时所使用的IP地址，与所述摄像单元直接与所述云平台进行数据交互时所使用的IP地址相同。

10.一种基于FPGA的摄像装置实现设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4中任意一项权利要求所述的方法。

Images