CN111787315A - 一种基于fpga的嵌入式高速运算网卡装置 - Google Patents

Abstract

本发明提供了一种基于FPGA的嵌入式高速运算网卡装置，其可有效解决现有摄像头测试时对PC端的处理及传输慢的问题，提高测试效率；其包括存储器及与存储器连接的FPGA处理芯片，FPGA处理芯片包括图像发送接收模块、模式选择模块、图像插值模块、AI深度学习模块、卷积运算模块，图像插值模块、AI深度学习模块、卷积运算模块均分别连接于模式选择模块与存储器之间，存储器与接收模块电性连接，接收模块连接图像采集卡，存储器用以储存采集的图像信息；模式选择模块择一选择图像插值模块、AI深度学习模块或卷积运算模块对所采集的图像信息或运算结果处理；图像发送接收模块连接于模式选择模块与上位机之间，用以将处理后的图像信息发送至上位机。

Description

一种基于FPGA的嵌入式高速运算网卡装置

技术领域

本发明涉及摄像头测试技术领域，具体为一种基于FPGA的嵌入式高速运算网卡装置。

背景技术

随着影像摄像头行业的蓬勃发展，涉及手机、车载、安防三个主要摄像头行业领域，并涉及其AA、调焦、AF对焦等多个站位，以手机摄像头领跑的测试设备已走向整盘同时测试，且像素越来越高，2019年三星已发布1亿像素的CMOS芯片，2020年更是即将发布1.4亿像素的CMOS芯片，多个摄像头同时检测，包含8模组、16模组，则对PC的性能也提出了更高的要求，然而基于现在的PC架构下，图像插值、多图计算，基至AI都较慢，又因为具有较多的算法，且手机终端仍使用基于PC端的库文件，也就必须把庞大的图像数据传至PC，并需要对其进行运算，而普通网卡占用了大量CPU和PCIE带宽，从而使其传输速度和处理速度都比较慢，从而影响测试效率。

发明内容

针对上述问题，本发明提供了一种基于FPGA的嵌入式高速运算网卡装置，其可有效解决现有摄像头测试时对PC端的处理及传输慢的问题，提高测试效率。

其技术方案是这样的：其特征在于：其包括存储器及与所述存储器连接的FPGA处理芯片，所述FPGA处理芯片包括图像发送接收模块、模式选择模块、图像插值模块、AI深度学习模块、卷积运算模块，所述图像插值模块、AI深度学习模块、卷积运算模块均分别连接于所述模式选择模块与所述存储器之间，所述存储器与接收模块电性连接，所述接收模块连接图像采集卡，所述存储器用以储存采集的图像信息；所述模式选择模块择一选择所述图像插值模块、AI深度学习模块或卷积运算模块对所采集的图像信息或运算结果处理；所述图像发送接收模块连接于所述模式选择模块与上位机之间，用以将处理后的图像信息发送至上位机。

其进一步特征在于：

所述图像插值模块包括：有效帧发送单元，用以甄别所述存储器内的图像信息的有效帧，并将所述图像信息的有效帧通过所述图像发送接收模块发送至所述上位机；插值处理单元，用以对所述图像信息的有效帧进行插值处理；所述插值处理单元与所述模式选择模块电性连接，所述有效帧发送单元连接于所述插值处理单元与所述存储器之间；

所述图像插值模块还包括无处理图像处理单元及图像任意取图单元，所述无处理图像处理单元、图像任意取图单元均分别连接于所述插值处理单元与所述存储器之间；

所述FPGA处理芯片还包括无处理发送模块，所述无处理发送模块连接于所述模式选择模块与所述存储器之间，以使得所述模式选择模块择一选择所述无处理发送模块、图像插值模块、AI深度学习模块或卷积运算模块对所采集的图像信息或运算结果处理；

所述AI深度学习模块，用以判定储存于所述存储器内的图像信息的特征提取学习；

所述卷积运算模块，用以获取所述存储器内的图像信息，并对该图像信息进行卷积运算处理；

所述图像发送接收模块具有PCIE2.0 x8接口及四万兆光纤接口；

所述接收模块通过数据校验和解析模块与所述存储器连接，用于高速的存储从所述图像采集卡发送过来的图像，所述接收模块采用的是40G光纤数据接收模块。

本发明的有益效果是，其可有效实现大幅提升插值运算和获取有效数据等的速度，避免了在上位机不获取有效帧的条件下对电脑CPU的消耗，从而将更多的运算时间、带宽预留给PC CPU需要做的运算，解决了现有摄像头测试时对PC端的处理及传输慢的问题，提高了测试效率。

附图说明

图1为本发明的模块结构示意图；

图2为本发明的FPGA处理芯片与存储器的电路连接示意图；

图3为本发明的FPGA处理芯片与接收模块的电路连接示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

结合图1、图2、图3所示，本发明包括存储器1及与存储器1连接的FPGA处理芯片，FPGA处理芯片采用常规FPGA或zynq系列FPGA，使用FPGA程序进行开发，适用于XCKU3P、XCKU9P等FPGA型号，但不限于具体的芯片型号；存储器1可采用DDR4存储器1，本发明对此不作限定；FPGA处理芯片包括图像发送接收模块3、模式选择模块4、图像插值模块5、AI深度学习模块6、卷积运算模块7，图像插值模块5、AI深度学习模块6、卷积运算模块7均分别连接于模式选择模块4与存储器1之间，存储器1与接收模块8电性连接，接收模块8连接图像采集卡9，存储器1用以储存采集的图像信息，即储存从图像采集卡9(万兆光纤采集卡)所传至PC的图像信息或是经过插值运算后的图像信息或运算结果；模式选择模块4择一选择图像插值模块5、AI深度学习模块6或卷积运算模块7对所采集的图像信息或运算结果处理；图像发送接收模块3连接于模式选择模块4与上位机10之间，用以将处理后的图像信息发送至上位机10，即根据上位机10的指令将处理完存在存储器1中的结果，通过图像发送接收模块3的PCIE2.0 x8接口Copy至PC指定的内存地址，PC可对其进行再计算，同时FPGA处理芯片可以64Gbps的速度将需要的数据拷贝至PC内存，而不时时占用CPU内存，且保证上位机10获得的有效帧。

模式选择模块4取决于上位机10的需求，用以将处理后的图像信息或结果发送至PC端内存地址，数据传输过程而无需电脑CPU参与，可实现自动将计算好的图像数据或结果传至PC端内存地址，解决了常规40G网卡UDP数据存贮占用CPU较多的问题。

图像插值模块5包括：有效帧发送单元11，用以甄别存储器1内的图像信息的有效帧，并将图像信息的有效帧通过图像发送接收模块3发送至上位机10；插值处理单元12，用以对图像信息的有效帧进行插值处理，根据上位机10指令，FPGA处理芯片将对其数据进行色彩空间的转换存至存储器1,再根据上位机10指令将其转换后图像数据COPY至电脑对应的内存地址；插值处理单元12与模式选择模块4电性连接，有效帧发送单元11连接于插值处理单元12与存储器1之间；图像插值模块5利用有效帧发送单元11，只将图像的有效帧发送至上位机10的PC端，而不发送无效帧，进而避免了无效帧对上位机10的影响；且利用图像插值模块5可以对图像信息的某个分量进行处理，相较于传统的上位机10需要图像的完整帧才能进行插值计算处理，在FPGA处理芯片中进行图像插值处理，处理效率更高，同样也降低了上位机10的PC端的工作量；图像插值模块5还包括无处理图像处理单元13及图像任意取图单元14，无处理图像处理单元13、图像任意取图单元14均分别连接于插值处理单元12与存储器1之间，因采用了FPGA处理，可以针对流数据进行运算，效率远高于电脑CPU，以及减少了不同内存间的COPY，从而实现根据上位机10的需求只传输所需的图像局部数据，减少传输耗时和CPU占有率。

FPGA处理芯片还包括无处理发送模块15，无处理发送模块15连接于模式选择模块4与存储器1之间，以使得模式选择模块4择一选择无处理发送模块15、图像插值模块5、AI深度学习模块6或卷积运算模块7对所采集的图像信息或运算结果处理。

AI深度学习模块6，用以判定储存于存储器1内的图像信息的特征提取学习，以加速摄像头调焦、AA、更准确抓取污点测试用途；通过AI深度学习，可不断优化污坏点抓取的标准，从而便于产线卡控不良；且可用于判别图像污点特征已经学习的特征数据和根据图像清晰状况预判的清晰位置信息，因AI深度学习模块6可以大幅减少调焦和AA过程中搜索运算时间，运算时间大幅减少，从而大幅提升了调焦和AA的速度，也大幅提升了图像轻微变化对图像污点标准的准确性；以及AI深度学习模块6可支持多模组同时基于FPGA多模传输，适用于光纤和USB3.0通信，支持单模组、双模组、四模组、八模组多模传输测试等在同一测试板上；卷积运算模块7，用以获取存储器1内的图像信息，并对该图像信息进行卷积运算处理；图像发送接收模块3具有PCIE2.0 x8接口及四万兆光纤接口；接收模块8通过数据校验和解析模块2与存储器1连接，用于高速的存储从图像采集卡9发送过来的图像，接收模块8采用的是40G光纤数据接收模块8。

综上，本发明嵌入式高速运算网卡装置可根据上位机10的不同的测试需求，由模式选择模块4进行不同模式的测试，并将原在上位机10的PC端所要完成的处理工作，移至FPGA处理芯片，减少了上位机10PC端的处理工作量，提高了上位机10PC端的运行效率，并且大幅减少了普通网卡时时接收网卡信息对CPU和内存的损耗和其通道带宽的占用，提高了测试小懒虫，且实现了可支持多模组多测试卡同时将数据通过网卡处理传至PC，适用于光纤测试卡，支持单模组、双模组、四模组、多种测试卡，最多支持8颗摄像头40Gbps的速率传至高速运算网卡装置并进行时时的插值运算，并将其插值完后的数据或原始数据或处理结果在不需要电脑CPU参与的条件下，将PC端所需要的数据直接拷贝至指定内存地址。

本发明给出了一个区别于普通网卡时时将图像数据传至PC内存的办法，即通过嵌入式或根据当站测试需求区域性上传图片或部分运算交给FPGA处理芯片计算来大幅降低电脑CPU的使用，以及通过减少传输的数据量、将CPU的串行运算变成FPGA处理芯片的并行运算等提升测试效率，解决了从在图像卡上进行图像插值数据量变大，从而因固定带宽减少传输帧率的问题，也大幅提升了插值运算和获取有效数据的速度，避免了在上位机10不获取有效帧的条件下对电脑CPU的消耗，和PCI-E带宽的消耗、内存、内存带宽的消耗，从而将更多的运算时间、带宽预留给PC CPU需要做的运算。除此以外也解决了在测试板中插值带来的图像数据变大而引起固定带宽条件下帧率下降的问题。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：其包括存储器及与所述存储器连接的FPGA处理芯片，所述FPGA处理芯片包括图像发送接收模块、模式选择模块、图像插值模块、AI深度学习模块、卷积运算模块，所述图像插值模块、AI深度学习模块、卷积运算模块均分别连接于所述模式选择模块与所述存储器之间，所述存储器与接收模块电性连接，所述接收模块连接图像采集卡，所述存储器用以储存采集的图像信息；所述模式选择模块择一选择所述图像插值模块、AI深度学习模块或卷积运算模块对所采集的图像信息或运算结果处理；所述图像发送接收模块连接于所述模式选择模块与上位机之间，用以将处理后的图像信息发送至上位机。

2.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述图像插值模块包括：有效帧发送单元，用以甄别所述存储器内的图像信息的有效帧，并将所述图像信息的有效帧通过所述图像发送接收模块发送至所述上位机；插值处理单元，用以对所述图像信息的有效帧进行插值处理；所述插值处理单元与所述模式选择模块电性连接，所述有效帧发送单元连接于所述插值处理单元与所述存储器之间。

3.根据权利要求2所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述图像插值模块还包括无处理图像处理单元及图像任意取图单元，所述无处理图像处理单元、图像任意取图单元均分别连接于所述插值处理单元与所述存储器之间。

4.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述FPGA处理芯片还包括无处理发送模块，所述无处理发送模块连接于所述模式选择模块与所述存储器之间，以使得所述模式选择模块择一选择所述无处理发送模块、图像插值模块、AI深度学习模块或卷积运算模块对所采集的图像信息或运算结果处理。

5.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述AI深度学习模块，用以判定储存于所述存储器内的图像信息的特征提取学习。

6.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述卷积运算模块，用以获取所述存储器内的图像信息，并对该图像信息进行卷积运算处理。

7.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述图像发送接收模块具有PCIE2.0 x8接口及四万兆光纤接口。

8.根据权利要求1所述的一种基于FPGA的嵌入式高速运算网卡装置，其特征在于：所述接收模块通过数据校验和解析模块与所述存储器连接，用于高速的存储从所述图像采集卡发送过来的图像，所述接收模块采用的是40G光纤数据接收模块。

Images