CN109785220A - 基于fpga的单目摄像头图像多通道采集装置和方法 - Google Patents

Abstract

本发明提供了基于FPGA的单目摄像头图像多通道采集装置，包括FPGA、FPGA片外的MCU模块和DDR存储芯片，在FPGA中设置有单目摄像头接口模块、图像帧控制模块、图像分配模块、RAW图像采集模块、RAW图像处理模块、图像预处理模块、采集VDMA模块、特定目标检测模块和检测VDMA模块；基于该装置，通过对输入的单目摄像头图像进行预处理，使其在不同帧频下预分解为不同的待检测图像数据，在总带宽不变或受限的情况下，快速检测车辆的行驶变化情况，避免了丢帧或漏检的情况。

Description

基于FPGA的单目摄像头图像多通道采集装置和方法

技术领域

本发明属于图像采集处理技术领域，具体涉及基于FPGA的单目摄像头图像多通道采集装置和方法。

背景技术

现有的ADAS(Advanced Driver Assistance System，先进驾驶辅助系统)产品通常采用分立的芯片组合的形态设计，在车辆行驶中易受到车辆自身和外部干扰，导致ADAS产品工作不正常；同时由于车辆行驶过程中的路况复杂，需要对车辆、车道、行人等多种类目标进行判断，ADAS产品采用单目摄像头在固定帧频下检测目标容易失败。

发明内容

本发明要解决的技术问题是：提供基于FPGA的单目摄像头图像多通道采集装置和方法，用于在一块芯片上实现单目摄像头图像采集，和对行人、车辆、车道多目标检测的电路功能。

本发明为解决上述技术问题所采取的技术方案为：基于FPGA的单目摄像头图像多通道采集装置，包括FPGA、FPGA片外的MCU模块和DDR存储芯片，其特征在于：在FPGA中设置有特定目标检测模块，用于检测特定目标；设置有图像帧控制模块，用于根据检测特定目标的需要调整收到图像信号的帧频；FPGA接收的图像信号经过图像帧控制模块的处理后，再到达特定目标检测模块。

按上述方案，在FPGA中还设置有单目摄像头接口模块、图像分配模块、RAW图像采集模块、RAW图像处理模块、RAW图像缓存模块、图像预处理模块、采集VDMA模块和检测VDMA模块；其中单目摄像头接口模块的信号输出端与图像帧控制模块的信号输入端连接；图像帧控制模块的信号输出端与图像分配模块的信号输入端连接；图像分配模块的信号输出端分别与RAW图像采集模块和RAW图像处理模块的信号输入端连接；RAW图像采集模块和RAW图像处理模块的信号输出端分别与图像预处理模块的信号输入端连接；图像预处理模块的信号输出端与采集VDMA模块的信号输入端连接；采集VDMA模块的信号输出端与DDR存储芯片的信号输入端连接；MCU模块的信号输出端与检测VDMA模块的控制端连接；DDR存储芯片的信号输出端与检测VDMA模块的信号输入端连接；检测VDMA模块的信号输入输出端与特定目标检测模块的信号输入输出端连接；检测VDMA模块的信号输出端与MCU模块的信号输入端连接。

按上述方案，所述的图像预处理模块设有对应的图像预处理缓存模块。

进一步的，图像预处理模块有多个时，分别对应设有同样数量的图像预处理缓存模块、采集VDMA模块，和一个多通道采集互联模块；其中采集VDMA模块的信号输出端分别与多通道采集互联模块的信号输入端连接，多通道采集互联模块的信号输出端与DDR存储芯片的信号输入端连接。

按上述方案，所述的特定目标检测模块有多个时，对应设有同样数量的检测VDMA模块，和一个多通道检测互联模块；其中检测VDMA模块的信号输入输出端分别与多通道检测互联模块的信号输入输出端连接，多通道检测互联模块的信号输入端与DDR存储芯片的信号输出端连接，多通道检测互联模块的信号输出端与MCU模块的信号输入端连接。

按上述方案，所述的MCU模块的信号输出端与报警模块的信号输入端连接；报警模块用于驱动FPGA片外的显示屏和语音器。

基于FPGA的单目摄像头图像多通道采集方法，包括以下步骤：

步骤S1：单目摄像头接口模块将单目摄像头输入的信号转换为RAW信号后发送给图像帧控制模块。

步骤S2：图像帧控制模块调整收到的RAW信号的帧频后，将信号发送给图像分配模块。

步骤S3：图像分配模块将收到的信号分别分配到RAW图像采集模块和RAW图像处理模块做相应处理；RAW图像采集模块和RAW图像处理模块将处理后的信号发送到图像预处理模块。

步骤S4：图像预处理模块收到信号后做相应的预处理并将预处理信号经由采集VDMA模块存入DDR存储芯片。

步骤S5：预处理信号存储完毕后，MCU模块控制检测VDMA模块读取DDR存储芯片中的预处理数据并发送至特定目标检测模块进行特定目标检测，并将检测结果经由检测VDMA模块发送给MCU模块。

进一步的，所述的步骤S4中，若所述的图像预处理模块有多个时，则图像预处理模块输出的预处理信号分别经由采集VDMA模块，以及多通道采集互联模块存入DDR存储芯片。

进一步的，所述的步骤S5中，若所述的特定目标检测模块有多个时，则预处理信号存储完毕后，MCU模块控制检测VDMA模块通过多通道检测互联模块读取DDR存储芯片中的预处理数据并发送至特定目标检测模块进行特定目标检测，并将检测结果经由检测VDMA模块通过多通道检测互联模块发送给MCU模块。

进一步的，还包括以下步骤：经MCU模块判断后若符合报警条件，则将报警信息发送给报警模块，报警模块产生报警显示信号和报警音频信号分别用于驱动显示屏和语音器报警。

本发明的有益效果为：

1.本发明的基于FPGA的单目摄像头图像多通道采集装置通过在一块FPGA芯片上实现单目摄像头图像采集的功能，减少了分立芯片，增强了抗干扰性。

2.本发明对输入的单目摄像头图像进行预处理，使其在不同帧频下预分解为不同的待检测图像数据，实现了对行人、车辆、车道多目标检测的功能，提高了ADAS产品采用单目摄像头在固定帧频下检测目标的成功率。

附图说明

图1是本发明实施例的功能框图。

其中：1.单目摄像头接口模块；2.图像帧控制模块；3.图像分配模块；4.RAW图像采集模块；5.RAW图像处理模块；6.RAW图像缓存模块；7-1.图像预处理模块；7-2.图像预处理模块；…；7-n.图像预处理模块；8-1.图像预处理缓存模块；8-2.图像预处理缓存模块；…；8-n.图像预处理缓存模块；9-1.采集VDMA模块；9-2.采集VDMA模块；…；9-n.采集VDMA模块；10.多通道采集互联模块；11.MCU模块；12.多通道检测互联模块；13-1.特定目标检测模块；13-2.特定目标检测模块；…；13-n.特定目标检测模块；14-1.检测VDMA模块；14-2.检测VDMA模块；…；14-n.检测VDMA模块；15.DDR存储芯片。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的实施例包括包括采用Xilinx ZYNQ 单片系统级FPGA、FPGA片外的MCU模块11和DDR存储芯片15，其特征在于：在FPGA中设置有单目摄像头接口模块1、图像帧控制模块2、图像分配模块3、RAW图像采集模块4、RAW图像处理模块5和对应的RAW图像缓存模块6、图像预处理模块7、图像预处理缓存模块8、采集VDMA模块9、特定目标检测模块13和检测VDMA模块14；其中单目摄像头接口模块1的信号输出端与图像帧控制模块2的信号输入端连接；图像帧控制模块2的信号输出端与图像分配模块3的信号输入端连接；图像分配模块3的信号输出端分别与RAW图像采集模块4和RAW图像处理模块5的信号输入端连接；RAW图像采集模块4和RAW图像处理模块5的信号输出端分别与图像预处理模块7的信号输入端连接；图像预处理模块7的信号输出端与采集VDMA模块9的信号输入端连接；采集VDMA模块9的信号输出端与DDR存储芯片15的信号输入端连接；MCU模块11的信号输出端与检测VDMA模块14的控制端连接；DDR存储芯片15的信号输出端与检测VDMA模块14的信号输入端连接；检测VDMA模块14的信号输入输出端与特定目标检测模块13的信号输入输出端连接；检测VDMA模块14的信号输出端与MCU模块11的信号输入端连接。

图像预处理模块7有多个时，即有图像预处理模块7-1、图像预处理模块7-2、…、图像预处理模块7-n时，对应设有图像预处理缓存模块8-1、图像预处理缓存模块8-2、…、图像预处理缓存模块8-n，采集VDMA模块9-1、采集VDMA模块9-2、…、采集VDMA模块9-n，以及多通道采集互联模块10；其中采集VDMA模块9-1、采集VDMA模块9-2、…、采集VDMA模块9-n的信号输出端分别与多通道采集互联模块10的信号输入端连接，多通道采集互联模块10的信号输出端与DDR存储芯片15的信号输入端连接。

特定目标检测模块13有多个时，即有特定目标检测模块13-1、特定目标检测模块13-2、…、特定目标检测模块13-n时，对应设有检测VDMA模块14-1、检测VDMA模块14-2、…、检测VDMA模块14-n，以及多通道检测互联模块12；其中检测VDMA模块14-1、检测VDMA模块14-2、…、检测VDMA模块14-n的信号输入输出端分别与多通道检测互联模块12的信号输入输出端连接，多通道检测互联模块12的信号输入端与DDR存储芯片15的信号输出端连接，多通道检测互联模块12的信号输出端与MCU模块11的信号输入端连接。

MCU模块11的信号输出端与报警模块16的信号输入端连接；报警模块16用于驱动FPGA片外的显示屏和语音器。

基于FPGA的单目摄像头图像多通道采集方法，包括以下步骤：

步骤S1：单目摄像头接口模块1将单目摄像头输入的图像传输编码信号（如mipi、usb等）还原为摄像头的原始图像RAW格式信号后发送给图像帧控制模块2。

步骤S2：图像帧控制模块2根据后续模块处理图像帧率的快慢调整收到的RAW信号的帧频后，将信号发送给图像分配模块3。

步骤S3：图像分配模块3将收到的信号分配到RAW图像采集模块4和RAW图像处理模块5；RAW图像采集模块4缓存和采集RAW图像数据，去除RAW数据中的噪点和干扰，输出纯净的RAW数据；RAW图像处理模块5将RAW图像数据转成YUV图像格式，并实现如白平衡、伽马校正、亮度调整等功能，便于得后续模块识别图像中的信息；过程中产生的中间数据缓存在RAW图像缓存模块6中；处理后的信号被发送到图像预处理模块7。

步骤S4：图像预处理模块7同时输入RAW和YUV格式的数据，并根据需要进行预处理操作；如图像预处理模块7-1将 RAW 和 YUV 做对比，以区分前景环境和背景环境状态并输出环境数据；图像预处理模块7-2提取YUV格式中的行人图像区域并做降帧频处理输出；图像预处理模块7-3和图像预处理模块7-4分别提取YUV格式中的左边和右边行车区域的图像并保持当前帧频输出；图像预处理模块7-5提取RAW格式中的非图像信息（如摄像头配置参数、黑电平数据、拍摄图像的周边记录数据）以判断的工作状态（如工作强光过曝光、采光不足、拍摄干扰等）并产生图像反向恢复的数据输出；图像预处理模块7-1到图像预处理模块7-n都设有对应的图像预处理缓存模块8-1到图像预处理缓存模块8-n，用于存放各自预处理过程中的中间数据；图像预处理模块7-1到图像预处理模块7-n将各自的预处理信号分别经由对应的采集VDMA模块9-1到采集VDMA模块9-n，在经过多通道采集互联模块10存入DDR存储芯片15。

步骤S5：预处理信号存储完毕后，MCU模块11控制检测VDMA模块14-1、检测VDMA模块14-2、检测VDMA模块14-3通过多通道检测互联模块12读取DDR存储芯片15中的预处理数据并发送至行人检测模块13-1、行车检测模块13-2、车道检测模块13-3进行特定目标检测，并将检测结果经由检测VDMA模块14-1、检测VDMA模块14-2、检测VDMA模块14-3通过多通道检测互联模块12发送给MCU模块11。

还包括以下步骤：经MCU模块11判断后若符合报警条件，则将报警信息发送给报警模块16，报警模块16产生报警显示信号和报警音频信号分别用于驱动显示屏和语音器报警。

综上所述，本发明的基于FPGA的单目摄像头图像多通道采集装置和方法通过在一块FPGA芯片上实现单目摄像头图像采集的功能，减少了分立芯片，增强了抗干扰性。本发明对输入的单目摄像头图像进行预处理，从一副图像中预先根据不同区域的特点同时将区域的图像提取出来，并确定采集的帧频，使其在不同帧频下预分解为不同的待检测图像数据，在总带宽不变或受限的情况下，可更多更快速的检测到车辆行驶的变化，避免了检测丢帧或漏检的情况；实现了对行人、车辆、车道多目标检测的功能，提高了ADAS产品采用单目摄像头在固定帧频下检测目标的成功率。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.基于FPGA的单目摄像头图像多通道采集装置，包括FPGA、FPGA片外的MCU模块（11）和DDR存储芯片（15），其特征在于：在FPGA中设置有特定目标检测模块（13），用于检测特定目标；设置有图像帧控制模块（2），用于根据检测特定目标的需要调整收到图像信号的帧频；FPGA接收的图像信号经过图像帧控制模块（2）的处理后，再到达特定目标检测模块（13）。

2.根据权利要求1所述的基于FPGA的单目摄像头图像多通道采集装置，其特征在于：在FPGA中还设置有单目摄像头接口模块（1）、图像分配模块（3）、RAW图像采集模块（4）、RAW图像处理模块（5）、RAW图像缓存模块（6）、图像预处理模块（7）、采集VDMA模块（9）和检测VDMA模块（14）；其中单目摄像头接口模块（1）的信号输出端与图像帧控制模块（2）的信号输入端连接；图像帧控制模块（2）的信号输出端与图像分配模块（3）的信号输入端连接；图像分配模块（3）的信号输出端分别与RAW图像采集模块（4）和RAW图像处理模块（5）的信号输入端连接；RAW图像采集模块（4）和RAW图像处理模块（5）的信号输出端分别与图像预处理模块（7）的信号输入端连接；图像预处理模块（7）的信号输出端与采集VDMA模块（9）的信号输入端连接；采集VDMA模块（9）的信号输出端与DDR存储芯片（15）的信号输入端连接；MCU模块（11）的信号输出端与检测VDMA模块（14）的控制端连接；DDR存储芯片（15）的信号输出端与检测VDMA模块（14）的信号输入端连接；检测VDMA模块（14）的信号输入输出端与特定目标检测模块（13）的信号输入输出端连接；检测VDMA模块（14）的信号输出端与MCU模块（11）的信号输入端连接。

3.根据权利要求1所述的基于FPGA的单目摄像头图像多通道采集装置，其特征在于：所述的图像预处理模块（7）设有对应的图像预处理缓存模块（8）。

4.根据权利要求3所述的基于FPGA的单目摄像头图像多通道采集装置，其特征在于：图像预处理模块（7）有多个时，即有图像预处理模块（7-1）、图像预处理模块（7-2）、…、图像预处理模块（7-n）时，对应设有图像预处理缓存模块（8-1）、图像预处理缓存模块（8-2）、…、图像预处理缓存模块（8-n），采集VDMA模块（9-1）、采集VDMA模块（9-2）、…、采集VDMA模块（9-n），以及多通道采集互联模块（10）；其中采集VDMA模块（9-1）、采集VDMA模块（9-2）、…、采集VDMA模块（9-n）的信号输出端分别与多通道采集互联模块（10）的信号输入端连接，多通道采集互联模块（10）的信号输出端与DDR存储芯片（15）的信号输入端连接。

5.根据权利要求1所述的基于FPGA的单目摄像头图像多通道采集装置，其特征在于：所述的特定目标检测模块（13）有多个时，即有特定目标检测模块（13-1）、特定目标检测模块（13-2）、…、特定目标检测模块（13-n）时，对应设有检测VDMA模块（14-1）、检测VDMA模块（14-2）、…、检测VDMA模块（14-n），以及多通道检测互联模块（12）；其中检测VDMA模块（14-1）、检测VDMA模块（14-2）、…、检测VDMA模块（14-n）的信号输入输出端分别与多通道检测互联模块（12）的信号输入输出端连接，多通道检测互联模块（12）的信号输入端与DDR存储芯片（15）的信号输出端连接，多通道检测互联模块（12）的信号输出端与MCU模块（11）的信号输入端连接。

6.根据权利要求1所述的基于FPGA的单目摄像头图像多通道采集装置，其特征在于：所述的MCU模块（11）的信号输出端与报警模块（16）的信号输入端连接；报警模块（16）用于驱动FPGA片外的显示屏和语音器。

7.基于FPGA的单目摄像头图像多通道采集方法，其特征在于：包括以下步骤：

步骤S1：单目摄像头接口模块（1）将单目摄像头输入的信号转换为RAW信号后发送给图像帧控制模块（2）；

步骤S2：图像帧控制模块（2）调整收到的RAW信号的帧频后，将信号发送给图像分配模块（3）；

步骤S3：图像分配模块（3）将收到的信号分别分配到RAW图像采集模块（4）和RAW图像处理模块（5）做相应处理；RAW图像采集模块（4）和RAW图像处理模块（5）将处理后的信号发送到图像预处理模块（7）；

步骤S4：图像预处理模块（7）收到信号后做相应的预处理并将预处理信号经由采集VDMA模块（9）存入DDR存储芯片（15）；

步骤S5：预处理信号存储完毕后，MCU模块（11）控制检测VDMA模块（14）读取DDR存储芯片（15）中的预处理数据并发送至特定目标检测模块（13）进行特定目标检测，并将检测结果经由检测VDMA模块（14）发送给MCU模块（11）。

8.根据权利要求7所述的基于FPGA的单目摄像头图像多通道采集方法，其特征在于：所述的步骤S4中，若所述的图像预处理模块（7）有多个时，则图像预处理模块（7-1）、图像预处理模块（7-2）、…、图像预处理模块（7-n）输出的预处理信号分别经由采集VDMA模块（9-1）、采集VDMA模块（9-2）、…、采集VDMA模块（9-n），以及多通道采集互联模块（10）存入DDR存储芯片（15）。

9.根据权利要求7所述的基于FPGA的单目摄像头图像多通道采集方法，其特征在于：所述的步骤S5中，若所述的特定目标检测模块（13）有多个时，则预处理信号存储完毕后，MCU模块（11）控制检测VDMA模块（14-1）、检测VDMA模块（14-2）、…、检测VDMA模块（14-n）通过多通道检测互联模块（12）读取DDR存储芯片（15）中的预处理数据并发送至特定目标检测模块（13-1）、特定目标检测模块（13-2）、…、特定目标检测模块（13-n）进行特定目标检测，并将检测结果经由检测VDMA模块（14-1）、检测VDMA模块（14-2）、…、检测VDMA模块（14-n）通过多通道检测互联模块（12）发送给MCU模块（11）。

10.根据权利要求7所述的基于FPGA的单目摄像头图像多通道采集方法，其特征在于：还包括以下步骤：经MCU模块（11）判断后若符合报警条件，则将报警信息发送给报警模块（16），报警模块（16）产生报警显示信号和报警音频信号分别用于驱动显示屏和语音器报警。