CN114760414B - 一种用于cmv4000相机的图像采集与处理系统 - Google Patents

Abstract

本发明公开了一种用于CMV4000相机的图像采集与处理系统，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块。相机配置模块对CMV4000相机的寄存器进行配置，使得相机进行拍摄工作。PL端图像处理模块接收图像数据进行图像处理，进而送入存储模块。PS端图像处理模块用于运行Linux系统，以控制相机配置模块和PL端图像处理模块。集成了FPGA逻辑资源，相机图像数据转接和RGB图像插值的功能，完成了TPG桥梁、Gamma校正、颜色空间转换、图像写入DDR等，FPGA可以并行执行算法，提高了图像处理的速度。本发明Zynq PS端不介入图像处理时，能实现高分辨率图像地采集和传输速度可达30fps，满足高分辨率和实时性要求，当PS端Linux系统运行图像锐化程序时，仍保持一定的实时性。

Description

一种用于CMV4000相机的图像采集与处理系统

技术领域

本发明属于图像处理领域，尤其涉及一种用于CMV4000相机的图像采集与处理系统。

背景技术

在航空航天、工业控制、智慧城市、抢险救灾等领域，图像采集与图像处理技术都有广泛的应用，在这些领域中，对图像的清晰度和图像处理的速度要求较高。图像采集系统往往需要在狭小空间和恶劣环境中工作，装置的体积受到限制，因此通常采用嵌入式方案，受限于嵌入式系统的性能，如何在采集高分辨率图像与实时性图像处理之间取得平衡是目前实际应用中面临的难题。

CMV4000是CMOSIS公司的一款高速CMOS图像传感器，输出图像为RGB Bayer格式，图像最高分辨率可达2048×2048，最高帧率可达180fps，用户可以通过标准SPI接口对传感器寄存器进行配置，控制相机的分辨率、输出方式、曝光模式和时间等参数。

Zynq UltraScale+MPSoC系列芯片是Xilinx公司推出的第二代Zynq平台，与上一代相比，芯片的PS(Processing System)端集成了64位四核ARM Cortex-A53处理器,可以运行ARM Linux系统，芯片的PL(Programmable Logic)端拥有丰富的兼具高灵活度与高性能的FPGA逻辑资源，还包含H.264视频编解码模块VCU(Video Codec Unit)硬核与100Gb以太网控制器，PS端与PL端通过内部高速总线(AXI)连接，这种Zynq架构既保留了传统CPU的通用性，又具有FPGA的灵活性和高性能的优点。在实际应用中，仅需要单个Zynq芯片结合少量外部器件，即可完成CMV4000相机图像数据的图像采集、软硬件协同图像处理、视频压缩和转发等工作。

发明内容

本发明的技术目的是提供一种用于CMV4000相机的图像采集与处理系统，以解决如何高分辨率采集，以及如何实时完成图像处理和视频压缩转发问题。

为解决上述问题，本发明的技术方案为：

一种用于CMV4000相机的图像采集与处理系统，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块；

相机配置模块分别与PS端图像处理模块和CMV4000相机信号连接，受控于PS端图像处理模块接收配置信号对CMV4000相机的寄存器进行配置，使得CMV4000相机进行拍摄工作；

PL端图像处理模块分别与CMV4000相机、存储模块和PS端图像处理模块信号连接，受控于PS端图像处理模块从CMV4000相机接收图像数据进行图像处理，进而送入存储模块；

PS端图像处理模块用于运行Linux系统，以控制相机配置模块和PL端图像处理模块。

具体地，相机配置模块设有SPI接口、控制接口；

相机配置模块SPI接口与PS端图像处理模块信号连接，用于接收相机配置信号，相机配置模块SPI接口与CMV4000相机的SPI接口信号连接，用于对相机的寄存器进行配置；

相机配置模块控制接口与PS端图像处理模块信号连接，用于接收PS端控制命令，对SPI接口进行配置。

具体地，PL端图像处理模块包括LVDS图像信号转接模块、RGB图像插值模块、TPG桥梁模块、Gamma校正模块、颜色空间转换模块和图像写入模块；

LVDS图像信号转接模块与CMV4000相机信号连接，用于并行接收CMV4000相机输出的8通道LVDS信号并在RAM中存储为RGB Bayer格式数据图像；

RGB图像插值模块与LVDS图像信号转接模块信号连接，用于读取RGB Bayer格式图像数据，通过插值转化为RGB格式数据图像，将RGB格式数据发送至下一模块；

TPG桥梁模块与RGB图像插值模块信号连接，用于接收RGB格式数据图像，为PS端图像处理模块提供图像数据源；

Gamma校正模块与TPG桥梁模块信号连接，用于接收RGB格式数据图像进行Gamma校正；

颜色空间转换模块与Gamma校正模块信号连接，用于接收Gamma校正后的RGB格式数据图像并转化为YCrBr颜色空间的NV12格式数据图像，或接收后不进行任何操作；

图像写入模块用于接收RGB格式数据图像或NV12格式数据图像写入存储模块存储。

进一步优选地，PS端图像处理模块还与存储模块信号连接，用于获取保存于存储模块的图像数据基于OpenCV视觉库进行图像处理，得到结果图像并写回存储模块中。

进一步优选地，还包括视频压缩模块，

视频压缩模块与存储模块信号连接，用于接收NV12格式数据图像，进行H.264压缩，得到压缩码流并写回至存储模块。

进一步优选地，还包括网口转发模块，网口转发模块与PS端图像处理模块信号连接，用于经PS端图像处理模块从存储模块获取压缩码流并转发至外部上位机。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

1)Zynq芯片集成了FPGA逻辑资源，定制图像处理IP核hdCamTop完成CMV4000相机LVDS图像数据转接和RGB图像插值的功能，其他IP核完成了TPG桥梁、Gamma校正、颜色空间转换、图像写入DDR的功能，FPGA可以并行执行算法，提高了图像处理的速度。

2)Zynq芯片集成了ARM Cortex-A53处理器，可运行ARM Linux系统，相比于裸机，Linux可以更加便利地驱动Zynq PL端硬件，系统的OpenCV视觉库降低了实现更复杂的图像处理算法的技术门槛。

3)本发明Zynq PS端不介入图像处理时，能实现2048×1080分辨率图像地采集和传输速度可达30fps，满足高分辨率和实时性要求，当PS端Linux系统运行图像锐化程序时，速度可以维持15fps，保持一定的实时性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明的一种用于CMV4000相机的图像采集与处理系统的功能模块与图像数据传输示意图；

图2为本发明的一种用于CMV4000相机的图像采集与处理系统的总体框架示意图；

图3为本发明的Linux配置CMV4000相机寄存器程序流程图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

以下结合附图和具体实施例对本发明提出的一种用于CMV4000相机的图像采集与处理系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例

参看图1和图2，本实施例提供一种用于CMV4000相机的图像采集与处理系统，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块(即图中的DDR)。

参看图2，相机配置模块即为图2中的AXI Quad SPI IP核，其开设有SPI接口和控制接口。相机的SPI接口与AXI Quad SPI连接，通过AXI总线与PS端图像处理模块通信，在Linux系统中注册为SPI从设备/dev/spidev1.0。即Zynq的PS端图像处理模块通过SPI接口读写CMV4000相机(即图中的CMV4000图像传感器)的配置寄存器，使得CMV4000相机进行正常地拍摄工作。其控制接口则通过AXI总线与PS端图像处理模块信号连接，用于配置AXIQuad SPI IP核的SPI接口，可配置项包括SPI模式、SPI读写最大频率、高位或低位优先传输顺序、片选使能等。

在本发明的一个实施例中，配置相机配置模块的SPI接口为标准模式，SPI读写最大频率为36MHz，低位优先传输。

在本发明的一个实施例中，系统的SPI从设备使能接口分配至Zynq的第32号EMIO口，Zynq的PL端图像处理模块使能接口分配至Zynq的第77号EMIO口，Linux系统向EMIO口写入字节，则EMIO口对应引脚输出使能电信号。

参看图3，本实施例相机配置流程如图3所进行

步骤1，Linux系统向第32号EMIO口写入0x01，使能SPI从设备；

步骤2，向/dev/spidev1.0发送写寄存器指令，配置CMV4000相机的分辨率、曝光时间等参数，CMV4000相机部分重要寄存器的配置如下表1所示；

步骤3，配置完成后，向/dev/spidev1.0发送读寄存器指令，读取寄存器值并与预设值比对，确认参数配置的正确性；

步骤4，验证无误后，系统向第32号EMIO口写入0x00关闭SPI从设备，向第77号EMIO口写入0x01,即向Zynq的PL端图像处理模块发送spi_done使能信号，通知PL端可以开始接收图像数据。

表1CMV4000相机部分寄存器配置

寄存器序号	寄存器功能描述	设置寄存器值
			REG[3]&REG[4]	图像起始位置Y坐标	0x01E4(十进制为484)
REG[19]&REG[20]	图像行数量	0x0438(十进制为1080)
			REG[41]	曝光模式与曝光时间	0x05，表示使用外部曝光时间
REG[72]	数据输出模式	0x01，表示8通道LVDS输出

参看图2，PL端图像处理模块分别与CMV4000相机、存储模块和PS端图像处理模块信号连接，受控于PS端图像处理模块从CMV4000相机接收图像数据进行LVDS图像信号转接、RGB图像插值、TPG桥梁、Gamma校正、颜色空间转换、图像写入等功能，进而将图像数据送入存储模块。

具体地，PL端图像处理模块包括LVDS图像信号转接模块、RGB图像插值模块、TPG桥梁模块、Gamma校正模块、颜色空间转换模块和图像写入模块。

参看图2，LVDS图像信号转接和RGB图像插值功能由hdCamTop IP核实现，该IP核为定制IP核，使用Verilog语言编写。CMV4000相机发送8通道LVDS串行图像数据和1通道控制数据，hdCamTop接收Linux系统发送的spi_done信号后开始工作，即LVDS图像信号转接模块根据控制数据标记LVDS图像数据有效性，并行同步接收8通道LVDS有效数据，存储于RAM中。完整接收一帧图像后，hdCamTop继续对RAM中的图像数据进行处理，由于CMV4000采集图像格式为RGB Bayer格式，每个像素点仅包含RGB中的一种分量，需要由hdCamTop中的RGB图像插值模块完成图像插值，将RAM中的图像转化为标准RGB格式数据图像。插值完成后，hdCamTop输出行同步信号、帧同步信号和像素值至下一个IP核。

进一步地，TPG桥梁模块由Video In to AXI4-Stream IP核与TPG IP核实现。Video In to AXI4-Stream与hdCamTop连接，将hdCamTop的输出图像数据转化为适于高速传输的AXI4 Stream数据流，TPG对接收到的AXI4 Stream数据流不叠加任何测试图像，直接转发至接续的Gamma LUT IP核即Gamma校正模块。由于Linux内核没有对应的CMV4000相机驱动程序，系统无法直接将相机注册为子设备作为图像数据源，也无法修改相机参数，TPG由Linux系统通过AXI总线控制，IP核在Linux中注册为/dev/v4l-subdev0子设备，是Linux系统层面的图像数据源，为系统提供图像分辨率、图像格式等必要信息，明确的数据源是Linux建立可控的media视频处理管道的前提。

Gamma校正模块的校正功能由Gamma LUT IP核实现，该IP核由Linux系统通过AXI总线进行控制，在Linux中注册为/dev/v4l-subdev1子设备。CMV4000相机的感光模块对光的反应是线性的，而人眼对光的感知是非线性的，进行Gamma校正后图像显示更精确，更加贴近人眼感受。

接着进入颜色空间转换模块，颜色空间转换模块的颜色空间转换功能由VPSS IP核实现，该IP核由Linux系统通过AXI总线进行控制，在Linux中注册为/dev/v4l-subdev2子设备。如果PS端图像处理模块不进行软件图像处理，则VPSS进行颜色空间转换，将RGB格式的图像数据转换为YCrBr颜色空间的NV12格式，当然也可以接收后不进行任何操作。

与Gamma校正模块信号连接的图像写入模块用于将接收的RGB格式数据图像或NV12格式数据图像写入存储模块存储。其写入DDR功能由Video Frame Buffer Write IP核实现，该IP核由Linux系统通过AXI总线进行控制，在Linux中注册为/dev/video0子设备。在Zynq PL端图像处理模块中，图像数据通过AXI4 Stream协议在IP核之间流动，输入VideoFrame Buffer Write IP核后，数据被搬移至存储映射AXI接口，按NV12或RGB图像像素排列格式写入DDR存储中。RGB格式图像单个像素占用24bit，按照{B[23:16],G[15:8],R[7:0]}排列写入存储模块存储，NV12格式图像Y分量单独存储，按{Y3[31:24],Y2[23:16],Y1[15:8],Y0[7:0]}排列，每4个Y分量共用一组U、V分量，U、V分量交叉存储，按{V4[31:24],U4[23:16],V0[15:8],U0[7:0]}排列，单个像素占用12bit。该IP核兼有检测图像格式正确的功能，IP核向存储模块写数据时会关注图像格式，如果与Linux系统指定格式不相符，注册的/dev/video0子设备会向系统报错。

参看图2，PS端图像处理模块用于运行Linux系统，以控制相机配置模块和PL端图像处理模块。较优地，PS端图像处理模块还与存储模块信号连接，用于获取保存于存储模块的图像数据基于OpenCV视觉库进行图像处理以实现复杂的图像处理算法，得到结果图像并写回存储模块中。

OpenCV视觉库源码经过交叉编译后可适用于ARM Linux系统，OpenCV视觉库实现了常用图像格式的数据结构，封装了中值滤波、直方图均衡、Canny边缘检测等图像处理函数。在本实施例中，在Linux系统中基于OpenCV实现了彩色图像锐化算法，图像锐化基于二维Laplace滤波，突出图像中灰度产生突变的部分，使图像中物体的边缘轮廓变得明显，其方法为：

步骤1，打开系统子设备/dev/video0并获取RGB帧图像，图像在OpenCV中表示为CV_8UC3格式的三通道整型矩阵；

步骤2，以R分量单通道矩阵为例，二维图像矩阵的Laplace算子公式为：

在二维图像中，使用离散形式描述微分，则Laplace算子中的二阶导数可表示为：

则Laplace算子的离散形式可表示为：

步骤3，根据上述公式，设计三阶Laplace滤波器：

在空间域上使用Laplace滤波器分别遍历RGB图像的三通道，得到Laplace滤波图像，物体边缘在图像中呈现亮色，背景呈现暗色；

步骤4，Laplace滤波图像可能会包含负值，像素在OpenCV中表示为CV_32FC3格式的浮点数，利用convertScaleAbs()函数将滤波图像转化为CV_8UC3格式的整型，将经过处理的Laplace滤波图像与原图像叠加，得到锐化图像。PS端图像处理模块，在Linux系统完成软件端图像处理后，将结果图像转换为NV12格式，写入存储模块存储。

较优地，还包括视频压缩模块和网口转发模块，该视频压缩模块为VCU视频编码硬核模块，该网口转发模块为100Gb以太网控制器，因此，支持H.264视频编码和网络传输功能。VCU仅接受NV12、NV16和灰度格式的图像，在本实施例中，VCU从存储模块中读取NV12格式帧图像并进行H.264压缩：目标码率设置为20000Kbps，在H.264帧间压缩过程中，关键帧I帧的距离设置为60，I帧之间仅生成前向参考帧P帧，不生成双向参考帧B帧，在H.264帧内压缩过程中，采取CABAC无损编码方式；压缩完成后VCU将H.264码流写回存储模块，Linux系统从存储模块中读取码流数据，进行RTP打包后，利用UDP协议从网口转发至外部上位机，经过压缩后一帧图像的平均大小约为33KB，网口带宽可以负载。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (5)

1.一种用于CMV4000相机的图像采集与处理系统，其特征在于，包括：相机配置模块、PL端图像处理模块、PS端图像处理模块和存储模块；

所述相机配置模块分别与所述PS端图像处理模块和CMV4000相机信号连接，受控于所述PS端图像处理模块接收配置信号对所述CMV4000相机的寄存器进行配置，使得所述CMV4000相机进行拍摄工作；

所述PL端图像处理模块分别与所述CMV4000相机、所述存储模块和所述PS端图像处理模块信号连接，受控于所述PS端图像处理模块从所述CMV4000相机接收图像数据进行图像处理，进而送入所述存储模块进行储存；

所述PS端图像处理模块用于运行Linux系统，以控制所述相机配置模块和所述PL端图像处理模块；

所述PS端图像处理模块还与所述存储模块信号连接，用于获取保存于所述存储模块的所述图像数据基于OpenCV视觉库进行图像处理，得到结果图像并写回所述存储模块中；

其中，在Linux系统中基于OpenCV视觉库实现彩色图像锐化算法，图像锐化基于二维Laplace滤波，突出图像中灰度产生突变的部分，使图像中物体的边缘轮廓变得明显，其方法为：

步骤1，打开系统子设备/dev/video0并获取RGB帧图像，图像在OpenCV中表示为CV_8UC3格式的三通道整型矩阵；

步骤2，则二维图像矩阵的Laplace算子公式为：

在二维图像中，使用离散形式描述微分，则Laplace算子中的二阶导数表示为：

Laplace算子的离散形式可表示为：

其中，x,y分别为以x-y为坐标轴所在平面的笛卡尔坐标，二维图像位于该平面中；

步骤3，根据上述公式，设计三阶Laplace滤波器：

在空间域上使用Laplace滤波器分别遍历RGB图像的三通道，得到Laplace滤波图像，物体边缘在图像中呈现亮色，背景呈现暗色；

步骤4，Laplace滤波图像会包含负值，像素在OpenCV视觉库中表示为CV_32FC3格式的浮点数，利用convertScaleAbs()函数将滤波图像转化为CV_8UC3格式的整型，将经过处理的Laplace滤波图像与原图像叠加，得到锐化图像；所述PS端图像处理模块在Linux系统完成软件端图像处理后，将结果图像转换为NV12格式，写入所述存储模块存储。

2.根据权利要求1所述的用于CMV4000相机的图像采集与处理系统，其特征在于，所述相机配置模块设有SPI接口、控制接口；

所述相机配置模块的所述SPI接口与所述PS端图像处理模块信号连接，用于接收所述配置信号；所述相机配置模块的所述SPI接口与所述CMV4000相机的SPI接口信号连接，用于对所述CMV4000相机的寄存器进行配置；

所述相机配置模块的所述控制接口与所述PS端图像处理模块信号连接，用于接收所述PS端图像处理模块的控制命令，对所述相机配置模块的所述SPI接口进行配置。

3.根据权利要求1所述的用于CMV4000相机的图像采集与处理系统，其特征在于，所述PL端图像处理模块包括LVDS图像信号转接模块、RGB图像插值模块、TPG桥梁模块、Gamma校正模块、颜色空间转换模块和图像写入模块；

所述LVDS图像信号转接模块与所述CMV4000相机信号连接，用于接收所述CMV4000相机输出的8通道LVDS信号并转化为RGB Bayer格式数据图像；其中，RGB Bayer格式数据图像为所述CMV4000相机采集图像格式；

所述RGB图像插值模块与所述LVDS图像信号转接模块信号连接，用于读取所述RGBBayer格式数据图像，通过插值转化为RGB格式数据图像；

所述TPG桥梁模块与所述RGB图像插值模块信号连接，用于接收所述RGB格式数据图像，为所述PS端图像处理模块提供图像数据源；

所述Gamma校正模块与所述TPG桥梁模块信号连接，用于接收所述RGB格式数据图像进行Gamma校正；

所述颜色空间转换模块与所述Gamma校正模块信号连接，用于接收Gamma校正后的所述RGB格式数据图像并转化为YCrBr颜色空间的NV12格式数据图像，或接收后不进行任何操作；

所述图像写入模块与所述Gamma校正模块信号连接，用于接收所述RGB格式数据图像或所述NV12格式数据图像写入所述存储模块存储。

4.根据权利要求3所述的用于CMV4000相机的图像采集与处理系统，其特征在于，还包括视频压缩模块，

所述视频压缩模块与所述存储模块信号连接，用于接收所述NV12格式数据图像，进行H.264压缩，得到压缩码流并写回至所述存储模块。

5.根据权利要求4所述的用于CMV4000相机的图像采集与处理系统，其特征在于，还包括网口转发模块，所述网口转发模块与所述PS端图像处理模块信号连接，用于经所述PS端图像处理模块从所述存储模块获取所述压缩码流并转发至外部上位机。