CN113542640A - 一种具备自适应缓存的多目成像电路及方法 - Google Patents

Abstract

本发明提供一种具备自适应缓存的多目成像电路及方法，解决现有多目成像系统集成度低、电源功耗高；需要上位机软件对多路独立相机进行协同控制，增加上位机软件开发成本且控制较为繁琐；针对不同积分时间，各探测器无法任意设定曝光起始时刻的问题。该电路包括FPGA、乒乓缓存器、数据输出接口、电源管理模块和N片CMOS探测器；FPGA与N片CMOS探测器分别连接；FPGA内设有N个缓存FIFO，分别存储N片CMOS探测器输出的原始图像信号；乒乓缓存器包括采用乒乓缓存方式的2个DDR缓存，每个DDR缓存包括N个缓存区，用于分别缓存N个缓存FIFO的图像数据；FPGA用于将DDR缓存的N个图像数据进行图像拼接，得到完整多目拼接图像；数据输出接口与FPGA连接，用于输出多目拼接图像。

Description

一种具备自适应缓存的多目成像电路及方法

技术领域

本发明涉及多目成像技术，具体涉及一种具备自适应缓存的多目成像电路及方法。

背景技术

量子点成像光谱技术是将胶体量子点纳米材料制作的超细条带谱分辨量子点集成阵列，作为光谱选通媒介，代替狭缝光栅等复杂光学机构，突破了传统光学分光原理瓶颈问题对星载高光谱成像仪综合性能提升的限制，在同等体量下可以实现应用效能的大幅提高，有望成为未来高光谱成像仪器的首选技术方案。现阶段量子点成像光谱仪需要多目成像，每片探测器对应不同波段，为保证多探测器输出图像整体DN(遥感影像像元亮度值)值接近，需要在不同积分时间下工作。

传统多目成像系统采用多台相机分别成像，每台相机各自需要独立的FPGA、图像缓存和图像输出接口，通过上位机软件进行多相机协同控制，使得系统集成度低、复杂度高、电源功耗高；以及需要在上位机软件对多路独立相机进行协同控制，并将多台相机获取的图像数据进行拼接重构，得到多目拼接图像，不止增加了上位机软件开发成本，而且实时性较差、多路相机的控制也比较繁琐。

另外，探测器在完成曝光后立即输出图像数据，传统多目相机为保证数据同步，需要让多探测器同时结束曝光，在多目相机设置不同积分时间的情况下，也就是要求各探测器曝光不同时开始，但对于机载推扫等应用场合，要求多探测器曝光起始时刻相同，传统多目成像系统显然无法满足要求。

发明内容

为了解决现有多目成像系统采用多台相机分别成像，系统集成度低、电源功耗高；需要上位机软件对多路独立相机进行协同控制，增加上位机软件开发成本，且多路相机协同控制较为繁琐；以及针对不同积分时间，各探测器无法任意设定曝光起始时刻的技术问题，本发明提供了一种具备自适应缓存的多目成像电路及方法。

为实现上述目的，本发明提供的技术方案是：

一种具备自适应缓存的多目成像电路，其特殊之处在于：包括FPGA、乒乓缓存器、数据输出接口、电源管理模块和N片CMOS探测器，N为大于1的整数；

所述FPGA与N片CMOS探测器分别连接，用于向CMOS探测器发送驱动信号；

所述FPGA内设有N个缓存FIFO，用于分别存储N片CMOS探测器输出的原始图像信号；

所述乒乓缓存器包括采用乒乓缓存方式的2个DDR缓存，每个DDR缓存包括N个缓存区，用于分别缓存N个缓存FIFO的图像数据；

所述FPGA用于将DDR缓存的N个图像数据进行图像拼接，得到完整多目拼接图像；

所述数据输出接口与FPGA连接，用于输出多目拼接图像；

所述电源管理模块用于向FPGA、乒乓缓存器和N片CMOS探测器供电。

进一步地，所述N为2。

进一步地，所述数据输出接口采用CamLink接口。

进一步地，所述FPGA采用Xilinx公司工业级XC7K325T；

所述CMOS探测器采用E2V公司Lince5M。

同时，本发明提供了一种具备自适应缓存的多目成像方法，其特殊之处在于，包括以下步骤：

1)FPGA驱动N片CMOS探测器成像；

2)N片CMOS探测器输出的原始图像信号分别传输至FPGA内的N个缓存FIFO，N个缓存FIFO每写满一整行图像数据后，分别写入处于写状态DDR缓存的N个缓存区；

3)在步骤2)DDR缓存的N个缓存区均完成一整帧图像存储后，按地址顺序将DDR缓存N个缓存区中全部缓存数据读出至FPGA，同时切换另一DDR缓存写入；

4)FPGA根据任务需求(如左右排布、上下排布、网格排布等)对N个缓存区缓存的N幅图像进行拼接，得到完整多目拼接图像并通过数据输出接口输出。

与现有技术相比，本发明的优点是：

1、本发明多目成像电路中，多目相机共用一块FPGA和一组2个DDR缓存组成的乒乓缓存器，在相机内部实现协同控制，大幅降低了系统复杂度和功耗，图像在FPGA内部完成拼接，省去上位机软件开发，简化操作。

2、本发明多目成像电路在FPGA内部开辟存储资源作为一级缓存，乒乓缓存器作为二级缓存，通过DDR缓存动态地址分配，将输入端口复用，实现多路图像信号缓存，二级缓存中的数据在FPGA内完成图像拼接，实现了在相机内部图像处理，直接输出完整的多目拼接图像，实时性高，，且大幅减低了硬件系统的复杂度。

3、本发明多目成像电路通过FPGA内FIFO和DDR缓存，可实现多目相机任意积分时间，任意曝光起始时刻，直接获得完整多目拼接图像，提供较大的使用自由度。

4、本发明成像电路的多片CMOS探测器共用FPGA、乒乓缓存器、数据输出接口、电源管理模块等硬件电路，能大幅降低重量体积，提高成像系统集成度。

5、本发明成像电路由于使用动态二级缓存进行图像数据接收，对单路图像数据写入时间、写入深度均无固定要求，可以在多片CMOS探测器数据量、数据格式不一致时工作，如开窗、间隔采样等，单个CMOS探测器能设置的所有参数，本发明均可独立设置，并支持不同型号探测器协同工作，具有较强灵活性。

附图说明

图1是本发明具备自适应缓存的多目成像电路实施例的原理框图(以双目相机为例子且未示出电源管理模块)；

图2是本发明具备自适应缓存的多目成像电路实施例中DDR缓存存储空间示意图(以双目相机为例)；

图3是本发明具备自适应缓存的多目成像方法实施例的流程图(以双目相机为例)；

图4是本发明具备自适应缓存的多目成像电路实施例一个方向的结构示意图；

图5是本发明具备自适应缓存的多目成像电路实施例另一个方向的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明的内容作进一步详细描述。

如图1所示，本发明一种具备自适应缓存的多目成像电路，包括FPGA、乒乓缓存器、数据输出接口、电源管理模块和多片CMOS探测器；FPGA负责多片探测器的驱动及图像接收重构，乒乓缓存器负责图像缓存，数据输出接口负责将图像数据输出；电源管理模块用于向FPGA、乒乓缓存器和多片CMOS探测器供电。

本发明成像电路可适用于多片探测器，多片探测器可为型号相同的探测器，也可为不同型号的探测器。本实施例以两片CMOS探测器为例，两片CMOS探测器均与FPGA相连，FPGA向两片CMOS探测器分别发送驱动信号，两片CMOS探测器实现双目成像。本实施例数据输出接口采用CamLink接口芯片；FPGA选用Xilinx公司工业级XC7K325T，该型号满足双目相机要求，在其它实施例中，更多目则需要更高等级FPGA，主要受限于FPGA的IO资源。本实施例CMOS探测器采用的是E2V公司Lince5M，其他型号CMOS探测器也可，但需要满足以下2点：1、探测器必须内置AD转换器，直接输出数字图像信号；2、探测器必须具备外触发功能，可精确控制曝光。

双探测器相机实现的核心在于两路不时钟域图像信号的采集重构。单探测器相机将DDR缓存作为图像缓存，CMOS探测器获得的图像信号经过DDR缓存后进入FPGA进行图像重构，输出给数据接口芯片传输。DDR缓存以FPGA内部时钟运作，其作用是将CMOS探测器输出图像信号的时钟域转换到FPGA工作的时钟域，以便做后续图像处理。双探测器相机的两路原始图像信号工作在不同时钟域，而单一DDR缓存只有1组输入物理端口，因此，采用DDR缓存方案无法满足双探测器需求。

由于两片CMOS探测器输出的原始图像信号很难做到完全同步，故传统方案是将两路信号分别采集并输出至上位机，其需要在上位机软件实现图像拼接，但额外增加了上位机软件开发成本，且需要等待多路相机的图像数据完整传输到上位机后才能开始拼接，降低了多目成像的实时性。而本发明采用动态乒乓二级缓存，在FPGA内部开辟存储资源作为一级缓存，以2个DDR缓存组成的乒乓缓存器作为二级缓存，通过DDR缓存动态地址分配，将输入端口复用，实现多路图像信号缓存；该一级缓存为FPGA内的多个缓存FIFO，缓存FIFO的数量与CMOS探测器的数量相同且一一对应，具体在本实施例中为2个缓存FIFO，分别固定存储2片CMOS探测器输出的原始图像信号，然后根据一级缓存的数据存储情况，轮流写入二级缓存；以2个DDR缓存组成乒乓缓存器，在每个DDR缓存中开辟多个连续存储区域，分别作为多路图像信号的二级缓存区，具体在本实施例中，每个DDR缓存包括2个缓存区，分别用于缓存2个一级缓存FIFO读出的图像数据；在完成所有探测器图像的存储后，输出给FPGA，FPGA根据任务需求进行多路图像拼接，得到的多目拼接图像输出给CamLink接口芯片，将图像转换为CamLink协议输出。

本实施例多目成像电路的工作过程：

如图1、图3、图4和图5所示，定义，双探测器分别为CMOS探测器A、CMOS探测器B，与CMOS探测器A相应的缓存FIFO为缓存FIFO A，与CMOS探测器B相应的缓存FIFO为缓存FIFOB；如图2所示，每个DDR缓存的存储空间包括与缓存FIFO A相对应的缓存区A、缓存FIFO B相对应的缓存区B；2个DDR缓存分别为DDR缓存A、DDR缓存B，并以DDR缓存A处于写入状态为起始工作状态；

1)FPGA向CMOS探测器A和CMOS探测器B分别发送驱动信号，驱动CMOS探测器A和CMOS探测器B成像；

2)CMOS探测器A输出的原始图像信号A先经过缓存FIFO A，根据FIFO A写地址，判断是否写满一整行数据，每当缓存FIFO A写满一整行数据后，将缓存FIFO A的这一行数据写到DDR缓存A的缓存区A；

CMOS探测器B输出的原始图像信号B先经过缓存FIFO B，根据FIFO B写地址，判断是否写满一整行数据，每当缓存FIFO B写满一整行数据后，将缓存FIFO B的这一行数据写到DDR缓存A的缓存区B；

3)DDR缓存区从指定地址顺序写入数据，具体在本实例中缓存区A起始地址为0，缓存区B起始地址为总容量50％，根据DDR缓存A中缓存区A、缓存区B中的写入地址号，判断CMOS探测器A和CMOS探测器B两路图像信号传输情况，当DDR缓存A中缓存区A、缓存区B中都完成一整帧图像存储后，乒乓缓存器进行乒乓切换，当前DDR缓存A的缓存区A、缓存区B中图像数据顺序按地址先后顺序读出至FPGA，同时DDR缓存B写入，保证双探测器输出图像信号缓存的连续性；

4)FPGA对接收到的完整CMOS探测器A、CMOS探测器B图像按要求进行拼接，具体在本实例中CMOS探测器A图像在上、CMOS探测器B图像在下，得到完整多目拼接图像并通过CamLink接口输出。

本实施例双目相机还支持双探测在任意积分时间或曝光起始时刻下工作。CMOS探测器在接到曝光请求后开始曝光，达到指定积分时间后会立即开始图像数据读出，当两片CMOS探测器设置不同的积分时间参数时，会导致两路图像数据不同时发送，最坏情况是CMOS探测器A图像已经传输完毕，CMOS探测器B还未开始。如果使用传统一级缓存方案，两片CMOS探测器必须同步开始数据传输，无法任意设置双探测器的积分时间或曝光起始时刻，极大地限制了应用灵活度。本发明由于在DDR二级缓存中采用了动态地址，例如CMOS探测器A由于积分时间或曝光起始时刻设置，先于CMOS探测器B完成曝光，则CMOS探测器A先输出图像数据，CMOS探测器A的图像数据经过一级缓存存储到DDR缓存对应的缓存区上，然后等待CMOS探测器B的图像数据，当两片CMOS探测器都完成数据传输后，二级缓存才将存储的两帧连续完整图像输出。当一片DDR缓存存储完两片CMOSA探测器的图像后，进行乒乓切换。本实施例中DDR写入时钟速度为CMOS探测器像素时钟速率的4倍，CMOS探测器A、CMOS探测器B同时输出数据时，也能满足数据及时、完整储存。通过DDR动态缓存，多探测器输出的图像数据在任意时刻到达，均可及时写入DDR对应地址。

本发明由于使用动态二级缓存进行图像数据接收，对单路图像数据写入时间、写入深度均无固定要求，可以在多片CMOS探测器不同时输出图像，或数据量不一致时工作。例如多片CMOS探测器可以设置不同的曝光起始时刻、积分时间、开窗行数或像素合并参数。单个CMOS探测器能设置的所有参数，对多探测器均可独立设置，甚至多探测器可采用不同型号，具有较强灵活性。本方案可在任意数量探测器下实现，具体在本实例中受限于硬件资源最大支持4路探测器，通过升级更高等级FPGA，使用更快时钟速率的DDR缓存，即可实现由更多探测器组成的多目成像电路。

本实施例通过动态二级缓存，实现了单FPGA控制双探测器，在FPGA内部进行双目图像拼接，无需上位机软件进行处理，大幅减低了硬件系统复杂度。本实施例成像电路的2片CMOS探测器共用FPGA、乒乓缓存器、数据输出接口、电源管理模块等硬件电路，能大幅降低功耗和重量体积，提高成像系统集成度；以及实现了相机内部图像拼接，可直接输出拼接好的完整双目图像，实时性高。

以上仅是对本发明的优选实施方式进行了描述，并不将本发明的技术方案限制于此，本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。

Claims (5)

1.一种具备自适应缓存的多目成像电路，其特征在于：包括FPGA、乒乓缓存器、数据输出接口、电源管理模块和N片CMOS探测器，N为大于1的整数；

所述FPGA与N片CMOS探测器分别连接，用于向CMOS探测器发送驱动信号；

所述FPGA内设有N个缓存FIFO，用于分别存储N片CMOS探测器输出的原始图像信号；

所述乒乓缓存器包括采用乒乓缓存方式的2个DDR缓存，每个DDR缓存包括N个缓存区，用于分别缓存N个缓存FIFO的图像数据；

所述FPGA用于将DDR缓存的N个图像数据进行图像拼接，得到完整多目拼接图像；

所述数据输出接口与FPGA连接，用于输出多目拼接图像；

所述电源管理模块用于向FPGA、乒乓缓存器和N片CMOS探测器供电。

2.根据权利要求1所述具备自适应缓存的多目成像电路，其特征在于：所述N为2。

3.根据权利要求2所述具备自适应缓存的多目成像电路，其特征在于：所述数据输出接口采用CamLink接口。

4.根据权利要求1至3任一所述具备自适应缓存的多目成像电路，其特征在于：所述FPGA采用Xilinx公司工业级XC7K325T；

所述CMOS探测器采用E2V公司Lince5M。

5.一种具备自适应缓存的多目成像方法，其特征在于，包括以下步骤：

1)FPGA驱动N片CMOS探测器成像；

2)N片CMOS探测器输出的原始图像信号分别传输至FPGA内的N个缓存FIFO，N个缓存FIFO每写满一整行图像数据后，分别写入处于写状态DDR缓存的N个缓存区；

3)在步骤2)DDR缓存的N个缓存区均完成一整帧图像存储后，将DDR缓存N个缓存区中全部缓存数据读出至FPGA，同时切换另一DDR缓存写入；

4)FPGA根据任务需求对N个缓存区缓存的N幅图像进行拼接，得到完整多目拼接图像并通过数据输出接口输出。

Images