CN104717470A - 基于双路摄像头视频拼接的缓存与显示的装置与方法 - Google Patents

Abstract

本发明涉及图像处理和显示领域，为一种基于双路摄像头视频拼接的缓存显示简易装置，能够在单路摄像头视频缓存显示装置的基础上，通过对电路的简单修改便可实时显示双路摄像头产生并经过拼接处理后的视频，适合硬件实现，既节省电路设计开发的时间与精力，又节约宝贵的硬件资源。为此，本发明采取的技术方案是，基于双路摄像头视频拼接的缓存与显示的装置，结构为：摄像头1 201与摄像头2 202同时将行像素对应输出到缓存FIFO1_1 203与缓存FIFO2 205中；对于缓存FIFO1_1 203来说，其输入频率与输入数据宽度与摄像头1 201输出像素的频率及输出数据宽度相同。本发明主要应用于图像处理和显示。

Description

基于双路摄像头视频拼接的缓存与显示的装置与方法

技术领域

本发明涉及图像处理和显示领域，属于双路摄像头视频拼接后的缓存与显示范畴。

技术背景

随着半导体传感技术的快速发展，使用高帧频，大面阵CCD相机来获取高质量、高分辨率的图像数据越来越广泛。以分辨率为2Kx2K，帧频200f/s，24bit的相机为例，其图像数据流达到2.5G/s，这对图像的高速缓存提出了挑战。因此，必须采用合理的高速图像缓存机制进行缓存。

用于视频或图像缓存的常用介质通常有三种：第一种是SRAM，其操作简单，但是价格昂贵且容量有限；第二种是SDRAM，虽然在价格与容量上得到了改进，但是需要进行刷新、预充电等操作，控制难度却增大了；又由于数据只能在上升沿到来时刻进行传输，其传输带宽受到时钟的限制；第三种是DDR SDRAM，时钟上升沿与下降沿都可以进行数据传输，因此其数据带宽大大增加，又由于其价格不高，性价比高，是目前高速缓存的最受欢迎的介质。对于视频或图像高速缓存实现方案也主要分为三种：第一种是双口RAM，虽然传输速度高，且能够进行随机存储，但是其需要独立的地址产生器控制数据读写；第二种是高速SRAM，虽然可以同样达到很高的传输速度，且可以通过三态门来控制数据的读写，但是其切换电路控制比较复杂；第三种是FIFO方式，数据从FIFO的一端读入，从另一端读出，即先入先出，不需要用户提供地址产生器以及复杂的控制，但是容量扩展性却不灵活。

对于单路摄像头，从采集图像数据开始，经过数据缓存，最后由VGA等显示设备实时显示。这一过程常常采用乒乓存储技术。乒乓操作是常用于对数据流控制的处理方法，常常应用于流水线式算法，完成数据的无缝缓冲与处理。然而对于能够同步输出数据的双路摄像头来说，如何在原有单路摄像头缓存显示装置的基础上应用乒乓缓存技术实现实时显示，如何在节省电路资源的基础上保证视频的质量与效果的方面上，还是存在很大的挑战。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于双路摄像头视频拼接的缓存显示简易装置，能够在单路摄像头视频缓存显示装置的基础上，通过对电路的简单修改便可实时显示双路摄像头产生并经过拼接处理后的视频，适合硬件实现，既节省电路设计开发的时间与精力，又节约宝贵的硬件资源。为此，本发明采取的技术方案是，基于双路摄像头视频拼接的缓存与显示的装置，结构为：摄像头1 201与摄像头2 202同时将行像素对应输出到缓存FIFO1_1 203与缓存FIFO2 205中；对于缓存FIFO1_1 203来说，其输入频率与输入数据宽度与摄像头1 201输出像素的频率及输出数据宽度相同，而其输出频率及输出数据宽度与拼接处理单元206的输入频率及输入数据宽度一致；而对于缓存FIFO1 204与缓存FIFO2 205的时钟频率来说，缓存FIFO2 205的输入频率与摄像头2 202输出数据频率一致，而输出频率与拼接处理单元206的输入数据频率相同，而缓存FIFO1 204的输入与输出时钟频率都与拼接处理单元206的输入数据频率相同；对于缓存FIFO1 204与缓存FIFO2 205的输入数据宽度来说，缓存FIFO2 205的输入数据宽度与摄像头输出数据宽度一致，输出数据宽度与拼接处理单元206的输入数据宽度一致，而缓存FIFO1 204的输入与输出数据宽度都与拼接处理单元206的输入数据宽度一致；拼接处理单元206的输入输出频率以及输入输出数据宽度都与DDR 208的一致；缓存FIFO1_1 203输出到缓存FIFO1 204；缓存FIFO1204与缓存FIFO2205向拼接处理单元206写入数据；在数据经过拼接处理单元206计算后，再输入到内存DDR208进行缓存，在内存DDR控制器的控制下，内存DDR 208中的一行像素信息首先写入缓存FIFO3 209中，然后再从缓存FIFO3 209读出并写入VGA显示设备，与此同时，DDR向缓存FIFO4 210缓存另一行像素信息，缓存FIFO3 209读空后，FIFO4 210写满，此时再从缓存FIFO4 210读出像素信息到VGA显示设备，同时内存DDR向缓存FIFO3 209写入下一行像素；以此类推。

基于双路摄像头视频拼接的缓存与显示方法，利用前述装置实现，并包括如下步骤：对于缓存FIFO1 204与缓存FIFO2 205向拼接处理单元206写入数据的方式是使用乒乓存储，当两行不同的数据存储在缓存FIFO1_1 203与缓存FIFO2 205后，一旦摄像头输出进入消隐区，第一行像素信息从缓存FIFO2 205中读出，与此同时，缓存FIFO1_1 203向缓存FIFO1 204写入另外图像的一行像素信息，这两个同步的过程所用的时间是一致；当缓存像素信息传送到拼接处理单元206完毕后，缓存FIFO1 204立即向拼接处理单元206写入另外图像的第一行数据，此时缓存FIFO1_1 203与缓存FIFO2 205都处于空状态，然后等待摄像头1201与摄像头2 202向缓存FIFO1_1 203与缓存FIFO2 205缓存第二行的像素信息，以此类推；

数据经过拼接处理单元206计算后，再输入到内存DDR 208进行缓存，此过程为基于内存DDR 208的片内乒乓存储，即在内存DDR 208中开辟两个大小相同的空间，每个空间大小需要能够存储一帧图像，空间内存1与空间内存2为能够容纳一帧图像大小的存储空间。首先在内存DDR 208中缓存一帧的图像，当空间内存1缓存一帧图像完毕后，即与空间内存2进行读写乒乓缓存：即从空间内存1读出一行像素后，接着立即向空间内存2写入另一行像素信息，当数据从空间内存1读空后，此时空间内存2也写满数据，此时立即向空间内存1写数据，从空间内存2读数据。

与已有技术相比，本发明的技术特点与效果：

本发明基于单路摄像头的视频缓存与显示装置与方法，在此基础上经过简单的电路修改，即可用于显示双路摄像头产生并经过拼接的视频。此方式简单易行，不需要过多的缓存单元，也不需要复杂的控制流信号。避免了投入过多的设计精力，且电路简单，节省资源，非常适用于硬件实现。

附图说明

图1一路摄像头视频缓存显示装置。

图2双路路摄像头视频拼接缓存显示装置。

图3DDR片内乒乓存储。

具体实施方式

本发明提出的基于双路摄像头视频拼接的缓存与显示的装置：

对于能够同时输出图像数据的双路摄像头设备，仅在单路摄像头缓存显示图像的设备基础上，添加一个FIFO来缓存行像素，再经过拼接运算处理，既可以实时输出拼接后的视频。

基本的基于单路摄像头的视频缓存与显示装置如图1所示，101为摄像头设备，FIFO1 102与FIFO2 103为行缓存存储，利用乒乓缓存的方式通过DDR控制器104将行数据写入DDR 105，数据经过DDR缓存后，FIFO3 106与FIFO4 107同样以乒乓存储的方式从DDR中读出缓存像素数据，最后由显示设备VGA 108按照一定的帧频显示出视频数据。而对于双路摄像头的视频拼接缓存与显示装置如图2所示，仅在单路摄像头视频缓存与显示的基础上增加了缓存FIFO1_1 202和拼接运算单元205，摄像头1 201与摄像头2 202同步输出有效像素，且输出的图像分辨率以及帧频一致。两个摄像头设备首先同时将不同图像的一行缓存在FIFO1_1 203以及FIFO2 205中，延迟一段时间后FIFO1_1 203中的信息在缓存到FIFO1 204中，这样就将图像行像素信息的同步输出转换为异步输出，接下来的缓存方式如单路摄像头视频缓存与显示装置类似，依然利用乒乓缓存的方式直到最后能够实时显示视频信息。

本发明提出的基于双路摄像头视频拼接的缓存与显示的方法：

对于常用的单路摄像头的视频缓存与显示方式来说，如图1，摄像头101将数据写入FIFO1102与FIFO2 103使用的是乒乓缓存方式，即首先摄像头101向FIFO1 102缓存一行数据，然后当数据从FIFO1 102读出到DDR 105的同时，摄像头101此时向FIFO2 103缓存第二行数据。同理当数据从FIFO2 103读出到DDR 105的同时，摄像头101此时再向FIFO1 102缓存第三行数据，以此类推。

对于基于双路摄像头视频拼接的缓存与显示的方式来说，如图2，相比单路摄像头视频缓存装置，增加了FIFO1_1 203将同步输出的像素信息转化为异步输出。摄像头1 201与摄像头2 202同时将行像素缓存到FIFO1_1 203与FIFO2 205中。对于FIFO1_1 203来说，其输入频率与输入数据宽度与摄像头输出像素的频率及输出数据宽度相同，而其输出频率及输出数据宽度与处理单元206的输入频率及输入数据宽度一致。而对于FIFO1 204与FIFO2 205的时钟频率来说，FIFO2 205的输入频率与摄像头输出数据频率一致，而输出频率与拼接处理单元206的输入数据频率相同，而FIFO1 204的输入与输出时钟频率都与拼接处理单元206的输入数据频率相同。对于FIFO1 204与FIFO2 205的输入数据宽度来说，FIFO2 205的输入数据宽度与摄像头输出数据宽度一致，输出数据宽度与拼接处理单元206的输入数据宽度一致，而FIFO1 204的输入与输出数据宽度都与处理单元206的输入数据宽度一致。为了使数据同步简单，拼接处理单元206的输入输出频率以及输入输出数据宽度都与DDR 208的一致。因此对于FIFO1 204与FIFO2 205来说，读出一行像素信息要比写入一行像素信息快很多。

对于FIFO1 204与FIFO2 205向拼接处理单元206写入数据的方式是使用乒乓存储，当两行不同的数据缓存在FIFO1_1 203与FIFO2 205后，一旦摄像头输出进入消隐区，第一行像素信息从FIFO2 205中读出，与此同时，FIFO1_1 203向FIFO1 204写入另外图像的一行像素信息，这两个同步的过程所用的时间是一致的。由于FIFO1 204与FIFO2 205的输出时钟频率以及输出数据宽度远大于其输入时钟频率与输入数据宽度，因此消隐区时间内足够输出两行像素信息。当缓存像素信息传送到拼接处理单元206完毕后，FIFO1 204立即向拼接处理单元206写入另外图像的第一行数据，此时FIFO1_1 203与FIFO2 205都处于空状态，然后等待摄像头1 201与摄像头2 202向FIFO1_1 203与FIFO2 205缓存第二行的像素信息，以此类推。

数据经过拼接处理单元206计算后，再输入到DDR 208进行缓存。此过程为基于DDR的片内乒乓存储。即在DDR中开辟两个大小相同的空间，每个空间大小需要能够存储一帧图像。如图3，内存1与内存2为能够容纳一帧图像大小的存储空间。首先在DDR中缓存一帧的图像，当内存1缓存一帧图像完毕后，即与内存2进行读写乒乓缓存。即从内存1读出一行像素后，接着立即向内存2写入另一行像素信息，如图3(a)。当数据从内存1读空后，此时内存2也写满数据，此时立即向内存1写数据，从内存2读数据，如图3(b)。

对于像素信息从DDR读出经过缓存直到显示的过程，依然使用传统的乒乓存储方式，此过程同基于单路摄像头的视频缓存与显示方式相同。一行像素信息首先缓存在FIFO3 209中，然后再从FIFO3 209读出并写入VGA显示设备，与此同时，DDR向FIFO4 210缓存另一行像素信息，FIFO3 209读空后，FIFO4 210写满，此时再从FIFO4 210读出像素信息，同时DDR向FIFO3 209写入下一行像素。以此类推。

对于从摄像头输出的视频图像为1024*76815Mpbs，即分辨率为1024*768，帧频为15帧每秒。摄像头的时钟频率为50MHz。DDR的时钟为133MHz，输入输出数据宽度为128bit。又由于DDR上升沿与下降沿都可以进行读写，因此实际的频率达到266MHz。因为每帧图像的行像素个数为1024个，因此FIFO1_1 203，FIFO1 204，FIFO2 205，FIFO3 209以及FIFO4 210的深度都选择为1024，以方便利用其空满信号来控制数据传输过程。由于摄像头设备的输出数据宽度为8bit，因此FIFO1_1 203与FIFO2 205的输入数据宽度同样选择为8bit。而为了能够快速将一行像素信息从FIFO1_1 203传送到FIFO1 204中，将FIFO1_1 203的输出数据宽度选择与FIFO1 204的输入数据宽度也定义为128bit。拼接处理单元206的输入时钟与输入输出数据宽度与DDR控制单元207相同，且FIFO1 204与FIFO2 205与其相连，因此FIFO1204与FIFO2 205的输出数据宽度选为128bit。同理，FIFO3 209与FIFO4 210的输入数据宽度为128bit，输出与VGA显示设备211相同，为8bit。对于时钟频率，FIFO1_1 203与FIFO2205的输入时钟频率与摄像头输出频率相同，为50MHz。而FIFO1_1 203的输出时钟频率与FIFO1 204的输入时钟频率也为266MHz。FIFO1 204与FIFO2 205的输出频率与拼接处理单元206的输入时钟频率一致，为266MHz。FIFO3 209与FIFO4 210的输入时钟频率与DDR控制单元207的实际输出频率相同，为266MHz，而其输出频率与VGA显示设备211相同，为50MHz。

两帧待拼接的图像同时从摄像头1 201与摄像头2 202输出，首先第一行像素信息分别缓存在FIFO1_1 203与FIFO2 205中，当第一行数据从摄像头输出完毕后，摄像头进入消隐区。此时FIFO1_1 203与FIFO2 205满信号有效，FIFO1_1 203的满信号通知FIFO1 204开始接收数据，而FIFO2 205的满信号通知拼接处理单元206开始接收第一幅图像的第一行像素信息并作处理，当FIFO1 204满信号有效，将通知拼接处理单元206开始接收第二幅图像的第一行像素信息并作处理。此时FIFO1_1 203与FIFO2 205的空信号有效，等待摄像头进入有效区继续接收第二行像素信息。

当拼接处理单元206处理完拼接运算后，按照片内乒乓存储方式缓存在DDR 208中。首先需要在内存1中缓存拼接后的第一帧数据，当内存1存满后，开始向内存2写第二帧的第一行，写完后，立即转向读取内存1的第一帧的第一行数据，读取完毕后，在继续向内存2写入第二帧的第二行数据，随后读取内存1中的第一帧的第二行数据，以此类推，直到内存2写满，此时内存1也将读空。然后再继续向内存1写入第三帧的第一行数据，结束后立即读取内存2中第二帧的第一行数据，以此类推。

对于VGA显示部分，首先在FIFO3 209缓存拼接后的第一行像素信息，当FIFO3 209写满，其满信号通知DDR开始传输第二行像素信息到FIFO4 210，此时FIFO3 209将缓存的第一行数据传输至VGA211。当FIFO3 209读空后，DDR再向FIFO3 210写入第三行像素信息，同时VGA 211从FIFO4 210读取第二行的像素信息，以此类推。依照此方式便可以连续实时的处理并显示视频信息。

Claims (2)

1.一种基于双路摄像头视频拼接的缓存与显示的装置，其特征是，结构为：结构为：摄像头1 201与摄像头2 202同时将行像素对应输出到缓存FIFO1_1 203与缓存FIFO2 205中；对于缓存FIFO1_1 203来说，其输入频率与输入数据宽度与摄像头1 201输出像素的频率及输出数据宽度相同，而其输出频率及输出数据宽度与拼接处理单元206的输入频率及输入数据宽度一致；而对于缓存FIFO1 204与缓存FIFO2 205的时钟频率来说，缓存FIFO2205的输入频率与摄像头2202输出数据频率一致，而输出频率与拼接处理单元206的输入数据频率相同，而缓存FIFO1 204的输入与输出时钟频率都与拼接处理单元206的输入数据频率相同；对于缓存FIFO1 204与缓存FIFO2 205的输入数据宽度来说，缓存FIFO2205的输入数据宽度与摄像头输出数据宽度一致，输出数据宽度与拼接处理单元206的输入数据宽度一致，而缓存FIFO1 204的输入与输出数据宽度都与拼接处理单元206的输入数据宽度一致；拼接处理单元206的输入输出频率以及输入输出数据宽度都与DDR 208的一致；缓存FIFO1_1 203输出到缓存FIFO1 204；缓存FIFO1 204与缓存FIFO2 205向拼接处理单元206写入数据；在数据经过拼接处理单元206计算后，再输入到内存DDR 208进行缓存，在内存DDR控制器的控制下，内存DDR 208中的一行像素信息首先写入缓存FIFO3 209中，然后再从缓存FIFO3 209读出并写入VGA显示设备，与此同时，DDR向缓存FIFO4 210缓存另一行像素信息，缓存FIFO3 209读空后，FIFO4 210写满，此时再从缓存FIFO4 210读出像素信息到VGA显示设备，同时内存DDR向缓存FIFO3 209写入下一行像素；以此类推。

2.一种基于双路摄像头视频拼接的缓存与显示方法，其特征是，借助于权1所述装置实现，并包括如下步骤：对于缓存FIFO1 204与缓存FIFO2 205向拼接处理单元206写入数据的方式是使用乒乓存储，当两行不同的数据存储在缓存FIFO1_1 203与缓存FIFO2 205后，一旦摄像头输出进入消隐区，第一行像素信息从缓存FIFO2 205中读出，与此同时，缓存FIFO1_1 203向缓存FIFO1 204写入另外图像的一行像素信息，这两个同步的过程所用的时间是一致；当缓存像素信息传送到拼接处理单元206完毕后，缓存FIFO1 204立即向拼接处理单元206写入另外图像的第一行数据，此时缓存FIFO1_1 203与缓存FIFO2 205都处于空状态，然后等待摄像头1 201与摄像头2 202向缓存FIFO1_1 203与缓存FIFO2 205缓存第二行的像素信息，以此类推；

数据经过拼接处理单元206计算后，再输入到内存DDR 208进行缓存，此过程为基于内存DDR 208的片内乒乓存储，即在内存DDR 208中开辟两个大小相同的空间，每个空间大小需要能够存储一帧图像，空间内存1与空间内存2为能够容纳一帧图像大小的存储空间。首先在内存DDR 208中缓存一帧的图像，当空间内存1缓存一帧图像完毕后，即与空间内存2进行读写乒乓缓存：即从空间内存1读出一行像素后，接着立即向空间内存2写入另一行像素信息，当数据从空间内存1读空后，此时空间内存2也写满数据，此时立即向空间内存1写数据，从空间内存2读数据。