CN112367537A - 一种基于zynq的视频采集-拼接-显示系统 - Google Patents

Abstract

本发明提供一种基于ZYNQ的视频采集‑拼接‑显示系统，包含：光学传感器，采集可见光视频图像并生成第一视频数据；ZYNQ处理器，包括PL模块和PS模块；PL模块解包第一视频数据为第二视频数据，PL模块根据其生成的第一时序信号将第二视频数据按帧划分并写入缓存芯片中；PS模块从缓存芯片中读取、处理第二视频数据，生成对应的第三视频数据并写入缓存芯片；PL模块生成第二时序信号，拼接第二、第三视频数据为三路并行的第四视频数据，第四视频数据具有设定的标准分辨率和数据格式；显示芯片，根据三路并行的第四视频数据和第二时序信号生成串行的第五视频数据；显示器用于可视化的显示第五视频数据。

Description

一种基于ZYNQ的视频采集-拼接-显示系统

技术领域

本发明涉及图像处理领域，特别涉及一种基于ZYNQ的视频采集-拼接-显示系统。

背景技术

在某些工业领域，经常涉及到非标准的视频信号源，这些视频信号无法在生活中的标准显示器中直接显示出来，这就需要多个定制的终端显示设备，造成了资源、空间、设计的浪费。进一步的，在各个领域如安防、交通等常常涉及到视频信号处理，目前对于图像的清晰度、稳定性要求也越来越高，这就意味着数据量越来越大，处理难度和实时性难度增大。

惯有的视频信号处理方案有单片机(ARM)、DSP(digital signal processor数字信号处理器)、FPGA或单片机+FPGA平台的方案，对于单一的ARM来说，由于其顺序执行的固有特性，以及处理速率带宽的限制，已经逐渐不能满足当前要求越来越高的视频处理系统。而单纯FPGA，其处理能力和并行逻辑非常适合视频这种高速数据流的处理，但是其编程难度较大，且HDL硬件描述语言难以完成目前越来越复杂的基于计算机架构的图像处理算法。单片机或DSP+FPGA的架构则较为科学，在单片机上运行算法的调度，在FPGA中应用并行逻辑对大规模的图像数据进行处理，实时性和可操作性都有所保障，但是其涉及多个处理平台，架构较为复杂、时序把控和数据传输问题导致开发和维护难度高、并且功耗较大。

发明内容

本发明的目的是提供一种基于ZYNQ的视频采集-拼接-显示系统，能够克服现有技术中采集的不符合显示器标准分辨率的视频图像在显示器上显示时具有空白区域的问题。同时本发明能够快速的处理采集的视频图像，并将处理结果与原始采集的视频图像拼接，拼接后的图像符合显示器的标准分辨率，解决了采集图像在与其分辨率不匹配的显示器上进行可视化显示的问题，且解决了现有技术中通过单片机+FPGA或DSP+FPGA的架构对采集的视频信号的处理过程中硬件架构复杂、时序控制困难、数据传输慢的问题。

为了达到上述目的，本发明提供一种基于ZYNQ的视频采集-拼接-显示系统，包含：光学传感器、ZYNQ处理器、缓存芯片、显示芯片、显示器；

所述光学传感器用于采集可见光视频图像，并通过编码和打包转换所述可见光视频图像为数字化的第一视频数据，所述可见光视频图像的分辨率小于显示器的标准分辨率；

所述ZYNQ处理器包括PL模块和PS模块；所述PL模块和PS模块通过AXI总线进行数据传输；PL模块连接所述光学传感器；PL模块生成时序信号，解包所述第一视频数据为第二视频数据，并将第二视频数据写入所述缓存芯片中；所述PS模块从缓存芯片中读取第二视频数据，基于PS模块内预置的图像处理算法处理第二视频数据生成对应的第三视频数据，并将所述第三视频数据覆盖缓存芯片中的第二视频数据；PL模块拼接第二、第三视频数据为三路并行的第四视频数据；所述第四视频数据具有所述标准分辨率并与显示芯片的数据格式相匹配；

所述显示芯片通过IIC总线接口连接PS模块；显示芯片根据三路并行的第四视频数据生成串行的第五视频数据；所述显示器用于可视化的显示所述第五视频数据。

优选的，所述基于ZYNQ的视频采集-拼接-显示系统，还包含非易失性存储器，其通讯连接所述PS模块；通过所述非易失性存储器内置的引导程序在ZYNQ处理器上电时，向ZYNQ处理器加载开机程序。

优选的，所述PL模块包含时序控制模块，用于生成与第二视频数据对应的第一时序信号，所述第一时序信号包含：第一使能信号，第一数据有效信号，第一行同步信号，第一场同步信号，第一时钟信号。优选的，所述PL模块包含还包含依序通讯连接的高速数据传输模块、视频数据输入模块、视频数据缓存模块；所述高速数据传输模块还通讯连接所述光学传感器，所述视频数据输入模块还通讯连接所述时序控制模块；高速数据传输模块将获取的第一视频数据解包为对应的第二视频数据并发送给视频数据输入模块，视频数据输入模块根据接收的第一时序信号分割第二视频数据为对应的数据帧，并转换第二视频数据的数据帧、第一时序信号为匹配视频数据缓存模块的数据输入格式后发送给视频数据缓存模块。第一时序信号用于将视频数据输入模块中第二视频数据的上一帧与下一帧区分开来。

优选的，所述视频数据缓存模块包含接收子单元和发送子单元；所述接收子单元通讯连接设置在视频数据输入模块和缓存芯片之间，所述接收子单元还通过GP接口连接PS模块；通过PS模块将第二视频数据的单帧数据长度、缓存芯片中M个分区的划分方式写入视频数据缓存模块；视频数据缓存模块用于接收视频数据输入模块发送的第二视频数据的数据帧、第一时序信号，并通过HP接口将第二视频数据的数据帧按照32位地址线和数据线的形式以所述单帧数据长度写入所述缓存芯片，且每次写入过程中将M帧第二视频数据依序写入所述M个分区，一帧第二视频数据对应一个分区。

优选的，所述ZYNC处理器还包含双倍速率控制器，PS模块通过所述双倍速率控制器依序读取所述M个分区内的第二视频数据；PS模块根据其内部预置的图像处理算法处理其读取的第二视频数据以生成对应的第三视频数据，并将所述第三视频数据写入缓存芯片的M个分区中以覆盖与该第三视频数据对应的第二视频数据。

优选的，所述PS模块包含两个CPU、存储器直接访问控制器、片上存储模块；所述两个CPU分别为CPU0和CPU1；CPU0和CPU1用于从缓存芯片中获取所述第二视频数据，基于所述图像处理算法、通过所述片上存储模块进行数据交互生成所述第三视频数据；通过CPU0调用所述存储器直接访问控制器将第三视频数据依序写入缓存芯片的M个分区中。

优选的，所述PL模块还包含速率协调模块和HDMI视频数据流控制模块；所述速率协调模块通讯连接设置在所述发送子单元和HDMI视频数据流控制模块之间；所述发送子单元通过HP接口依序读取所述M个分区中的第三视频数据，并以AXISTREAM数据流的形式将所述第三视频数据通过所述速率协调模块发送至HDMI视频数据流控制模块；速率协调模块用于协调所述AXISTREAM数据流的两端速率。

优选的，所述HDMI视频数据流控制模块拼接所述第二、第三视频数据为三路并行的第四视频数据；HDMI视频数据流控制模块还为所述第四视频数据生成对应的第二时序信号，并将第四视频数据、第二时序信号按照标准VGA协议的格式发送至显示芯片。

优选的，所述显示芯片根据所述三路并行的第四视频数据、第二时序信号生成串行的第五视频数据。

优选的，PS模块还根据所述显示芯片的数据格式为该显示芯片配置对应的参数

优选的，所述PS模块为双核ARM处理器，所述PL模块为FPGA。

与现有技术相比，本发明的有益效果在于：

1)ZYNQ处理器内置的双核ARM处理器使用AXI GP和HP接口与FPGA相连，代替了传统FPGA和DSP分工协作的工作模式，减少了图像传输与处理中所使用的芯片数量、降低了外围电路设计复杂度；

2)通过高速数据传输模块所设的高速串行接口(MGT)，简化了光学传感器与FPGA之间的图像数据采集传输的问题，便于光学传感器的通用设计；

3)具体的图像处理算法可以设置在双核ARM处理器上，并能够使用C语言代替HDL硬件描述语言对对该图像处理算法进行编程，大大降低了算法实现难度；

4)可以通过ZYNQ处理器的ARM端配置显示芯片及数据接收模块，使得系统可以适用于多种非标准分辨率的光学传感器；

5)本发明的系统能够将采集的不符合显示器分辨率的视频数据与处理后的视频数据进行拼接，生成匹配显示器分辨率的视频数据，不需要为不同的光学传感器配置不同的终端显示设备，大大降低了成本，且有效提高了系统开发、维护、复用的灵活性。

附图说明

为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：

图1为本发明基于ZYNQ的视频采集-拼接-显示系统结构示意图；

图2为本发明的实施例中，视频数据在本发明的系统的流向示意图；

图中：1、光学传感器；

2、ZYNQ处理器；21、PL模块；210、高速数据传输模块；211、时序控制模块；212、视频数据输入模块；213、视频数据缓存模块；214、速率协调模块；215、HDMI视频数据流控制模块；

22、PS模块；221、存储器直接访问控制器；222、片上存储模块；223、CPU0；224、CPU1；

23、双倍速率控制器；24、非易失性存储器；

3、缓存芯片；

4、显示芯片；

5、显示器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

ZYNQ系列处理平台是Xilinx推出的综合处理平台，旨在为视频监视、汽车驾驶员辅助以及工厂自动化等高端嵌入式应用提供所需的处理与计算性能水平。ZYNQ系列处理平台在一块芯片内部集成了ARM-CORTEX A9双核通用处理器和K7系列FPGA，采用ARM公司的AXI总线形式进行互联，具有高带宽和使用灵活的特点。将ARM-CORTEX A9的通用处理器和FPGA的并行处理器融合到了一起，能够使用HDL语言和C语言混合编程，非常适合用于图像处理和机器学习领域。

由于光学传感器采集的视频图像数据的分辨率(例如648×512)与显示该视频图像数据的显示器分辨率(1920×1080)不匹配。因此若将采集的视频数据显示在显示器上时，会出现没有图像的空白区域。本发明中，通过ZYNQ处理器的双核ARM处理器中预置的图像处理算法，对采集的第一视频数据进行处理，得到第一视频数据的处理结果，并将该处理结果用于填充显示器中的空白区域，实现与第一视频数据进行拼接。通过本发明，解决了采集的第一视频数据与显示器分辨率不匹配的问题，并能够大大的提高对第一视频数据的处理速度。

如图1、图2所示，本发明提供一种基于ZYNQ的视频采集-拼接-显示系统，包含：光学传感器1、ZYNQ处理器2、缓存芯片3(其类型为DDR3)、显示芯片4(其型号为ADV7511)、显示器5；

所述光学传感器1用于采集可见光视频图像，并通过编码和打包转换所述可见光视频图像为数字化的第一视频数据，所述可见光视频图像的分辨率不为显示器的标准分辨率。在本发明的实施例中，显示器的分辨率为1920×1080。

所述ZYNQ处理器2包括PL模块21、PS模块22、双倍速率控制器23(DDR Double DataRate)和非易失性存储器24(本发明的实施例中的非易失性存储器为flash)。所述PS模块22为ZYNQ处理器2的双核ARM处理器，所述PL模块21为ZYNQ处理器2的K7系列FPGA；所述PL模块21和PS模块22通过AXI总线进行数据传输。

如图1所示，所述PL模块21包含：时序控制模块211、高速数据传输模块210(本发明的实施例中为MGT高速数据传输模块)、视频数据输入模块212(VIDIN)、视频数据缓存模块213(VDMA Variable Destination Multiple Access)、速率协调模块214(AXI-STREAMFIFO)和HDMI视频数据流控制模块215。

如图1所示，所述PS模块22包含：包含两个CPU、存储器直接访问控制器221(DMADirect Memory Access)、片上存储模块222(OCMonchipmemory)；所述两个CPU分别为CPU0.223和CPU1.224。

所述高速数据传输模块210通讯连接所述光学传感器1和视频数据输入模块212。所述视频数据输入模块212还通讯连接所述时序控制模块211。

高速数据传输模块210获取所述第一视频数据，解包所述第一视频数据为对应的第二视频数据并发送给视频数据输入模块212。

所述时序控制模块211用于生成与第二视频数据对应的第一时序信号，所述第一时序信号包含：第一时钟信号、第一行同步信号、第一场同步信号。所述第一使能信号用于指示是否正在传输第二视频数据，第一行同步和第一场同步信号用于指示第二视频数据在显示器像素点行列关系，第一数据有效信号用于指示第二视频数据中的有效像素。

视频数据输入模块212根据接收的第一时序信号分割第二视频数据为对应的数据帧，并转换分割后的第二视频数据、第一时序信号为匹配视频数据缓存模块213的数据输入格式后，发送第二视频数据得数据帧、第一时序信号给视频数据缓存模块213。

所述视频数据缓存模块213包含接收子单元和发送子单元。所述接收子单元通讯连接设置在视频数据输入模块212和缓存芯片3之间，接收子单元还通过GP接口连接PS模块22。通过PS模块22将第二视频数据的单帧数据长度、缓存芯片3中M个分区的划分方式写入视频数据缓存模块213。视频数据缓存模块213接收视频数据输入模块212发送的第二视频数据、第一时序信号，并通过HP接口将第二视频数据按照32位地址线和数据线的形式以所述单帧数据长度写入所述缓存芯片3，且每次写入过程中将M帧第二视频数据依序写入所述M个分区，一帧第二视频数据对应一个分区。将第二视频数据的数据帧写入缓存芯片3不同的分区是为了防止显示器中的视频图像出现撕裂等显示不佳的情况，通过缓存芯片3对第二视频数据进行缓存，保证在显示器所显示视频的流畅度。

PS模块22处理其读取的第二视频数据以生成对应的第三视频数据，并将所述第三视频数据写入缓存芯片3的M个分区中(在本发明的实施例中M＝5)。PS模块22的CPU0.223和CPU1.224通过所述双倍速率控制器23依序读取所述M个分区内的第二视频数据，并根据PS模块22内部预置的图像处理算法(在本发明的实施例中可以是图像的注释、色彩调整、搜索目标算法)通过所述片上存储模块222进行数据交互生成所述第三视频数据。通过CPU0.223调用所述存储器直接访问控制器221将第三视频数据依序写入缓存芯片3的M个分区中，并覆盖与该第三视频数据对应的第二视频数据。该图像处理算法可以通过C语言写入PS模块22。

所述速率协调模块214通讯连接设置在所述发送子单元和HDMI视频数据流控制模块215之间。所述发送子单元通过HP接口依序读取所述M个分区中的第三视频数据，并以AXISTREAM数据流的形式将所述第三视频数据通过所述速率协调模块214发送至HDMI视频数据流控制模块215；速率协调模块214用于协调所述AXISTREAM数据流的两端速率。

所述HDMI视频数据流控制模块215拼接第二、第三视频数据为三路并行的第四视频数据(所述拼接包含对像素点的移位、扩充，关于视频数据的拼接为现有技术)，在本发明的实施例中，第二视频数据的像素为648×512，将第二、第三视频数据进行像素点拼接，最终形成一个完整的1920×1080数据流，用于显示在外部高清显示器上。

所述第四视频数据匹配显示器的标准分辨率且匹配显示芯片的数据格式。HDMI视频数据流控制模块215还生产与所述第四视频数据对应的第二时序信号。第二时序信号与显示器的分辨率及刷新率相对应，包括与第四视频数据对应的第二使能信号，第二数据有效信号，第二行同步信号，第二场同步信号，第二时钟信号(在本发明的实施例中，若第四视频数据的分辨率为1920×1080，那么对应的第二时钟信号为148.5MHz)。所述第二使能信号用于指示是否正在传输第四视频数据，第二行同步和第二场同步信号用于指示第四视频数据在显示器像素点行列关系，第二数据有效信号用于指示第四视频数据中的有效像素。HDMI视频数据流控制模块215将所述第四视频数据按照标准VGA(Video Graphics Array)协议的格式发送至显示芯片4中。

所述显示芯片4通过IIC总线接口连接HDMI视频数据流控制模块215；显示芯片4根据三路并行的第四视频数据和时序信号生成串行的第五视频数据。所述显示器5为HDMI显示器，用于可视化的显示所述第五视频数据。

PS模块还根据所述显示芯片4的数据格式为其配置对应的参数。在本发明的实施例中，显示芯片4的数据格式可选诸如24位RGB、36位RGB，YCbCr等多种格式，可以根据实际情况通过PS模块对显示芯片的参数进行编辑，使其适应各种数据格式，PS端写入的好处是调整起来较为便捷。

所述非易失性存储器24，其通讯连接所述PS模块22；通过所述非易失性存储器24内置的引导程序在ZYNQ处理器2上电时，向ZYNQ处理器2加载开机程序。

本发明的系统采用了软硬件结合，依据ZYNQ其固有的硬软件均可编程的特点，将光学传感器1采集的非标准分辨率的视频数据输出到ZYNQ处理器2，发挥ZYNQ处理器2内ARM双核通用架构处理器易于进行图像处理算法的软件编程、计算速度快的优势，通过FPGA的高速数据传输模块210实现了光学传感器1采集的视频数据的快速传输，搭配ARM和FPGA对光学传感器1采集的非标准分辨率的视频数据进行处理，并显示到通用的具有标准分辨率的显示器5上，并且引入DDR3缓存芯片和显示芯片4增强显示可靠性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于ZYNQ的视频采集-拼接-显示系统，其特征在于，包含：光学传感器、ZYNQ处理器、缓存芯片、显示芯片、显示器；

所述光学传感器用于采集可见光视频图像，并通过编码和打包转换所述可见光视频图像为数字化的第一视频数据，所述可见光视频图像的分辨率小于显示器的标准分辨率；

所述ZYNQ处理器包括PL模块和PS模块；所述PL模块和PS模块通过AXI总线进行数据传输；PL模块连接所述光学传感器；PL模块生成时序信号，解包所述第一视频数据为第二视频数据，并将第二视频数据写入所述缓存芯片中；所述PS模块从缓存芯片中读取第二视频数据，基于PS模块内预置的图像处理算法处理第二视频数据生成对应的第三视频数据，并将所述第三视频数据覆盖缓存芯片中的第二视频数据；PL模块拼接第二、第三视频数据为三路并行的第四视频数据；所述第四视频数据具有所述标准分辨率并与显示芯片的数据格式相匹配；

所述显示芯片通过IIC总线接口连接PS模块；显示芯片根据三路并行的第四视频数据生成串行的第五视频数据；所述显示器用于可视化的显示所述第五视频数据。

2.如权利要求1所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于还包含非易失性存储器，其通讯连接所述PS模块；通过所述非易失性存储器内置的引导程序在ZYNQ处理器上电时，向ZYNQ处理器加载开机程序。

3.如权利要求2所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述PL模块包含还包含依序通讯连接的高速数据传输模块、视频数据输入模块、视频数据缓存模块；所述高速数据传输模块还通讯连接所述光学传感器，所述视频数据输入模块还通讯连接所述时序控制模块；高速数据传输模块将获取的第一视频数据解包为对应的第二视频数据并发送给视频数据输入模块，视频数据输入模块根据接收的第一时序信号分割第二视频数据为对应的数据帧，并转换第二视频数据的数据帧、第一时序信号为匹配视频数据缓存模块的数据输入格式后发送给视频数据缓存模块。

4.如权利要求3所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述PL模块包含时序控制模块，用于为第二视频数据生成对应的第一时序信号，所述第一时序信号包含：使能信号，数据有效信号，行同步信号，场同步信号，时钟信号。

5.如权利要求4所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述视频数据缓存模块包含接收子单元和发送子单元；所述接收子单元通讯连接设置在视频数据输入模块和缓存芯片之间，所述接收子单元还通过GP接口连接PS模块；通过PS模块将第二视频数据的单帧数据长度、缓存芯片中M个分区的划分方式写入视频数据缓存模块；视频数据缓存模块用于接收视频数据输入模块发送的第二视频数据的数据帧、第一时序信号，并通过HP接口将第二视频数据的数据帧按照32位地址线和数据线的形式以所述单帧数据长度写入所述缓存芯片，且每次写入过程中将M帧第二视频数据依序写入所述M个分区，一帧第二视频数据对应一个分区。

6.如权利要求5所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述ZYNC处理器还包含双倍速率控制器，PS模块通过所述双倍速率控制器依序读取所述M个分区内的第二视频数据；PS模块根据其内部预置的图像处理算法处理其读取的第二视频数据以生成对应的第三视频数据，并将所述第三视频数据写入缓存芯片的M个分区中以覆盖与该第三视频数据对应的第二视频数据。

7.如权利要求6所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述PS模块包含两个CPU、存储器直接访问控制器、片上存储模块；所述两个CPU分别为CPU0和CPU1；CPU0和CPU1用于从缓存芯片中获取所述第二视频数据，基于所述图像处理算法、通过所述片上存储模块进行数据交互生成所述第三视频数据；通过CPU0调用所述存储器直接访问控制器将第三视频数据依序写入缓存芯片的M个分区中。

8.如权利要求7所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述PL模块还包含速率协调模块和HDMI视频数据流控制模块；所述速率协调模块通讯连接设置在所述发送子单元和HDMI视频数据流控制模块之间；所述发送子单元通过HP接口依序读取所述M个分区中的第三视频数据，并以AXISTREAM数据流的形式将所述第三视频数据通过所述速率协调模块发送至HDMI视频数据流控制模块；速率协调模块用于协调所述AXISTREAM数据流的两端速率。

9.如权利要求8所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述HDMI视频数据流控制模块拼接所述第二、第三视频数据为三路并行的第四视频数据；HDMI视频数据流控制模块还为所述第四视频数据生成对应的第二时序信号，并将第四视频数据、第二时序信号按照标准VGA协议的格式发送至显示芯片。

10.如权利要求9所述的基于ZYNQ的视频采集-拼接-显示系统，其特征在于，所述显示芯片根据所述第四视频数据、第二时序信号生成串行的第五视频数据。

Images