CN107277390A - 一种基于Zynq多路视频拼接系统 - Google Patents

一种基于Zynq多路视频拼接系统 Download PDF

Info

Publication number
CN107277390A
CN107277390A CN201710468843.8A CN201710468843A CN107277390A CN 107277390 A CN107277390 A CN 107277390A CN 201710468843 A CN201710468843 A CN 201710468843A CN 107277390 A CN107277390 A CN 107277390A
Authority
CN
China
Prior art keywords
video
zynq
kernel modules
card
axi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710468843.8A
Other languages
English (en)
Other versions
CN107277390B (zh
Inventor
王卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jusha Display Technology Co Ltd
Nanjing Jusha Medical Technology Co Ltd
Original Assignee
Nanjing Jusha Display Technology Co Ltd
Nanjing Jusha Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jusha Display Technology Co Ltd, Nanjing Jusha Medical Technology Co Ltd filed Critical Nanjing Jusha Display Technology Co Ltd
Priority to CN201710468843.8A priority Critical patent/CN107277390B/zh
Publication of CN107277390A publication Critical patent/CN107277390A/zh
Application granted granted Critical
Publication of CN107277390B publication Critical patent/CN107277390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Power Sources (AREA)

Abstract

本发明公开了一种基于Zynq的视频拼接器，包括Zynq主处理器、输入板卡、DDR3SDRAM、HDMI显示器、SD卡、触摸屏。本发明构建了一个基于软硬件协同处理的基于Zynq的软硬件协同设计的视频拼接器，按照软硬件结构设计灵活划分程序模块，充分发挥了zynq软硬件皆可编程的优势，应用片内的AXI总线，提高数据的吞吐量，加快处理速度，实时处理能力，降低功耗。同时基于linux系统触摸式交互方式给用户更好的体验。

Description

一种基于Zynq多路视频拼接系统
技术领域
本发明涉及一种基于Zynq多路视频拼接系统，属于视频拼接技术领域。
背景技术
在当今社会，视频拼接技术无处不在。在以往的使用当中都是一个视频源对应于一个终端显示设备，如果在使用中需要对多路视频源进行同时显示时，就需要有多个终端显示设备。采用多个终端显示设备的方案，不仅占用空间、浪费资源、设备之间的连线复杂，而且当观察者需要观看不同视频源之间的同步信息时，此方案很难满足要求。
目前大多数实时视频拼接技术都是采用基于FPGA的方案，由于FPGA是基于并行处理的设备，在系统灵活性，用户交互体验方面实现起来比较麻烦，无法对整个系统做到灵活配置，且系统功耗较大，芯片之间连线复杂，成本较高，只能适用于一定场合，不具备通用性。
发明内容
目的：为了克服现有技术中存在的影响用户体验、系统功耗较大、系统无法做到灵活配置、不具备通用性、成本较高的不足，本发明提供一种增强用户体验、降低系统功耗、具备通用性，软硬件皆可以编程的系统和方法。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种基于Zynq的视频拼接器，包括Zynq主处理器、输入板卡、DDR3SDRAM、HDMI显示器、SD卡、触摸屏。
所述Zynq主处理器包括处理器系统和FPGA，处理器系统和FPGA通过高速AXI-Interconnect总线连接，所述处理器系统包括ARM处理器和DDR3控制器，四个AXI-HP接口，四个AXI-GP接口，所述FPGA包括视频处理IP内核模块，视频拼接IP内核模块、HDMI控制显示IP内核模块。
所述SD卡与所述ARM处理器连接，所述DDR3SDRAM通过所述DDR3控制器与所述ARM处理器连接，所述输入板卡通过四个VDMA视频传输通道与高速AXI-Interconnect总线连接，所述视频处理IP内核模块通过四个VDMA视频传输通道与高速AXI-Interconnect总线连接，所述视频拼接IP内核模块与视频处理IP内核模块连接，所述HDMI控制显示IP内核模块与视频拼接IP内核模块连接，所述HDMI控制显示IP内核模块与HDMI显示器连接。
一种基于Zynq的多路视频拼接系统的控制方法，其特征在于，包括如下的步骤：
步骤一：在SD卡中存储Linux系统启动所需的文件，将Zynq主处理器的启动方式设置为SD卡启动，上电自启动Linux系统，编写并运行视频处理IP内核模块的驱动程序，视频拼接IP内核模块的驱动程序，HDMI控制显示IP内核模块的驱动程序，根据vivado软件给定的对应IP内核模块的物理地址，编写用于对物理地址进行操作的内核驱动程序，通过ARM处理器的AXI-GP接口驱动对应IP内核模块，编写用于交互和显示的Qt显控程序；
步骤二：输入板卡实时采集四路视频源数据信号并将视频源信号转化为标准的RGB格式后，通过VDMA视频传输通道传输至ARM处理器AXI-HP接口，送往DDR3SDRAM中进行缓存；
步骤三：VDMA视频传输通道从ARM处理器的AXI-HP端口读取DDR3SDRAM缓存中的数据，送往视频处理IP内核模块；
步骤四：使用Vivado HLS软件编写视频处理IP内核模块，对DDR3SDRAM缓存中的图像数据处理得到二次处理图像；所述图像数据处理包括对图像进行彩转灰阶、曲线校正、色彩增强的处理。
步骤五：将步骤四处理完成后的四路图像经过视频拼接IP内核模块进行拼接，拼接完成后输出一副图像；
步骤六：将步骤五拼接完成后的图像送往HDMI控制显示模块， HDMI控制显示模块控制HDMI显示器进行显示。
有益效果：本发明提供的一种基于Zynq多路视频拼接系统，由于使用了Zynq主处理器，SD卡，输入板卡，HDMI显示器。Zynq主处理器包处理器系统和FPGA，处理器系统和FPGA通过高速的内部AXI总线连接，极大的降低了硬件设计的复杂度，处理器系统包括ARM处理器的DDR3控制器，ARM处理器上载入linux操作系统提高触摸式人机交互，极大地增强了用户的体验，操作方便。FPGA使用28nm的技术，极大的降低了系统的功耗，本系统采用软硬件协同处理的方法，软硬件皆可编程，ARM处理器和FPGA分担不同的处理任务，提高系统的处理效率，使得系统的通用性更好。
附图说明
图1为本发明基于Zynq多路视频拼接系统架构框图。
图2为本系统控制方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完善的描述。所描述的实施例中并不是全部的实施例，仅是一部分实施例。基于本发明中实施例，普通工程人员在没有做出创造性劳动前提下所得到的其他实施例，都在本发明的保护范围之类。
如图1所示，基于Zynq多路视频拼接系统主要包括：Zynq主处理器、DDR3SDRAM、SD卡、HDMI显示器、输入板卡、触摸屏。本实施例中，Zynq主处理器选用得是xilinx公司生产的XC7Z020-1CLG484-I，本实施例中，Zynq主处理器包括：处理系器系统和FPGA，所述处理器系统和FPGA通过高速AXI-Interconnect总线连接。处理器系统包括ARM处理器和DDR3控制器，四个AXI-HP接口，四个AXI-GP接口，AXI-HP接口和AXI-GP接口都与高速AXI-Interconnect总线连接，AXI-HP接口用于提供直接存储器访问模式的高带宽数据通路，AXI-GP接口用于实现ARM处理器和FPGA控制命令的传输。FPGA包括八个VDMA视频传输通道、视频处理IP内核模块、视频拼接IP内核模块、HDMI控制显示IP内核模块。
本实施例中，DDR3SDRAM通过DDR3控制器与ARM处理器连接，DDR3控制器控制DDR3SDRAM存储输入板卡采集到视频数据，同时DDR3控制器通过AXI-HP接口连接AXI-Interconnect总线，实现视频数据传输的VDMA视频传输通道，加快数据传输速率，最高可达9.6Gbps，所述DDR3SDRAM选用2 片Micron的MT41K256M16RE-125 DDR3内存，单片内存的大小是512MB数据接口是16bit。 两片内存一起组成了32bit的数据接口，内存大小为1024MB。
本实施例中，所述SD卡与所述ARM处理器连接，用于存储Linux系统的启动文件。本实施例中，SD卡选用的是金士顿的16GB的SD卡，文件系统为FAT32，存储linux系统的启动文件。
本实施例中，所述视频处理IP内核模块通过VDMA视频传输通道与所述处理器系统连接，用于对DDR3SDRAM中缓存的视频数据依次进行灰度变换、缩放的处理。所述视频处理IP内核模块无需编写RTL的verilog代码，利用高级综合工具vivado HLS软件，即可实现视频处理IP内核模块，便于系统的维护，提高系统的灵活性。
本实施例中，HDMI控制显示IP内核模块与HDMI显示器连接，控制HDMI显示器对拼接完成后的视频数据进行显示。
本实施例中，内核空间的软件包括：引导程序Boot loader、linux内核与驱动、板级支持包与视频处理IP内核驱动，视频拼接IP内核的驱动，HDMI控制显示IP内核的驱动。
总之，本实施例中，构建了一个基于软硬件协同处理的基于Zynq的软硬件协同设计的视频拼接器，按照软硬件结构设计灵活划分程序模块，充分发挥了zynq软硬件皆可编程的优势，应用片内的AXI总线，提高数据的吞吐量，加快处理速度，实时处理能力，降低功耗。同时基于linux系统触摸式交互方式给用户更好的体验。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于Zynq的视频拼接器，其特征在于：包括Zynq主处理器、输入板卡、DDR3SDRAM、HDMI显示器、SD卡、触摸屏。
2.根据权利要求1所述的一种基于Zynq的视频拼接器，其特征在于：所述Zynq主处理器包括处理器系统和FPGA，处理器系统和FPGA通过高速AXI-Interconnect总线连接，所述处理器系统包括ARM处理器和DDR3控制器，四个AXI-HP接口，四个AXI-GP接口，所述FPGA包括视频处理IP内核模块，视频拼接IP内核模块、HDMI控制显示IP内核模块。
3.根据权利要求2所述的一种基于Zynq的视频拼接器，其特征在于：所述SD卡与所述ARM处理器连接，所述DDR3 SDRAM通过所述DDR3控制器与所述ARM处理器连接，所述输入板卡通过四个VDMA视频传输通道与高速AXI-Interconnect总线连接，所述视频处理IP内核模块通过四个VDMA视频传输通道与高速AXI-Interconnect总线连接，所述视频拼接IP内核模块与视频处理IP内核模块连接，所述HDMI控制显示IP内核模块与视频拼接IP内核模块连接，所述HDMI控制显示IP内核模块与HDMI显示器连接。
4.一种基于Zynq的多路视频拼接系统的控制方法，其特征在于：包括步骤如下：
步骤一：在SD卡中存储Linux系统启动所需的文件，将Zynq主处理器的启动方式设置为SD卡启动，上电自启动Linux系统，编写并运行视频处理IP内核模块的驱动程序，视频拼接IP内核模块的驱动程序，HDMI控制显示IP内核模块的驱动程序，根据vivado软件给定的对应IP内核模块的物理地址，编写用于对物理地址进行操作的内核驱动程序，通过ARM处理器的AXI-GP接口驱动对应IP内核模块，编写用于交互和显示的Qt显控程序；
步骤二：输入板卡实时采集四路视频源数据信号并将视频源信号转化为标准的RGB格式后，通过VDMA视频传输通道传输至ARM处理器AXI-HP接口，送往DDR3 SDRAM中进行缓存；
步骤三：VDMA视频传输通道从ARM处理器的AXI-HP端口读取DDR3SDRAM缓存中的数据，送往视频处理IP内核模块；
步骤四：使用Vivado HLS软件编写视频处理IP内核模块，对DDR3SDRAM缓存中的图像数据处理得到二次处理图像；所述图像数据处理包括对图像进行彩转灰阶、曲线校正、色彩增强的处理；
步骤五：将步骤四处理完成后的四路图像经过视频拼接IP内核模块进行拼接，拼接完成后输出一副图像；
步骤六：将步骤五拼接完成后的图像送往HDMI控制显示模块，HDMI控制显示模块控制HDMI显示器进行显示。
5.根据权利要求4所述的一种基于Zynq的多路视频拼接系统的控制方法，其特征在于：所述Zynq主处理器采用xilinx公司生产的XC7Z020-1CLG484-I。
6.根据权利要求4所述的一种基于Zynq的多路视频拼接系统的控制方法，其特征在于：所述DDR3SDRAM选用2 片Micron的MT41K256M16RE-125 DDR3内存，单片内存的大小是512MB数据接口是16bit；两片内存一起组成了32bit的数据接口，内存大小为1024MB。
7.根据权利要求4所述的一种基于Zynq的多路视频拼接系统的控制方法，其特征在于：所述SD卡采用金士顿16GB的SD卡，文件系统为FAT32，存储linux系统的启动文件。
CN201710468843.8A 2017-06-16 2017-06-16 一种基于Zynq多路视频拼接系统 Active CN107277390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710468843.8A CN107277390B (zh) 2017-06-16 2017-06-16 一种基于Zynq多路视频拼接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710468843.8A CN107277390B (zh) 2017-06-16 2017-06-16 一种基于Zynq多路视频拼接系统

Publications (2)

Publication Number Publication Date
CN107277390A true CN107277390A (zh) 2017-10-20
CN107277390B CN107277390B (zh) 2020-02-21

Family

ID=60067889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710468843.8A Active CN107277390B (zh) 2017-06-16 2017-06-16 一种基于Zynq多路视频拼接系统

Country Status (1)

Country Link
CN (1) CN107277390B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225316A (zh) * 2019-07-15 2019-09-10 广东工业大学 一种软硬协同的多路视频处理装置及系统
CN110365992A (zh) * 2019-06-28 2019-10-22 苏州浪潮智能科技有限公司 一种视频解码验证系统
CN111722821A (zh) * 2020-06-18 2020-09-29 杭州海康威视数字技术股份有限公司 一种高清多媒体接口输入输出的实现方法以及装置
CN112367537A (zh) * 2020-11-02 2021-02-12 上海无线电设备研究所 一种基于zynq的视频采集-拼接-显示系统
CN112714264A (zh) * 2020-11-13 2021-04-27 长沙湘计海盾科技有限公司 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法
CN113810643A (zh) * 2021-11-01 2021-12-17 山东芯慧微电子科技有限公司 一种基于FPGA的多路HDMI接口转PCIe的视频处理与采集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412619A (zh) * 2013-07-30 2013-11-27 中国科学院上海技术物理研究所 一种异构多核的红外图像处理系统及方法
CN103856761A (zh) * 2014-03-14 2014-06-11 山东大学 基于Zynq-7000的图像监控系统
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的系统
CN204929022U (zh) * 2015-09-09 2015-12-30 南京欧帝科技股份有限公司 一种可回显高清视频信号的视频拼接处理器
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412619A (zh) * 2013-07-30 2013-11-27 中国科学院上海技术物理研究所 一种异构多核的红外图像处理系统及方法
CN103856761A (zh) * 2014-03-14 2014-06-11 山东大学 基于Zynq-7000的图像监控系统
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的系统
CN204929022U (zh) * 2015-09-09 2015-12-30 南京欧帝科技股份有限公司 一种可回显高清视频信号的视频拼接处理器
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365992A (zh) * 2019-06-28 2019-10-22 苏州浪潮智能科技有限公司 一种视频解码验证系统
CN110225316A (zh) * 2019-07-15 2019-09-10 广东工业大学 一种软硬协同的多路视频处理装置及系统
CN111722821A (zh) * 2020-06-18 2020-09-29 杭州海康威视数字技术股份有限公司 一种高清多媒体接口输入输出的实现方法以及装置
CN112367537A (zh) * 2020-11-02 2021-02-12 上海无线电设备研究所 一种基于zynq的视频采集-拼接-显示系统
CN112714264A (zh) * 2020-11-13 2021-04-27 长沙湘计海盾科技有限公司 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法
CN113810643A (zh) * 2021-11-01 2021-12-17 山东芯慧微电子科技有限公司 一种基于FPGA的多路HDMI接口转PCIe的视频处理与采集系统

Also Published As

Publication number Publication date
CN107277390B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN107277390A (zh) 一种基于Zynq多路视频拼接系统
CN203616547U (zh) 液晶显示模组的测试系统
CN1443322B (zh) 存储器控制器中枢
CN102945291A (zh) 基于pci-e的高速图像采集存储卡
CN106034199A (zh) 一种模拟数据源的图像采集装置和方法
CN108628569A (zh) 一种双系统实时显示运行方法及设备和双系统一体机
CN112367537A (zh) 一种基于zynq的视频采集-拼接-显示系统
CN103581505A (zh) 一种数字视频信号处理装置及方法
US5859649A (en) Data processing system having display controller with bursting direct memory access
CN101515436B (zh) 嵌入式led显示屏控制系统
CN104657297A (zh) 计算设备扩展系统及扩展方法
CN106935209A (zh) 电子纸显示装置及其驱动方法
CN206431607U (zh) 一种lcd驱动电路系统
CN109840233A (zh) 基于fpga的60x总线桥接系统、方法及介质
CN205263790U (zh) 一种显示控制板
CN105631057A (zh) 基于arm的高速数据采集系统
CN201788656U (zh) 一种带图像存储的lcd屏驱动板
CN102945658B (zh) 一种tft-lcd控制器
CN213365494U (zh) 一种主板的双bmc管理系统
CN107817477A (zh) 一种雷达显控系统的信号源系统及实现方法
CN1971544A (zh) 基于视音频嵌入式开发平台的微处理器音视频控制选件二次开发板
CN101594719B (zh) 脱机控制装置
CN210402338U (zh) 教室智能一体化系统
CN103500326A (zh) 一种嵌入式指纹采集仪
CN107340287A (zh) 含有fpga器件的化学发光分析平台及其数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant