CN110049294A - 基于Zynq高清高帧图像采集和处理系统 - Google Patents

基于Zynq高清高帧图像采集和处理系统 Download PDF

Info

Publication number
CN110049294A
CN110049294A CN201910457652.0A CN201910457652A CN110049294A CN 110049294 A CN110049294 A CN 110049294A CN 201910457652 A CN201910457652 A CN 201910457652A CN 110049294 A CN110049294 A CN 110049294A
Authority
CN
China
Prior art keywords
zynq
fpga
image
module
aloof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910457652.0A
Other languages
English (en)
Inventor
郑晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910457652.0A priority Critical patent/CN110049294A/zh
Publication of CN110049294A publication Critical patent/CN110049294A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了基于Zynq高清高帧图像采集和处理系统，包括CMOS图像采集模块、FPGA模块、ARM处理器模块和计算机显示终端，CMOS图像采集模块，作为整个系统的图像采集前端，采用CMV2000图像传感器，负责将图像信息转换成数字信号传入到FPGA中进行下一步的处理，Zynq处理平台芯片硬件的核心本质就是将双核ARM Cortex‑A9处理器系统作为主系统，紧密结合28nm集成电路工艺，具有强大的配置功能和可扩展能力，双核ARM处理器不仅可以在开机时启动独立于可编程逻辑的操作系统，还可以根据需要配置可编程逻辑，内部基于AMBA协议的AXI高速互连通道解决了数据和储存之间的传输瓶颈问题；且利用Zynq平台可以运用成熟的千兆以太网解决方案，可编程逻辑也给开发人员提供足够的灵活性。

Description

基于Zynq高清高帧图像采集和处理系统
技术领域
本发明属于图像采集和处理系统技术领域，具体涉及基于Zynq高清高帧图像采集和处理系统。
背景技术
随着现代数字图像技术的快速发展，图像采集与处理系统在工业生产、医疗、航空、军事等领域上的应用越来越广泛，作为图像采集与处理的基础，高速高清图像采集与传输技术也成为越来越重要的研究方向。由于图像质量不断提高，图像采集、处理和传输所要操作的数据量也必将成倍的增加，难度也大大增加，所以如何实现这些数据的高速准确采集和传输成为系统设计的关键。高清高帧图像采集是进行后续处理工作的前提，图像的帧率与清晰度是图像处理系统设计的关键所在。
现有的图像采集和处理系统配置功能和可扩展能力比较弱，且在开机时不能根据需要配置可编程逻辑，内部数据和储存之间的传输也存在瓶颈，使开发人员在进行开发时不能灵活进行编程开发的问题，为此我们提出基于Zynq高清高帧图像采集和处理系统。
发明内容
本发明的目的在于提供基于Zynq高清高帧图像采集和处理系统，以解决上述背景技术中提出的现有的图像采集和处理系统配置功能和可扩展能力比较弱，且在开机时不能根据需要配置可编程逻辑，内部数据和储存之间的传输也存在瓶颈，使开发人员在进行开发时不能灵活进行编程开发的问题。
为实现上述目的，本发明提供如下技术方案：基于Zynq高清高帧图像采集和处理系统，包括CMOS图像采集模块、FPGA模块、ARM处理器模块和计算机显示终端，图像采集和处理流程包括如下步骤：
步骤一：CMOS图像采集模块，作为整个系统的图像采集前端，采用CMV2000图像传感器，负责将图像信息转换成数字信号传入到FPGA中进行下一步的处理，通过串行SPI总线接口接收由FPGA发送的控制指令，来修改图像的增益、像素位数等参数。
步骤二：FPGA模块负责配置CMOS图像传感器和控制图像采集前端，进行图像数据的串并转化及数据预处理，并对通过VDMA组件将图像数据传送到Zynq-7000 PS部分的DDR中，作为图像缓存。
步骤三：ARM处理器模块嵌入Linux系统，应用程序包括VDMA驱动程序和Socket通信程序，主要完成驱动程序调用，采集数据到用户空间缓冲区，利用Socket通信通过千兆网口与上位机通信，发送实时的图像数据。
步骤四：计算机显示终端，接收来自开发板缓存的图像数据并进行实时显示。
优选的，所述FPGA模块称为可编程逻辑，FPGA部分的内部资源和结构与7系列的FPGA一样，处理器系统包含了一个双核Cortex-A9处理器，集成了内存控制器和大量的外设接口，FPGA为可定制扩展，PS和PL均可独立运行，也可以通过平台内部丰富的互联总线使处理器系统和可编程逻辑联合使用。
优选的，所述CMV2000图像传感器最大分辨率2048×1088，最高帧率340fps，每像素转换成10bits或12bits，16路低压差分(LVDS)数据通道，1路LVDS时钟、1路LVDS控制信号，每路通道数据最大传输速率480Mbps，最大图像采集速率7680Mbps。
优选的，所述CMV2000图像传感器可通过SPI总线配置传感器工作模式，可选择10bits或12bits ADC分辨率，可以提供内部曝光或外部曝光模式，动态范围最高可达60dB。
优选的，所述FPGA模块和ARM模块之间由AXI总线进行连接。
优选的，所述AXI总线具有更高性能、更高带宽、延迟更低的特性。
与现有技术相比，本发明的有益效果是：Zynq处理平台芯片硬件的核心本质就是将双核ARM Cortex-A9处理器系统作为主系统，紧密结合28nm集成电路工艺，具有强大的配置功能和可扩展能力，双核ARM处理器不仅可以在开机时启动独立于可编程逻辑的操作系统，还可以根据需要配置可编程逻辑，内部基于AMBA协议的AXI高速互连通道解决了数据和储存之间的传输瓶颈问题；且利用Zynq平台可以运用成熟的千兆以太网解决方案，可编程逻辑也给开发人员提供足够的灵活性。
附图说明
图1为本发明的系统结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：基于Zynq高清高帧图像采集和处理系统，包括CMOS图像采集模块、FPGA模块、ARM处理器模块和计算机显示终端，图像采集和处理流程包括如下步骤：
步骤一：CMOS图像采集模块，作为整个系统的图像采集前端，采用CMV2000图像传感器，负责将图像信息转换成数字信号传入到FPGA中进行下一步的处理，通过串行SPI总线接口接收由FPGA发送的控制指令，来修改图像的增益、像素位数等参数。
步骤二：FPGA模块负责配置CMOS图像传感器和控制图像采集前端，进行图像数据的串并转化及数据预处理，并对通过VDMA组件将图像数据传送到Zynq-7000 PS部分的DDR中，作为图像缓存。
步骤三：ARM处理器模块嵌入Linux系统，应用程序包括VDMA驱动程序和Socket通信程序，主要完成驱动程序调用，采集数据到用户空间缓冲区，利用Socket通信通过千兆网口与上位机通信，发送实时的图像数据。
步骤四：计算机显示终端，接收来自开发板缓存的图像数据并进行实时显示。
为了增加编程的灵活性，本实施例中，优选的，FPGA模块称为可编程逻辑，FPGA部分的内部资源和结构与7系列的FPGA一样，处理器系统包含了一个双核Cortex-A9处理器，集成了内存控制器和大量的外设接口，FPGA为可定制扩展，PS和PL均可独立运行，也可以通过平台内部丰富的互联总线使处理器系统和可编程逻辑联合使用。
为了使图像采集更加清晰，本实施例中，优选的，所述CMV2000图像传感器最大分辨率2048×1088，最高帧率340fps，每像素转换成10bits或12bits，16路低压差分(LVDS)数据通道，1路LVDS时钟、1路LVDS控制信号，每路通道数据最大传输速率480Mbps，最大图像采集速率7680Mbps。
为了增加图像采集的动态范围，本实施例中，优选的，所述CMV2000图像传感器可通过SPI总线配置传感器工作模式，可选择10bits或12bits ADC分辨率，可以提供内部曝光或外部曝光模式，动态范围最高可达60dB。
为了使FPGA模块和ARM模块方便数据传递，本实施例中，优选的，所述FPGA模块和ARM模块之间由AXI总线进行连接。
为了加快传输速度，本实施例中，优选的，所述AXI总线具有更高性能、更高带宽、延迟更低的特性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于Zynq高清高帧图像采集和处理系统，包括CMOS图像采集模块、FPGA模块、ARM处理器模块和计算机显示终端，其特征在于：图像采集和处理流程包括如下步骤：
步骤一：CMOS图像采集模块，作为整个系统的图像采集前端，采用CMV2000图像传感器，负责将图像信息转换成数字信号传入到FPGA中进行下一步的处理，通过串行SPI总线接口接收由FPGA发送的控制指令，来修改图像的增益、像素位数等参数。
步骤二：FPGA模块负责配置CMOS图像传感器和控制图像采集前端，进行图像数据的串并转化及数据预处理，并对通过VDMA组件将图像数据传送到Zynq-7000PS部分的DDR中，作为图像缓存。
步骤三：ARM处理器模块嵌入Linux系统，应用程序包括VDMA驱动程序和Socket通信程序，主要完成驱动程序调用，采集数据到用户空间缓冲区，利用Socket通信通过千兆网口与上位机通信，发送实时的图像数据。
步骤四：计算机显示终端，接收来自开发板缓存的图像数据并进行实时显示。
2.根据权利要求1所述的基于Zynq高清高帧图像采集和处理系统，其特征在于：所述FPGA模块称为可编程逻辑，FPGA部分的内部资源和结构与7系列的FPGA一样，处理器系统包含了一个双核Cortex-A9处理器，集成了内存控制器和大量的外设接口，FPGA为可定制扩展，PS和PL均可独立运行，也可以通过平台内部丰富的互联总线使处理器系统和可编程逻辑联合使用。
3.根据权利要求1所述的基于Zynq高清高帧图像采集和处理系统，其特征在于：所述CMV2000图像传感器最大分辨率2048×1088，最高帧率340fps，每像素转换成10bits或12bits，16路低压差分(LVDS)数据通道，1路LVDS时钟、1路LVDS控制信号，每路通道数据最大传输速率480Mbps，最大图像采集速率7680Mbps。
4.根据权利要求1所述的基于Zynq高清高帧图像采集和处理系统，其特征在于：所述CMV2000图像传感器可通过SPI总线配置传感器工作模式，可选择10bits或12bits ADC分辨率，可以提供内部曝光或外部曝光模式，动态范围最高可达60dB。
5.根据权利要求1所述的基于Zynq高清高帧图像采集和处理系统，其特征在于：所述FPGA模块和ARM模块之间由AXI总线进行连接。
6.根据权利要求5所述的基于Zynq高清高帧图像采集和处理系统，其特征在于：所述AXI总线具有更高性能、更高带宽、延迟更低的特性。
CN201910457652.0A 2019-05-29 2019-05-29 基于Zynq高清高帧图像采集和处理系统 Pending CN110049294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457652.0A CN110049294A (zh) 2019-05-29 2019-05-29 基于Zynq高清高帧图像采集和处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457652.0A CN110049294A (zh) 2019-05-29 2019-05-29 基于Zynq高清高帧图像采集和处理系统

Publications (1)

Publication Number Publication Date
CN110049294A true CN110049294A (zh) 2019-07-23

Family

ID=67283981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457652.0A Pending CN110049294A (zh) 2019-05-29 2019-05-29 基于Zynq高清高帧图像采集和处理系统

Country Status (1)

Country Link
CN (1) CN110049294A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708460A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种自动泊车系统图像获取方法
CN111026003A (zh) * 2019-12-31 2020-04-17 深圳市君视芯科技有限公司 一种扩展电路开发板
CN111324063A (zh) * 2020-01-21 2020-06-23 南方电网科学研究院有限责任公司 一种用于芯片化dtu的采集处理装置及其执行方法
CN112367537A (zh) * 2020-11-02 2021-02-12 上海无线电设备研究所 一种基于zynq的视频采集-拼接-显示系统
CN114760414A (zh) * 2022-04-12 2022-07-15 上海航天电子通讯设备研究所 一种用于cmv4000相机的图像采集与处理系统
CN115174763A (zh) * 2022-07-05 2022-10-11 重庆邮电大学 一种基于zynq的图像实时显示系统
CN116456093A (zh) * 2023-03-31 2023-07-18 之江实验室 一种基于Zynq的图像帧率可控模拟器和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412619A (zh) * 2013-07-30 2013-11-27 中国科学院上海技术物理研究所 一种异构多核的红外图像处理系统及方法
CN103856761A (zh) * 2014-03-14 2014-06-11 山东大学 基于Zynq-7000的图像监控系统
CN104954795A (zh) * 2015-07-02 2015-09-30 东南大学 一种基于jpeg2000的图像采集传输系统
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法
CN106060462A (zh) * 2016-06-07 2016-10-26 中南大学 一种基于Zynq平台的高性能视频处理及传输系统
CN107071324A (zh) * 2017-01-25 2017-08-18 上海电气集团股份有限公司 一种视觉图像处理系统及其设计方法
WO2018192537A1 (zh) * 2017-04-19 2018-10-25 Tcl通讯（宁波）有限公司 一种基于soc的5g硬件平台系统及其实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412619A (zh) * 2013-07-30 2013-11-27 中国科学院上海技术物理研究所 一种异构多核的红外图像处理系统及方法
CN103856761A (zh) * 2014-03-14 2014-06-11 山东大学 基于Zynq-7000的图像监控系统
CN104954795A (zh) * 2015-07-02 2015-09-30 东南大学 一种基于jpeg2000的图像采集传输系统
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法
CN106060462A (zh) * 2016-06-07 2016-10-26 中南大学 一种基于Zynq平台的高性能视频处理及传输系统
CN107071324A (zh) * 2017-01-25 2017-08-18 上海电气集团股份有限公司 一种视觉图像处理系统及其设计方法
WO2018192537A1 (zh) * 2017-04-19 2018-10-25 Tcl通讯（宁波）有限公司 一种基于soc的5g硬件平台系统及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李朗 等: "基于Zynq-7000的视频处理系统框架设计", 《计算机技术与发展》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708460A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种自动泊车系统图像获取方法
CN111026003A (zh) * 2019-12-31 2020-04-17 深圳市君视芯科技有限公司 一种扩展电路开发板
CN111324063A (zh) * 2020-01-21 2020-06-23 南方电网科学研究院有限责任公司 一种用于芯片化dtu的采集处理装置及其执行方法
CN112367537A (zh) * 2020-11-02 2021-02-12 上海无线电设备研究所 一种基于zynq的视频采集-拼接-显示系统
CN114760414A (zh) * 2022-04-12 2022-07-15 上海航天电子通讯设备研究所 一种用于cmv4000相机的图像采集与处理系统
CN114760414B (zh) * 2022-04-12 2024-04-16 上海航天电子通讯设备研究所 一种用于cmv4000相机的图像采集与处理系统
CN115174763A (zh) * 2022-07-05 2022-10-11 重庆邮电大学 一种基于zynq的图像实时显示系统
CN116456093A (zh) * 2023-03-31 2023-07-18 之江实验室 一种基于Zynq的图像帧率可控模拟器和方法
CN116456093B (zh) * 2023-03-31 2024-02-09 之江实验室 一种基于Zynq的图像帧率可控模拟器和方法

Similar Documents

Publication Publication Date Title
CN110049294A (zh) 基于Zynq高清高帧图像采集和处理系统
CN104809094B (zh) Spi控制器及其通信方法
CN112584092B (zh) 数据采集装置及数据采集系统
CN210781101U (zh) 数据采集装置及数据采集系统
CN104239271A (zh) 一种采用fpga和dsp实现的仿真图像播放器
CN108012053A (zh) 一种基于CoaXPress接口的高速图像传输系统
CN1678086A (zh) 一种基于pci的高速码流播放和接收装置
CN110276110A (zh) 一种双目立体视觉系统的软硬件协同设计方法
CN110740257A (zh) 一种高速高清cmos成像系统及其成像方法
CN107743183A (zh) 一种高速视频电路多通道融合与数据混编传输系统及方法
CN113190291A (zh) 一种基于片上网络数据采集的可配置协议转换系统及方法
Zamarreno-Ramos et al. An instant-startup jitter-tolerant Manchester-encoding serializer/deserializer scheme for event-driven bit-serial LVDS interchip AER links
CN114179824B (zh) 一种无人驾驶的计算系统
Yan et al. Design of CMOS image acquisition system based on FPGA
CN113890977A (zh) 机载视频处理装置及具有其的无人机
WO2016000376A1 (zh) 一种基于pci-e接口的信号处理方法及信号处理装置
CN105208314B (zh) 一种多功能的高速相机信号转换接收平台
CN109815181B (zh) 一种基于axi协议接口的任意位宽转换方法及装置
CN113971022B (zh) 一种应用全可编程片上系统的无线信号处理方法
CN113033087B (zh) 一种基于fpga用于光神经网络的高速数据传输方法
CN107682587B (zh) 视频处理器
CN113315935B (zh) 一种基于fpga的cmos图像传感器数据采集装置及方法
US20090168918A1 (en) Differential signal modulating apparatus and method thereof
US9485333B2 (en) Method and apparatus for network streaming
CN106933773A (zh) 一种jesd204b协议中帧组装的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723