CN109167966A - 基于fpga+arm的图像动态检测系统及方法 - Google Patents

基于fpga+arm的图像动态检测系统及方法 Download PDF

Info

Publication number
CN109167966A
CN109167966A CN201811144657.XA CN201811144657A CN109167966A CN 109167966 A CN109167966 A CN 109167966A CN 201811144657 A CN201811144657 A CN 201811144657A CN 109167966 A CN109167966 A CN 109167966A
Authority
CN
China
Prior art keywords
signal
video
fpga
image
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811144657.XA
Other languages
English (en)
Inventor
肖建
洪聪
张粮
郝慧杰
陈文勤
蔡志匡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Posts And Telecommunications Nantong Institute Ltd
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University Of Posts And Telecommunications Nantong Institute Ltd
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Posts And Telecommunications Nantong Institute Ltd, Nanjing Post and Telecommunication University filed Critical Nanjing University Of Posts And Telecommunications Nantong Institute Ltd
Priority to CN201811144657.XA priority Critical patent/CN109167966A/zh
Publication of CN109167966A publication Critical patent/CN109167966A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于FPGA+ARM的图像动态检测系统及方法，系统包括COMS采集电路、zynq处理电路和HDMI显示电路；COMS采集电路与摄像头连接，用于视频采集，形成数字图像，然后将信号传给zynq处理电路；Zynq处理电路包含FPGA部分和ARM部分，FPGA部分用于信号接收和传输，将边缘检测算法做成IP核放入FPGA部分；ARM部分存储插帧法；HDMI显示电路与显示器连接，用于显示视频。本发明基于FPGA和ARM，实现图像的快速采集与处理。

Description

基于FPGA+ARM的图像动态检测系统及方法
技术领域
本发明涉及数字图像采集处理技术，特别是一种基于FPGA+ARM的图像动态检测系统及方法。
背景技术
随着科技的快速发展，数字图像的采集与处理系统在科学研究、工业生产与日常生活等领域的应用越来越广泛。在当今的消费市场上，具有图像显示功能的电子产品也越来越多，包括可视电话、数码相机、门禁系统和安防监控系统等。
目前数字图像采集处理技术朝着实时性、大容量、小型化等方向发展，由于用一般的软件实现的图像处理算法数据量大，实现起来比较慢，实时性较低，基于嵌入式的图像采集和处理越来越普遍。
现有基于嵌入式的图像采集和处理系统大多以STM32F427CPU为核心，集成OV7725摄像头芯片，图像采集卡速度慢，处理功能简单，系统可靠性差。
发明内容
本发明的目的在于提供一种基于FPGA+ARM的图像动态检测系统及方法。
实现本发明目的的技术解决方案为：一种基于FPGA+ARM的图像动态检测系统，包括COMS采集电路、zynq处理电路和HDMI显示电路；
COMS采集电路与摄像头连接，用于视频采集，形成数字图像，然后将信号传给zynq处理电路；
Zynq处理电路包含FPGA部分和ARM部分，FPGA部分用于信号接收和传输，将边缘检测算法做成IP核放入FPGA部分；ARM部分存储插帧法，用于检测移动物体并进行定位；
HDMI显示电路与显示器连接，用于显示视频。
一种基于FPGA+ARM的图像动态检测方法，包括以下步骤：
(1)搭建FPGA电路
添加ZYNQ7Processing System IP,使S_AXI_HP0_Interface的接口有效，使能Uart端口，设置两个时钟，一个用于外设的寄存器读写和控制；另一个作为视频图像数据流的时钟，用于高速数据传输；配置DDR3芯片，用于寄存数据；设置16个中断；
添加VDMA IP，设置Line Buffer Depth为4096；选择GenLock Mode项为Master；
添加axis_subset_converter IP，将32位AXI4_Stream数据转换为24位；使能TSTRB和TLAST；
添加常量constant IP，为axis_subset_converter IP提供高电平，使之一直处于工作状态；
添加边缘检测hls_sobel IP,扣出图像边缘；
添加axi4s_vid_out IP,产生视频信号和控制信号，将axi4_Stream的数据转换成Video格式的视频图像输出；
添加时序控制v_tc IP,为axi4s_vid_out IP提供时序，生成正确的video时序；
添加rbg2dvi IP，将RGB的video信号变成差分的TMDS信号，输出到HDMI接口上，驱动HDMI显示video的图像；
添加axi_dynclk IP,产生video的像素时钟和串行时钟信号；
添加aix_gpio IP，作为HDIM的hot plug信号HPD；HPD信号为输入；
添加常量constant IP，一直输出高电平来控制HDMI电源的输出为HDMI显示设备；
添加concat IP，作为中断；
(2)ARM编程：
搭建FPGA电路后，调用插帧法函数；数据从摄像头获得，存储在DDR3中，信号经过帧差法处理后，从HDIM输出。
本发明与现有发明相比，其显著优点为：(1)FPGA并行处理，因此速度快，适合于高速场合；ARM功能丰富、开发简单；(2)将边缘检测封装成IP核，放在FPGA电路中；将插帧法编写在ARM中。
下面结合附图对本发明作进一步的详细描述。
附图说明
图1为基于FPGA+ARM的图像动态检测系统原理框图。
图2为插帧法的matlab仿真图。
具体实施方式
图像采集是图像处理和视频信号处理系统的前端部分，图像采集在安防、监控、远程抄表和工业控制等多个领域都有着广泛的应用。本发明提出一种基于FPGA+ARM的图像动态检测系统及方法，实现图像的快速采集与处理。
结合图1，本发明的一种基于FPGA+ARM的图像动态检测系统，包括COMS采集电路、zynq处理电路和HDMI显示电路；
COMS采集电路与摄像头连接，用于视频采集，形成数字图像，然后将信号传给zynq处理电路；
Zynq处理电路包含FPGA部分和ARM部分，FPGA部分用于信号接收和传输，将边缘检测算法做成IP核放入FPGA部分；ARM部分存储插帧法，用于检测移动物体并进行定位；
HDMI显示电路与显示器连接，用于显示视频。
本发明还提供一种基于FPGA+ARM的图像动态检测方法，包括以下步骤：
(1)搭建FPGA电路
添加ZYNQ7Processing System IP,使S_AXI_HP0_Interface的接口有效，使能Uart端口，设置两个时钟，一个100Mhz，用于外设的寄存器读写和控制；另一个150Mhz，作为视频图像数据流的时钟，用于高速数据传输；配置DDR3芯片，用于寄存数据；设置16个中断；
添加VDMA IP，设置Line Buffer Depth为4096；选择GenLock Mode项为Master；
添加axis_subset_converter IP，将32位AXI4_Stream数据转换为24位；使能TSTRB和TLAST；
添加常量constant IP，为axis_subset_converter IP提供高电平，使之一直处于工作状态；
添加边缘检测hls_sobel IP,扣出图像边缘；
添加axi4s_vid_out IP,产生视频信号和控制信号，将axi4_Stream的数据转换成Video格式的视频图像输出；
添加时序控制v_tc IP,为axi4s_vid_out IP提供时序，生成正确的video时序；
添加rbg2dvi IP，将RGB的video信号变成差分的TMDS信号，输出到HDMI接口上，驱动HDMI显示video的图像；
添加axi_dynclk IP,产生video的像素时钟和5倍频率的串行时钟信号；
添加aix_gpio IP，作为HDIM的hot plug信号HPD；HPD信号为输入；
添加常量constant IP，一直输出高电平来控制HDMI电源的输出为HDMI显示设备；
添加concat IP，作为中断；
(2)ARM编程：
搭建FPGA电路后，调用插帧法函数；数据从摄像头获得，存储在DDR3中，信号经过插帧法处理后，从HDIM输出。
下面通过实施例对本发明作进一步说明。
实施例
一种基于FPGA+ARM的图像动态检测系统，包括ARM处理器和FPGA，ARM处理器作为系统控制器，并完成应用层的交互；FPGA完成COMS传感器的初始化、控制以及边缘检测处理。摄像头采集图像模拟信号，转为数字图像信号，然后对数字图像信号处理优化，最后再转为模拟信号，显示成视频。其中边缘检测算法勾勒出事物外形，确定形状；插帧法用于检测移动的物体，进行定位。
一种基于FPGA+ARM的图像动态检测方法，包括以下步骤：
添加ZYNQ7Processing System IP,使S_AXI_HP0_Interface的接口有效，使能Uart端口，设置两个时钟，一个100Mhz，用于外设的寄存器读写和控制；另一个150Mhz，作为视频图像数据流的时钟，用于高速数据传输；配置DDR3芯片，用于寄存数据；设置16个中断；
添加VDMA IP，设置Line Buffer Depth为4096；选择GenLock Mode项为Master；
添加axis_subset_converter IP，将32位AXI4_Stream数据转换为24位；使能TSTRB和TLAST；
添加常量constant IP，为axis_subset_converter IP提供高电平，使之一直处于工作状态；
添加边缘检测hls_sobel IP,扣出图像边缘；
添加axi4s_vid_out IP,产生视频信号和控制信号，把axi4_Stream的数据转换成Video格式的视频图像输出；
添加时序控制v_tc IP,为axi4s_vid_out IP提供时序，生成正确的video时序；
添加rbg2dvi IP，将RGB的video信号变成差分的TMDS信号，输出到HDMI接口上，驱动HDMI显示video的图像；
添加axi_dynclk IP,产生video的像素时钟和5倍频率的串行时钟信号；
添加aix_gpio IP，作为HDIM的hot plug信号HPD；HPD信号为输入；
添加常量constant IP，一直输出高电平来控制HDMI电源的输出为HDMI显示设备；
添加concat IP，作为中断。
ARM(SDK)编程：
搭建FPGA电路，然后调用插帧法函数。数据从摄像头获得，存储在DDR3里面，信号经过插帧法处理后，从HDIM输出。图2是插帧法的matlab仿真图，由左面的两个图相比较，发现不同点，确定位置，结果如第三列图所示。

Claims (4)

1.一种基于FPGA+ARM的图像动态检测系统，其特征在于，包括COMS采集电路、zynq处理电路和HDMI显示电路；
COMS采集电路与摄像头连接，用于视频采集，形成数字图像，然后将信号传给zynq处理电路；
Zynq处理电路包含FPGA部分和ARM部分，FPGA部分用于信号接收和传输，将边缘检测算法做成IP核放入FPGA部分；ARM部分存储插帧法，用于检测移动物体并进行定位；
HDMI显示电路与显示器连接，用于显示视频。
2.一种基于FPGA+ARM的图像动态检测方法，其特征在于，包括以下步骤：
(1)搭建FPGA电路
添加ZYNQ7 Processing System IP,使S_AXI_HP0_Interface的接口有效，使能Uart端口，设置两个时钟，一个用于外设的寄存器读写和控制；另一个作为视频图像数据流的时钟，用于高速数据传输；配置DDR3芯片，用于寄存数据；设置16个中断；
添加VDMA IP，设置Line Buffer Depth为4096；选择GenLock Mode项为Master；
添加axis_subset_converterIP，将32位AXI4_Stream数据转换为24位；使能TSTRB和TLAST；
添加常量constant IP，为axis_subset_converter IP提供高电平，使之一直处于工作状态；
添加边缘检测hls_sobel IP,扣出图像边缘；
添加axi4s_vid_out IP,产生视频信号和控制信号，将axi4_Stream的数据转换成Video格式的视频图像输出；
添加时序控制v_tc IP,为axi4s_vid_out IP提供时序，生成正确的video时序；
添加rbg2dvi IP，将RGB的video信号变成差分的TMDS信号，输出到HDMI接口上，驱动HDMI显示video的图像；
添加axi_dynclk IP,产生video的像素时钟和串行时钟信号；
添加aix_gpio IP，作为HDIM的hot plug信号HPD；HPD信号为输入；
添加常量constant IP，一直输出高电平来控制HDMI电源的输出为HDMI显示设备；
添加concat IP，作为中断；
(2)ARM编程：
搭建FPGA电路后，调用插帧法函数；摄像头采集图像模拟信号，转为数字图像信号，然后利用插帧法对数字图像信号进行处理，最后再转为模拟信号，显示成视频。
3.根据权利要求2所述的基于FPGA+ARM的图像动态检测方法，其特征在于，所述的添加ZYNQ7 Processing System IP,使S_AXI_HP0_Interface的接口有效，使能Uart端口，设置两个时钟，一个100Mhz，用于外设的寄存器读写和控制；另一个150Mhz，作为视频图像数据流的时钟，用于高速数据传输。
4.根据权利要求2所述的基于FPGA+ARM的图像动态检测方法，其特征在于，所述的添加axi_dynclk IP,产生video的像素时钟和5倍频率的串行时钟信号。
CN201811144657.XA 2018-09-29 2018-09-29 基于fpga+arm的图像动态检测系统及方法 Pending CN109167966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811144657.XA CN109167966A (zh) 2018-09-29 2018-09-29 基于fpga+arm的图像动态检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811144657.XA CN109167966A (zh) 2018-09-29 2018-09-29 基于fpga+arm的图像动态检测系统及方法

Publications (1)

Publication Number Publication Date
CN109167966A true CN109167966A (zh) 2019-01-08

Family

ID=64892800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811144657.XA Pending CN109167966A (zh) 2018-09-29 2018-09-29 基于fpga+arm的图像动态检测系统及方法

Country Status (1)

Country Link
CN (1) CN109167966A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919962A (zh) * 2019-02-27 2019-06-21 山东超越数控电子股份有限公司 一种基于Zynq实现边缘检测算法加速的方法
CN109951667A (zh) * 2019-03-27 2019-06-28 河南九乾电子科技有限公司 基于fpga的高清视频信号处理装置及方法
CN110336928A (zh) * 2019-03-15 2019-10-15 浙江工业大学 一种基于zynq的oct光谱信号采集及传输系统
CN110414401A (zh) * 2019-07-22 2019-11-05 杭州电子科技大学 一种基于pynq的智能监控系统及监控方法
CN112327521A (zh) * 2020-11-02 2021-02-05 苏州华兴源创科技股份有限公司 在待测显示模组的显示图像中生成十字光标装置和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261702A1 (en) * 2014-03-17 2015-09-17 Purdue Research Foundation Computing architecture with concurrent programmable data co-processor
CN104991613A (zh) * 2015-06-05 2015-10-21 无锡虎甲虫计算技术有限公司 一种机器人计算机电路板
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法
CN106060462A (zh) * 2016-06-07 2016-10-26 中南大学 一种基于Zynq平台的高性能视频处理及传输系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261702A1 (en) * 2014-03-17 2015-09-17 Purdue Research Foundation Computing architecture with concurrent programmable data co-processor
CN104991613A (zh) * 2015-06-05 2015-10-21 无锡虎甲虫计算技术有限公司 一种机器人计算机电路板
CN105844654A (zh) * 2016-04-15 2016-08-10 中国科学院上海技术物理研究所 一种基于Zynq软硬件协同处理的增强现实系统及方法
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
CN106060462A (zh) * 2016-06-07 2016-10-26 中南大学 一种基于Zynq平台的高性能视频处理及传输系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENCHAO LIU: "《Moving object detection and tracking based on ZYNQ FPGA and ARM SOC》", 《IET INTERNATIONAL RADAR CONFERENCE 2015》 *
姚爱文: "《中国优秀硕士学位论文全文数据库 信息科技辑》", 15 February 2018 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919962A (zh) * 2019-02-27 2019-06-21 山东超越数控电子股份有限公司 一种基于Zynq实现边缘检测算法加速的方法
CN110336928A (zh) * 2019-03-15 2019-10-15 浙江工业大学 一种基于zynq的oct光谱信号采集及传输系统
CN109951667A (zh) * 2019-03-27 2019-06-28 河南九乾电子科技有限公司 基于fpga的高清视频信号处理装置及方法
CN110414401A (zh) * 2019-07-22 2019-11-05 杭州电子科技大学 一种基于pynq的智能监控系统及监控方法
CN112327521A (zh) * 2020-11-02 2021-02-05 苏州华兴源创科技股份有限公司 在待测显示模组的显示图像中生成十字光标装置和方法

Similar Documents

Publication Publication Date Title
CN109167966A (zh) 基于fpga+arm的图像动态检测系统及方法
CN102708383B (zh) 一种多模态比对功能的活体人脸检测系统与方法
CN205748663U (zh) 一种多功能红外热像仪
CN104067209B (zh) 交互式输入系统及方法
US20220383528A1 (en) Three-Dimensional Image Device
KR102378086B1 (ko) 이벤트 감지 장치
TWI386041B (zh) 用以俘獲並儲存多個即時圖像之裝置
CN104243931A (zh) 一种基于arm相机接口的视频采集显示系统
CN101221439A (zh) 高速并行多路数字图像采集与处理的嵌入式系统
KR20040029836A (ko) 광 마우스용 단일 집적회로
CN101483716B (zh) 用以俘获并储存多个实时图像的装置
CN110913116A (zh) 小型红外可见光多功能融合相机
CN204929046U (zh) 一种实时图像采集系统
JP2004120585A (ja) 車載用走行車線認識装置
CN207503284U (zh) 图像边缘检测系统
CN103607545A (zh) 一种高清视频采集装置及其工作方法
CN204993621U (zh) 一种红外视频图像最高温度点指示装置
WO2016155435A1 (zh) 动态调整终端屏幕显示的方法、终端及存储介质
Khan et al. Universal bridge interface for DVP-compatible image sensors
CN218514157U (zh) 一种智能无线充电系统
CN207995241U (zh) 一种基于fpga的室内移动机器人路径规划装置
CN105426849A (zh) 多模态生物识别装置及其进行图像采集的方法
CN112257490A (zh) 基于fpga的嵌入式行人密度统计系统及方法
CN206281575U (zh) 一种基于北斗的红外巡线设备及系统
TWM512168U (zh) 電子設備、觸控顯示裝置及驅動電路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108

RJ01 Rejection of invention patent application after publication