CN114217953A - 一种基于fpga图像处理的目标定位系统及识别方法 - Google Patents
一种基于fpga图像处理的目标定位系统及识别方法 Download PDFInfo
- Publication number
- CN114217953A CN114217953A CN202111365972.7A CN202111365972A CN114217953A CN 114217953 A CN114217953 A CN 114217953A CN 202111365972 A CN202111365972 A CN 202111365972A CN 114217953 A CN114217953 A CN 114217953A
- Authority
- CN
- China
- Prior art keywords
- module
- target
- image processing
- noise reduction
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009467 reduction Effects 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
- G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于FPGA图像处理的目标定位系统及识别方法。本发明中,所述多维降噪模块的输出端连接有所述图像处理模块的输入端,所述图像处理模块的输出端连接有所述目标跟踪模块的输入端,所述目标跟踪模块的输出端连接有所述FPGA算法跟踪模块的输入端,所述FPGA算法跟踪模块的输出端连接有所述数据输出模块的输入端,该系统每秒可以处理30帧图像,具有较快的跟踪速度,本系统中目标定位提取模块对于背景较简单的运动目标,也可直接对每一帧图像都做目标检测并计算其形心,基于模板匹配的跟踪算法能在复杂背景中准确跟踪目标,抗干扰能力较强,提高了该系统中对于图像处理的准确性,从而提高了该系统运行时的稳定性。
Description
技术领域
本发明属于图像处理技术领域,具体为一种基于FPGA图像处理的目标定位系统及识别方法。
背景技术
图像处理技术是用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。图像对象检测是利用图像处理与模式识别等领域的理论和方法,从图像中定位感兴趣的目标,需要准确地判断每个目标的具体类别,并给出每个目标的边界框。图像对象检测在人脸识别、医学影像、智能视频监控、机器人导航、基于内容的图像检索、基于图像的绘制技术、图像编辑和增强现实等领域都有广泛的应用。图像对象检测的过程中需要用到目标定位系统。
但是常见的目标定位系统在使用时,对于初始识别图像采用的降噪模式较为单一,使得降噪的效果不够好,从而影响了后续的定位的准确度。
发明内容
本发明的目的在于:为了解决上述提出的问题,提供一种基于FPGA 图像处理的目标定位系统及识别方法。
本发明采用的技术方案如下:一种基于FPGA图像处理的目标定位系统及识别方法,包括启动开关模块、图像采集模块、多维降噪模块、图像处理模块、目标跟踪模块、FPGA算法跟踪模块、数据输出模块、运动目标检测模块、目标定位提取模块、匹配算法模块、FIFO存储器模块、3×3模板生成模块、行列计数器模块、3×3方形窗口降噪模块、二维十字形窗口降噪模块,所述启动开关模块的输出端连接有所述图像采集模块的输入端,所述图像采集模块的输出端连接有所述多维降噪模块的输入端,所述多维降噪模块的输出端连接有所述图像处理模块的输入端,所述图像处理模块的输出端连接有所述目标跟踪模块的输入端,所述目标跟踪模块的输出端连接有所述FPGA算法跟踪模块的输入端,所述FPGA算法跟踪模块的输出端连接有所述数据输出模块的输入端;
所述多维降噪模块的内部固定安装有FIFO存储器模块、3×3模板生成模块、行列计数器模块、3×3方形窗口降噪模块和二维十字形窗口降噪模块,所述FIFO存储器模块、3×3模板生成模块、行列计数器模块、3×3方形窗口降噪模块和二维十字形窗口降噪模块的输出端连接有所述多维降噪模块的输入端;
所述FPGA算法跟踪模块的内部固定安装有运动目标检测模块、目标定位提取模块和匹配算法模块,所述运动目标检测模块、目标定位提取模块和匹配算法模块的输出端连接有所述FPGA算法跟踪模块的输入端。
在一优选的实施方式中,所述图像采集模块采用激光图像处理技术对激光采集模块获取的激光图像进行去噪和分割处理,实现目标定位,模块由JTAG端口、式中子模块、复位控制子模块和电源子模块等构成;所述图像采集模块以TMS320C6711B控制芯片作为激光图像处理模块的核心处理器,此处理器可高效率处理复杂激光图像;激光图像处理模块具有两片ICS501芯片,为数字信号处理器和外部存储器接口提供时钟,实现系统处理激光图像实时性需求,同时满足激光图像不同幅值波动的要求;所述图像采集模块负责采集激光图像,并实施预存储;激光图像采集模块采集激光发射器反馈的激光回波信号,回波信号经过抗干扰电路和DMA电路的处理后,进入DMA控制器后,控制器根据固定规律对激光回波信号进行控制和存储,并将激光图像传输至激光图像处理模块进行处理。
在一优选的实施方式中,所述FIFO存储器模块分为同步FIFO和异步FIFO,同步FIFO是指数据输入输出的时钟频率相同,异步FIFO 是指数据输入输出的时钟频率可以不同;FIFO是一种特殊功能的存储器,数据以达到FIFO输入端口的先后顺序存储在存储器中,并以相同的顺序从FIFO的输出端口送出,所以FIFO内数据的写入和读取只受读/写时钟和读/写请求信号的控制,而不需要读/写地址线;所述FIFO存储器模块由6个小功能块组成,它们是存储体、读指示器、写指示器、满逻辑信号full、空逻辑信号empty和计数器usedw,这是一个同步的FIFO模块;在时钟脉冲的上升沿作用下,当wrreq=0 且full=0时,data的数据将压入FIFO堆栈;在通常情况下,rdreq 指示器所指出的单元内容总是放于q的输出数据线上,只是在 rdreq=0且empty=0时,rdreq指示器内容才改变而指向FIFO的下一个单元,下一个单元的内容将替换当前内容并从q端口输出;所以,在任何时候q上总有一个数据输出,而不像RAM那样,只有在读有效时才有数据输出,平时就为三态输出。
在一优选的实施方式中,所述3×3模板生成模块的硬件设计中,采用了两个FIFO存储器。其中FIFO地址宽度为h,这样每个FIFO 正好可以存储一行共h个图像数据,使得3×3窗生成模块的输出 h(1,1)~h(3,3)正好构成3×3模板所对应的3行3列共9个图像数据值。由于本文处理的图像为256×256的灰度图像,所以 FIFO的地址宽度为256,并设定为单时钟同步FIFO。
在一优选的实施方式中,所述行列计数器模块实现行列计数功能,通过此模块来判断图像处理是否到达边缘或者处理完毕;因为图像数据为二维阵列数据,所以设计该模块时需要两个计数器:行计数器和列计数器;所述行列计数器模块把图像边缘像素值全部设置成0值,只有这样才能够通过使用行列计数器模块来实现图像算法;行列计数器模块能够根据目前像素的位置并能判断该像素是否是图像的边缘,如果已经到达图像的边缘,则把0值直接作为输出;其他情况下,则按照图像算法进行处理后输出。
在一优选的实施方式中,所述3×3方形窗口降噪模块采用3×3 的窗口,采用并行处理,避免了大量比较操作,所述3×3方形窗口降噪模块先对每一行像素数据进行排序,分别得到每行的最大值、中间值和最小值;这三行的排序过程可以同时并行处理;记第一行像素的最大值Max_Row1=max,中间值为Med_Row1=med,最小值为 Min_Row1=min,第二、第三行依次类推;这样每行经过3次比较,总共比较9次得到了三
个数据组,分别是最大值组,中间值组和最小值组,如下表示:
最大值组Al:Max=(Max_Row1,Max_Row2,Max_Row3)
中间值组A2:Med=(Med_Row1,Med_Row2,Med_Row3)
最小值组A3:Min=(Min_Row1,Min_Row2,Min_Row3)
第二步:对所得的三组数据再分别并行处理,从最大值组中取得最小值B1:
Max_min、中间值组中取得中间值B2:Med_med、最小值组中取得最大值B3:Min_max,
获得这三个值需要经过7次比较;
第三步:从剩下的三个值B1,B2,B3中找到中间值Final_med即为最终所要得到的结果C。
在一优选的实施方式中,所述二维十字形窗口降噪模块的内部形成3×3窗口模板,根据十字滤波原理,取十字窗口,在将窗口内的元素进行排序,求得中值,并用所求得中值替代中心元素;每当将窗口向右移一列,窗口内元素就要重新排序,然后再求得中值替代;所述二维十字形窗口降噪模块实现步骤为如下:十字形窗口取出的5个灰度数据,在将数据按奇偶位不同分为两个组,根据较小的数排前面的规则,排序重新组成的数组;再将新得到的数组的偶奇位分别进行比较,根据较小的数排前面的规则,组成新的排序数组;重复进行第二部的操作,一共经过5级的比较完成5个数从小到大的排序,然后将中值输出。
在一优选的实施方式中,所述运动目标检测模块从SDRAM中读取出之前存储的图像数据,为此,设计一个数据读取模块;数据读取模块主要包括地址发生控制器和两个FIFO,一个FIFO用来缓存从SDRAM 中读取的背景图像数据,另一个用来缓存读取的当前帧图像数据;地址发生控制器根据FIFO的空满状态,不停地产生读取当前帧图像的地址和背景图像的地址;从对应的地址中读取出当前帧图像数据和背景图像数据;此处用FIFO缓存是为了解决读取和处理数据的时钟不匹配的问题,FIFO的深度可取为两行视频图像的像素个数,这样在读取图像数据时,还能进行后面的差值运算,达到流水线处理的效果;当两个FIFO都不为空时,就启动背景差值计算模块,将FIFO中缓存的当前帧数据和背景图像数据进行差值运算,并根据给定的阈值进行二值化处理;最后将二值化结果结果送入形态学处理模块进行滤波去噪,从而得到运动目标。
在一优选的实施方式中,所述目标定位提取模块包括形心计算器、形心和行列计数缓存器的设计;形心计算器主要统计一帧二值化视频图像中运动目标动点的坐标,找出行列坐标的中值;本文中处理的图像分辨率为640*480,所以横纵坐标可以看成是640和480;此时若对运动目标所有的动点的横纵坐标做统计,然后排序求中值,在运动目标较大时会消耗大量的逻辑资源,并且计算量大;在本文设计中,二值化图像是按从左到右、从上到下像素顺序输入形心统计模块的,所以在行列上动点的横纵坐标都是按顺序排列好的;因而在形心计算器的设计中只需要开辟四个10位的寄存器,分别存放运动目标动点的最小行、最大行和最小列、最大列;在本文中,设计对单个运动目标进行检测,所以运动目标的动点具有连续性;得到运动目标动点所在的最小行、最大行和最小列、最大列后,就可从SDRAM中读取出对应地址内的图像数据,并在FPGA里开辟一个双口RAM,将提取的目标数据存储在里面,从而达到提取运动目标的目的;形心的横坐标用最大列和最小列的均值表示,纵坐标用最大行和最小行的均值表示;求出此帧二值化图像的形心后,开辟二个10位的RAM分别存放形心的横纵坐标;经过运动目标检测之后,通过形心定位,提取出运动目标所在的图像区域的像素;将其存储在RAM里面;作为后续模板匹配跟踪中的模板图像。
在一优选的实施方式中,所述匹配算法模块用大规模并行操作以及缓冲技术实现对32x32个像素同时处理;(2)采用流水线技术完成 SAD匹配运算;(3)采用移位寄存器的方法生产基于32x32窗口的方法实现逐点匹配;首先,通过模板窗口生成模块生成待匹配图像和目标模板;然后,将模板图像数据和待匹配图像数据送到SAD运算模块进行运算求出各坐标位置的SAD值;最后,通过最佳匹配点查找模块找到SAD值最小的点,当输入完一场图像数据时,该模块计算出最小匹配值及其坐标位置,该点所在的领域就是所要跟踪的目标。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明中,二维十字形窗口降噪模块处理方案的运行时间比二维十字型窗口降噪模块处理方案短,速度提升了,从而加快了降噪处理过程中的速度,提高了系统的运行速度,同时减少了逻辑资源的占用。但此方案由于采用了并行排序方式,充分利用了FPGA的硬件资源,比较次数缩减为19次,而比较时间却大大减小到9个时钟周期,所以快速中值滤波算法所占用的时间大约为传统算法的四分之一,有利于提高了该系统在运行时的准确性。
2、本发明中,FPGA算法跟踪模块的内部设置的模块,基于FPGA 的运动目标跟踪系统能够成功地检测出运动目标并对目标进行跟踪,该系统每秒可以处理30帧图像,具有较快的跟踪速度,本系统中目标定位提取模块对于背景较简单的运动目标,也可直接对每一帧图像都做目标检测并计算其形心,确定目标在视频图像中的位置,这样也能达到跟踪的目的。基于模板匹配的跟踪算法能在复杂背景中准确跟踪目标,抗干扰能力较强,提高了该系统中对于图像处理的准确性,从而提高了该系统运行时的稳定性。
附图说明
图1为本发明的系统框图;
图2为本发明中多维降噪模块系统框图;
图3为本发明中FPGA算法跟踪模块系统框图。
图中标记:1-启动开关模块、2-图像采集模块、3-多维降噪模块、 4-图像处理模块、5-目标跟踪模块、6-FPGA算法跟踪模块、7-数据输出模块、8-运动目标检测模块、9-目标定位提取模块、10-匹配算法模块、11-FIFO存储器模块、12-3×3模板生成模块、13-行列计数器模块、14-3×3方形窗口降噪模块、15-二维十字形窗口降噪模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1-3,
一种基于FPGA图像处理的目标定位系统及识别方法,包括启动开关模块1、图像采集模块2、多维降噪模块3、图像处理模块4、目标跟踪模块5、FPGA算法跟踪模块6、数据输出模块7、运动目标检测模块8、目标定位提取模块9、匹配算法模块10、FIFO存储器模块 11、3×3模板生成模块12、行列计数器模块13、3×3方形窗口降噪模块14、二维十字形窗口降噪模块15,启动开关模块1的输出端连接有图像采集模块2的输入端,图像采集模块2的输出端连接有多维降噪模块3的输入端,多维降噪模块3的输出端连接有图像处理模块 4的输入端,图像处理模块4的输出端连接有目标跟踪模块5的输入端,目标跟踪模块5的输出端连接有FPGA算法跟踪模块6的输入端, FPGA算法跟踪模块6的输出端连接有数据输出模块7的输入端;
多维降噪模块3的内部固定安装有FIFO存储器模块11、3×3模板生成模块12、行列计数器模块13、3×3方形窗口降噪模块14和二维十字形窗口降噪模块15,FIFO存储器模块11、3×3模板生成模块12、行列计数器模块13、3×3方形窗口降噪模块14和二维十字形窗口降噪模块15的输出端连接有多维降噪模块3的输入端;
FPGA算法跟踪模块6的内部固定安装有运动目标检测模块8、目标定位提取模块9和匹配算法模块10,运动目标检测模块8、目标定位提取模块9和匹配算法模块10的输出端连接有FPGA算法跟踪模块 6的输入端。
图像采集模块2采用激光图像处理技术对激光采集模块获取的激光图像进行去噪和分割处理,实现目标定位,模块由JTAG端口、式中子模块、复位控制子模块和电源子模块等构成;图像采集模块2以 TMS320C6711B控制芯片作为激光图像处理模块的核心处理器,此处理器可高效率处理复杂激光图像;激光图像处理模块具有两片ICS501 芯片,为数字信号处理器和外部存储器接口提供时钟,实现系统处理激光图像实时性需求,同时满足激光图像不同幅值波动的要求;图像采集模块2负责采集激光图像,并实施预存储;激光图像采集模块采集激光发射器反馈的激光回波信号,回波信号经过抗干扰电路和DMA 电路的处理后,进入DMA控制器后,控制器根据固定规律对激光回波信号进行控制和存储,并将激光图像传输至激光图像处理模块进行处理。
FIFO存储器模块11分为同步FIFO和异步FIFO,同步FIFO是指数据输入输出的时钟频率相同,异步FIFO是指数据输入输出的时钟频率可以不同;FIFO是一种特殊功能的存储器,数据以达到FIFO输入端口的先后顺序存储在存储器中,并以相同的顺序从FIFO的输出端口送出,所以FIFO内数据的写入和读取只受读/写时钟和读/写请求信号的控制,而不需要读/写地址线;FIFO存储器模块11由6个小功能块组成,它们是存储体、读指示器rdreq、写指示器wrreq、满逻辑信号full、空逻辑信号empty和计数器usedw,这是一个同步的FIFO模块;在时钟脉冲的上升沿作用下,当wrreq=0且full=0时, data的数据将压入FIFO堆栈;在通常情况下,rdreq指示器所指出的单元内容总是放于q的输出数据线上,只是在rdreq=0且empty=0 时,rdreq指示器内容才改变而指向FIFO的下一个单元,下一个单元的内容将替换当前内容并从q端口输出;所以,在任何时候q上总有一个数据输出,而不像RAM那样,只有在读有效时才有数据输出,平时就为三态输出。
3×3模板生成模块12的硬件设计中,采用了两个FIFO存储器。其中FIFO地址宽度为hh为图像宽度,这样每个FIFO正好可以存储一行共h个图像数据,使得3×3窗生成模块的输出h(1,1)~ h(3,3)或者写成h11~h33正好构成3×3模板所对应的3行3 列共9个图像数据值。由于本文处理的图像为256×256的灰度图像,所以FIFO的地址宽度为256,并设定为单时钟同步FIFO。
行列计数器模块13实现行列计数功能,通过此模块来判断图像处理是否到达边缘或者处理完毕;因为图像数据为二维阵列数据,所以设计该模块时需要两个计数器:行计数器和列计数器;行列计数器模块13把图像边缘像素值全部设置成0值,只有这样才能够通过使用行列计数器模块来实现图像算法;行列计数器模块能够根据目前像素的位置并能判断该像素是否是图像的边缘,如果已经到达图像的边缘,则把0值直接作为输出;其他情况下,则按照图像算法进行处理后输出。
3×3方形窗口降噪模块14采用3×3的窗口,采用并行处理,避免了大量比较操作,3×3方形窗口降噪模块14先对每一行像素数据进行排序,分别得到每行的最大值、中间值和最小值;这三行的排序过程可以同时并行处理;记第一行像素的最大值 Max_Row1=maxh11,h12,h13,中间值为Med_Row1=medh11,h12,h13,最小值为Min_Row1=minh11,h12,h13,第二、第三行依次类推;这样每行经过3次比较,总共比较9次得到了三
个数据组,分别是最大值组,中间值组和最小值组,如下表示:
最大值组Al:Max=Max_Row1,Max_Row2,Max_Row3
中间值组A2:Med=Med_Row1,Med_Row2,Med_Row3
最小值组A3:Min=Min_Row1,Min_Row2,Min_Row3
第二步:对所得的三组数据再分别并行处理,从最大值组中取得最小值B1:
Max_min、中间值组中取得中间值B2:Med_med、最小值组中取得最大值B3:Min_max,
获得这三个值需要经过7次比较;
第三步:从剩下的三个值B1,B2,B3中找到中间值Final_med即为最终所要得到的结果C。
二维十字形窗口降噪模块15的内部形成3×3窗口模板,根据十字滤波原理,取十字窗口,在将窗口内的元素进行排序,求得中值,并用所求得中值替代中心元素;每当将窗口向右移一列,窗口内元素就要重新排序,然后再求得中值替代;二维十字形窗口降噪模块15 实现步骤为如下:十字形窗口取出的5个灰度数据,在将数据按奇偶位不同分为两个组,根据较小的数排前面的规则,排序重新组成的数组;再将新得到的数组的偶奇位分别进行比较,根据较小的数排前面的规则,组成新的排序数组;重复进行第二部的操作,一共经过5级的比较完成5个数从小到大的排序,然后将中值输出。
运动目标检测模块8从SDRAM中读取出之前存储的图像数据,为此,设计一个数据读取模块;数据读取模块主要包括地址发生控制器和两个FIFO,一个FIFO用来缓存从SDRAM中读取的背景图像数据,另一个用来缓存读取的当前帧图像数据;地址发生控制器根据FIFO 的空满状态,不停地产生读取当前帧图像的地址和背景图像的地址;从对应的地址中读取出当前帧图像数据和背景图像数据;此处用FIFO 缓存是为了解决读取和处理数据的时钟不匹配的问题,FIFO的深度可取为两行视频图像的像素个数,这样在读取图像数据时,还能进行后面的差值运算,达到流水线处理的效果;当两个FIFO都不为空时,就启动背景差值计算模块,将FIFO中缓存的当前帧数据和背景图像数据进行差值运算,并根据给定的阈值进行二值化处理;最后将二值化结果结果送入形态学处理模块进行滤波去噪,从而得到运动目标。
目标定位提取模块9包括形心计算器、形心和行列计数缓存器的设计;形心计算器主要统计一帧二值化视频图像中运动目标动点的坐标,找出行列坐标的中值;本文中处理的图像分辨率为640*480,所以横纵坐标可以看成是640和480;此时若对运动目标所有的动点的横纵坐标做统计,然后排序求中值,在运动目标较大时会消耗大量的逻辑资源,并且计算量大;在本文设计中,二值化图像是按从左到右、从上到下像素顺序输入形心统计模块的,所以在行列上动点的横纵坐标都是按顺序排列好的;因而在形心计算器的设计中只需要开辟四个 10位的寄存器,分别存放运动目标动点的最小行、最大行和最小列、最大列;在本文中,设计对单个运动目标进行检测,所以运动目标的动点具有连续性;得到运动目标动点所在的最小行、最大行和最小列、最大列后,就可从SDRAM中读取出对应地址内的图像数据,并在FPGA 里开辟一个双口RAM,将提取的目标数据存储在里面,从而达到提取运动目标的目的;形心的横坐标用最大列和最小列的均值表示,纵坐标用最大行和最小行的均值表示;求出此帧二值化图像的形心后,开辟二个10位的RAM分别存放形心的横纵坐标;经过运动目标检测之后,通过形心定位,提取出运动目标所在的图像区域的像素;将其存储在RAM里面;作为后续模板匹配跟踪中的模板图像。
匹配算法模块10用大规模并行操作以及缓冲技术实现对32x32个像素同时处理;(2)采用流水线技术完成SAD匹配运算;(3)采用移位寄存器的方法生产基于32x32窗口的方法实现逐点匹配;首先,通过模板窗口生成模块生成待匹配图像和目标模板;然后,将模板图像数据和待匹配图像数据送到SAD运算模块进行运算求出各坐标位置的 SAD值;最后,通过最佳匹配点查找模块找到SAD值最小的点,当输入完一场图像数据时,该模块计算出最小匹配值及其坐标位置,该点所在的领域就是所要跟踪的目标。
二维十字形窗口降噪模块15处理方案的运行时间比二维十字型窗口降噪模块处理方案短,速度提升了,从而加快了降噪处理过程中的速度,提高了系统的运行速度,同时减少了逻辑资源的占用。但此方案由于采用了并行排序方式,充分利用了FPGA的硬件资源,比较次数缩减为19次,而比较时间却大大减小到9个时钟周期,所以快速中值滤波算法所占用的时间大约为传统算法的四分之一,有利于提高了该系统在运行时的准确性。
FPGA算法跟踪模块6的内部设置的模块,基于FPGA的运动目标跟踪系统能够成功地检测出运动目标并对目标进行跟踪,该系统每秒可以处理30帧图像,具有较快的跟踪速度,本系统中目标定位提取模块9对于背景较简单的运动目标,也可直接对每一帧图像都做目标检测并计算其形心,确定目标在视频图像中的位置,这样也能达到跟踪的目的。基于模板匹配的跟踪算法能在复杂背景中准确跟踪目标,抗干扰能力较强,提高了该系统中对于图像处理的准确性,从而提高了该系统运行时的稳定性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于FPGA图像处理的目标定位系统及识别方法,包括启动开关模块(1)、图像采集模块(2)、多维降噪模块(3)、图像处理模块(4)、目标跟踪模块(5)、FPGA算法跟踪模块(6)、数据输出模块(7)、运动目标检测模块(8)、目标定位提取模块(9)、匹配算法模块(10)、FIFO存储器模块(11)、3×3模板生成模块(12)、行列计数器模块(13)、3×3方形窗口降噪模块(14)、二维十字形窗口降噪模块(15),其特征在于:所述启动开关模块(1)的输出端连接有所述图像采集模块(2)的输入端,所述图像采集模块(2)的输出端连接有所述多维降噪模块(3)的输入端,所述多维降噪模块(3)的输出端连接有所述图像处理模块(4)的输入端,所述图像处理模块(4)的输出端连接有所述目标跟踪模块(5)的输入端,所述目标跟踪模块(5)的输出端连接有所述FPGA算法跟踪模块(6)的输入端,所述FPGA算法跟踪模块(6)的输出端连接有所述数据输出模块(7)的输入端;
所述多维降噪模块(3)的内部固定安装有FIFO存储器模块(11)、3×3模板生成模块(12)、行列计数器模块(13)、3×3方形窗口降噪模块(14)和二维十字形窗口降噪模块(15),所述FIFO存储器模块(11)、3×3模板生成模块(12)、行列计数器模块(13)、3×3方形窗口降噪模块(14)和二维十字形窗口降噪模块(15)的输出端连接有所述多维降噪模块(3)的输入端;
所述FPGA算法跟踪模块(6)的内部固定安装有运动目标检测模块(8)、目标定位提取模块(9)和匹配算法模块(10),所述运动目标检测模块(8)、目标定位提取模块(9)和匹配算法模块(10)的输出端连接有所述FPGA算法跟踪模块(6)的输入端。
2.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述图像采集模块(2)采用激光图像处理技术对激光采集模块获取的激光图像进行去噪和分割处理,实现目标定位,模块由JTAG端口、式中子模块、复位控制子模块和电源子模块等构成。
3.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述FIFO存储器模块(11)分为同步FIFO和异步FIFO,同步FIFO是指数据输入输出的时钟频率相同,异步FIFO是指数据输入输出的时钟频率可以不同;FIFO是一种特殊功能的存储器,数据以达到FIFO输入端口的先后顺序存储在存储器中,并以相同的顺序从FIFO的输出端口送出。
4.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述3×3模板生成模块(12)的硬件设计中,采用了两个 FIFO 存储器。
5.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述行列计数器模块(13)实现行列计数功能,通过此模块来判断图像处理是否到达边缘或者处理完毕;因为图像数据为二维阵列数据,所以设计该模块时需要两个计数器:行计数器和列计数器。
6.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述3×3方形窗口降噪模块(14)采用 3×3 的窗口,采用并行处理,避免了大量比较操作,所述3×3方形窗口降噪模块(14)先对每一行像素数据进行排序,分别得到每行的最大值、中间值和最小值;这三行的排序过程可以同时并行处理;记第一行像素的最大值 Max_Row1=max(h11,h12,h13),中间值为 Med_Row1=med(h11,h12,h13),最小值为 Min_Row1=min(h11,h12,h13),第二、第三行依次类推;这样每行经过 3 次比较,总共比较 9 次得到了三
个数据组,分别是最大值组,中间值组和最小值组,如下表示:
最大值组 Al:Max=(Max_Row1,Max_Row2,Max_Row3)
中间值组 A2:Med=(Med_Row1,Med_Row2,Med_Row3)
最小值组 A3:Min=(Min_Row1,Min_Row2,Min_Row3)
第二步:对所得的三组数据再分别并行处理,从最大值组中取得最小值 B1:
Max_min、中间值组中取得中间值 B2:Med_med、最小值组中取得最大值 B3:Min_max,
获得这三个值需要经过 7 次比较;
第三步:从剩下的三个值 B1,B2,B3 中找到中间值 Final_med 即为最终所要得到的结果 C。
7.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述二维十字形窗口降噪模块(15)实现步骤为如下:十字形窗口取出的5个灰度数据,在将数据按奇偶位不同分为两个组,根据较小的数排前面的规则,排序重新组成的数组;再将新得到的数组的偶奇位分别进行比较,根据较小的数排前面的规则,组成新的排序数组;重复进行第二部的操作,一共经过5级的比较完成5个数从小到大的排序,然后将中值输出。
8.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述运动目标检测模块(8)从SDRAM中读取出之前存储的图像数据,数据读取模块主要包括地址发生控制器和两个FIFO。
9.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述目标定位提取模块(9)包括形心计算器、形心和行列计数缓存器的设计。
10.如权利要求1所述的一种基于FPGA图像处理的目标定位系统及识别方法,其特征在于:所述匹配算法模块(10)用大规模并行操作以及缓冲技术实现对32x32个像素同时处理;(2)采用流水线技术完成SAD匹配运算;(3)采用移位寄存器的方法生产基于32x32窗口的方法实现逐点匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365972.7A CN114217953A (zh) | 2021-11-18 | 2021-11-18 | 一种基于fpga图像处理的目标定位系统及识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365972.7A CN114217953A (zh) | 2021-11-18 | 2021-11-18 | 一种基于fpga图像处理的目标定位系统及识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114217953A true CN114217953A (zh) | 2022-03-22 |
Family
ID=80697438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111365972.7A Pending CN114217953A (zh) | 2021-11-18 | 2021-11-18 | 一种基于fpga图像处理的目标定位系统及识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114217953A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289825A (zh) * | 2011-07-08 | 2011-12-21 | 暨南大学 | 一种实时图像边缘检测电路及其实现方法 |
CN107516296A (zh) * | 2017-07-10 | 2017-12-26 | 昆明理工大学 | 一种基于fpga的运动目标检测跟踪系统及方法 |
CN111127509A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111833262A (zh) * | 2020-06-05 | 2020-10-27 | 青岛小鸟看看科技有限公司 | 图像降噪方法、装置及电子设备 |
CN112258597A (zh) * | 2020-12-18 | 2021-01-22 | 成都理工大学 | 基于神经网络定位算法的快速成像方法及装置 |
US20210200706A1 (en) * | 2013-03-15 | 2021-07-01 | Micron Technology, Inc. | High Speed, Parallel Configuration of Multiple Field Programmable Gate Arrays |
-
2021
- 2021-11-18 CN CN202111365972.7A patent/CN114217953A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289825A (zh) * | 2011-07-08 | 2011-12-21 | 暨南大学 | 一种实时图像边缘检测电路及其实现方法 |
US20210200706A1 (en) * | 2013-03-15 | 2021-07-01 | Micron Technology, Inc. | High Speed, Parallel Configuration of Multiple Field Programmable Gate Arrays |
CN107516296A (zh) * | 2017-07-10 | 2017-12-26 | 昆明理工大学 | 一种基于fpga的运动目标检测跟踪系统及方法 |
CN111127509A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111833262A (zh) * | 2020-06-05 | 2020-10-27 | 青岛小鸟看看科技有限公司 | 图像降噪方法、装置及电子设备 |
CN112258597A (zh) * | 2020-12-18 | 2021-01-22 | 成都理工大学 | 基于神经网络定位算法的快速成像方法及装置 |
Non-Patent Citations (2)
Title |
---|
RICARDO JARDIM 等: "Image Denoise FPGA Implementation Using a Moving Average Filter with Contour Detection" * |
余田椿 等: "FPGA的图像识别与目标跟踪系统设计" * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Duan et al. | An improved Hough transform for line detection | |
Kälviäinen et al. | Probabilistic and non-probabilistic Hough transforms: overview and comparisons | |
CN107423734B (zh) | 一种sar图像海洋目标快速检测方法与装置 | |
CN102737243B (zh) | 获取多幅图像的描述信息的方法及装置与图像匹配方法 | |
CN111753706A (zh) | 一种基于图像统计学的复杂表格交点聚类提取方法 | |
Yuan et al. | A two-stage hog feature extraction processor embedded with SVM for pedestrian detection | |
CN107194916A (zh) | 一种基于特征点匹配的视觉测量系统 | |
CN102314252B (zh) | 一种手写字符串的字符切分方法和装置 | |
Wang et al. | Real-time visual static hand gesture recognition system and its FPGA-based hardware implementation | |
CN109949204A (zh) | 流水线结构的星点质心提取电路 | |
CN114217953A (zh) | 一种基于fpga图像处理的目标定位系统及识别方法 | |
Zihao et al. | Printed Surface Defect Detection Model Based on Positive Samples. | |
CN110503086B (zh) | 一种基于奇偶位置的目标质心定位系统及方法 | |
Zhu et al. | Scene text relocation with guidance | |
CN105069780A (zh) | 一种基于SoPC的SAR图像水域检测实现方法 | |
CN104484869A (zh) | 面向排序测度特征的图像匹配方法及系统 | |
CN113888428A (zh) | 一种基于局部对比度的红外弱小目标检测方法及装置 | |
CN103631993A (zh) | 基于vrml技术的三维模型边界线提取方法 | |
Xiao et al. | Real-time scene recognition on embedded system with SIFT keypoints and a new descriptor | |
CN108520262B (zh) | 一种基于fpga实时提取fhog特征的方法 | |
Zheng et al. | Annular feature pyramid network for salient object detection | |
CN112330611A (zh) | 一种面向fpga的高并行性光斑分割方法 | |
CN111938684A (zh) | 高速低时空复杂度的pet晶体位置谱数据分割方法 | |
CN111626299A (zh) | 一种基于轮廓的数字字符识别方法 | |
CN110443817A (zh) | 一种提高图像分割精度的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240209 |