CN104202504B - 一种基于fpga的实时电子稳像电路系统的处理方法 - Google Patents
一种基于fpga的实时电子稳像电路系统的处理方法 Download PDFInfo
- Publication number
- CN104202504B CN104202504B CN201410409517.6A CN201410409517A CN104202504B CN 104202504 B CN104202504 B CN 104202504B CN 201410409517 A CN201410409517 A CN 201410409517A CN 104202504 B CN104202504 B CN 104202504B
- Authority
- CN
- China
- Prior art keywords
- video
- fpga
- frame
- formula
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 46
- 238000003860 storage Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 22
- 230000003139 buffering effect Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 5
- 230000005055 memory storage Effects 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 abstract description 8
- 238000011105 stabilization Methods 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 239000013078 crystal Substances 0.000 description 4
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Landscapes
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于FPGA的实时电子稳像电路系统的处理方法,属于图像处理领域。本发明首先送入视频,然后进入FPGA进行处理,接着FPGA内部进行稳像参数计算,最后视频输出。本发明可以消除输入视频中的横向和纵向抖动,并保留使用者带来的意向运动;可在大范围内稳定抖动的视频;延时在一帧以内,具有较高的实时性;可对数字以及模拟视频进行处理,接口灵活;帧存的存储量只需满足存储一幅图像数据;帧存读写速率只需高于视频传输速率2倍。
Description
技术领域
本发明涉及一种基于FPGA的实时电子稳像电路系统的处理方法,属于图像处理领域。
背景技术
在很多情况下,摄像设备的工作平台都是处于不稳定的状态,诸如手持设备、车载设备、机载设备,甚至有些我们认为稳定的平台也会由于一些外因,引起不稳定,例如,处于高杆上的监控摄像头,有可能因为风吹而产生晃动。由于工作平台的不稳定,使得摄像设备输出的视频会产生剧烈的随机运动,从而影响观察效果。稳像技术则要克服以上的不利因素,消除视频的抖动,提高视频的观察效果。
稳像技术经历了由机械稳像到光学稳像,再到电子稳像的一个发展过程。传统的机械稳像和光学稳像通常都需要附加一些设备,如:陀螺、伺服系统、光学元件等,使得稳像系统变的复杂,成本高。电子稳像则利用图像处理技术,使得抖动视频得到稳定。因此电子稳像技术具有操作简易、体积相对较小、成本低、开发周期短、可移植性高、功耗相对较低等优点,使得电子稳像技术具有广阔的应用前景。
电子稳像系统主要由全局运动估计、全局运动平滑和全局运动补偿三个主要部分,难点在于全局运动估计。目前主要的运动估计算有:块匹配法、梯度法、灰度投影匹配法、二值位平面法等。块匹配法精度相对较高,但计算量大,难以做到实时估计,同时受匹配窗口的限制难以做到大范围匹配[1]。梯度法的缺点是在帧间位移大于5个像素的情况下匹配正确率严重下降[2]。灰度投影法的优点是计算量小,缺点是在图像灰度变化单一的场景中处理效果较差[1-2]。二值位平面法适用于位平面信息明显的场景,如建筑、室内,匹配错误发生的概率较高,抗噪声能力较差[1]。
以往的图像处理系统通常认为FPGA稳像系统难以做到实时性,则以多片DSP处理器实现[3]。这种系统通常结构复杂,功耗较高,价格昂贵。实际上单个DSP缺乏并行处理能力,才使得需要多片DSP协作处理。
其他一些电子稳像系统,如文献[3],系统处理只专注于运动估计,并没有加入运动滤波,这样系统无法区分操作者带来的意向运动和系统的振动,只是简单的将所有运动一起补偿掉,此时使用者难以转换场景,系统缺乏实用性。
本发明的稳像系统,完整的包含了全局运动估计、全局运动平滑和全局运动补偿三个主要部分。使得系统可以区分使用者带来的意向运动,只补偿系统振动带来的影响,实用性较高。在全局运动估计采用的方法为:在灰度投影匹配法的基础上,加入了分块匹配,使得匹配的精度得到进一步提高,改善了单一的场景中的处理效果,同时计算量并没有增加太多,便于硬件实现,同时在整个图像范围内进行匹配,匹配范围广。
近年FPGA的价格越来越低、片上资源越来越丰富、运算速度越来越快、功耗也越来越低;FPGA还具有并行处理能力。这使得FPGA作为核心处理器、搭建片上系统已经成为可能,并且系统简单,实时性高,价格便宜。本发明专利利用FPGA实现,系统延时可在一帧以内。
背景技术参考文献:
[1] 王志民,徐晓刚.电子稳像技术综述[J].中国图象图形学报,2010,15(3):470~480
[2] 申请者:王宁明,朱振福.专利名:一种基于改进块匹配的电子稳像方法.专利国名:中国.申请号:201110300029.8
[3] 申请者:许廷发,徐磊,吴威,闫辉,张增.专利名:一种实时并行的电子稳像系统设计方法.专利国名:中国.申请号:201110427963.6
[4] 申请者:张永祥,栾中,卢岩,张伟功,关永,尚媛园,周全,田健仲.专利名:一种高速稳像系统.专利国名:中国.申请号:201120511287.6。
发明内容
本发明提供了一种基于FPGA的实时电子稳像电路系统的处理方法,以用于解决摄像头安装平台振动所带来的视频图像存在抖动的问题。
本发明的技术方案是:一种基于FPGA的实时电子稳像电路系统的处理方法,所述方法的具体步骤如下:
Step1、视频送入:
当送入的为数字视频,则直接送入FPGA进行处理;
当送入的为模拟视频,则由AD芯片进行数字化,再送入FPGA进行处理;
Step2、FPGA处理:
FPGA将送入的视频存储到帧存中进行缓冲,同时在视频数据流的基础上进行稳像参数的计算;
Step3、FPGA内部稳像参数计算如下:
Step3.1、全局运动估计:
Step3.11、视频送入后,按照公式(1)和公式(2)计算第n帧图像f n (i,j)()的各行均值x n (i)以及各列均值y n (j);
, (1)
, (2)
式中,为输入图像分辨率;
Step3.12、将x n (i)和y n (j)分为M块;其中x n (i)的子块为x n,m (p),y n (j)的子块为y n,m (q);
(3)
(4)
式中,;
Step3.13、将第n帧的x n,m (p)和y n,m (q)分别与FPGA中存储器存储的第n-1帧的x n-1(i)和y n-1(j)进行移位匹配:当平均误差Px n,m (i)和Py n,m (j)为最小的移位值时,作为视频的帧间子全局运动估计值offsetx n,m 和offsety n,m ;
(5)
(6)
当Px n,m (i)最小, (7)
当Py n,m (j)最小, (8)
式中,;;;
Step3.14、根据offsetx n,m 和offsety n,m 确定最终的第n帧与第n-1帧间的全局运动估计值GMEx n 和GMEy n ;
(9)
(10)
Step3.2、全局运动平滑:利用FPGA内部的寄存器对GMEx n 和GMEy n 序列进行缓冲,根据公式(11)、公式(12)分别得出横向和纵向意向运动估计值IMEx n 和IMEy n ,再根据公式(13)、公式(14)分别得出振动估计值VMEx n 和VMEy n ;
(11)
(12)
(13)
(14)
其中,L为滤波器序列长度,a l 为滤波器序列;
Step3.3、全局运动补偿:根据振动估计值VMEx n 和VMEy n 对当前帧进行振动补偿:首先对当前帧振动估计值VMEx n 和VMEy n 进行反向平移,然后对平移后空缺的图像像素填充单一颜色;
(15)
其中,fout n (i,j)为补偿后的图像,Gray为自定义的一种单一颜色;
Step4、视频输出:根据输出视频格式进行数字视频输出或者模拟视频输出。
所述视频的帧周期分为数据有效期和消隐期,根据数据有效期和消隐期分配不同参数的计算:
第帧图像数据有效期间,对x n 、y n 、 x n,m 和y n,m 进行统计;
第帧图像数据消隐期间,计算VMEx n 和VMEy n ;
第帧图像数据消隐期间开始输出处理数据后的数据。
本发明的工作原理是:
1、硬件构架为:包括FPGA、输入模拟视频AD、输出模拟视频DA芯片、输入数字视频接口、输出数字视频接口、帧存和FPGA周边电路(FPGA周边电路包括稳压电路、时钟电路,以及配置电路)。
若输入输出视频为数字视频,则可通过接插件直接与FPGA相连,若输入输出视频为模拟视频,则外加AD和DA芯片进行模拟和数字信号的转换:
(1)以FPGA为处理核心,FPGA完成稳像功能的所有运算,包括运动估计,运动滤波,运动补偿;利用FPGA内部资源可搭建嵌入式软核Microblaze,利用Microblaze可实现AD芯片和DA芯片的参数配置,使其正常工作;利用FPGA内部的时钟管理器可将晶振输入的时钟进行倍频或分频,产生AD芯片和DA芯片所需的27MHz时钟,以及帧存所需的100MHz时钟。
(2)对外视频接口可采用数字接口或者模拟接口。数字视频可通过数字视频输入接口直接送入FPGA,输出的数字视频,也同样由数字视频输出接口输出。数字视频接口与FPGA直接相连,可根据具体应用自定用接口信号,具有一定灵活性。对于模拟视频则由视频AD进行数字化,转换为CCIR656标准的数字视频,再送入FPGA进行处理;输出时,FPGA将CCIR656标准的数字视频送入DA,进行数模转换,再将模拟信号送出。
具体产品型号为:FPGA为处理核心,具体型号为XC5VLX50T;输入模拟视频AD,具体型号为SAA7113;输出模拟视频DA芯片,具体型号为SAA7121;输入数字视频接口,接插件具体型号为TFML-130-02-S-D;输出数字视频接口,接插件具体型号为TFML-130-02-S-D;以ZBT sram作为帧存具体型号为IDT71V65803;稳压电路,稳压电路主要利用4片TPS54331D将外接12V电源分压,产生1V,1.8V,2.5V,3.3V;50MHz晶振;FPGA配置芯片XCF16P。
2、硬件实现中参数计算在时间上的分配:
为了达到一帧以内的处理延时,参数计算的时机,需要根据输入视频的数据有效期和消隐期做以下分配:
(1)第帧图像数据有效期间,对,,和进行统计。
(2)第帧图像数据消隐期间,计算VMEx n 和VMEy n 。
(3)得到VMEx n 和VMEy n 后,于第帧图像数据消隐期间开始输出处理数据后的数据。
第帧数据的读出,超前于第帧图像的写入,这样能够保证第帧图像数据覆盖的第帧数据是已经读出了的。在帧有效期内,存在着当前帧的写操作,以及上一帧的读操作;需要利用时分复用的方式,以大于2倍像素时钟的读写频率对帧存进行操作。使得系统不再依赖传统的乒乓结构,也不再需要单独的输出缓存,节省大量存储空间。系统延时在一帧以内,具有较高的实时性。
(4)运动补偿与数据输出同步进行。补偿方法为,根据和生成新的图像读出行起始地址和列起始地址,则读出的图像便是进行了运动补偿的图像。
3、参数存储在空间上的分配:
为了方便计算,节约存储空间,简化硬件结构,对参数的存储做一下分配:
(1)参数,,,,,,,,offsetx n,m ,offsety n,m ,GMEx n ,GMEy n ,IMEx n ,IMEy n ,VMEx n ,VMEy n 利用FPGA片内存储器存储。
(2)图像数据利用帧存存储。
本发明的有益效果是:
1、将带有横向和纵向抖动的视频,送入处理电路进行处理,处理后可以消除输入视频中的横向和纵向抖动,并保留使用者带来的意向运动。
2、匹配范围为整个图像范围,于是可在大范围内稳定抖动的视频。
3、延时在一帧以内,具有较高的实时性。
4、可对数字以及模拟视频进行处理,接口灵活。
5、帧存的存储量只需满足存储一幅图像数据;帧存读写速率只需高于视频传输速率2倍。
附图说明
图1为本发明的电路原理框图;
图2为本发明的帧间位移估计实现框图;
图3为本发明的行列均值矢量计算以及分块示意图;
图4为本发明的滑动匹配示意图;
图5为本发明的运动滤波原理示意图;
图6为本发明的运动补偿和显示示意图;
图7为本发明的各参数计算时间分配示意图;
图8为本发明的稳定效果意图。
具体实施方式
实施例1:如图1-8所示,一种基于FPGA的实时电子稳像电路系统的处理方法,所述方法的具体步骤如下:
Step1、视频送入:
当送入的为数字视频,则直接送入FPGA进行处理;
当送入的为模拟视频,则由AD芯片进行数字化,再送入FPGA进行处理;
Step2、FPGA处理:
FPGA将送入的视频存储到帧存中进行缓冲,同时在视频数据流的基础上进行稳像参数的计算;
Step3、FPGA内部稳像参数计算如下:
Step3.1、全局运动估计:
Step3.11、视频送入后,按照公式(1)和公式(2)计算第n帧图像f n (i,j)()的各行均值x n (i)以及各列均值y n (j);
, (1)
, (2)
式中,为输入图像分辨率;
Step3.12、将x n (i)和y n (j)分为M块;其中x n (i)的子块为x n,m (p),y n (j)的子块为y n,m (q);
(3)
(4)
式中,;
Step3.13、将第n帧的x n,m (p)和y n,m (q)分别与FPGA中存储器存储的第n-1帧的x n-1(i)和y n-1(j)进行移位匹配:当平均误差Px n,m (i)和Py n,m (j)为最小的移位值时,作为视频的帧间子全局运动估计值offsetx n,m 和offsety n,m ;
(5)
(6)
当Px n,m (i)最小, (7)
当Py n,m (j)最小, (8)
式中,;;;
Step3.14、根据offsetx n,m 和offsety n,m 确定最终的第n帧与第n-1帧间的全局运动估计值GMEx n 和GMEy n ;
(9)
(10)
Step3.2、全局运动平滑:利用FPGA内部的寄存器对GMEx n 和GMEy n 序列进行缓冲,根据公式(11)、公式(12)分别得出横向和纵向意向运动估计值IMEx n 和IMEy n ,再根据公式(13)、公式(14)分别得出振动估计值VMEx n 和VMEy n ;
(11)
(12)
(13)
(14)
其中,L为滤波器序列长度,a l 为滤波器序列;
Step3.3、全局运动补偿:根据振动估计值VMEx n 和VMEy n 对当前帧进行振动补偿:首先对当前帧振动估计值VMEx n 和VMEy n 进行反向平移,然后对平移后空缺的图像像素填充单一颜色;
(15)
其中,fout n (i,j)为补偿后的图像,Gray为自定义的一种单一颜色;
Step4、视频输出:根据输出视频格式进行数字视频输出或者模拟视频输出。
所述视频的帧周期分为数据有效期和消隐期,根据数据有效期和消隐期分配不同参数的计算:
第帧图像数据有效期间,对x n 、y n 、 x n,m 和y n,m 进行统计;
第帧图像数据消隐期间,计算VMEx n 和VMEy n ;
第帧图像数据消隐期间开始输出处理数据后的数据。
实施例2:如图1-8所示,一种基于FPGA的实时电子稳像电路系统的处理方法,所述方法的具体步骤如下:
Step1、视频送入:
当送入的为数字视频,则直接送入FPGA进行处理;
当送入的为模拟视频,则由AD芯片进行数字化,再送入FPGA进行处理;
Step2、FPGA处理:
FPGA将送入的视频存储到帧存中进行缓冲,同时在视频数据流的基础上进行稳像参数的计算;
Step3、FPGA内部稳像参数计算如下:
Step3.1、全局运动估计(全局运动估计的实现过程如图2所示):
Step3.11、视频送入后,按照公式(1)和公式(2)计算第n帧图像f n (i,j)()的各行均值x n (i)以及各列均值y n (j);
, (1)
, (2)
式中,为输入图像分辨率;
Step3.12、将x n (i)和y n (j)分为4块;其中x n (i)的子块为x n,m (p),y n (j)的子块为y n,m (q);其中x n 、x n,m 和y n 、y n,m 的计算以及关系如图3所示;每一个x n 、x n,m 和y n 、y n,m 均用FPGA内的块存储器进行存储。
(3)
(4)
式中,;
Step3.13、将第n帧的x n,m (p)和y n,m (q)分别与FPGA中存储器存储的第n-1帧的x n-1(i)和y n-1(j)进行移位匹配(匹配原理的示意如图4):当平均误差Px n,m (i)和Py n,m (j)为最小的移位值时,作为视频的帧间子全局运动估计值offsetx n,m 和offsety n,m :
FPGA内用4个块存储器存储x n-1,如此为了方便匹配模块进行匹配。当x n 、x n,m 统计结束后,用4个匹配模块分别对一组x n-1和x n,m 进行匹配,这样可以减少计算的时间,匹配按照(公式5)进行,匹配原理的示意如图4,之后按照(公式7)找到;关于纵向y n-1、y n,m 匹配同x n-1、x n,m 的匹配。
(5)
(6)
当Px n,m (i)最小, (7)
当Py n,m (j)最小, (8)
式中,;;;
Step3.14、根据offsetx n,m 和offsety n,m 确定最终的第n帧与第n-1帧间的全局运动估计值GMEx n 和GMEy n :
针对横向,四个匹配模块同时工作,将同时得到所有的offsetx n,m ,将offsetx n,m 送入GMEx n 计算模块,便可得到当前帧的GMEx n ,并且将当前的x n 写入四个x n-1存储器,以备下一帧的计算;关于纵向,与横向相同。
(9)
(10)
Step3.2、全局运动平滑,如图5所示:利用FPGA内部的寄存器对GMEx n 和GMEy n 序列进行缓冲,根据公式(11)、公式(12)分别得出横向和纵向意向运动估计值IMEx n 和IMEy n ,再根据公式(13)、公式(14)分别得出振动估计值VMEx n 和VMEy n ;
(11)
(12)
(13)
(14)
其中,L为滤波器序列长度取值为50,a l 为滤波器序列;
Step3.3、全局运动补偿,如图6所示:根据振动估计值VMEx n 和VMEy n 对当前帧进行振动补偿:首先对当前帧振动估计值VMEx n 和VMEy n 进行反向平移(读出行起始地址和列起始地址,即反向补偿行列地址的起始位置,读出则按照新生成的行列地址进行),然后对平移后空缺的图像像素填充单一颜色(实际采用128灰度);
(15)
其中,fout n (i,j)为补偿后的图像,Gray为自定义的一种单一颜色;
Step4、视频输出:根据输出视频格式进行数字视频输出或者模拟视频输出。
所述视频的帧周期分为数据有效期和消隐期,根据数据有效期和消隐期分配不同参数的计算(整个处理流程的时间分配如图7):
第帧图像数据有效期间,对x n 、y n 、 x n,m 和y n,m 进行统计;
第帧图像数据消隐期间,计算VMEx n 和VMEy n ;
第帧图像数据消隐期间开始输出处理数据后的数据。
图8为处理电路实际处理效果示意图。选取了某一视频中的第32~39帧图像处理前和处理后的效果作为对比。其中左侧连续帧为处理前的效果,右侧连续帧为处理后的效果。图中白色十字线为辅助观察效果,模拟观察视场中心,在后期添加,十字线的中心压在房檐角上。通过观察可以发现:原始视频受抖动的影响,每一帧图像的房檐角均已偏离参考十字中心,而经过处理之后视频帧通过纵向和水平的运动补偿,将图像拉回参考中心,从而消除了图像抖动,有利于人眼观察。同时由于对原始图像进行了移动,使得部分超出的图像被切割掉,空出的图像空间利用单一灰度图进行补充。以第36帧为例,图像受抖动影响偏离至视场中心的右上方,经过处理后图像被拉回视场中心,如此原始图像下方的路灯,在输出时超出了输出图像范围被切割掉,同时输出图像上方出现了无数据区域,于是采用128灰度进行填补。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (2)
1.一种基于FPGA的实时电子稳像电路系统的处理方法,其特征在于:所述方法的具体步骤如下:
Step1、视频送入:
当送入的为数字视频,则直接送入FPGA进行处理;
当送入的为模拟视频,则由AD芯片进行数字化,再送入FPGA进行处理;
Step2、FPGA处理:
FPGA将送入的视频存储到帧存中进行缓冲,同时在视频数据流的基础上进行稳像参数的计算;
Step3、FPGA内部稳像参数计算如下:
Step3.1、全局运动估计:
Step3.11、视频送入后,按照公式(1)和公式(2)计算第n帧图像fn(i,j)的各行均值xn(i)以及各列均值yn(j),其中i∈[1,I],j∈[1,J];
式中,I×J为输入图像分辨率;
Step3.12、将xn(i)和yn(j)分为M块;其中xn(i)的子块为xn,m(p),yn(j)的子块为yn,m(q);
xn,m(p)=xn(p+(m-1)×I/M) p=1,...,I/M (3)
yn,m(q)=yn(q+(m-1)×J/M) q=1,...,J/M (4)
式中,m∈[1,M];
Step3.13、将第n帧的xn,m(p)和yn,m(q)分别与FPGA中存储器存储的第n-1帧的xn-1(i)和yn-1(j)进行移位匹配:当平均误差Pxn,m(i)和Pyn,m(j)为最小的移位值时,作为视频的帧间子全局运动估计值offsetxn,m和offsetyn,m;
当Pxn,m(i)最小,offsetxn,m=i-(m-1)×(I/M) (7)
当Pyn,m(j)最小,offsetyn,m=j-(m-1)×(J/M) (8)
式中,i=1,...,I;j=1,...,J;m∈[1,M];
Step3.14、根据offsetxn,m和offsetyn,m确定最终的第n帧与第n-1帧间的全局运动估计值GMExn和GMEyn;
Step3.2、全局运动平滑:利用FPGA内部的寄存器对GMExn和GMEyn序列进行缓冲,根据公式(11)、公式(12)分别得出横向和纵向意向运动估计值IMExn和IMEyn,再根据公式(13)、公式(14)分别得出振动估计值VMExn和VMEyn;
VMExn=GMExn-IMExn (13)
VMEyn=GMEyn-IMEyn (14)
其中,L为滤波器序列长度,al为滤波器序列;
Step3.3、全局运动补偿:根据振动估计值VMExn和VMEyn对当前帧进行振动补偿:首先对当前帧振动估计值VMExn和VMEyn进行反向平移,然后对平移后空缺的图像像素填充单一颜色;
其中,foutn(i,j)为补偿后的图像,Gray为自定义的一种单一颜色;
Step4、视频输出:根据输出视频格式进行数字视频输出或者模拟视频输出。
2.根据权利要求1所述的基于FPGA的实时电子稳像电路系统的处理方法,其特征在于:所述视频的帧周期分为数据有效期和消隐期,根据数据有效期和消隐期分配不同参数的计算:
第n帧图像数据有效期间,对xn、yn、xn,m和yn,m进行统计;
第n帧图像数据消隐期间,计算VMExn和VMEyn;
第n帧图像数据消隐期间开始输出处理数据后的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410409517.6A CN104202504B (zh) | 2014-08-19 | 2014-08-19 | 一种基于fpga的实时电子稳像电路系统的处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410409517.6A CN104202504B (zh) | 2014-08-19 | 2014-08-19 | 一种基于fpga的实时电子稳像电路系统的处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104202504A CN104202504A (zh) | 2014-12-10 |
CN104202504B true CN104202504B (zh) | 2017-06-06 |
Family
ID=52087727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410409517.6A Expired - Fee Related CN104202504B (zh) | 2014-08-19 | 2014-08-19 | 一种基于fpga的实时电子稳像电路系统的处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104202504B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021223127A1 (zh) * | 2020-05-06 | 2021-11-11 | 深圳市大疆创新科技有限公司 | 基于全局运动估计的时域滤波方法、装置及存储介质 |
CN111812682A (zh) * | 2020-07-24 | 2020-10-23 | 华力智芯(成都)集成电路有限公司 | 一种抗窄带干扰电路 |
CN115801973B (zh) * | 2022-11-09 | 2024-04-12 | 北京航空航天大学 | 一种基于fpga的瀑流式视频数据实时电子稳像系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523374A (zh) * | 2011-12-19 | 2012-06-27 | 北京理工大学 | 一种实时并行的电子稳像系统设计方法 |
CN102572220A (zh) * | 2012-02-28 | 2012-07-11 | 北京大学 | 3-3-2空间信息转换新模式的仿生复眼运动目标检测 |
CN103179399A (zh) * | 2013-03-11 | 2013-06-26 | 哈尔滨工程大学 | 一种基于fpga平台的快速位平面电子稳像方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
US20050096538A1 (en) * | 2003-10-29 | 2005-05-05 | Siemens Medical Solutions Usa, Inc. | Image plane stabilization for medical imaging |
-
2014
- 2014-08-19 CN CN201410409517.6A patent/CN104202504B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102523374A (zh) * | 2011-12-19 | 2012-06-27 | 北京理工大学 | 一种实时并行的电子稳像系统设计方法 |
CN102572220A (zh) * | 2012-02-28 | 2012-07-11 | 北京大学 | 3-3-2空间信息转换新模式的仿生复眼运动目标检测 |
CN103179399A (zh) * | 2013-03-11 | 2013-06-26 | 哈尔滨工程大学 | 一种基于fpga平台的快速位平面电子稳像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104202504A (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104902142B (zh) | 一种移动终端视频的电子稳像方法 | |
CN104202504B (zh) | 一种基于fpga的实时电子稳像电路系统的处理方法 | |
Zhang et al. | Real-time and accurate stereo: A scalable approach with bitwise fast voting on CUDA | |
CN101729919B (zh) | 基于fpga的全自动平面视频转立体视频系统 | |
Tomasi et al. | Real-time architecture for a robust multi-scale stereo engine on FPGA | |
CN106488081A (zh) | 视频稳像系统及方法 | |
CN109658337A (zh) | 一种图像实时电子消旋的fpga实现方法 | |
CN109451214A (zh) | 一种高速运动目标成像设备及方法 | |
CN103647937A (zh) | 图像跟踪系统及其图像数据处理方法 | |
CN110096993A (zh) | 双目立体视觉的目标检测设备及方法 | |
Zhang et al. | Algorithm and VLSI architecture co-design on efficient semi-global stereo matching | |
CN109299030B (zh) | 基于ZYNQ的cameralink转帕尔制的方法 | |
CN109741385A (zh) | 一种图像处理系统、方法、装置、电子设备及存储介质 | |
US20070216695A1 (en) | Image processing apparatus and image processing method | |
CN103533327B (zh) | 一种基于硬件实现的dibr系统 | |
CN102289828B (zh) | 一种基于fpga的星载图像压缩的小波变换系统及方法 | |
CN102665033B (zh) | 基于分层块匹配的实时数字视频稳像方法 | |
Pérez et al. | High memory throughput FPGA architecture for high-definition Belief-Propagation stereo matching | |
Motten et al. | An on-chip parallel memory architecture for a stereo vision system | |
Chen et al. | Real-time buffering, parallel processing and high-speed transmission system for multi-channel video images based on ADER | |
CN103108162A (zh) | 高清高帧率实时视频增透仪 | |
Lin et al. | Binocular stereo vision synchronous acquisition technique based on FPGA | |
CN106412381B (zh) | 一种快速高效的视频稳定方法 | |
CN112700364B (zh) | 一种基于Harris角点检测的电路及方法 | |
Vigliar et al. | SASCr2: Enhanced hardware string alignment coprocessor for stereo correspondence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170606 |