CN107886487A - 基于fpga的微光视频帧间累加降噪算法的实时实现方法 - Google Patents
基于fpga的微光视频帧间累加降噪算法的实时实现方法 Download PDFInfo
- Publication number
- CN107886487A CN107886487A CN201711256330.7A CN201711256330A CN107886487A CN 107886487 A CN107886487 A CN 107886487A CN 201711256330 A CN201711256330 A CN 201711256330A CN 107886487 A CN107886487 A CN 107886487A
- Authority
- CN
- China
- Prior art keywords
- positions
- frame
- difference
- address
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000001186 cumulative effect Effects 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 26
- 238000009825 accumulation Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 5
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 abstract description 2
- 241001269238 Data Species 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种基于FPGA的微光视频帧间累加降噪算法的实时实现方法。计算和存储多帧图像对应像素点与当前帧对应像素点灰度值的差值。根据与当前帧的时间远近程度，分配不同位宽来存储与当前帧相同像素点灰度值的差值，输出时每个像素时钟得到两个16位数据共32位，包括8位最新帧该像素点灰度数据和由剩余24位存储的7个灰度差值信息，经过计算获得8帧累加平均后的灰度信息输出。本发明降低了所需存储器件容量要求，也降低了多帧累加算法所需的存储器件时钟频率要求。
Description
技术领域
本发明属于微光成像的去噪领域，具体是一种利用速度较低、存储空间较少的存储器件进行多帧数的累加去噪的实现方法。
背景技术
近年来，随着科技的发展，微光夜视技术得到了长足的发展。微光夜视技术是获取夜间微弱光照度下的目标景物图像信息，光子经过光电阴极的光电效应转化为电子，电子通过电子倍增器件倍增后得到基于目标图像的电子密度分布，再经过电光转换，转化为人眼可见的光学图像。而获得更清晰更准确的图像，已经成为了重要的研究方向。微光成像技术在此现状下已经逐渐成为国家大力发展中的军民两用科技。
微光图像的主要缺点就是随机噪声严重，图像中有效信息分布是有序的，而噪声点的分布是随机的，所以为了降低这种随机噪声，在时域上的滤波算法一般采用多帧累加平均滤波，然而传统的基于FPGA的多帧累加降噪方法中在不降低灰度等级的情况下，随着累加帧数的增加，累加存储器的容量要求就会成倍增加。同时，存储器在每一个像素时钟中需要输出多帧对应像素点数据，在累加帧数较多的情况下对存储期间的时钟频率也有很高的要求。这两点限制了多帧累加在实际工程中的运用。
发明内容
本发明的目的在于提供一种基于FPGA的对微光图像进行帧间累加降噪的方案，以突破一般基于FPGA的帧间累加降噪算法中由于存储器件的容量和速度限制累加帧数的问题，以获得更高清晰度的实时微光图像。
实现本发明目的的技术解决方案为：一种基于FPGA的微光视频帧间累加降噪算法的实时实现方法，包含以下步骤：
步骤1：定义帧间累加的帧编号为1-8，每个像素点对应32位存储信息，一个16位奇数地址和一个16位偶数地址；
步骤2：接收前8帧的视频信号，根据存储位宽分配规则和降精度替换规则，将每个像素点8帧的灰度值信号都存入该像素点对应的32位存储空间中；
步骤3：8帧之后，每接收一帧新的视频信号，根据差值更新操作规则对32位存储空间中的数据进行数据替换操作；
步骤4：在每一帧的对数据进行替换操作之后，将32位存储空间中的灰度及差值信息读出；SRAM选用27Mhz时钟读出，将奇数地址第八位数据乘8与奇数地址8-12位的5位数，奇数地址13-15位和偶数地址第0位的4位数，偶数地址1-4位的4位数，偶数地址5-7位的3位数，偶数地址8-10位的3位数，偶数地址11-13位的3位数，偶数地址14-15位的2位数所表示的7个差值使用补码计算求和的方法得到8帧累加和值，得到的计算结果除8得到多帧累加平均后的灰度值。
本发明与现有技术相比，其显著优点为：1.大大降低了所需存储器件容量要求，2.显著降低了多帧累加算法所需存储器件时钟频率要求。
附图说明
图1是本发明使用的帧间累加算法实现流程图。
图2是本发明描述的差值更新过程示意图。
图3是Quartus2平台下存储处理模块原理结构图。
具体实施方式
本发明目的是为在存储器存储容量和时钟频率相对紧缺的情况下，提供一种实现多帧累加微光视频去噪实时显示的方法。运用计算和存储多帧图像对应像素点与当前帧对应像素点灰度值的差值的方式进行操作，利用存储器件可操作的最大位宽，并根据与当前帧的时间远近程度，分配不同位宽来存储与当前帧相同像素点灰度值的差值在节约了存储空间的同时减少对滤波效果的影响，最终在13.27Mb的少量容量存储空间，和27MHz的较低时钟频率条件下实现累加帧数为8帧的帧间累加滤波降噪。
采用计算和存储多帧图像对应像素点与当前帧对应像素点灰度值的差值的方式进行操作。在利用SRAM或SDRAM进行图像缓存的时候利用存储器件位宽，根据与当前帧的时间远近程度，分配不同位宽来存储与当前帧相同像素点灰度值的差值，使用最大位宽为16位的SRAM进行存储，视频输入为8位数字信号，用两个地址共32位存储空间来进行存储每个像素点的8帧视频数据，为了适当减少目标移动对帧间累加算法带来的影响，对与当前帧在时间上更接近的帧使用较多位数存储保证差值的准确，而与当前帧距离较远的帧使用较少位数以节约存储空间。PAL制灰度图像输出像素时钟为13.5MHz，输出时每个像素时钟得到两个16位数据共32位，包括8位最新帧该像素点灰度数据和由剩余24位表示的7个差值，经过简单的计算获得8帧累加平均后的灰度信息。
下面结合附图1-3对本发明作进一步说明。
由于微光图像的主要特点是随机噪声严重，图像中有效信息部分的分布相对有序，而噪声点以随机噪声为主，所以使用多帧累加滤波是一种方便有效的降噪方式。本发明运用差值存储的方法，辅以充分利用存储器件的最大位宽，成功在低速、低存储空间的SRAM上实现了累加帧数为8帧的帧间累加降噪算法，并实现PAL制式的实时视频输出。
定义帧间累加算法中帧的编号为1-8。由于本方法在每个像素点使用两个地址共16*2=32位存储信息，将使用8位存储当前帧当前像素点灰度值和使用另8位空间作为存储差值的一个SRAM地址代表的存储空间命名为奇数地址空间，将16位均用于存储差值的称为偶数地址空间。
步骤1：从第1帧的第一行第一列开始，将8位灰度值信号存入奇数地址空间的低8位。
步骤2：第2帧开始之后，从SRAM读取奇数地址的低8位（0-7位），将新的8位灰度信息覆盖存入奇数地址低8位并计算当前帧与这低8位的差值，然后将第2帧和第1帧的差值存入奇数地址空间的8至12位。
步骤3：第3帧开始后，从SRAM中读取该像素点对应的奇数地址16位和偶数地址16位，共32位数据，进行如下操作：
1.读取奇数地址的0-7位，即步骤2中存入的8位灰度值数据，计算上一帧与当前帧灰度值的差，作为差值偏移量。
2.读取原来第8-12位的5位差值，此差值加上差值偏移得到新的差值，再判断计算得到的新5位差值的最高位是否为1，如果为1，则以1111的值存入奇数地址空间的13至15位加偶数地址空间的第0位共4位，如果最高位为0，则去除最高位0，存入奇数地址13-15位和偶数地址第0位共4位。
3.将5位差值偏移量存入奇数地址的8-12位，最后将当前帧的对应像素灰度值覆盖原来的灰度值，存入奇数地址的0-7位。
4.将新得到的32位数据反写入SRAM中原地址。
步骤4：第4帧开始后，和步骤3的过程相同，从SRAM中再读取该像素点对应的32位数据，进行如下操作：
1.读取奇数地址的0-7位，即步骤3中存入的8位灰度值数据，计算当前帧与之的差，作为新的差值偏移量。
2.读取原来奇数地址空间的13至15位加偶数地址空间的第0位，共4位差值，加上新的差值偏移量，得到的4位新的差值存入偶数地址空间的1-4位，共4位。
3.读取原来第8-12位的5位差值，此差值加上差值偏移得到新的差值，再判断计算得到的新5位差值的最高位是否为1，如果为1，则以1111的值存入奇数地址空间的13至15位加偶数地址空间的第0位共4位，如果最高位为0，则去除最高位0，存入奇数地址13-15位和偶数地址第0位共4位。
4.将5位差值偏移存入奇数地址的8-12位，最后将当前帧的对应像素灰度值存入奇数地址的0-7位。
5.将新得到的32位数据反写入SRAM中原地址。
步骤5：根据步骤3和步骤4详细的差值更新方法，完成前8帧数据当前帧灰度值和对应7帧灰度值差值的存储，并每次完成反写回SRAM的操作。差值存储空间分配如下所示：
奇数地址的0-7位，共8位，存储第1帧的8位灰度值；
奇数地址的8-12位，共5位，存储第2帧与第1帧的差值；
奇数地址13-15位加偶数地址0位，共4位，存储第3帧与第1帧的差值；
偶数地址1-4位，共4位，存储第4帧与第1帧的差值；
偶数地址5-7位，共3位，存储第5帧与第1帧的差值；
偶数地址8-10位，共3位，存储第6帧与第1帧的差值；
偶数地址11-13位，共3位，存储第7帧与第1帧的差值；
偶数地址14-15位，共2位，存储第8帧与第1帧的差值。
在每一次进行差值更新操作时，如果差值的移位存储如果遇到降精度操作（如由5位表示降为4位表示，由4位表示降为3位表示的情况）都要进行如步骤3中描述的最高位判断，之后根据最高位是0或1，决定降位之后存储的具体差值。
步骤6：开始视频信号的第9帧之后，每个像素点对应的2个地址共32位数据以存储满，在新的一帧数据到达之后，需要进行整体的灰度值差值更新替换操作。操作步骤和步骤3.4.5中描述的差值更新操作相同，需要附加的操作是最后将表示最早一帧与当前帧差值的原偶数地址14-15位的数据丢弃，由11-13位数据经过将精度操作后填补，实现视频流中累加帧的替代，保证每个像素点对应的32位存储空间存储的是最靠近当前帧的8帧数据。
以标准PAL制分辨率为720*576的视频为例，进行8帧的帧间累加算法。传统方法中8帧全部存入需要720*576*8=3317760个16bit数据，共53.08Mb存储空间，本方法中按权值分配存储差值所用位数，需要720*576*2=829440个16bit数据，共13.27Mb，只需传统方法的25%。传统方法读出数据进行计算时，需要在一个像素时钟输出8个地址的灰度值，以PAL制像素时钟为13.5MHz为例，使用两个16位地址存储了8帧的对应像素点灰度值信息，SRAM读出数据时只需要两倍像素时钟27MHz而不是8倍像素时钟108MHz。综上，用低速低存储容量的SRAM也成功实现了累加帧数为8帧的帧间累加的微光视频实时输出。
Claims (4)
1.一种基于FPGA的微光视频帧间累加降噪算法的实时实现方法，其特征在于包含以下步骤：
步骤1：定义帧间累加的帧编号为1-8，每个像素点对应32位存储信息，一个16位奇数地址和一个16位偶数地址；
步骤2：接收前8帧的视频信号，根据存储位宽分配规则和降精度替换规则，将每个像素点8帧的灰度值信号都存入该像素点对应的32位存储空间中；
步骤3：8帧之后，每接收一帧新的视频信号，根据差值更新操作规则对32位存储空间中的数据进行数据替换操作；
步骤4：在每一帧的对数据进行替换操作之后，将32位存储空间中的灰度及差值信息读出；SRAM选用27Mhz时钟读出，将奇数地址第八位数据乘8与奇数地址8-12位的5位数，奇数地址13-15位和偶数地址第0位的4位数，偶数地址1-4位的4位数，偶数地址5-7位的3位数，偶数地址8-10位的3位数，偶数地址11-13位的3位数，偶数地址14-15位的2位数所表示的7个差值使用补码计算求和的方法得到8帧累加和值，得到的计算结果除8得到多帧累加平均后的灰度值。
2.根据权利要求1所述的基于FPGA的微光视频帧间累加降噪算法的实时实现方法，其特征在于步骤2中所述的存储位宽分配规则如下：
根据前8帧每一帧与当前帧时间远近程度不同，分配不用位数的存储空间进行存储差值，分配空间如下：
奇数地址的0-7位，共8位，存储第1帧的8位灰度值；
奇数地址的8-12位，共5位，存储第2帧与第1帧的差值；
奇数地址13-15位加偶数地址0位，共4位，存储第3帧与第1帧的差值；
偶数地址1-4位，共4位，存储第4帧与第1帧的差值；
偶数地址5-7位，共3位，存储第5帧与第1帧的差值；
偶数地址8-10位，共3位，存储第6帧与第1帧的差值；
偶数地址11-13位，共3位，存储第7帧与第1帧的差值；
偶数地址14-15位，共2位，存储第8帧与第1帧的差值。
3.根据权利要求1所述的基于FPGA的微光视频帧间累加降噪算法的实时实现方法，其特征在于步骤2中所述的降精度替换规则如下：在每一次进行差值更新操作时，如果差值的移位存储遇到降精度操作，则要进行最高位判断，判断计算得到的新差值的最高位是否为1，如果为1，则以全1数据存入减少后的存储空间，如果最高位为0，则去除最高位0，其他数据不变地存入减少后的存储空间。
4.根据权利要求1所述的基于FPGA的微光视频帧间累加降噪算法的实时实现方法，其特征在于步骤3中所述的差值更新操作规则步骤如下：
3.1.读取奇数地址的0-7位，计算与当前帧对应像素点灰度值差值，得到5位差值偏移量，若当前帧对应像素点灰度值小于读取的0-7位数据，则使用补码存储，若当前帧对应像素点灰度值大于读出数据，则最高位设为0，后四位正常存储差值，存入奇数地址的8-12位；
3.2.读取奇数地址原来的8-12位数据，与差值偏移量相加，采用降精度替换规则进行处理，处理后数据存入奇数地址13-15位加偶数地址第0位共4位；
3.3.读取奇数地址原来的13-15位加偶数地址第0位共4位数据，与差值偏移量相加，处理后数据存入偶数地址1-4位加偶数地址第0位共4位；
3.4.读取偶数地址原来的1-4位共4位数据，与差值偏移量相加，采用降精度替换规则进行处理，处理后数据存入偶数地址5-7位共3位；
3.5.读取偶数地址原来的5-7位共3位数据，与差值偏移量相加，处理后数据存入偶数地址8-10位共3位；
3.6.读取偶数地址原来的8-10位共3位数据，与差值偏移量相加，处理后数据存入偶数地址11-13位共3位；
3.7.读取偶数地址原来的11-13位共3位数据，与差值偏移量相加，采用降精度替换规则进行处理，处理后数据存入偶数地址14-15位共2位；
3.8.原偶数地址14-15位的数据丢弃；
将新得到的32位数据反写入SRAM中原地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711256330.7A CN107886487B (zh) | 2017-12-03 | 2017-12-03 | 基于fpga的微光视频帧间累加降噪算法的实时实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711256330.7A CN107886487B (zh) | 2017-12-03 | 2017-12-03 | 基于fpga的微光视频帧间累加降噪算法的实时实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886487A true CN107886487A (zh) | 2018-04-06 |
| CN107886487B CN107886487B (zh) | 2021-04-27 |
Family
ID=61772837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711256330.7A Active CN107886487B (zh) | 2017-12-03 | 2017-12-03 | 基于fpga的微光视频帧间累加降噪算法的实时实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107886487B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110243427A1 (en) * | 2010-03-30 | 2011-10-06 | Chunghwa Picture Tubes, Ltd. | Image processing device and method thereof |
| CN104917933A (zh) * | 2015-05-28 | 2015-09-16 | 南京理工大学 | 基于相位一致性和场景运动估计的微光视频去噪方法 |
| CN105472204A (zh) * | 2014-09-05 | 2016-04-06 | 南京理工大学 | 基于运动检测的帧间降噪方法 |
| CN106303157A (zh) * | 2016-08-31 | 2017-01-04 | 广州市百果园网络科技有限公司 | 一种视频降噪处理方法及视频降噪处理装置 |
| CN106327447A (zh) * | 2016-08-30 | 2017-01-11 | 天津天地伟业数码科技有限公司 | 基于fpga平台的空域和像素域混合降噪算法 |
| US20170212353A1 (en) * | 2007-02-28 | 2017-07-27 | Science Applications International Corporation | System and Method for Video Image Registration and/or Providing Supplemental Data in a Heads Up Display |
| CN107341760A (zh) * | 2017-06-27 | 2017-11-10 | 北京计算机技术及应用研究所 | 一种基于fpga的低空目标跟踪系统 |
-
2017
- 2017-12-03 CN CN201711256330.7A patent/CN107886487B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170212353A1 (en) * | 2007-02-28 | 2017-07-27 | Science Applications International Corporation | System and Method for Video Image Registration and/or Providing Supplemental Data in a Heads Up Display |
| US20110243427A1 (en) * | 2010-03-30 | 2011-10-06 | Chunghwa Picture Tubes, Ltd. | Image processing device and method thereof |
| CN105472204A (zh) * | 2014-09-05 | 2016-04-06 | 南京理工大学 | 基于运动检测的帧间降噪方法 |
| CN104917933A (zh) * | 2015-05-28 | 2015-09-16 | 南京理工大学 | 基于相位一致性和场景运动估计的微光视频去噪方法 |
| CN106327447A (zh) * | 2016-08-30 | 2017-01-11 | 天津天地伟业数码科技有限公司 | 基于fpga平台的空域和像素域混合降噪算法 |
| CN106303157A (zh) * | 2016-08-31 | 2017-01-04 | 广州市百果园网络科技有限公司 | 一种视频降噪处理方法及视频降噪处理装置 |
| CN107341760A (zh) * | 2017-06-27 | 2017-11-10 | 北京计算机技术及应用研究所 | 一种基于fpga的低空目标跟踪系统 |
Non-Patent Citations (3)
| Title |
|---|
| AKHIL VALSARAJ.ET: "Stereo Vision System implemented on FPGA", 《PROCEDIA TECHNOLOGY》 * |
| 张良: "EMCCD实时图像处理系统设计及FPGA实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 高自谦等: "实现弱星提取及质心定位的帧间窗口移位灰度叠加法", 《红外与激光工程》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107886487B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2532712B2 (ja) | ビデオ信号を全体運動ベクトルと局部運動ベクトルとして符号化し且つ伝送する方法 | |
| WO2021047345A1 (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
| CN102088589B (zh) | 基于双向的局部和全局运动估计的帧率转换 | |
| CN111968563B (zh) | 显示面板的亮度补偿方法、装置、系统、显示面板及介质 | |
| JP2002237998A (ja) | 画面補正方法及び撮像装置 | |
| CN110930301A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN105575314A (zh) | 一种灰阶处理方法、灰阶处理装置及显示装置 | |
| CN107862672A (zh) | 图像去雾的方法及装置 | |
| CN110428466A (zh) | 一种非均匀性校正的方法和设备 | |
| JPH08317309A (ja) | 映像信号処理回路 | |
| CN115942128A (zh) | 一种基于异构平台的isp系统设计与实现方法 | |
| CN109785265A (zh) | 畸变矫正图像处理方法及图像处理装置 | |
| CN104254872A (zh) | 图像处理方法和图像处理设备 | |
| CN107886487A (zh) | 基于fpga的微光视频帧间累加降噪算法的实时实现方法 | |
| CN107942114B (zh) | 一种扫描模式下的三维映射方法 | |
| KR980003999A (ko) | Cdf 연산영역에 근거한 히스토그램 등화회로 및 그 방법 | |
| US5581309A (en) | Motion vector detecting circuit | |
| TWI388202B (zh) | 影像灰階分佈之統計裝置及其方法 | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| JP2008113292A (ja) | 動き推定方法，装置，そのプログラムおよびその記録媒体 | |
| CN113160321B (zh) | 一种实时图像序列的几何映射方法和装置 | |
| CN114885112A (zh) | 基于数据融合的高帧率视频生成方法及装置 | |
| CN103188487B (zh) | 视频图像中的卷积方法及视频图像处理系统 | |
| JP2002268624A (ja) | 画像補正装置および画像補正方法 | |
| CN101431637B (zh) | 帧数据处理的装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |