CN114070959B - 一种基于fpga的视频去噪硬件实现方法 - Google Patents

一种基于fpga的视频去噪硬件实现方法 Download PDF

Info

Publication number
CN114070959B
CN114070959B CN202111279036.4A CN202111279036A CN114070959B CN 114070959 B CN114070959 B CN 114070959B CN 202111279036 A CN202111279036 A CN 202111279036A CN 114070959 B CN114070959 B CN 114070959B
Authority
CN
China
Prior art keywords
image
fpga
current frame
threshold
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111279036.4A
Other languages
English (en)
Other versions
CN114070959A (zh
Inventor
何伟基
于新明
张闻文
陈钱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202111279036.4A priority Critical patent/CN114070959B/zh
Publication of CN114070959A publication Critical patent/CN114070959A/zh
Application granted granted Critical
Publication of CN114070959B publication Critical patent/CN114070959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于FPGA的视频去噪硬件实现方法，将视频数据利用乒乓缓存结构映射到FPGA内部存储器上，获得当前帧图像；对高斯平滑后的当前帧计算参考帧和当前帧差值残差阈值和运动向量阈值，通过对参考帧和当前帧像素残差值和参考帧和当前帧差值残差阈值对比，运动张量值和运动向量阈值对比将当前帧图像区分为背景区域和前景区域，对背景区域进行时域降噪，前景区域进行空域降噪。最后将降噪后的图像输出FPGA，并将降噪后的图像存入外部存储器，作为下一帧的参考帧图像。本发明将运动向量阈值和参考块与当前块差值残差阈值代替一个简单的阈值进行动态多阈值分割，将图像分为背景区域和前景区域，提高了区域判别的准确度。

Description

一种基于FPGA的视频去噪硬件实现方法
技术领域
本发明属于图像处理技术领域，具体是一种基于FPGA的视频去噪硬件实现方法。
背景技术
现场可编程门阵列(FPGA)越来越多地用于视频处理应用程序的实现。对于延迟和功耗是重要考虑因素的实时嵌入式应用程序尤其如此。当图像数据从传感器流式传输时，嵌入在智能相机中的FPGA能够直接执行大部分图像处理，而相机则提供经过处理的输出数据流，而不是图像序列。智能相机的视频数据在采集、处理、传输的过程中会不可避免遭到随机噪声的损坏，各种噪声不但影响了视觉质量，产生不良的视觉感受，还会阻碍用户获取真实正确的信息，甚至使用户对视频信息产生曲解。视频去噪方法大致分为空域去噪和时域去噪，空域去噪无法避免破坏图像细节,会出现闪烁的伪影，时域去噪忽略了空间相关性,会出现拖影以及块效应，因此时空域联合成为视频去噪的主要发展方向。时域滤波的可靠性取决于两个方面，一是运动估计的精确性，二是像素值的时域连续性，表现在运动轨迹的像素值相同或缓慢变化。空域滤波结果的可靠性取决于像素空间的相关性。
目前的时空域联合视频去噪方法存在问题待解决，一是仅关注软件算法的效能，针对串行处理器进行了优化，没有良好的FPGA硬件架构，不适合并行处理，实际运行速度较慢；二是通常把视频帧利用单个阈值简单的划分为运动区域和静止区域，缺乏很好的区分度。
发明内容
本发明的目的在于提供一种基于FPGA的视频去噪硬件实现方法，避免了数字视频图像数据进行采集处理过程中产生的噪声，同时将软件算法并行化处理，提升了FPGA移植后的处理速度。
实现本发明目的的技术方案为：一种基于FPGA的视频去噪硬件实现方法，步骤如下：
步骤一，将外部传感器输入的视频数据利用乒乓缓存结构映射到FPGA内部存储器上，获得当前帧图像；
步骤二，在FPGA内部构建高斯平滑运算模块，对当前帧图像进行高斯平滑运算；
步骤三，在FPGA内部构建运动判断参数模块，获取参考帧和当前帧差值残差阈值和运动向量阈值；
步骤四，在FPGA内部构建运动强度检测模块，获取参考帧和当前帧像素残差值和运动张量值；
步骤五，在FPGA内部构建运动强度判别模块，通过对参考帧和当前帧像素残差值和参考帧和当前帧差值残差阈值对比，运动张量值和运动向量阈值对比将当前帧图像区分为背景区域和前景区域，对背景区域进行时域降噪，前景区域进行空域降噪；
步骤六，将降噪后的图像输出FPGA，并将降噪后的图像存入外部存储器，作为下一帧的参考帧图像。
本发明与现有的技术相比，其显著优点为：(1)提出运动向量阈值和参考块与当前块差值残差阈值代替一个简单的阈值进行动态多阈值分割，将图像分为背景区域和前景区域，提高了区域判别的准确度2)时域降噪采用有限冲击响应滤波，空域降噪采用双边滤波，有效的处理和保留了视频图像的边缘信息和细节(3)提出了基于本发明算法的硬件并行化架构，将算法移植到FPGA上实现，具有很好的兼容性和通用性，提升了算法的实时性。
下面结合附图对本发明作进一步详细说明。
附图说明
图1为本发明的算法逻辑框架图。
图2为本发明的算法硬件架构图。
图3为本发明使用的时域滤波逻辑框架。
图4为本发明使用的空域滤波逻辑框架。
具体实施方式
一种基于FPGA的视频去噪硬件实现方法，对软件串行化的视频去噪算法进行转换，利用硬件的并行性在视频去噪操作级别和应用程序级别上的优势提出新颖的硬件算法计算体系结构以有效利用FPGA上的并行性和可用资源。同时提出使用一个根据内容驱动的阈值来代替一个简单的阈值进行运动区域和静止区域的分割。用一个较大的阈值来代表运动显著区域，而用较小的阈值来代表静止显著的区域，中间区域代表非运动静止显著区域。具体步骤为：
步骤一：将外部传感器输入的视频数据利用乒乓缓存结构映射到FPGA内部存储器上，获得当前帧图像，具体为：
在FPGA内构建输入数据流选择单元，当前帧缓存存储器,参考帧缓存存储器和输出数据流选择单元。当第一帧图像数据到来时，根据输入数据流选择单元提供的片选信息开始将图像数据依次缓存到当前帧缓存存储器中。第一帧数据全部缓存结束后立刻进入下一个缓存周期，由片选单元切换，开始将连续输入的图像数据缓存到参考帧缓存存储器中，与此同时，将参考帧缓存存储器缓存的图像数据通过输出数据流选择单元的选择，连续不断的送到步骤二中的高斯平滑运算模块进行处理。在第三个缓存周期，再次切换图像数据缓存。如此周而复始的循环，实现并行工作，大幅度提高视频处理效率。
步骤二：采用5*5的滤波模板设计高斯平滑滤波器，为了在一个时钟周期内区5个不同行的图像数据，需要先例化5个异步FIFO，缓存5行图像数据。缓存5行图像数据后，在时钟的上升沿同时从FIFO中读出数据，并分别与高斯滤波器的5个系数做卷积运算。将高斯平滑滤波器分为垂直滤波和水平滤波，垂直滤波输出是并行的5个不同行同一列的垂直像素点，得到垂直滤波的结果作为水平滤波的输入。
步骤三:在FPGA内部设计运动判断参数模块，一方面将当前帧图像经过异步FIFO缓存之后和参考帧对应的5*5邻域像素做差运算，得到的帧差图中心像素5*5邻域求和得到绝对值，再利用定点除法得到均值作为参考帧和当前帧差值残差阈值CT。另一方面将高斯平滑运算得到的结果分块成16*16的子块，分别计算出这些子块的方差，然后对这16*16的方差进行加权平均得到单帧方差估计值作为运动向量阈值ST。
步骤四：在FPGA内部将当前帧高斯平滑运算得到的结果和外部存储器通过异步FIFO缓存之后的参考帧图像下采样之后依次通过梯度计算与累加计算，构建当前块的运动张量S。同时将参考帧图像和梯度计算之后的当前帧图像进行差值计算，构建像素残差值C。
步骤五:在FPGA内部进行运动强度判别，利用当前块运动张量S，像素残差值C,参考块和当前块差值残差阈值CT以及运动向量阈值ST将图像区域分为前景区域和背景区域。如果每一像素点的像素残差值C小于参考块和当前块差值残差阈值CT，且当前块运动张量S小于运动向量阈值ST，认为当前块为背景区域，进行时域降噪。如果残差C大于参考块和当前块差值残差阈值CT，认为当前块为前景区域，只使用空域滤波。如果残差C小于参考块和当前块差值残差阈值CT，但运动向量S大于运动向量阈值ST，认为当前块为前景区域，只使用空域滤波。其中时域滤波具体算子如下：
其中P为最终时域降噪后的结果，Pt为当前帧图像，Pt-1为参考帧图像，k为时域滤波器的滤波系数，在本算法中设定k＝0.3。
空域滤波采用简化后的双边滤波在FPGA上实现，能够有效的保护边缘，运算过程如下：
1)提前计算好高斯模板，和用于值域权重计算的256地址数据(均已扩大1024倍定点化)
2)根据3*3原图和中心点差值判断，得到值域模板
3)将提前准备的高斯模板和上一步的值域模板相乘，得到双边权重模板
4)将得到的3*3个新的权重累加
5)根据累加结果，归一化(归1024化)完成最终权重模板的计算
6)最新模板和原始3*3原图卷积，得到新的目标像素
7)以上过程流水线，最终每个时钟输出一个计算结果。
步骤六:输出降噪后的图像，同时将降噪后的图像存入外部存储器作为下一帧的参考帧图像，利用帧迭代的方法动态调整去噪参数。
本发明在系统中的工作流程如下:首先将外部传感器输入的视频数据利用乒乓缓存结构映射到FPGA内部存储器上，获得当前帧图像。接着对高斯平滑后的当前帧计算参考帧和当前帧差值残差阈值和运动向量阈值，通过对参考帧和当前帧像素残差值和参考帧和当前帧差值残差阈值对比，运动张量值和运动向量阈值对比将当前帧图像区分为背景区域和前景区域，对背景区域进行时域降噪，前景区域进行空域降噪。最后将降噪后的图像输出FPGA，并将降噪后的图像存入外部存储器，作为下一帧的参考帧图像。本发明出运动向量阈值和参考块与当前块差值残差阈值代替一个简单的阈值进行动态多阈值分割，将图像分为背景区域和前景区域，提高了区域判别的准确度；提出了基于本发明算法的硬件并行化结构，将算法移植到FPGA上实现，具有很好的兼容性和通用性，提升了算法的实时性。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于FPGA的视频去噪硬件实现方法，其特征在于，步骤如下：
步骤一，将外部传感器输入的视频数据利用乒乓缓存结构映射到FPGA内部存储器上，获得当前帧图像；
步骤二，在FPGA内部构建高斯平滑运算模块，对当前帧图像进行高斯平滑运算；
步骤三，在FPGA内部构建运动判断参数模块，获取参考帧和当前帧差值残差阈值和运动向量阈值；构建的运动判断参数模块将当前帧图像经过异步FIFO缓存之后和参考帧对应的5*5邻域像素做差运算，得到的帧差图中心像素5*5邻域求和得到绝对值，再利用定点除法得到均值作为参考帧和当前帧差值残差阈值CT；
步骤三中：将高斯平滑运算得到的结果分块成16*16的子块，分别计算出这些子块的方差，对子块的方差进行加权平均得到单帧方差估计值作为运动向量阈值ST；
步骤四，在FPGA内部构建运动强度检测模块，获取参考帧和当前帧像素残差值和运动张量值，步骤四获取运动张量值的具体方法为：在FPGA内部将当前帧高斯平滑运算得到的结果和外部存储器通过异步FIFO缓存之后的参考帧图像下采样之后依次通过梯度计算与累加计算，构建当前块的运动张量S；
获取参考帧和当前帧像素残差值的具体方法为：将参考帧图像和梯度计算之后的当前帧图像进行差值计算，构建像素残差值C；
步骤五，在FPGA内部构建运动强度判别模块，通过对参考帧和当前帧像素残差值和参考帧和当前帧差值残差阈值对比，运动张量值和运动向量阈值对比将当前帧图像区分为背景区域和前景区域，对背景区域进行时域降噪，前景区域进行空域降噪；在FPGA内部进行运动强度判别，利用当前块运动张量S，像素残差值C,参考块和当前块差值残差阈值CT以及运动向量阈值ST将图像区域分为前景区域和背景区域，如果每一像素点的像素残差值C小于参考块和当前块差值残差阈值CT，且当前块运动张量S小于运动向量阈值ST，认为当前块为背景区域，进行时域降噪；如果残差C大于参考块和当前块差值残差阈值CT，认为当前块为前景区域，只使用空域滤波；如果残差C小于参考块和当前块差值残差阈值CT，但运动向量S大于运动向量阈值ST，认为当前块为前景区域，只使用空域滤波；
步骤六，将降噪后的图像输出FPGA，并将降噪后的图像存入外部存储器，作为下一帧的参考帧图像。
2.根据权利要求1所述的方法，其特征在于，步骤一的实现方法为：在FPGA内构建输入数据流选择单元、当前帧缓存存储器、参考帧缓存存储器和输出数据流选择单元，当外部传感器输入的视频数据中第一帧图像数据到来时，根据输入数据流选择单元提供的片选信息将图像数据依次缓存到当前帧缓存存储器中，第一帧数据全部缓存结束后立刻进入下一个缓存周期，由片选单元切换，开始将连续输入的图像数据缓存到参考帧缓存存储器中，同时，将参考帧缓存存储器缓存的图像数据通过输出数据流选择单元的选择，连续不断的输出，在第三个缓存周期，再次切换图像数据缓存，如此周而复始的循环，实现并行工作。
3.根据权利要求1所述的方法，其特征在于，步骤二中：采用5*5的滤波模板设计高斯平滑滤波器，先例化5个异步FIFO，缓存5行图像数据，在时钟的上升沿同时从FIFO中读出数据，并分别与高斯滤波器的5个系数做卷积运算，将高斯平滑滤波器分为垂直滤波和水平滤波，垂直滤波输出是并行的5个不同行同一列的垂直像素点，得到垂直滤波的结果作为水平滤波的输入。
4.根据权利要求1所述的方法，其特征在于，步骤五中：时域滤波具体算子如下：
其中P为最终时域降噪后的结果，Pt为当前帧图像，Pt-1为参考帧图像，k为时域滤波器的滤波系数。
5.根据权利要求1所述的方法，其特征在于，步骤五中：空域滤波采用简化后的双边滤波在FPGA上实现，运算过程如下：
1)计算高斯模板和用于值域权重计算的256地址数据；
2)根据3*3原图和中心点差值判断，得到值域模板；
3)将高斯模板和上一步的值域模板相乘，得到双边权重模板；
4)将得到的3*3个新的权重累加；
5)根据累加结果，归一化完成最终权重模板的计算；
6)将最新模板和原始3*3原图卷积，得到新的目标像素；
7)将以上过程构建为流水线，每个时钟输出一个计算结果。
CN202111279036.4A 2021-10-31 2021-10-31 一种基于fpga的视频去噪硬件实现方法 Active CN114070959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279036.4A CN114070959B (zh) 2021-10-31 2021-10-31 一种基于fpga的视频去噪硬件实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279036.4A CN114070959B (zh) 2021-10-31 2021-10-31 一种基于fpga的视频去噪硬件实现方法

Publications (2)

Publication Number Publication Date
CN114070959A CN114070959A (zh) 2022-02-18
CN114070959B true CN114070959B (zh) 2024-04-12

Family

ID=80236420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279036.4A Active CN114070959B (zh) 2021-10-31 2021-10-31 一种基于fpga的视频去噪硬件实现方法

Country Status (1)

Country Link
CN (1) CN114070959B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648469B (zh) * 2022-05-24 2022-09-27 上海齐感电子信息科技有限公司 视频图像去噪方法及其系统、设备和存储介质
CN116894794B (zh) * 2023-09-11 2023-11-21 长沙超创电子科技有限公司 一种视频的快速去噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067647A (zh) * 2012-12-25 2013-04-24 四川九洲电器集团有限责任公司 一种基于fpga的视频去噪方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103581507A (zh) * 2013-08-21 2014-02-12 成都云鹰科技有限公司 一种去噪算法中通过均方差来动态调整阈值的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067647A (zh) * 2012-12-25 2013-04-24 四川九洲电器集团有限责任公司 一种基于fpga的视频去噪方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN103581507A (zh) * 2013-08-21 2014-02-12 成都云鹰科技有限公司 一种去噪算法中通过均方差来动态调整阈值的方法

Also Published As

Publication number Publication date
CN114070959A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US9615039B2 (en) Systems and methods for reducing noise in video streams
CN114070959B (zh) 一种基于fpga的视频去噪硬件实现方法
JP7256902B2 (ja) ビデオノイズ除去方法、装置及びコンピュータ読み取り可能な記憶媒体
KR100727998B1 (ko) 움직임 보상형 시간적 잡음 제거 방법 및 시스템
Gentsos et al. Real-time canny edge detection parallel implementation for FPGAs
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
KR100739753B1 (ko) 양방향 시간적 잡음 제거 방법 및 장치
KR20060076176A (ko) 비디오 시퀀스에서 시간적 잡음 제거 방법 및 시스템
CN113034384A (zh) 视频处理方法、装置、电子设备以及存储介质
WO2009154596A1 (en) Method and system for efficient video processing
CN113727141B (zh) 视频帧的插值装置以及方法
CN113315884A (zh) 一种实时视频降噪方法、装置、终端及存储介质
Jia et al. Real-time content adaptive contrast enhancement for see-through fog and rain
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN115358962B (zh) 一种端到端视觉里程计方法及装置
Shivaraju et al. A new parallel DSP hardware compatible algorithm for noise reduction and contrast enhancement in video sequence using Zynq-7020
WO2022089917A1 (en) Method and image processing device for improving signal-to-noise ratio of image frame sequences
Philip Background subtraction algorithm for moving object detection using denoising architecture in FPGA
CN111417015A (zh) 一种计算机视频合成的方法
CN116366990B (zh) 一种应用于夜视仪的算法系统
JP2013500666A (ja) 信号フィルタリング方法及びフィルタ係数計算方法
CN115375587B (zh) 一种视频处理方法及服务器
Ramesh et al. Enhanced Visuals through Software-Optimized Memory Pipeline
Matsuoka et al. Multiple exposure integration with image denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant