CN114066713A - 基于小波变换提升图像处理效率的系统及方法 - Google Patents

基于小波变换提升图像处理效率的系统及方法 Download PDF

Info

Publication number
CN114066713A
CN114066713A CN202111459758.8A CN202111459758A CN114066713A CN 114066713 A CN114066713 A CN 114066713A CN 202111459758 A CN202111459758 A CN 202111459758A CN 114066713 A CN114066713 A CN 114066713A
Authority
CN
China
Prior art keywords
image
data
frame image
stored
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111459758.8A
Other languages
English (en)
Inventor
李斌
钮东
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111459758.8A priority Critical patent/CN114066713A/zh
Publication of CN114066713A publication Critical patent/CN114066713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了基于小波变换提升图像处理效率的系统及方法，设计图像处理技术。针对现有技术中逆变换时出现地址跳跃的问题提出本方案。对输入缓存中的图像数据进行小波变换后进行重新排列，将每帧图像中对应位置的点的数据按照图像序号依次储存至输出缓存中。优点在于，将图像按照像素点的方式来存储，后续逆变换时可以直接按照地址连续增加的方式进行读取，不存在地址的跳跃，有效降低了算力消耗，尤其适合算力较低的嵌入式设备使用。

Description

基于小波变换提升图像处理效率的系统及方法
技术领域
本发明涉及图像处理技术，尤其涉及基于小波变换提升图像处理效率的系统及方法。
背景技术
近年来，随着深度学习技术的发展，很多学者将神经网络引入到图像恢复算法中，并能达到很好的效果。随着在智慧城市、智能医疗、无人驾驶、军事安防等场景中大量部署各种基于深度学习技术的设备，基于深度学习的图像恢复技术也将应用在这些设备中。但这些应用场景，对设备的功耗、延迟、资源利用和实时性等方面有严格的要求。因此研究基于深度学习的图像恢复算法在低功耗、低延迟、资源有限的设备中实现成为迫切需要。
随着卷积神经网络的发展，有学者提出MWCNN网络，此网络基于UNet架构，用小波变换(DWT)及反变换替代池化和反卷积，此网络在图像去噪、单帧图像超分辨率及JPEG图像消伪影中都有出色的表现，在性能和速度上都有明显的提升。但是此网络运行在PC或者服务器上，对一些特定的场景很不友好。
MWCNN部署在嵌入式设备上需要神经网络加速器进行加速，加速器模块结构如图1所示。图像处理的方法流程如图2图3所示，将要计算的图像数据等存入加速器模块的输入缓存中；计算单元对图像数据进行重新排列、分割、卷积等处理；WMCNN分块后的前向推理运算使用流水线处理：各个部分的计算的中间结果存在输出缓存中，在之后的运算中使用。
在RAM中存储的方式如图4所示，每个分块的图像数据按照原图像序列进行储存。先将第一帧图像J1的各点数据X11～X1n按序储存，然后将第二帧图像J2的各点数据X21～X2n按序储存，然后再以同样的方式处理第三帧图像J3、第四帧图像J4。
当小波变换需要进行逆变换时，要从四帧图像的相同位置取点通过计算得到逆变换后图像中的四个点，例如各帧图像中的第一点P11、P21、P31和P41。但按照图4的存储方式，读取四帧图像中相同点时存在地址的跳跃。通过AXI接口来读取数据时要配置地址和读取数据的个数，由于不能连续的按照地址增加的方式读取，需要先读一些数据再跳跃到下一帧读取一些数据，这样肯定会带来不必要的算力消耗。
在嵌入式设备中，算力本来就十分紧张，再过多消耗必然降低了图像处理能力。
发明内容
本发明目的在于提供基于小波变换提升图像处理效率的系统及方法，以解决上述现有技术存在的问题。
本发明所述基于小波变换提升图像处理效率的方法，对输入缓存中的图像数据进行小波变换后进行重新排列，将每帧图像中对应位置的点的数据按照图像序号依次储存至输出缓存中。
图像数量为四帧。
先储存第一帧图像至第四帧图像的第一点数据，然后储存第一帧图像至第四帧图像的第二点数据，依次储存第一帧图像至第四帧图像的对应点数据直至储存完成第一帧图像至第四帧图像的第n点数据；各帧图像各包含n个点。
本发明所述基于小波变换提升图像处理效率的系统，利用所述方法进行小波变换后的数据储存。
本发明所述基于小波变换提升图像处理效率的系统及方法，其优点在于，将图像按照像素点的方式来存储，后续逆变换时可以直接按照地址连续增加的方式进行读取，不存在地址的跳跃，有效降低了算力消耗，尤其适合算力较低的嵌入式设备使用。
附图说明
图1是现有技术中WMCNN的加速器模块结构示意图；
图2是现有技术中基于小波变换的图像处理示意图；
图3是现有技术中在小波变换时图像数据的结构变化示意图；
图4是现有技术中经过小波变换后的数据存储示意图。
图5是本发明所述方法中经过小波变换后的数据存储示意图。
具体实施方式
首先在PC端对训练好的MWCNN进行量化和减枝操作；在FPGA端设计神经网络加速器对网络进行前向推理的加速。加速器模块的结构也如图1所示。
本发明所述基于小波变换提升图像处理效率的系统及方法如图5所示：
将要计算的图像数据和权重数据存入加速器模块的输入缓存中；
对数据进行重新排列，也就是把每一帧图像分割成32*32*1的小块进行运算，前向推理的计算过程也如图2所示。第一次卷积的结果(32*32*4)储存至输出缓存的第一块缓存中，因为在之后要把它和之后的卷积结果相加再做一次卷积得到输出，所以这也是要分块卷积的原因，是有一个残差结构。
对于卷积运算使用了卷积并行运算，相当于给卷积运算加速，对于DWT运算与卷积运算进行了流水线处理：各个部分的计算的中间结果存在输出缓存中，在之后的运算中使用。
将一帧图片分块进行运算后，可以减小中间缓存的数据量。将卷积和小波变换(DWT)进行流水线处理，前一级运算得出两行数据，就可以进行小波变换运算，减少和RAM的交互，节约时间。按照每帧图像的顺序依次存储对应像素点数据，避免了跳跃空间的存储的方式，大大提高图像处理效率。
存储的具体方式如图5所示，首先存储第一帧图像J1的第一个像素点P11的数据X11，然后存储第二帧图像J2的第一个像素点P21的数据X21，接着存储第三帧图像J3的第一个像素点P31的数据X31，最后存储第四帧图像J4的第一个像素点P41的数据X41，完成第一个像素点的循环。
进行下一个像素点的循环：首先存储第一帧图像J1的第二个像素点P12的数据X12，然后存储第二帧图像J2的第二个像素点P22的数据X22，接着存储第三帧图像J3的第二个像素点P32的数据X32，最后存储第四帧图像J4的第二个像素点P42的数据X42，完成第二个像素点的循环。
按相同的存储逻辑进行后续第三个、四个像素点的循环存储，直至完成各帧图像中第n个也是最后一个像素点的循环：首先存储第一帧图像J1的第n个像素点P1n的数据X1n，然后存储第二帧图像J2的第n个像素点P2n的数据X2n，接着存储第三帧图像J3的第n个像素点P3n的数据X3n，最后存储第四帧图像J4的第n个像素点P4n的数据X4n，完成一个像素点的循环。
本发明所述的加速器模块可以在FPGA中实现，对于中间的缓存数据可用BRAM进行缓存，通过AXI接口连接BRAM。当需要得到逆变换后的图片，需要四帧图像中的像素点进行运算得到。通过AXI接口来读取数据时要配置地址和读取数据的个数，由于采用了本发明特有的存储方式，可以直接按照地址连续增加的方式进行读取，不存在地址的跳跃。
有益效果：通过将图片分块处理减小了中间缓存的内存；又将卷积和小波变换进行流水线处理，减少了计算模块和缓存模块的交互减少了运算时间；最后提出新的基于小波逆变换的图像存储方式，大大减少了小波逆变换的时间。对于整个加速模块的卷积、小波变换、小波逆变换的计算过程，本系统都进行了加速，而且大大节省了资源，使得MWCNN网络运行在嵌入式端成为了可能。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.基于小波变换提升图像处理效率的方法，其特征在于，对输入缓存中的图像数据进行小波变换后进行重新排列，将每帧图像中对应位置的点的数据按照图像序号依次储存至输出缓存中。
2.根据权利要求1所述基于小波变换提升图像处理效率的方法，其特征在于，图像数量为四帧。
3.根据权利要求2所述基于小波变换提升图像处理效率的方法，其特征在于，先储存第一帧图像至第四帧图像的第一点数据，然后储存第一帧图像至第四帧图像的第二点数据，依次储存第一帧图像至第四帧图像的对应点数据直至储存完成第一帧图像至第四帧图像的第n点数据；各帧图像各包含n个点。
4.基于小波变换提升图像处理效率的系统，其特征在于，利用如权利要求1-3任一所述方法进行小波变换后的数据储存。
CN202111459758.8A 2021-12-02 2021-12-02 基于小波变换提升图像处理效率的系统及方法 Pending CN114066713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111459758.8A CN114066713A (zh) 2021-12-02 2021-12-02 基于小波变换提升图像处理效率的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111459758.8A CN114066713A (zh) 2021-12-02 2021-12-02 基于小波变换提升图像处理效率的系统及方法

Publications (1)

Publication Number Publication Date
CN114066713A true CN114066713A (zh) 2022-02-18

Family

ID=80228593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111459758.8A Pending CN114066713A (zh) 2021-12-02 2021-12-02 基于小波变换提升图像处理效率的系统及方法

Country Status (1)

Country Link
CN (1) CN114066713A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152307A (zh) * 2023-04-04 2023-05-23 西安电子科技大学 一种基于fpga的sar图像配准预处理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152307A (zh) * 2023-04-04 2023-05-23 西安电子科技大学 一种基于fpga的sar图像配准预处理装置

Similar Documents

Publication Publication Date Title
CN108765247B (zh) 图像处理方法、装置、存储介质及设备
CN109903221B (zh) 图像超分方法及装置
WO2020073211A1 (zh) 运算加速器、处理方法及相关设备
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN108073977A (zh) 卷积运算装置及卷积运算方法
EP4181052A1 (en) Image processing method and apparatus
CN107766292B (zh) 一种神经网络处理方法及处理系统
JP6684951B2 (ja) 人工知能推論演算装置
CN109993293B (zh) 一种适用于堆叠式沙漏网络的深度学习加速器
CN111582465B (zh) 基于fpga的卷积神经网络加速处理系统、方法以及终端
CN110796251A (zh) 基于卷积神经网络的图像压缩优化方法
CN113792621A (zh) 一种基于fpga的目标检测加速器设计方法
CN114066713A (zh) 基于小波变换提升图像处理效率的系统及方法
CN109472734B (zh) 一种基于fpga的目标检测网络及其实现方法
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN109447239B (zh) 一种基于arm的嵌入式卷积神经网络加速方法
CN112184587B (zh) 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统
CN114761968B (zh) 用于频域静态通道滤波的方法、系统和存储介质
US20220103831A1 (en) Intelligent computing resources allocation for feature network based on feature propagation
Hu et al. Multi-scale information distillation network for efficient image super-resolution
CN111882053B (zh) 一种基于拼接卷积的神经网络模型压缩方法
WO2023174256A1 (zh) 一种数据压缩方法以及相关设备
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN115982418A (zh) 一种提升ai计算芯片超分运算性能的方法
CN112385225A (zh) 用于改进图像编码的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination