CN113628138A - 硬件复用图像降噪装置 - Google Patents

Abstract

本申请提供一种硬件复用图像降噪装置，涉及图像处理技术领域。该装置包括：哈尔变换模块用于将图像数据转换为哈尔域数据；降噪模块用于基于2D计算配置参数对哈尔域数据进行2D降噪计算，或基于3D计算配置参数对哈尔域数据进行3D降噪计算；空域变换模块，用于对2D降噪计算的输出数据进行反哈尔变换以获得空域数据形式的2D降噪结果，或将3D降噪计算的输出数据进行反哈尔变换后再次输入哈尔变换模块进行2D降噪计算，再对2D降噪计算的输出结果进行反哈尔变换以获得空域数据形式的3D降噪结果。实现了2D降噪与3D降噪功能可复用的硬件的设计，避免了同时需要2D与3D降噪模块带来的资源冗余，提高了资源的利用率。

Description

硬件复用图像降噪装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种硬件复用图像降噪装置。

背景技术

视频图像质量的好坏会直接影响用户的使用以及体验，其中视频图像的降噪功能无疑在其中起到关键的作用，优秀的图像降噪技术可以帮助用户在低照度场景下清晰地辨识一些物体，目前对图像的降噪技术主要分为2D降噪(2Dimensions Digital NoiseReduction)与3D降噪(3Dimensions Digital Noise Reduction)，尤其在视频图像的降噪技术领域中，3D降噪技术成为了研究的热点。通常来说，2D降噪是指针对一帧的图像进行降噪处理，3D降噪则是需要利用当前帧图像与上一帧的图像或者其他时刻的图像进行降噪处理。

在现有的ISP(Image Signal Processing，图像信号处理)结构单元中，2D降噪与3D降噪会采用不同的算法，对应于不同的硬件设计结构，很容易造成硬件资源的浪费，同时不同模块间的数据交互也会影响整体结构的运算性能。

发明内容

有鉴于此，本申请实施例的目的在于提供一种硬件复用图像降噪装置，以改善现有技术中存在的2D降噪与3D降噪采用不同算法导致的硬件资源的浪费，影响整体结构的运算性能的问题。

本申请实施例提供了一种硬件复用图像降噪装置，所述硬件复用图像降噪装置包括依次连接的哈尔变换模块、降噪模块和空域变换模块；所述哈尔变换模块用于将图像数据转换为哈尔域数据；所述降噪模块用于基于2D计算配置参数对所述哈尔域数据进行2D降噪计算，或基于3D计算配置参数对所述哈尔域数据进行3D降噪计算；所述空域变换模块，用于对所述2D降噪计算的输出数据进行反哈尔变换以获得空域数据形式的2D降噪结果，或将所述3D降噪计算的输出数据进行反哈尔变换后再次输入所述哈尔变换模块进行2D降噪计算，并对所述再次输入所述哈尔变换模块进行2D降噪计算的输出结果进行反哈尔变换以获得空域数据形式的3D降噪结果。

在上述实现方式中，降噪模块能够基于2D计算配置参数和3D计算配置参数在2D降噪计算和3D降噪计算中进行切换，从而使降噪模块以及硬件复用图像降噪装置的其他模块针对2D降噪功能和3D降噪功能能够进行硬件复用，避免了同时需要2D与3D降噪模块带来资源冗余，提高了资源的利用率，同时所有的运算在模块内部进行，避免数据读取带来的延时及资源消耗。

可选地，所述基于2D计算配置参数对所述哈尔域数据进行2D降噪计算，包括：所述降噪模块基于所述2D计算配置参数进行配置；所述降噪模块基于所述哈尔域数据计算第一alpha值；所述降噪模块基于所述第一alpha值对所述哈尔域数据进行2D降噪计算，以获得所述2D降噪计算的输出数据。

在上述实现方式中，基于2D计算配置参数将降噪模块设置为2D降噪模式，从而使降噪模块能够采用符合2D降噪的运算步骤进行2D降噪计算，保证了降噪模块在2D降噪计算和3D降噪计算中的灵活性。

可选地，所述降噪模块基于所述哈尔域数据计算第一alpha值，包括：所述降噪模块将所述哈尔域数据代入alpha通道计算公式，以获得所述第一alpha值；所述alpha通道计算公式包括：

alpha₁为所述第一alpha值，

为所述哈尔域数据，Str₁、Kp₁和Bg₁为预设的所述2D计算配置参数。

在上述实现方式中，将2D计算配置参数引入alpha通道计算公式获得alpha值，alpha值用于向图像中的像素指定透明度，其与噪声分布有关，则基于2D计算配置参数获取alpha值进行后续2D降噪计算能够保证2D降噪计算的硬件实现和降噪效果。

可选地，所述降噪模块基于所述第一alpha值对所述哈尔域数据进行2D降噪计算，包括：所述降噪模块将所述第一alpha值和所述哈尔域数据代入2D降噪变换公式，以获得所述2D降噪计算的输出数据；所述2D降噪变换公式包括：

为所述2D降噪计算的输出数据，

为预配置的权重参数表。

在上述实现方式中，根据预配置的权重参数表对哈尔域数据进行2D降噪计算，由于权重参数表能够调节，进一步提高了降噪模块在进行2D降噪计算和3D降噪计算的切换中的灵活性。

可选地，所述基于3D计算配置参数对所述哈尔域数据进行3D降噪计算，包括：所述降噪模块基于所述3D计算配置参数进行配置；所述降噪模块确定第一指定帧和第二指定帧的图像数据转换为哈尔域数据后的图像差值，所述第一指定帧的帧序数小于所述第二指定帧；所述降噪模块基于所述图像差值计算第二alpha值；所述降噪模块基于所述第二alpha值、所述图像差值和所述第二指定帧的哈尔域数据进行3D降噪计算。

在上述实现方式中，基于3D计算配置参数能够将降噪模块切换为3D降噪模式，从而使降噪模块能够采用符合3D降噪的运算步骤进行3D降噪计算，保证了降噪模块在2D降噪计算和3D降噪计算中的灵活性。

可选地，所述降噪模块基于所述图像差值计算第二alpha值，包括：所述降噪模块将所述哈尔域数据代入alpha通道计算公式，以获得所述第二alpha值；所述alpha通道计算公式包括：

alpha₂为所述第二alpha值，

为所述图像差值，Str₂、Kp₂和Bg₂为预设的所述3D计算配置参数。

在上述实现方式中，将3D计算配置参数引入alpha通道计算公式获得alpha值，alpha值用于向图像中的像素指定透明度，其与噪声分布有关，则基于3D计算配置参数获取alpha值进行后续3D降噪计算能够保证3D降噪计算的硬件实现和降噪效果。

可选地，所述降噪模块基于所述第二alpha值、所述图像差值和所述第二指定帧的哈尔域数据进行3D降噪计算，包括：所述降噪模块将所述第二alpha值和所述图像差值代入3D降噪变换公式，以获得中间结果；所述降噪模块将所述中间结果和所述第二指定帧的哈尔域数据代入3D降噪融合公式，以获得所述3D降噪计算的输出数据；所述3D降噪变换公式包括：

为所述中间结果，

为预配置的权重参数表，所述3D降噪融合公式包括：

为所述3D降噪计算的输出数据，b为融合比例参数，Din₃为所述中间结果，D₀为所述第二指定帧的哈尔域数据。

在上述实现方式中，根据能够基于2D降噪计算和3D降噪计算进行不同预配置的权重参数表对哈尔域数据进行3D降噪计算，进一步提高了降噪模块在进行2D降噪计算和3D降噪计算的切换中的灵活性，同时通过3D降噪融合公式实现3D降噪计算引入两帧图像进行对比筛选确定噪点的功能，从而通过上述参数配置和硬件保证了3D降噪计算的可实现性。

可选地，所述再次输入所述哈尔变换模块进行2D降噪计算，包括：所述哈尔变换模块将所述3D降噪计算的输出数据转换为哈尔域数据；所述降噪模块基于所述2D计算配置参数进行配置；通过所述降噪模块基于所述2D计算配置参数对所述3D降噪计算的输出数据转换的哈尔域数据进行2D降噪计算。

在上述实现方式中，在3D降噪计算的过程中将降噪模块从3D降噪模式切换为2D降噪模式，完成3D降噪计算的后续步骤，从而实现了3D降噪计算和2D降噪计算的硬件复用，提高了资源的利用率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种硬件复用图像降噪装置的结构示意图。

图2为本申请实施例提供的一种2D降噪计算的流程示意图。

图3为本申请实施例提供的一种3D降噪计算的流程示意图。

图标：10-硬件复用图像降噪装置；11-哈尔变换模块；12-降噪模块；13-空域变换模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

经本申请人研究发现，3D降噪技术在对图像进行3D降噪时可能会运用到部分2D降噪技术，且经常会有通过一个整体设备根据具体图像降噪需求进行2D降噪和3D降噪的情况，但由于2D降噪和3D降噪的算法不同，降噪的硬件设备通常会采用不同的硬件设计结构分别进行2D降噪和3D降噪的计算，同时需要2D与3D降噪模块带来了资源冗余，造成硬件资源的浪费，同时不同设计结构的模块间的数据交互也会影响整体结构的运算性能。

为了解决上述问题，本申请实施例了一种硬件复用图像降噪装置10，请参考图1，图1为本申请实施例提供的一种硬件复用图像降噪装置的结构示意图，其中2D-NR Config表示2D计算配置参数，3D-NR Config表示3D计算配置参数。

硬件复用图像降噪装置10包括哈尔变换模块11、降噪模块12和空域变换模块13，哈尔变换模块11的输入端用于输入需要进行降噪处理的图像数据，哈尔变换模块11的输出端与降噪模块12的输入端连接，降噪模块12的输出端与空域变换模块13的输入端连接，空域变换模块13的输出端用于输出经过降噪处理后的空域数据形式的数据。

本实施例中的硬件复用图像降噪装置10能够在2D降噪计算和3D降噪计算中实现复用，因此下文将对硬件复用图像降噪装置10在2D降噪模式和3D降噪模式中的功能原理进行分别说明。

若需要对图像数据进行2D降噪，由于输入的图像数据通常是以流形式输入的空域数据，因此本实施例中的图像数据首先会经过哈尔变换模块11，通过哈尔变换模块11将图像数据转换为哈尔域数据。

其中，哈尔变换模块11是基于哈尔变换进行数据转换，哈尔变换是一种正交归一化的函数，是由Haar提出的一种正交完备函数系，是一种既能反映整体又反映局部的函数体系，是小波变换中的典型变换。

哈尔域数据是指基于Haar-like特征(哈尔特征，Haar特征)进行数据描述的数据，Haar-like特征可以理解为卷积模板，Haar-like特征模板内只有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。

从哈尔小波变换的数学原理上，将图像数据变换为哈尔域数据的公式原理为B＝HAH^T，考虑到实际运算过程中，数据会以流的形式输入到模块中，同时考虑到矩阵运算的特性，对上述的计算公式进行了如下的计算变换：

B＝HAH^T＝((HAH^T)^T)^T＝((AH^T)^TH^T)^T

则可以基于上述变换后的公式，采用加法树和寄存器进行哈尔变换的硬件实现，设置哈尔变换模块11。

通过哈尔变换模块11将图像数据转换为哈尔域数据后，通过降噪模块12对哈尔域数据进行2D降噪计算，请参考图2，图2为本申请实施例提供的一种2D降噪计算的流程示意图，图中的字母按照字母表的排序先后表示数据传输与转换的先后顺序，其中2D-NRConfig表示2D计算配置参数，3D-NR Config表示3D计算配置参数。

降噪模块12基于2D计算配置参数进行配置，以使降噪模块12能够进行2D降噪计算，该2D计算配置参数包括2D降噪模式下对应的str，Kp，Bg，alpha，wtsh等所有计算配置参数的集合，其中str为图像缩放系数，Bg为图像偏移量，Str为图像强度系数，alpha为归一化图像值，wtsh为降噪权重系数。应当理解的是，上述参数均是通过软件计算预设，本实施例中接收对应参数即可。

降噪模块12基于哈尔域数据计算第一alpha值，然后基于第一alpha值对哈尔域数据进行2D降噪计算，以获得2D降噪计算的输出数据。

可选地，降噪模块12可以将哈尔域数据代入alpha通道计算公式以计算第一alpha值。

上述alpha通道计算公式可以包括：

alpha₁为第一alpha值，

为哈尔域数据，Str₁、Kp₁和Bg₁为预设的2D计算配置参数，其需要根据图像场景以及2D降噪模式提前配置。

可选地，上述Str₁、Kp₁和Bg₁可以存储在RAM(Random Access Memory，随机存取存储器)中以方便调用。

可选地，降噪模块12可以将第一alpha值和哈尔域数据代入2D降噪变换公式进行2D降噪计算。

上述2D降噪变换公式可以包括：

为2D降噪计算的输出数据，该

可以是根据2D降噪计算需要提前配置并存储在RAM中的权重参数表，其为2D计算配置参数的一部分。

降噪模块12对哈尔域数据进行降噪后，将2D降噪的输出数据输出至空域变换模块13，空域变换模块13将2D降噪的输出数据进行反哈尔变换，将数据恢复成图像数据原有的空域数据形式进行输出，则输出的数据即为2D降噪结果。

可选地，空域变换模块13进行反哈尔变换进行时域恢复的数学原理为A＝H^TBH，考虑到实际运算过程中，数据会以流的形式输入到模块中，同时考虑到矩阵运算的特性，对上述的计算公式进行了如下的计算变换：A＝H^TBH＝((H^TBH)^T)^T＝((BH)^TH)^T，以适用于硬件计算，采用加法树和寄存器进行哈尔变换的硬件实现，设置空域变换模块13。

若需要对图像数据进行3D降噪，本实施例中的哈尔变换模块11会依次读取第一指定帧和第二指定帧的图像，通过哈尔变换模块11将第一指定帧和第二指定帧的图像数据转换为哈尔域数据，获得两个图像数据的图像差值。

可选地，上述第一指定帧的帧序数小于第二指定帧的帧序数，例如第一指定帧为某段视频图像中的第2帧，第二指定帧为该段视频图像中的第3帧，或者第一指定帧为某段视频图像的上一帧，第二指定帧为该段视频图像中的当前帧。

应当理解的是，第一指定帧图像和第二指定帧图像的图像差值计算可以是哈尔变换模块11进行，也可以是其他功能模块执行后直接输出至哈尔变换模块11。

通过哈尔变换模块11将图像差值转换为哈尔域数据后，通过降噪模块12对图像差值进行3D降噪计算，请参考图3，图3为本申请实施例提供的一种3D降噪计算的流程示意图，图中的字母按照字母表的排序先后表示数据传输与转换的先后顺序，其中2D-NR Config表示2D计算配置参数，3D-NR Config表示3D计算配置参数。

降噪模块12基于3D计算配置参数进行配置，以使降噪模块12能够进行3D降噪计算，该3D计算配置参数包括3D降噪模式下对应的str，Kp，Bg，alpha，wtsh等所有计算配置参数的集合。

降噪模块12基于图像差值计算第二alpha值，然后基于第二alpha值对图像差值进行3D降噪计算，以获得3D降噪计算的输出数据。

可选地，降噪模块12可以将图像差值代入alpha通道计算公式以计算第二alpha值。

上述alpha通道计算公式可以包括：

alpha₂为第二alpha值，

为图像差值，Str₂、Kp₂和Bg₂为预设的3D计算配置参数，其需要根据图像场景以及3D降噪模式提前配置。

可选地，上述Str₂、Kp₂和Bg₂可以存储在RAM(Random Access Memory，随机存取存储器)中以方便调用。

可选地，降噪模块12可以将第二alpha值和图像差值代入3D降噪变换公式以获得中间结果，然后将中间结果和第二指定帧的哈尔域数据代入3D降噪融合公式，以获得3D降噪的输出数据。

上述3D降噪变换公式可以包括：

为中间结果，

为预配置的权重参数表，3D降噪融合公式包括：

为3D降噪计算的输出数据，b为融合比例参数，Din₃为中间结果，D₀为第二指定帧的哈尔域数据。

降噪模块12对图像差值进行降噪后，将3D降噪的输出数据输出至空域变换模块13，空域变换模块13将3D降噪的输出数据进行反哈尔变换，将数据恢复成图像数据原有的空域数据形式。

空域变换模块13将空域数据形式的3D降噪的输出数据再次输入哈尔变换模块11，哈尔变换模块11将其转换为哈尔域数据。

降噪模块12基于2D计算配置参数进行配置，以使降噪模块12能够进行2D降噪计算，该2D计算配置参数以及配置方式与2D降噪模式中类似，在此不再赘述。

降噪模块12基于2D计算配置参数对3D降噪计算的输出数据转换的哈尔域数据进行2D降噪计算，获得2D降噪计算的输出数据，并将该输出数据输出至空域变换模块13。

空域变换模块13上述降噪模块12传输的输出数据进行反哈尔变换，将数据恢复成图像数据原有的空域数据形式，从而获得最终的3D降噪计算结果。

本实施例在3D降噪计算的整个流程中基于配置参数的设置对降噪模块12进行2D/3D降噪计算切换，从而对该硬件复用图像降噪装置10中的硬件实现了复用，提高了资源的利用率。

综上所述，本申请实施例提供了一种硬件复用图像降噪装置，所述硬件复用图像降噪装置包括依次连接的哈尔变换模块、降噪模块和空域变换模块；所述哈尔变换模块用于将图像数据转换为哈尔域数据；所述降噪模块用于基于2D计算配置参数对所述哈尔域数据进行2D降噪计算，或基于3D计算配置参数对所述哈尔域数据进行3D降噪计算；所述空域变换模块，用于对所述2D降噪计算的输出数据进行反哈尔变换以获得空域数据形式的2D降噪结果，或将所述3D降噪计算的输出数据进行反哈尔变换后再次输入所述哈尔变换模块进行2D降噪计算，并对所述再次输入所述哈尔变换模块进行2D降噪计算的输出结果进行反哈尔变换以获得空域数据形式的3D降噪结果。

在上述实现方式中，降噪模块能够基于2D计算配置参数和3D计算配置参数在2D降噪计算和3D降噪计算中进行切换，从而使降噪模块以及硬件复用图像降噪装置的其他模块针对2D降噪功能和3D降噪功能能够进行硬件复用，避免了同时需要2D与3D降噪模块带来资源冗余，提高了资源的利用率，同时所有的运算在模块内部进行，避免数据读取带来的延时及资源消耗。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种硬件复用图像降噪装置，其特征在于，所述硬件复用图像降噪装置包括依次连接的哈尔变换模块、降噪模块和空域变换模块；

所述哈尔变换模块用于将图像数据转换为哈尔域数据；

所述降噪模块用于基于2D计算配置参数对所述哈尔域数据进行2D降噪计算，或基于3D计算配置参数对所述哈尔域数据进行3D降噪计算；

所述空域变换模块，用于对所述2D降噪计算的输出数据进行反哈尔变换以获得空域数据形式的2D降噪结果，或将所述3D降噪计算的输出数据进行反哈尔变换后再次输入所述哈尔变换模块进行2D降噪计算，并对所述再次输入所述哈尔变换模块进行2D降噪计算的输出结果进行反哈尔变换以获得空域数据形式的3D降噪结果。

2.根据权利要求1所述的装置，其特征在于，所述基于2D计算配置参数对所述哈尔域数据进行2D降噪计算，包括：

所述降噪模块基于所述2D计算配置参数进行配置；

所述降噪模块基于所述哈尔域数据计算第一alpha值；

所述降噪模块基于所述第一alpha值对所述哈尔域数据进行2D降噪计算，以获得所述2D降噪计算的输出数据。

3.根据权利要求2所述的装置，其特征在于，所述降噪模块基于所述哈尔域数据计算第一alpha值，包括：

所述降噪模块将所述哈尔域数据代入alpha通道计算公式，以获得所述第一alpha值；

所述alpha通道计算公式包括：

alpha₁为所述第一alpha值，

为所述哈尔域数据，Str₁、Kp₁和Bg₁为预设的所述2D计算配置参数。

4.根据权利要求3所述的装置，其特征在于，所述降噪模块基于所述第一alpha值对所述哈尔域数据进行2D降噪计算，包括：

所述降噪模块将所述第一alpha值和所述哈尔域数据代入2D降噪变换公式，以获得所述2D降噪计算的输出数据；

所述2D降噪变换公式包括：

为所述2D降噪计算的输出数据，

为预配置的权重参数表。

5.根据权利要求1所述的装置，其特征在于，所述基于3D计算配置参数对所述哈尔域数据进行3D降噪计算，包括：

所述降噪模块基于所述3D计算配置参数进行配置；

所述降噪模块确定第一指定帧和第二指定帧的图像数据转换为哈尔域数据后的图像差值，所述第一指定帧的帧序数小于所述第二指定帧；

所述降噪模块基于所述图像差值计算第二alpha值；

所述降噪模块基于所述第二alpha值、所述图像差值和所述第二指定帧的哈尔域数据进行3D降噪计算。

6.根据权利要求5所述的装置，其特征在于，所述降噪模块基于所述图像差值计算第二alpha值，包括：

所述降噪模块将所述哈尔域数据代入alpha通道计算公式，以获得所述第二alpha值；

所述alpha通道计算公式包括：

alpha₂为所述第二alpha值，

为所述图像差值，Str₂、Kp₂和Bg₂为预设的所述3D计算配置参数。

7.根据权利要求6所述的装置，其特征在于，所述降噪模块基于所述第二alpha值、所述图像差值和所述第二指定帧的哈尔域数据进行3D降噪计算，包括：

所述降噪模块将所述第二alpha值和所述图像差值代入3D降噪变换公式，以获得中间结果；

所述降噪模块将所述中间结果和所述第二指定帧的哈尔域数据代入3D降噪融合公式，以获得所述3D降噪计算的输出数据；

所述3D降噪变换公式包括：

为所述中间结果，

为预配置的权重参数表，所述3D降噪融合公式包括：

为所述3D降噪计算的输出数据，b为融合比例参数，Din₃为所述中间结果，D₀为所述第二指定帧的哈尔域数据。

8.根据权利要求7所述的装置，其特征在于，所述再次输入所述哈尔变换模块进行2D降噪计算，包括：

所述哈尔变换模块将所述3D降噪计算的输出数据转换为哈尔域数据；

所述降噪模块基于所述2D计算配置参数进行配置；

通过所述降噪模块基于所述2D计算配置参数对所述3D降噪计算的输出数据转换的哈尔域数据进行2D降噪计算。

Images