CN114298936A - 一种降噪与锐化联合处理方法及装置 - Google Patents

Abstract

本发明适用于图像降噪技术领域，提供了一种降噪与锐化联合处理方法及装置，包括：图像信息导入、图像信息处理，将图像降噪和锐化都采用处理窗口大小动态可变的方式，并且尽量采用乘加操作或者加操作来完成需要的处理；数据处理，将步骤2中锐化和降噪具有相同或者相似的操作抽取出来，统一进行处理，进行资源的共享与动态分配；降噪处理，根据上述步骤中计算的边缘信息进行降噪处理，并将处理好的数据输出或者进行锐化处理；S5，锐化处理。通过将图像降噪和锐化二者的处理方法进行统一，使用相同或者相近的算子进行处理，并且在实现装置上可以动态分配这些处理资源，将会在减少成本的情况下，极大增强特殊场景的图像降噪或者锐化处理能力。

Description

一种降噪与锐化联合处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种降噪与锐化联合处理方法及装置。

背景技术

图像的降噪与锐化是图像处理中最常用到的两项技术。通常的做法是分两个单独的模块进行处理。

现有技术了一种图像降噪方法(CN110097511B)，该发明公开了一种图像降噪方法，包括如下步骤：S01：在待去噪图像中选取以降噪点所在的数据块为中心的A个数据块；S02：获取降噪点的纹理强度值；S03：根据上述纹理强度值确定降噪点的降噪参数h；S04：根据降噪参数h分别确定A1个周围数据块的降噪权重W(k)；k表示第k个周围数据块；S05：根据降噪权重计算所述降噪点降噪之后的像素值并进行输出；S06：按照逐行逐列的选择方式，依次选择降噪点，并重复上述步骤S01-S05，对带降噪图像中的所有像素单元进行降噪，并输出降噪之后的图像。本发明提供的一种图像降噪方法，在保持图像细节的基础上，能够有效降低图像噪声，改善图像的图像质量；以及图像锐化方法及装置(CN109934785B)，该发明涉及图像处理技术领域，提供一种图像锐化方法及装置，其中，所述方法包括：依据图像像素均值和目标像素均值，得到目标像素点基于像素值的第一锐化强度；依据图像梯度值和目标梯度值，得到目标像素点基于梯度值的第二锐化强度；依据第一锐化强度和第二锐化强度对目标像素点的像素值进行调整，得到目标像素点对应的目标像素值；将每个目标像素点的像素值更新为每个目标像素点对应的目标像素值，生成锐化图像。与现有技术相比，本发明提供的图像锐化方法及装置解决现有技术中经过锐化后的图像在强边缘出现锯齿，稍弱边缘锐化强度不够的问题；这两个技术方案均为分别进行的降噪与锐化。

但在实际使用过程中，对降噪和锐化的强度需求是随着场景的变化而发生变化的。在噪声比较强的场景下，锐化容易受到噪声的干扰，并且会放大噪声，因此锐化的强度不能开启的太强；而因为噪声比较强，则需要降噪操作具有很强的压制噪声能力。而在噪声比较弱的场景下，降噪不需要太强，否则会损失细节信息，而提高锐化强度能够得到更好的视觉效果。降噪和锐化具有比较强的互补需求，如果能够将二者的处理方法进行统一，使用相同或者相近的算子进行处理，并且在实现装置上可以动态分配这些处理资源，那么将会在减少成本的情况下，极大增强特殊场景的图像降噪或者锐化处理能力。

发明内容

本发明实施例提供一种降噪与锐化联合处理方法及装置，旨在解决在噪声比较强的场景下，锐化容易受到噪声的干扰，并且会放大噪声，因此锐化的强度不能开启的太强的问题；而因为噪声比较强，则需要降噪操作具有很强的压制噪声能力。而在噪声比较弱的场景下，降噪不需要太强，否则会损失细节信息，而提高锐化强度能够得到更好的视觉效果。

本发明实施例是这样实现的，本发明还提供：一种降噪与锐化联合处理方法，包括：

S1，图像信息导入；

S2，图像信息处理，将图像降噪和锐化都采用处理窗口大小动态可变的方式，并且尽量采用乘加操作或者加操作来完成需要的处理；

S3，数据处理，将步骤S2中锐化和降噪具有相同或者相似的操作抽取出来，统一进行处理，进行资源的共享与动态分配；

S4，降噪处理，根据上述步骤中计算的边缘信息进行降噪处理，并将处理好的数据输出或者进行锐化处理；

S5，锐化处理，将步骤S4降噪处理后的图像，再次计算边缘信息，并根据所计算的边缘处理信息进行锐化处理，并将处理好的数据输出；或者直接根据步骤S2第一次所计算的边缘信息进行锐化处理，并将处理好的数据输出。

本发明的一种改进方案，所述步骤S2所计算的边缘信息由降噪处理和锐化处理共享。

本发明的又一种改进方案，所述步骤S1图像信息导入有三个来源，一个是外部输入，一个是来步骤S4降噪处理，还有一个来自步骤S5锐化处理。

本发明还包括一种降噪与锐化联合处理装置，包括：

行共享模块，所述行共享模块内部是可调整配置的行缓冲，所述行共享模块连接至降噪模块、锐化模块、边缘及方向计算模块，用于根据配置选择合适的来源；

边缘及方向计算模块，所述边缘及方向计算模块连接至降噪模块和锐化模块，所述边缘及方向计算模块根据送入的图像数据计算当前像素是否是边缘/平坦区域，边缘方向，以及置信度并将数据输送给降噪模块和锐化模块；

乘累加共享模块，所述乘累加共享模块连接至降噪模块和锐化模块，所述乘累加共享模块用于计算降噪或者锐化中的乘加操作；

降噪模块，所述降噪模块分别与行共享模块、边缘及方向计算模块和乘累加共享模块连接，所述降噪模块用于实现降噪算法独有的数据操作；

锐化模块，所述锐化模块分别于行共享模块、边缘及方向计算模块和乘累加共享模块连接，所述锐化模块用于实现锐化算法独有的数据操作；

互联模块，所述互联模块分别与降噪模块和锐化模块连接，所述互联模块用于实现降噪模块和锐化模块之间的互联以及输出数据。

本发明的一种改进方案,所述行共享模块数据输入有三个来源，一个是外部输入，一个是来自降噪模块，还有一个来自锐化模块。

本发明的又一种改进方案，所述行共享模块设置有两组，所述行共享模块可配置成1块独立的13行缓冲，也可以配置成2块3行+11行缓冲，或者5行+9行缓冲，或者7行+7行缓冲。

本发明的又一种改进方案，所述行共享模块的输出可以同时输出3～13行到降噪模块，3～13行到锐化模块，也可以将送给降噪模或者锐化模块的输出同时送给边缘及方向计算模块。

本发明的又一种改进方案，所述乘累加共享模块可配置成1个到多个3x1/3x3到13x1/13x13的乘累加操作。

本发明的有益效果：本发明在使用时，通过将图像降噪和锐化二者的处理方法进行统一，使用相同或者相近的算子进行处理，并且在实现装置上可以动态分配这些处理资源，将会在减少成本的情况下，极大增强特殊场景的图像降噪或者锐化处理能力，在不降低图像质量的前提下，可以有效减少装置的成本，同时针对于特定的场景可以得到更好的图像质量，比如对高噪声场景可以将全部资源用于降噪，噪声压制会更好；或者对于噪声非常低的场景，将全部资源用于锐化，锐化效果会更好。

附图说明

图1是一种降噪与锐化联合处理方法框图；

图2是一种降噪与锐化联合处理装置的结构原理框图；

图3是一种降噪与锐化联合处理装置的实施例原理框图一；

图4是一种降噪与锐化联合处理装置的实施例原理框图二；

图5是一种降噪与锐化联合处理装置的实施例原理框图三。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明能够解决不同场景下，降噪锐化需求强度不同，但是无法动态分配资源的问题。

实施例一

请参阅图1，一种降噪与锐化联合处理方法框图。

一种降噪与锐化联合处理方法，包括：

S1，图像信息导入，所述步骤S1图像信息导入有三个来源，一个是外部输入，一个是来步骤S4降噪处理，还有一个来自步骤S5锐化处理；

S2，图像信息处理，将图像降噪和锐化都采用处理窗口大小动态可变的方式，并且尽量采用乘加操作或者加操作来完成需要的处理，所述步骤S2所计算的边缘信息由降噪处理和锐化处理共享，其中图像降噪和锐化具体做法如下：

对于降噪，从左到右，从上到下依次处理图像的每个像素。对于当前像素点：

1)计算像素点位置及其邻域(1x1～9x9)的边缘信息。也可不同时计算邻域边缘信息，而只计算像素点位置的边缘信息，然后使用行数据缓冲Buffer来存储获得邻域边缘信息。边缘信息包括该点是否是边缘及其置信度，边缘方向(4～8个方向)以及该方向的置信度。

2)如果当前点是边缘，且在某一方向上的置信度大于某一阈值，则在该方向上选择临近点作为参考点；判断该临近点仍然为边缘，且在某一方向上的置信度大于某一阈值，则选择该方向上的临近点作为参考点；重复此操作直至临近点不在是边缘或者超出了固定邻域。

3)如果当前点是平坦区域的点。则在周围8个方向搜索相邻的像素，如果像素仍然是平坦区域的点，则选择该相邻像素作为参考点；以仍然是平坦区域的点为起点，在周围8个方向搜索相邻的像素，如果像素仍然是平坦区域的，则选择该相邻像素作为参考点；重复操作直至临近点不是平坦区域或者超出了固定邻域。

4)将收集的参考依次与当前点进行比较，小于阈值1的赋予系数1.0；大于阈值2的赋予系数0.0；在阈值1与阈值2之间的做线性插值得到0.0～1.0之间的系数。参考点与系数进行累加求平均求得该点像素的值。

对于锐化，从左到右，从上到下依次处理图像的每个像素。对于当前像素点：

1)计算像素点位置及其邻域(1x1～9x9)的边缘信息。也可不同时计算邻域边缘信息，而只计算像素点位置的边缘信息，然后使用行数据缓冲Buffer来存储获得邻域边缘信息。边缘信息包括该点是否是边缘，边缘方向(4～8个方向)以及该方向的置信度。

2)求得高频(1x1)，次高频(3x3),中频(5x5),次中频(7x7),低频(9x9)，次低频(11x11)的不同频率分量。根据场景的需要选择调节各频率分量的成分，具体操作是将各频率成分乘以一个可以配置的系数。

3)如果当前像素点是边缘，且置信度大于某一阈值，则垂直于边缘方向，求得高频(尺度为1个像素)，次高频(尺度为3个像素),中频(尺度为5个像素),次中频(尺度为7个像素),低频(尺度为9个像素)，此低频(尺度为11个像素)的不同频率分量。根据场景的需要选择调节各频率分量的成分，具体操作是将各频率成分乘以一个可以配置的系数。如果置信度小于某一阈值，频率分量不做调节。

4)根据当前像素的边缘置信度C，叠加2)与3)的结果，计算公式PIXEL＝RESULT3*C+(1-C)*RESULT2；

S3，数据处理，将步骤S2中锐化和降噪具有相同或者相似的操作抽取出来，其中相同或者相似的操作有：

1)尺寸大小可变的窗口(1x1到9x9),对应行Buffer从1行到11行；

2)都有求边缘方向的操作；

3)大多数操作都是乘累加或者加操作；因此可以将降噪和锐化统一处理来获得更小的成本，获得更高的性能；

将上述统操作统一进行处理，进行资源的共享与动态分配，

S4，降噪处理，根据上述步骤中计算的边缘信息进行降噪处理，并将处理好的数据输出或者进行锐化处理；

S5，锐化处理，将步骤S4降噪处理后的图像，再次计算边缘信息，并根据所计算的边缘处理信息进行锐化处理，并将处理好的数据输出；或者直接根据步骤S2第一次所计算的边缘信息进行锐化处理，并将处理好的数据输出。

实施例二

请参阅图2-3，图2是一种降噪与锐化联合处理装置的结构原理框图，图3是一种降噪与锐化联合处理装置的实施例原理框图一。

本发明还包括一种降噪与锐化联合处理装置,包括：

行共享模块LINE SHARE，所述行共享模块LINE SHARE内部是可调整配置的行缓冲，所述行共享模块LINE SHARE连接至降噪模块NR、锐化模块SHP、边缘及方向计算模块EDGE，用于根据配置选择合适的来源，行共享模块LINE SHARE里面有一定行数的行缓冲，比如13行缓冲；以13行行缓冲为例，因为N行缓冲实际上只需要N-1行的Line存储，所以这些行缓冲可以根据需要配置成1块独立的13行缓冲，也可以配置成2块3行+11行缓冲，或者5行+9行缓冲，或者7行+7行缓冲；行共享的输入有三个来源，一个是外部输入，一个是来自降噪模块NR，还有一个来自锐化模块SHP；可以根据配置选择合适的来源。行共享模块的输出可以同时输出3～13行到降噪模块NR，3～13行到锐化模块SHP，也可以将送给NR或者SHP的输出同时送给边缘及方向计算模块EDGE处理；

边缘及方向计算模块EDGE，所述边缘及方向计算模块EDGE连接至降噪模块NR和锐化模块SHP，所述边缘及方向计算模块EDGE根据送入的图像数据计算当前像素是否是边缘/平坦区域，边缘方向，以及置信度并将数据输送给降噪模块NR和锐化模块SHP用于后续处理；

乘累加共享模块MAC SHARE，所述乘累加共享模块MAC SHARE连接至降噪模块NR和锐化模块SHP，所述乘累加共享模块MAC SHARE用于计算降噪或者锐化中的乘加操作，乘累加共享模块MAC SHARE可以计算降噪或者锐化中的乘加操作，可以配置成1个到多个3x1/3x3到13x1/13x13的乘累加操作。根据不同的配置，降噪模块NR与锐化模块SHP可以使用其中1个到多个窗口(kernel)大小可变的3x1/3x3到13x1/13x13的乘累加操作；

降噪模块NR，所述降噪模块NR分别与行共享模块LINE SHARE、边缘及方向计算模块EDGE和乘累加共享模块MAC SHARE连接，所述降噪模块NR用于实现降噪算法独有的数据，所述降噪模块NR可以从行共享模块LINE SHARE、边缘及方向计算模块EDGE、乘累加共享模块MAC SHARE获取需要的数据，或者将数据送到行共享模块LINE SHARE、乘累加共享模块MAC SHARE进行处理；

锐化模块SHP，所述锐化模块SHP分别于行共享模块LINE SHARE、边缘及方向计算模块EDGE和乘累加共享模块MAC SHARE连接，所述锐化模块SHP用于实现锐化算法独有的数据操作，锐化模块SHP可以从行共享模块LINE SHARE、边缘及方向计算模块EDGE、乘累加共享模块MAC SHARE获取需要的数据，或者将数据送到行共享模块LINE SHARE、乘累加共享模块MAC SHARE进行处理；

互联模块CROSS BAR，所述互联模块CROSS BAR分别与降噪模块NR和锐化模块SHP连接，所述互联模块CROSS BAR用于实现降噪模块NR和锐化模块SHP之间的互联以及输出数据；互联模块CROSS BAR可以实现数据从降噪模块NR到锐化模块SHP再到输出或着数据从锐化模块SHP到降噪模块NR再到输出或着数据从降噪模块NR/锐化模块SHP直接到输出的数据流动方式。

综上所述，当需要进行锐化和降噪时，首先图像数据从外部输入到配置成两块7行+7行模式的行共享模块LINE SHARE中的其中一块，然后7行数据输出到降噪模块NR和边缘及方向计算模块EDGE，边缘及方向计算模块EDGE计算后输出到降噪模块NR与锐化模块SHP；乘累加共享模块MAC SHARE配置成支持多个3x1/3x3到7x1/7x7的乘加操作；降噪模块NR调用乘累加共享模块MAC SHARE中资源完成降噪操作；然后将结果送到行共享模块LINESHARE中的另一个7行缓冲，变成7行数据后送到锐化模块SHP；锐化模块SHP调用乘累加共享模块MAC SHARE中3x1/3x3到7x1/7x7乘加操作进行锐化处理，并最后将结果通过互联模块CROSS BAR输出。

实施例二

请参阅图2和4，图2是一种降噪与锐化联合处理装置的结构原理框图，图4是一种降噪与锐化联合处理装置的实施例原理框图二。

在只需要降噪的情况下，将行共享模块LINE SHARE配置成一块13行的Line缓冲，乘累加共享模块MAC SHARE配置成3x1/3x3到13x1/13x13模式；数据从外部送入行共享模块LINE SHARE，转成13行输出同时送到边缘及方向计算模块EDGE与降噪模块NR；边缘及方向计算模块EDGE求得边缘信息后送入降噪模块NR；降噪模块NR调用乘累加共享模块MACSHARE中乘累加资源进行强降噪操作后将最终结果通过互联模块CROSS BAR输出。

实施例三

请参阅图2和5，图2是一种降噪与锐化联合处理装置的结构原理框图，图5是一种降噪与锐化联合处理装置的实施例原理框图三。

综上所述，在只需要锐化的情况下，将行共享模块LINE SHARE配置成一块13行的Line缓冲，乘累加共享模块MAC SHARE配置成3x1/3x3到13x1/13x13模式；数据从外部送入行共享模块LINE SHARE，转成13行输出同时送到边缘及方向计算模块EDGE与锐化模块SHP；边缘及方向计算模块EDGE求得边缘信息后送入锐化模块SHP；锐化模块SHP调用乘累加共享模块MAC SHARE中乘累加资源进行锐化操作后将最终结果通过互联模块CROSS BAR输出。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种降噪与锐化联合处理方法，其特征在于，包括：

S1，图像信息导入；

S2，图像信息处理，将图像降噪和锐化都采用处理窗口大小动态可变的方式，并且采用乘加操作或者加操作来完成需要的处理；

S3，数据处理，将步骤S2中锐化和降噪具有相同的操作抽取出来，统一进行处理，进行资源的共享与动态分配；

S4，降噪处理，根据上述步骤中计算的边缘信息进行降噪处理，并将处理好的数据输出或者进行锐化处理；

S5，锐化处理，将步骤S4降噪处理后的图像，再次计算边缘信息，并根据所计算的边缘处理信息进行锐化处理，并将处理好的数据输出；或者直接根据步骤S2第一次所计算的边缘信息进行锐化处理，并将处理好的数据输出。

2.如权利要求1所述的一种降噪与锐化联合处理方法，其特征在于，所述步骤S2所计算的边缘信息由降噪处理和锐化处理共享。

3.如权利要求1所述的一种降噪与锐化联合处理方法，其特征在于，所述步骤S1图像信息导入有三个来源，一个是外部输入，一个是来步骤S4降噪处理，还有一个来自步骤S5锐化处理。

4.一种降噪与锐化联合处理装置，其特征在于，包括：

行共享模块，所述行共享模块内部是可调整配置的行缓冲，所述行共享模块连接至降噪模块、锐化模块、边缘及方向计算模块，用于根据配置选择合适的来源；

边缘及方向计算模块，所述边缘及方向计算模块连接至降噪模块和锐化模块，所述边缘及方向计算模块根据送入的图像数据计算当前像素是否是边缘/平坦区域，边缘方向，以及置信度并将数据输送给降噪模块和锐化模块；

乘累加共享模块，所述乘累加共享模块连接至降噪模块和锐化模块，所述乘累加共享模块用于计算降噪或者锐化中的乘加操作；

降噪模块，所述降噪模块分别与行共享模块、边缘及方向计算模块和乘累加共享模块连接，所述降噪模块用于实现降噪算法独有的数据操作；

锐化模块，所述锐化模块分别于行共享模块、边缘及方向计算模块和乘累加共享模块连接，所述锐化模块用于实现锐化算法独有的数据操作；

互联模块，所述互联模块分别与降噪模块和锐化模块连接，所述互联模块用于实现降噪模块和锐化模块之间的互联以及输出数据。

5.如权利要求4所述的一种降噪与锐化联合处理装置，其特征在于，包括：所述行共享模块数据输入有三个来源，一个是外部输入，一个是来自降噪模块，还有一个来自锐化模块。

6.如权利要求4所述的一种降噪与锐化联合处理装置，其特征在于，包括：所述行共享模块设置有两组，所述行共享模块可配置成1块独立的13行缓冲，也可配置成2块3行+11行缓冲，或者5行+9行缓冲，或者7行+7行缓冲。

7.如权利要求4所述的一种降噪与锐化联合处理装置，其特征在于，包括：所述行共享模块的输出可同时输出3～13行到降噪模块，3～13行到锐化模块，也可送给降噪模或者锐化模块的输出同时送给边缘及方向计算模块。

8.如权利要求4所述的一种降噪与锐化联合处理装置，其特征在于，所述乘累加共享模块可配置成1个到多个3x1/3x3到13x1/13x13的乘累加操作。

Images