CN114519675A

CN114519675A - 图像处理方法、装置、电子设备及可读存储介质

Info

Publication number: CN114519675A
Application number: CN202210072126.4A
Authority: CN
Inventors: 何艺璇
Original assignee: Bigo Technology Pte Ltd
Current assignee: Bigo Technology Pte Ltd
Priority date: 2022-01-21
Filing date: 2022-01-21
Publication date: 2022-05-20

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，该方法包括：获取待处理的原始图像；根据所述原始图像的梯度信息，获得所述原始图像中像素分别对应的权重参数；基于第一预设去噪算法对所述原始图像中的纹理平滑区域进行第一去噪处理，获得第一图像；基于所述权重参数和第二预设去噪算法对所述原始图像进行第二去噪处理，获得第二图像，其中，所述第二预设去噪算法用于去除所述原始图像中纹理边缘区域的噪点，并对处于纹理边缘区域的像素进行细节增强处理；根据所述第一图像和所述第二图像，获得目标图像。该方法可以在较小计算复杂度的前提下，准确的提升图像清晰度，避免可能出现的将原始图像中噪声放大及出现白边的问题。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本公开实施例涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

通常，电子设备在获取到图像或者视频之后，往往会对图像或视频中的视频帧进行图像处理，以提高图像或视频画面的清晰度。

目前用来提升图像清晰度的主流方法有：1、基于超分辨率算法来增强图像细节的方法；2、基于深度学习的图像重建方法；3、基于图像锐化算法的方法。

上述方法1以及方法2存在计算复杂度高以及耗时较长的问题，因此并不适用于在移动终端设备中使用；虽然上述方法3的计算开销相对前两种方法要小，但是，该方法往往基于相同的处理规则对原始图像中的像素进行锐化处理，因此，存在可能将原始图像中噪声放大以及锐化过度导致出现白边的问题。

发明内容

本公开的一个目的是提供一种低复杂度的图像处理方法，以准确的提升图像清晰度，避免可能出现的将原始图像中噪声放大及出现白边的问题。

本公开的第一方面，提供了一种图像处理方法，所述方法包括：

获取待处理的原始图像；

根据所述原始图像的梯度信息，获得所述原始图像中像素分别对应的权重参数；

基于第一预设去噪算法对所述原始图像中的纹理平滑区域进行第一去噪处理，获得第一图像；

基于所述权重参数和第二预设去噪算法对所述原始图像进行第二去噪处理，获得第二图像，其中，所述第二预设去噪算法用于去除所述原始图像中纹理边缘区域的噪点，并对处于所述纹理边缘区域的像素进行细节增强处理；

根据所述第一图像和所述第二图像，获得目标图像。

本公开的第二方面，提供了一种图像处理装置，所述装置包括：

原始图像获取模块，用于获取待处理的原始图像；

权重参数确定模块，用于根据所述原始图像的梯度信息，获得所述原始图像中像素分别对应的权重参数；

第一图像获得模块，用于基于第一预设去噪算法对所述原始图像中的纹理平滑区域进行第一去噪处理，获得第一图像；

第二图像获得模块，用于基于所述权重参数和第二预设去噪算法对所述原始图像进行第二去噪处理，获得第二图像，其中，所述第二预设去噪算法用于去除所述原始图像中纹理边缘区域的噪点，并对处于所述纹理边缘区域的像素进行细节增强处理；

目标图像获得模块，用于根据所述第一图像和所述第二图像，获得目标图像。

本公开的第三方面，还提供了一种电子设备，包括：

存储器，用于存储可执行的指令；

处理器，用于根据所述指令的控制运行所述电子设备执行本公开的第一方面所述的方法。

本公开的第四方面，还提供了一种计算机可读存储介质的，所述计算机可读存储介质存储有可被计算机读取执行的计算机程序，所述计算机程序用于在被所述计算机读取运行时，执行根据本公开的第一方面所述的方法。

本公开实施例的一个有益效果在于，根据本公开的实施例，在获取到原始图像之后，通过先使用预设第一预设去噪算法对原始图像中的纹理平滑区域，即，边缘区域以外的区域中的像素进行去噪处理，获得第一图像；之后，通过根据原始图像的梯度信息确定的、与每一像素对应的权重参数，使用第二预设去噪算法自适应的对原始图像中纹理边缘区域处的像素进行去噪和细节增强处理，获得第二图像；之后，根据该第一图像和该第二图像，即可在较小计算复杂度的前提下，获得清晰度显著提升的目标图像。该方法通过根据原始图像的梯度信息，自适应的确定原始图像中每一像素的权重参数，可以解决相关技术中可能存在的将噪声放大及出现白边的问题。

通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。

图1是本公开实施例提供的图像处理方法的流程示意图。

图2是本公开实施例提供的Laplace模板示意图。

图3a是本公开实施例提供的原始图像示意图。

图3b是本公开实施例提供的目标图像示意图。

图4是本公开实施例提供的图像处理装置的原理框图。

图5是本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<方法实施例>

目前，在移动终端设备中，为了在尽可能小计算复杂度的前提下，有效去除图像中噪声，以提升图像清晰度，通常是使用基于图像锐化算法的方法对图像进行清晰度提升处理。然而，该类方法由于是基于统一的权重参数进行图像处理，例如，现有USM算法一般是基于：锐化后的图像＝原始图像+权重参数*(原始图像-模糊后的图像)这一思想来进行图像处理，这就导致在使用该类方法进行图像处理时，往往需要先进行调参处理，如果参数设置过小，则可能存在噪声去除不明显的问题，而如果参数设置过大，则可能导致噪声被放大，甚至因为强边缘区域处的像素在锐化后被过度锐化，从而导致出现白边的问题。

为解决上述问题，本公开的实施例提供一种图像处理方法，其可以不需要大量的计算量，从而可以在保障移动终端设备流畅度的前提下，有效提升图像清晰度，并避免可能出现的将原始图像中噪声放大以及出现白边的问题。请参看图1，其是本公开实施例提供的图像处理方法的流程示意图，该方法可以在电子设备中实施，该电子设备具体可以为移动终端设备，例如，可以为手机、平板电脑等设备；当然，该电子设备也可以为服务器，例如，可以为刀片服务器、机架式服务器等，此处不做特殊。

如图1所示，本实施例的方法可以包括如下步骤S1100-S1500，以下予以详细说明。

步骤S1100，获取待处理的原始图像。

原始图像，可以为图像，或者也可以为视频中的视频帧。例如，原始图像可以为直播场景下，主播端基于手机上的摄像头拍摄的直播画面，或者，也可以为观众端基于其手机查看的直播画面。

步骤S1200，根据所述原始图像的梯度信息，获得所述原始图像中像素分别对应的权重参数。

在本公开的实施例中，考虑到图像的梯度也可以用来表示边缘信息，因此，可以通过获取原始图像的梯度信息，并根据该梯度信息，自适应的确定原始图像中每一像素的权重参数，以在进行图像处理时，增强图像细节，降低噪声的影响，同时避免处于强纹理边缘区域中的像素被过度锐化而导致处理后图像出现白边的情况，以下对该如何根据原始图像的梯度信息，获取每一像素的权重参数进行详细说明。

在一个实施例中，所述根据原始图像的梯度信息，获得原始图像中像素分别对应的权重参数，包括：通过计算原始图像中全部像素的梯度值，获得第一梯度图像，其中，第一梯度图像中像素的值为原始图像中对应像素的梯度值；对第一梯度图像中的像素进行非极大值抑制处理，获得第二梯度图像，其中，该非极大值抑制处理用于确定位于原始图像的纹理边缘区域的像素；根据第二梯度图像，确定该权重参数。

在具体实施时，可以通过如图2所示的Laplace模板计算原始图像中全部像素的梯度值，当然，也可以使用其他模板或者其他算子，例如，sobel算子计算像素梯度值，此处不做特殊限定；

在该实施例中，所述对第一梯度图像中的像素进行非极大值抑制处理，包括：基于预设滑动窗口按照预设步长值从第一梯度图像中获取处理区域；将该处理区域中每一像素的梯度值与该处理区域的多个预设方向上的其他像素的梯度值进行比较；在该像素的梯度值为任一所述预设方向上的最大值的情况下，保留该像素的梯度值，以及，在该像素的梯度值在该多个预设方向上均不为最大值的情况下，将该像素的梯度值设置为预设梯度值。

在该实施例中，该多个预设方向可以为垂直方向、水平方向、正45度方向以及负45度方向中的至少一项；优选地，该多个预设方向可以包括上述所有方向。

在该实施例中，该预设梯度值可以为0，即，在当前处理区域中，若当前像素的梯度值在任意一预设方向上均不是最大值，则可以确定该像素没有处于原始图像的纹理边缘区域，可以将该像素的梯度值抑制为0。需要说明的是，在具体实施时，也可以通过将该预设梯度值设置为其他接近于0的数值以实现对处于非边缘区域的像素的梯度值进行抑制处理，例如，该预设梯度值也可以为0.01等数值，此处不做特殊限定。

在对第一梯度图像中的像素进行非极大值抑制处理，获得第二梯度图像之后，所述根据第二梯度图像，确定权重参数，包括：对第二梯度图像进行归一化处理，获得第三梯度图像；获取第三梯度图像中像素的梯度值的均值和标准差；根据该均值和该标准差，获得第一梯度阈值和第二梯度阈值；根据该第三梯度图像、该第一梯度阈值和该第二梯度阈值，确定权重参数。

具体地，在获得第二梯度图像之后，可以先对第二梯度图像进行归一化处理，以得到对应梯度值符合正态分布或者其他分布的第三梯度图像，并通过分分别计算第三梯度图像中梯度值的均值μ和标准差δ，并通过公式：第一梯度阈值th1＝μ-2δ获得第一梯度阈值，以及通过公式：第二梯度阈值th2＝μ+2δ获得第二梯度阈值，之后，即可根据该第一梯度阈值和该第二梯度阈值，求解原始图像中每一像素对应的权重参数。

在一个实施例中，所述根据第三梯度图像、第一梯度阈值和第二梯度阈值，确定权重参数，包括：在第三梯度图像中像素的梯度值小于第一梯度阈值的情况下，确定原始图像中的对应像素为噪点，并设置该噪点对应的权重参数为第一预设数值；在第三梯度图像中像素的梯度值不小于第一梯度阈值，并且小于第二梯度阈值的情况下，确定原始图像中的对应像素处于第一纹理边缘区域，并设置原始图像中该像素对应的权重参数为第二预设数值；在第三梯度图像中像素的梯度值不小于第二梯度阈值的情况下，确定原始图像中的对应像素处于第二纹理边缘区域，并设置原始图像中该像素对应的权重参数为第三预设数值；其中，该第二纹理边缘区域的纹理信息高于第一纹理边缘区域，第三预设数值小于第二预设数值并且大于第一预设数值。

在该实施例中，第一预设数值可以为0，或者为趋近于0的数值；第二预设数值可以为1.2，第三预设数值可以为0.8。

具体地，可以在第三梯度图像中对应像素p_cur的梯度值小于th1的情况下，确定原始图像中与该像素p_cur处于同一位置的像素p_ori可能为噪点，此时可以将其对应的权重参数设置为0或趋近于0的数值；而在对应像素p_cur的梯度值不小于th1以及小于th2的情况下，确定其对应像素p_ori为处于图像低纹理边缘区域的像素，此时可以将其对应的权重参数设置为1.2，以在进行图像处理时，通过提升其像素值实现适当锐化的效果；以及，在对应像素p_cur的梯度值不小于th2的情况下，确定其对应像素p_ori为处于图像高纹理边缘区域的像素，即该像素含有强边缘信息，此时可以将其对应的权重参数设置为0.8或者其他低于1并且大于0的数值，以在进行图像处理时，避免过于锐化导致处理后图像出现白边的情况。

在经过以上处理，通过原始图像的梯度信息，自适应的获得原始图像中每一像素分别对应的权重系数之后，即可根据该权重系数，对图像中的边缘区域进行去噪以及细节增强处理，以获得目标图像。

具体地，在以上步骤之后，执行步骤S1300，基于第一预设去噪算法对所述原始图像中的纹理平滑区域进行第一去噪处理，获得第一图像。

第一预设去噪算法，可以为双边滤波(BilateralFilters)算法，当然，其也可以为其他用于保持纹理边缘、降噪平滑的滤波算法，此处不做特殊限定，在该实施例中，以该第一预设去噪算法为双边滤波算法进行举例说明。

具体地，在获得原始图像中每一像素分别对应的权重参数之后，在进行具体去噪处理时，可以先基于双边滤波算法对原始图像进行一次噪声平滑，由于双边滤波算法在处理时，综合考虑了处理窗口中其他像素与中心像素的空间邻近信息及像素相似信息，因此，其在滤除噪声、平滑图像的同时，还可以保持图像的边缘信息。

基于双边滤波算法对原始图像进行去噪处理的具体处理可以使用以下公式表示：

w(i，j，k，l)＝d(i，j，k，l)*r(i，j，k，l)

其中，在进行滤波处理时，滤波窗口具体可以为3*3像素的窗口，在以上公式中，(k,l)表示窗口的中心坐标，(i,j)为窗口中的其他像素坐标，f(x,y)表示原始图像在像素(x,y)处的像素值，f’(x,y)为双边滤波结果后得到的图像，即，第一图像在对应像素(x,y)处的像素值，w(i,j,k,l)为像素(i,j)的权重系数，其由空间距离权重d(i,j,k,l)及像素相似权重r(i,j,k,l)共同决定，其中，σ_d以及σ_r的数值可以根据需要设置，例如，可以分别为5和20。

步骤S1400，基于该权重参数和第二预设去噪算法对该原始图像进行第二去噪处理，获得第二图像，其中，该第二预设去噪算法用于去除原始图像中纹理边缘区域的噪点，并对处于所述纹理边缘区域的像素进行细节增强处理。

在该实施例中，通过步骤S1200基于原始图像的梯度信息计算得到的每一像素分别对应的权重参数，可以基于该权重参数，自适应的对原始图像边缘区域中的像素进行细节增强以及噪声抑制处理，以消除边缘的杂散响应并细化边缘，其具体处理包括：使用预设模糊算法对原始图像进行模糊处理，获得第三图像，其中，该预设模糊算法包括高斯模糊算法、均值滤波算法中的任意一项；将原始图像与第三图像相减，获得第四图像；根据该权重参数，通过对第四图像中的对应像素进行加权处理，获得第二图像。

步骤S1500，根据第一图像和第二图像，获得目标图像。

在本公开实施例中，目标图像中像素的处理步骤具体可以使用以下公式表示：

l_output(x_，y)＝I₂(x,y)+a_x，y*(I(x,y)-I₁(x，y))

其中，I₂(x,y)、I(x,y)、I₁(x,y)分别表示第一图像、原始图像以及第三图像在像素(x,y)处的像素值，a_x,y表示像素(x,y)对应的权重参数。I_output(x,y)表示像素(x,y)在目标图像中的像素值。

具体地，在基于步骤S1300通过使用第一预设去噪算法，例如，双边滤波算法对原始图像中的平滑区域进行去噪处理得到第一图像；以及，通过步骤S1400基于每一像素的权重参数对原始图像中边缘区域的像素进行自适应去噪和细节增强处理得到第二图像之后，通过将该第一图像和第二图像中对应位置处的像素值相加，即可得到有效抑制原始图像中噪声并对细节进行增强处理后的目标图像。

请参看图3a以及图3b，其分别是本公开实施例提供的原始图像，以及基于本实施例方法对原始图像进行处理后得到的目标图像的示意图。如图3a以及图3b所示，基于本公开实施例提供的方法对原始图像进行处理后可以得到清晰度显著提升的目标图像。

综上所述，本公开的实施例提供的方法，在获取到原始图像之后，通过先使用预设第一预设去噪算法仅对原始图像中的纹理平滑区域，即，边缘区域以外的区域中的像素进行去噪和细节增强处理，获得第一图像；之后，通过根据原始图像的梯度信息，确定的与每一像素对应的权重参数，使用第二预设去噪算法自适应的对原始图像中纹理边缘区域处的像素进行去噪处理，获得第二图像；之后，根据该第一图像和该第二图像，即可在较小计算复杂度的前提，获得清晰度显著提升的目标图像。该方法通过根据原始图像的梯度信息，自适应的确定原始图像中每一像素的权重参数，一方面可以解决移动终端设备在基于复杂图像处理方法，例如，基于超分辨率算法或深度学习技术的方法进行图像处理时可能存在的因为计算复杂度高而导致耗时长以及功耗增加的问题，另一方面，还可以解决相关技术中可能存在的将噪声放大及出现白边的问题。

<装置实施例>

与上述方法实施例相对应，在本实施例中，还提供一种图像处理装置，如图4所述，该装置400可以包括原始图像获取模块410、权重参数确定模块420、第一图像获得模块430、第二图像获得模块440和目标图像获得模块430。

该原始图像获取模块410，用于获取待处理的原始图像；该权重参数确定模块420，用于根据所述原始图像的梯度信息，获得所述原始图像中像素分别对应的权重参数；该第一图像获得模块430，用于基于第一预设去噪算法对所述原始图像中的纹理平滑区域进行第一去噪处理，获得第一图像；该第二图像获得模块440，用于基于所述权重参数和第二预设去噪算法对所述原始图像进行第二去噪处理，获得第二图像，其中，所述第二预设去噪算法用于去除所述原始图像中纹理边缘区域的噪点，并对处于所述纹理边缘区域的像素进行细节增强处理；该目标图像获得模块450，用于根据所述第一图像和所述第二图像，获得目标图像。

<设备实施例>

在本实施例中，还提供一种电子设备，如图5所述，该电子设备500可以包括处理器520和存储器510，该存储器510用于存储可执行的指令；该处理器520用于根据指令的控制运行电子设备以执行根据本公开任意实施例的方法。

<计算机可读存储介质实施例>

本实施例提供了一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时，执行本说明书任意方法实施例中描述的方法。

附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims

1.一种图像处理方法，其特征在于，包括：

获取待处理的原始图像；

根据所述第一图像和所述第二图像，获得目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像的梯度信息，确定所述原始图像中像素分别对应的权重参数，包括：

通过计算所述原始图像中全部像素的梯度值，获得第一梯度图像，其中，所述第一梯度图像中像素的值为所述原始图像中对应像素的梯度值；

对所述第一梯度图像中的像素进行非极大值抑制处理，获得第二梯度图像，其中，所述非极大值抑制处理用于确定位于所述原始图像的纹理边缘区域的像素；

根据所述第二梯度图像，确定所述权重参数。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一梯度图像中的像素进行非极大值抑制处理，包括：

基于预设滑动窗口按照预设步长值从所述第一梯度图像中获取处理区域；

将所述处理区域中每一像素的梯度值与所述处理区域的多个预设方向上的其他像素的梯度值进行比较；

在所述像素的梯度值为任一所述预设方向上的最大值的情况下，保留所述像素的梯度值，以及，在所述像素的梯度值在所述多个预设方向上均不为最大值的情况下，将所述像素的梯度值设置为预设梯度值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第二梯度图像，确定所述权重参数，包括：

对所述第二梯度图像进行归一化处理，获得第三梯度图像；

获取所述第三梯度图像中像素的梯度值的均值和标准差；

根据所述均值和所述标准差，获得第一梯度阈值和第二梯度阈值；

根据所述第三梯度图像、所述第一梯度阈值和所述第二梯度阈值，确定所述权重参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第三梯度图像、所述第一梯度阈值和所述第二梯度阈值，确定所述权重参数，包括：

在所述第三梯度图像中像素的梯度值小于所述第一梯度阈值的情况下，确定所述原始图像中的对应像素为噪点，并设置所述噪点对应的权重参数为第一预设数值；

在所述第三梯度图像中像素的梯度值不小于所述第一梯度阈值，并且小于所述第二梯度阈值的情况下，确定所述原始图像中的对应像素处于第一纹理边缘区域，并设置所述原始图像中所述像素对应的权重参数为第二预设数值；

在所述第三梯度图像中像素的梯度值不小于所述第二梯度阈值的情况下，确定所述原始图像中的对应像素处于第二纹理边缘区域，并设置所述原始图像中所述像素对应的权重参数为第三预设数值；

其中，所述第二纹理边缘区域的纹理信息高于所述第一纹理边缘区域，所述第三预设数值小于所述第二预设数值并且大于所述第一预设数值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述权重参数和第二预设去噪算法对所述原始图像进行第二去噪处理，获得第二图像，包括：

使用预设模糊算法对所述原始图像进行模糊处理，获得第三图像，其中，所述预设模糊算法包括高斯模糊算法、均值滤波算法中的任意一项；

将所述原始图像与所述第三图像相减，获得第四图像；

所述权重参数，通过对所述第四图像中的对应像素进行加权处理，获得所述第二图像。

7.根据权利要求3所述的方法，其特征在于，所述多个预设方向包括垂直方向、水平方向、正45度方向以及负45度方向中的至少一项。

8.一种图像处理装置，其特征在于，包括：

原始图像获取模块，用于获取待处理的原始图像；

9.一种电子设备，其特征在于，包括：

存储器，用于存储可执行的指令；

处理器，用于根据所述指令的控制运行所述电子设备执行如权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可被计算机读取执行的计算机程序，所述计算机程序用于在被所述计算机读取运行时，执行根据权利要求1-7中任意一项所述的方法。