CN113781357A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113781357A
CN113781357A CN202111120118.4A CN202111120118A CN113781357A CN 113781357 A CN113781357 A CN 113781357A CN 202111120118 A CN202111120118 A CN 202111120118A CN 113781357 A CN113781357 A CN 113781357A
Authority
CN
China
Prior art keywords
frequency domain
reference frequency
image
pixel point
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111120118.4A
Other languages
English (en)
Inventor
黄佳骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111120118.4A priority Critical patent/CN113781357A/zh
Publication of CN113781357A publication Critical patent/CN113781357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质，该图像处理方法包括：将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理得到各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到各非参考频域图像块；根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数，利用各修正参数调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；按照调整后的融合权重进行融合处理，获得各待处理图像共同对应的去噪图像。该方法可以提升图像去噪效果。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着电子设备技术的发展，人们对图像的清晰度要求越来越高，图像去噪技术成为计算机视觉领域的重点研究方向，出现了例如空间域融合去噪、变换域融合去噪等多种图像去噪技术。
但是，传统的图像去噪技术存在消噪效果不均匀的问题。例如，当拍摄场景中存在运动对象时，拍摄图像中的运动区域的噪声强度会发生突兀的跳变，而传统的图像去噪技术不能够消除运动区域的大部分噪声，导致运动区域和静止区域的噪声存在明显差异，去噪效果差。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提升图像去噪效果。
一种图像处理方法，包括：
获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像；
将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块；
根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数；
利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；参考频域像素点相应的非参考频域像素点是与参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点；
按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像。
一种图像处理装置，包括：
图像获取模块，用于获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像；
频域变换处理模块，用于将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块；
修正参数确定模块，用于根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数；
融合权重调整模块，用于利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；参考频域像素点相应的非参考频域像素点是与参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点；
融合去噪模块，用于按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像。
一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法的步骤。
上述图像处理方法、装置、电子设备和计算机可读存储介质，将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块，根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像，这样，由于不同频段对应的图像内容存在差异，而对不同频段的参考频域像素点采用适用于该频段的去噪强度，一方面能够达到图像细节与去噪效果的均衡，另一方面能够消除噪声分布差异，从而提升去噪效果，并且对于运动区域来说，能够避免出现运动模糊。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程示意图；
图2为一个实施例中确定与参考图像块相匹配的非参考图像块的示意图；
图3为另一个实施例中确定与参考图像块相匹配的非参考图像块的示意图；
图4为一个实施例中频域图像块的频段分布示意图；
图5为一个实施例中融合处理的示意图；
图6为一个实施例中图像处理方法的流程示意图；
图7为另一个实施例中图像处理方法的流程示意图；
图8为另一个实施例中图像处理方法的流程示意图；
图9为另一个实施例中图像处理方法的流程示意图；
图10为另一个实施例中图像处理方法的流程示意图；
图11为一个实施例中去噪效果示意图；
图12为一个实施例中图像处理装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像。
其中，待处理图像是通过本申请实施例提供的方法进行处理的图像，具体是对多于一张待处理图像进行融合去噪处理，以获得多于一张待处理图像共同对应的去噪图像。
在一个可能的实施方式中，终端对现实场景中的目标对象进行拍摄，获得多于一张待处理图像，通过对多于一张待处理图像进行融合去噪处理，得到本次拍摄的输出图像。具体地，终端向目标对象连续发射多于一条光斑信号，接收目标对象反射的多于一条光斑信号，根据目标对象反射的多于一条光斑信号生成多于一张传感器成像，终端可以将传感器成像作为待处理图像，也可以将由传感器成像至最终的输出图像之间任一图像处理节点所生成的图像作为待处理图像。目标对象的数量可以是至少一个，目标对象可以是静态对象，也可以是运动对象。在另一些实施例中，终端从本机存储中读取多于一张待处理图像，或者从视频中连续抽取多于一张视频帧作为待处理图像，等等。
在一个可能的实施方式中，终端从多于一张待处理图像中确定参考图像，将多于一张待处理图像中除了参考图像以外的图像作为非参考图像。参考图像的数量可以为一个，非参考图像的数量可以为一个或者至少两个。
在一个可能的实施方式中，终端也可按照主体清晰度挑选参考图像。例如，终端识别每张待处理图像中主体的清晰度，将最高清晰度对应的待处理图像作为参考图像。在另一些实施例中，终端也可从图像亮度和锐度等维度挑选参考图像。例如，终端对每张待处理图像计算其与其它图像之间的亮度匹配度，将最大亮度匹配度对应的待处理图像作为参考图像，当存在至少两个最大亮度匹配度对应的待处理图像时，将至少两个最大亮度匹配度对应的待处理图像中，锐度最高的待处理图像作为参考图像。
在一个可能的实施方式中，终端以参考图像为基础，对参考图像与非参考图像进行图像对齐处理，例如局部对齐处理和/或全局对齐处理。图像对齐处理用于将多于一张图像按照图像内容进行对齐。终端可采用通用的图像对齐策略对参考图像与非参考图像进行图像对齐处理。
步骤104，将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块。
其中，图像块是多于一个像素点的集合。频域变换处理是将图像块由时域变换至频域。频域图像块是对时域的图像块进行频域变换处理后得到的结果。频域像素点是频域图像块中的像素点。
在一个可能的实施方式中，终端将参考图像和非参考图像分别划分为多于一个图像块。参考图像的图像块与非参考图像的图像块的像素点数量保持一致，例如参考图像的图像块与非参考图像的图像块的像素点数量均可以是8*8像素点。
在一个可能的实施方式中，终端对参考图像中的每个参考图像块进行频域变换处理，得到每个参考图像块对应的参考频域图像块。参考图像块与其对应的参考频域图像块的像素点数量保持一致，例如参考图像块为8*8像素点，其对应的参考频域图像块也为8*8参考频域像素点。
在一个可能的实施方式中，终端从非参考图像中确定与各参考图像块相匹配的非参考图像块。
在一个可能的实施方式中，对于参考图像中的每个参考图像块，终端从非参考图像中确定与参考图像块在位置上相匹配的非参考图像块，作为与参考图像块相匹配的非参考图像块。可以理解，终端将参考图像和非参考图像划分为数量相同、且像素点数量一致的图像块，参考图像与非参考图像的图像块位置相对应。举例说明，参照图2，图2示出了一个实施例中从非参考图像中确定与参考图像块相匹配的非参考图像块的示意图。可以看到，终端将参考图像A1与非参考图像A2、A3划分为4*4图像块，对于参考图像A1中的图像块202，其在非参考图像A2对应图像块204，其在非参考图像A3对应图像块206。
在一个可能的实施方式中，对于参考图像中的每个参考图像块，终端从非参考图像中确定与参考图像块在图像内容上相匹配的非参考图像块，作为与参考图像块相匹配的非参考图像块。终端可采用通用的图像匹配算法，从非参考图像中确定与参考图像块在图像内容上相匹配的非参考图像块。举例说明，参照图3，图3示出了另一个实施例中从非参考图像中确定与参考图像块相匹配的非参考图像块的示意图。可以看到，对于参考图像A1中的图像块302，其在非参考图像A2对应图像块304，其在非参考图像A3对应图像块306，图像块302、图像块304和图像块306的图像内容相匹配。
在一个可能的实施方式中，终端对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到每个非参考图像块对应的非参考频域图像块。非参考图像块与其对应的非参考频域图像块的像素点数量保持一致，例如非参考图像块为8*8像素点，其对应的非参考频域图像块也为8*8非参考频域像素点。
在一个可能的实施方式中，终端将参考图像和非参考图像分别划分为多于一个图像块后，对于参考图像中的其中一个参考图像块，从非参考图像中确定与该参考图像块相匹配的非参考图像块，将该参考图像块以及相匹配的非参考图像块罗列成一个批次，用于后续融合处理成一个去噪图像块。当逐个批次处理完成时，得到参考图像与非参考图像共同对应的去噪图像。
在一个可能的实施方式中，终端可采用通用的频域变换策略进行频域变换处理，例如离散余弦变换处理(DCT,Discrete Cosine Transform)、快速傅立叶变换处理(FFT,fast Fourier transform)、小波变换处理(WT,wavelet transform)等。
步骤106，根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数。
其中，频段是指频域中的频率范围。修正参数用于修正参考频域像素点与非参考频域像素点之间的融合权重，由于融合权重与融合强度呈正比，而融合强度影响去噪强度，因此修正参数实际上是修正参考频域像素点与非参考频域像素点之间的融合强度，进而影响不同频段的去噪强度。
在一个可能的实施方式中，终端对时域的图像块进行频域变换处理得到频域图像块，频域图像块中各频段具有对应的分布区域。以通过离散余弦变换处理得到的频域图像块为例，参照图4，可以看到，最低频集中在频域图像块的左上角区域，最高频集中在频域图像块的右下角区域，因此终端可根据各参考频域像素点在参考频域图像块中的位置信息，确定各参考频域像素点分别对应的频段。
本申请中，考虑到不同频段对应的图像内容存在差异，例如低频段的图像内容一般为平滑的色块、不明显的噪声等，中频段的图像内容一般为过渡线条、轮廓、较为明显的噪声等，高频段的图像内容一般为精细线条、纹理、明显的噪声等，若对所有频段采用相同的去噪强度，去噪强度过低，则高频段的噪声可能会存在残留，去噪强度过高，则可能会损失图像细节，并且，用于融合去噪的图像块之间的图像内容可能会存在些许差异，而当图像块中存在运动区域时，过高的融合强度可能会出现运动模糊。因此，本申请中根据各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数，以利用各参考频域像素点分别对应的修正参数影响不同频段的去噪强度。
在一个可能的实施方式中，终端可预先划分多个频段，例如预定最低频段、预定低频段、预定中低频段、预定中高频段和预定高频段等，针对每个频段对应设置修正参数。可选地，终端也可针对每个频段直接设置对应的融合权重。可以理解，每个频段对应的修正参数或者融合权重可根据实际的应用场景进行调试，本申请不做具体限定。
在一个可能的实施方式中，对于预定高频段，该频段仅包含高频的噪声，用于融合去噪的至少两个像素点可以全部融合，以提高去噪强度。对于预定中高频段，该频段不仅包含中高频的噪声，还包含一些中高频细节以及运动区域，融合强度可以适度减弱，以避免损失细节和出现运动模糊。对于预定中低频段，该频段包含更多的中低频细节以及运动区域，融合强度可以进一步减弱，以避免损失细节和出现运动模糊。对于预定低频段，该频段包含低频细节，以及低频的亮度噪声和彩色噪声，融合强度可以适度增强，以压制噪声。对于预定最低频段，该频段是大部分能量的集中区域，细节很少，不必担心细节损失，融合强度可以进一步增强。
步骤108，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；参考频域像素点相应的非参考频域像素点是与参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点。
在一个可能的实施方式中，终端将参考图像和非参考图像分别划分为多于一个图像块后，对于参考图像中的其中一个参考图像块，从非参考图像中确定与该参考图像块相匹配的非参考图像块，对参考图像块和相匹配的非参考图像块分别进行频域变换处理，得到参考图像对应的参考频域图像块，以及非参考图像块对应的非参考频域图像块，参考频域图像块与非参考频域图像块也存在匹配关系。
在一个可能的实施方式中，对于参考频域图像块中的每个参考频域像素点，终端获取参考频域像素点在参考频域图像块中的位置信息，按照位置信息，从与参考频域图像块相匹配的非参考频域图像块中，确定与参考频域像素点相对应的非参考频域像素点。
其中，位置信息可以是参考频域像素点在参考频域图像块中的相对位置，例如参考频域像素点在参考频域图像块中的相对坐标等。
在一个可能的实施方式中，参考频域图像块中的每个参考频域像素点，与参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点之间存在对应关系。举例说明，参照图5，图5示出了一个实施例中对参考频域图像块与相匹配的非参考频域图像块进行融合处理的示意图。可以看到，参考频域图像块a1为8*8参考频域像素点，非参考频域图像块a2、a3也为8*8非参考频域像素点，对于参考频域图像块a1中的参考频域像素点502，其在非参考频域图像块a2对应非参考频域像素点504，其在非参考频域图像块a3对应非参考频域像素点506。
在一个可能的实施方式中，对于参考频域图像块中的每个参考频域像素点，终端确定与该参考频域图像块在位置上相匹配的非参考频域图像块中相应的非参考频域像素点，对该参考频域像素点与相应的非参考频域像素点进行融合处理，得到融合频域像素点。举例说明，继续参照图5，可以看到，对于参考频域图像块a1中的其中一个参考频域像素点502，终端对该参考频域像素点502与非参考频域图像块a2中相应的非参考频域像素点504、非参考频域图像块a3中相应的非参考频域像素点506进行融合处理，得到融合频域像素点508；终端对参考频域图像块a1中的各参考频域像素点逐个融合处理，得到参考频域图像块a1对应的融合频域图像块a*。
在一个可能的实施方式中，对于每个参考频域像素点，终端确定参考频域像素点与相应的非参考频域像素点之间的频域数据差异，根据该频域数据差异计算参考频域像素点与相应的非参考频域像素点之间的融合权重。
其中，频域像素点对应的频域数据是频域中的参数值，例如频率、频谱值、幅度谱值等。
具体地，终端确定参考频域像素点与相应的非参考频域像素点之间的频域数据差异，该频域数据差异反映参考频域像素点与相应的非参考频域像素点之间的相似度，频域数据差异越大，相似度越小；根据频域数据差异计算参考频域像素点与相应的非参考频域像素点之间的融合权重，频域数据差异与融合权重呈反比，也就是说，相似度越小，融合权重越小。可选地，终端计算参考频域像素点与相应的非参考频域像素点之间的频域数据差值的绝对值，作为频域数据差异。
在一个可能的实施方式中，参考频域像素点与相应的非参考频域像素点之间的融合权重可通过以下公式进行表示：
Figure BDA0003276767570000051
其中，ωi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的融合权重；diffi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；β表示常数。
在一个实施例中，终端利用参考频域像素点对应的修正参数，调整参考频域像素点与相应的非参考频域像素点之间的融合权重，可通过以下公式进行表示：
Figure BDA0003276767570000061
其中，ωi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；β表示常数；
Figure BDA0003276767570000062
表示参考频域图像块中第i个参考频域像素点对应的修正参数。
在一个可能的实施方式中，参照上述分析，对于预定高频段，用于融合去噪的至少两个像素点可以全部融合，融合权重可以取值为1，修正参数不干预融合权重。对于预定中高频段，融合强度可以适度减弱，修正参数可以取值为0.8～0.95；对于预定中低频段，融合强度可以进一步减弱，修正参数可以取值为0.5～0.6；对于预定低频段，融合强度可以适度增强，修正参数可以取值为1.5～1.6；对于预定最低频段，融合强度可以进一步增强，修正参数可以取值为1.8～2。
步骤110，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像。
在一个实施例中，终端按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各参考频域图像块分别对应的融合频域图像块；对各融合频域图像块进行频域逆变换处理，获得各参考频域图像块分别对应的去噪图像块；将各去噪图像块进行拼接，得到各待处理图像共同对应的去噪图像。
在一个实施例中，终端按照调整后的融合权重，对参考频域像素点与相应的非参考频域像素点进行融合处理，获得参考频域图像块对应的融合频域图像块，可通过以下公式进行表示：
Figure BDA0003276767570000063
其中，δ表示融合频域图像块的频域数据；δ0表示参考频域像素点的频域数据，δ1～δj表示第1个至第j个非参考频域像素点的频域数据；ω1～ωj表示参考频域像素点与第1个至第j个非参考频域像素点之间调整后的融合权重。
参照图6，图6示出了一个实施例中图像处理方法的流程示意图。可以看到，终端将参考图像A1、非参考图像A2和非参考图像A3分别划分为多于一个图像块，对于参考图像A1中的其中一个参考图像块A11，从非参考图像A2中确定与参考图像块A11相匹配的非参考图像块A21，从非参考图像A3中确定与参考图像块A11相匹配的非参考图像块A31，将参考图像块A11、非参考图像块A21和非参考图像块A31罗列成一个批次进行处理。对参考图像块A11、非参考图像块A21和非参考图像块A31分别进行频域变换处理，得到参考图像块A11对应的参考频域图像块a1，非参考图像块A21对应的非参考频域图像块a2，以及非参考图像块A31对应的非参考频域图像块a3。按照参考频域图像块a1中的各参考频域像素点对应的修正参数调整各参考频域像素点与相应的非参考频域像素点之间的融合权重，按照调整后的融合权重，对参考频域图像块a1中的各参考频域像素点与非参考频域图像块a2中相应的非参考频域像素点、非参考频域图像块a3中相应的非参考频域像素点进行融合处理，得到融合频域图像块a*，对融合频域图像块a*进行频域逆变换处理，获得融合频域图像块a*对应的去噪图像块a。当逐个批次处理完成时，得到参考图像A1、非参考图像A2和非参考图像A3共同对应的去噪图像A。
本实施例中的图像处理方法，将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块，根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像，这样，由于不同频段对应的图像内容存在差异，而对不同频段的参考频域像素点采用适用于该频段的去噪强度，一方面能够达到图像细节与去噪效果的均衡，另一方面能够消除噪声分布差异，从而提升去噪效果，并且对于运动区域来说，能够避免出现运动模糊。
在一个实施例中，该方法还包括：对于每个参考频域像素点，获取参考频域像素点在目标参考频域图像块中的位置信息，目标参考频域图像块为参考频域像素点所在的参考频域图像块；按照位置信息确定参考频域像素点对应的频段。
其中，位置信息可以是参考频域像素点在参考频域图像块中的相对位置，例如参考频域像素点在参考频域图像块中的相对坐标等。
在一个实施例中，参考频域像素点在参考频域图像块中的位置信息可通过以下公式进行表示：
xi＝i*％n
yi＝i*/n
其中，xi表示参考频域图像块中第i个参考频域像素点的横坐标；yi表示参考频域图像块中第i个参考频域像素点的纵坐标；i*表示参考频域图像块中第i个参考频域像素点对应的序号；n表示参考频域图像块中的参考频域像素点数量的一半，例如参考频域图像块为8*8参考频域像素点，则n可取值为8；i*％n表示i*除以n的余数；i*/n表示i*除以n的商值。
在一个实施例中，频域图像块中各频段具有对应的分布区域，因此终端可根据各参考频域像素点在参考频域图像块中的位置信息，确定各参考频域像素点分别对应的频段。
在一个实施例中，位置信息为相对坐标；按照位置信息确定参考频域像素点对应的频段，包括：获取参考频域像素点的相对坐标中的横坐标值和纵坐标值；根据横坐标值和纵坐标值的加和，确定参考频域像素点对应的频段。
在一个实施例中，以参考频域图像块为8*8参考频域像素点为例，终端可通过以下公式确定确定参考频域像素点对应的频段：若xi+yi＜3，判定为预定最低频段；若xi+yi＜5，判定为预定低频段；若xi+yi＜9，判定为预定中低频段；若xi+yi＜11，判定为预定中高频段；若xi+yi≥11，判定为预定高频段。
本实施例中，根据各参考频域像素点在参考频域图像块中的位置信息，确定各参考频域像素点分别对应的频段，不仅能够准确识别各参考频域像素点分别对应的频段，而且能够减少计算量，提高在实际应用场景下的去噪速度。
在一个实施例中，该方法还包括：对于每个参考频域像素点，获取参考频域像素点所在的目标参考频域图像块对应的噪声参数；确定参考频域像素点与相应的非参考频域像素点之间的频域数据差异；根据频域数据差异以及噪声参数，计算参考频域像素点与相应的非参考频域像素点之间的融合权重。
其中，噪声参数用于描述参考图像块及其邻近图像区域的噪声多少。可选地，噪声参数与噪声量呈正比。
在一个实施例中，终端对参考图像块计算均方根(Root Mean Square,RMS)值，并且，终端预先设置均方根值与噪声参数之间的映射关系，根据计算得到的均方根值和该映射关系，确定该参考图像块的噪声参数，作为该参考图像块变换得到的参考频域图像块对应的噪声参数。
在一个实施例中，参考频域像素点与相应的非参考频域像素点之间的融合权重可通过以下公式进行表示：
Figure BDA0003276767570000081
其中，ωi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的融合权重；diffi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；Noiselevel表示参考频域图像块对应的噪声参数。
在一个实施例中，终端计算参考频域像素点对应的修正参数与噪声参数之间的乘积；在计算得到乘积与频域数据差异之间的加和后，计算频域数据差异与加和之间的商值；计算预定值与商值之间的差值，得到参考频域像素点与相应的非参考频域像素点之间调整后的融合权重。
在一个实施例中，终端利用参考频域像素点对应的修正参数，调整参考频域像素点与相应的非参考频域像素点之间的融合权重，可通过以下公式进行表示：
Figure BDA0003276767570000082
其中，ωi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
Figure BDA0003276767570000091
表示参考频域图像块中第i个参考频域像素点对应的修正参数；Noiselevel表示参考频域图像块对应的噪声参数。
在一个实施例中，对于每个参考频域像素点，确定参考频域像素点对应的频段是否为预定的调整频段；当参考频域像素点对应的频段为预定的调整频段时，执行计算参考频域像素点对应的修正参数与噪声参数之间的乘积的步骤。
在一个实施例中，预定的调整频段可以是预定频段中除预定高频段以外的其它频段，例如预定中高频段、预定中低频段、预定低频段、预定最低频段等。
在一个实施例中，对于预定高频段，用于融合去噪的至少两个像素点可以全部融合，融合权重可以取值为1，修正参数不干预融合权重。
在一个实施例中，对于每个参考频域像素点，确定参考频域像素点对应的频段是否为预定高频段；当参考频域像素点对应的频段为预定高频段时，参考频域像素点对应的修正参数为零，参考频域像素点与相应的非参考频域像素点之间调整后的融合权重为预设值，以使参考频域像素点与相应的非参考频域像素点之间的融合处理策略为全部融合。
其中，预设值可以是取值为1，使得参考频域像素点与相应的非参考频域像素点在融合处理时全部融合。
在一个实施例中，对于预定频段中除预定高频段以外的其它频段，例如预定中高频段、预定中低频段、预定低频段、预定最低频段等，可采用上述方式来修正融合权重，使得不同频段的参考频域像素点与相应的非参考频域像素点，按照不同融合强度进行融合处理。在一个实施例中，参考频域像素点与相应的非参考频域像素点之间调整后的融合权重，通过以下公式计算得到：
Figure BDA0003276767570000092
其中，ωi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
Figure BDA0003276767570000093
表示目标参考频域图像块中第i个参考频域像素点对应的修正参数，当目标参考频域图像块中第i个参考频域像素点对应的频段为预定高频段时，
Figure BDA0003276767570000094
当目标参考频域图像块中第i个参考频域像素点对应的频段为预定频段中除预定高频段以外的其它频段时，
Figure BDA0003276767570000095
Noiselevel表示目标参考频域图像块对应的噪声参数。
本实施例中，根据参考频域像素点与相应的非参考频域像素点之间的频域数据差异，以及参考频域像素点所在的参考频域图像块对应的噪声参数，计算参考频域像素点与相应的非参考频域像素点之间的融合权重，能够提高对参考频域像素点与相应的非参考频域像素点之间融合强度评估的准确性，而利用参考频域像素点对应的修正参数，调整参考频域像素点与相应的非参考频域像素点之间的融合权重，使得调整后的融合强度也具备准确性。
在一个实施例中，该方法还包括：对于每个参考频域图像块，根据参考频域图像块中各参考频域像素点分别对应的频段，确定参考频域图像块中各频段的占比，根据最大占比对应的频段确定参考频域图像块对应的修正参数；利用各参考频域图像块分别对应的修正参数，调整各参考频域图像块与相匹配的非参考频域图像块之间的融合权重；按照调整后的融合权重，对各参考频域图像块与相匹配的非参考频域图像块进行融合处理，获得各待处理图像共同对应的去噪图像。
在一个实施例中，终端根据参考频域图像块中的各参考频域像素点分别对应的频段，确定参考频域图像块中参考频域像素点数量最多的频段，根据该频段确定参考频域图像块对应的修正参数。
在一个实施例中，当参考频域图像块中存在至少两个最大占比对应的频段时，终端可按照预定的频段选择策略选取其中一个频段，根据该频段确定参考频域图像块对应的修正参数，预定的频段选择策略比如选取较高频段等。
在一个实施例中，终端确定参考频域图像块中的各参考频域像素点与相匹配的非参考频域图像块中相应的非参考频域像素点之间的频域数据差异，将各参考频域像素点对应的频域数据差异之和，作为参考频域图像块与相匹配的非参考频域图像块之间的频域数据差异。
在一个实施例中，终端利用参考频域图像块对应的修正参数，调整参考频域图像块与相匹配的非参考频域图像块之间的融合权重，可通过以下公式进行表示：
Figure BDA0003276767570000101
其中，ωk表示参考频域图像中第k个参考频域图像块与相匹配的非参考频域图像块之间调整后的融合权重；diffk表示参考频域图像中第k个参考频域图像块与相匹配的非参考频域图像块之间的频域数据差异；
Figure BDA0003276767570000102
表示参考频域图像中第k个参考频域图像块对应的修正参数；β表示常数，其也可以是参考频域图像中第k个参考频域图像块对应的噪声参数。
在一个实施例中，终端按照调整后的融合权重，对各参考频域图像块与相匹配的非参考频域图像块进行融合处理，获得各融合频域图像块；对各融合频域图像块进行频域逆变换处理，获得各去噪图像块；将各去噪图像块进行拼接，得到各待处理图像共同对应的去噪图像。
在一个实施例中，终端按照调整后的融合权重，对参考频域图像块与相匹配的非参考频域图像块进行融合处理，获得融合频域图像块，可通过以下公式进行表示：
Figure BDA0003276767570000103
其中，ρ表示融合频域图像块的频域数据，其可以是由各融合频域像素点的频域数据构成的矩阵；ρ0表示参考频域图像块的频域数据，其可以是由各参考频域像素点的频域数据构成的矩阵；ρ1～ρs表示第1个至第s个非参考频域图像块的频域数据，其可以是由各非参考频域像素点的频域数据构成的矩阵；ω1～ωs表示参考频域图像块与第1个至第s个非参考频域图像块之间调整后的融合权重。
在一个实施例中，待处理图像为YUV格式的图像，YUV格式为亮度与色度相分离的编码格式。
本申请可以应用于YUV域，相比于Bayer raw域，一方面YUV将亮度和色度相分离，可以独立调控二者的HDR(High-Dynamic Range,高动态范围图像)融合强度，对于亮度噪声和色彩噪声具有更加灵活压制调整能力；另一方面，YUV域可以避免对颜色模块(如3DLUT等)的影响，颜色模块例如3D LUT(3D查找表)等，因为YUV域相比RAW域在成像流程中更加靠后，对于融合模块的调整不会牵扯到前级模块的调试。
在一个实施例中，如图7所示，提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤702，获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像。
在一个实施例中，终端以参考图像为基础，对参考图像与非参考图像进行图像对齐处理，例如局部对齐处理和/或全局对齐处理。
步骤704，将参考图像和非参考图像分别划分为多于一个图像块后，对于参考图像中的其中一个参考图像块，从非参考图像中确定与该参考图像块在图像内容上相匹配的非参考图像块，将该参考图像块以及相匹配的非参考图像块罗列成一个批次。
步骤706，对当前批次中的参考图像块进行频域变换处理，得到由参考频域像素点构成的参考频域图像块，并对当前批次中的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的非参考频域图像块。
步骤708，对于参考频域图像块中的每个参考频域像素点，获取参考频域像素点在参考频域图像块中的位置信息，按照位置信息确定参考频域像素点对应的频段。
在一个实施例中，参考频域像素点在参考频域图像块中的位置信息可通过以下公式进行表示：
xi＝i*％n
yi＝i*/n
其中，xi表示参考频域图像块中第i个参考频域像素点的横坐标；yi表示参考频域图像块中第i个参考频域像素点的纵坐标；i*表示参考频域图像块中第i个参考频域像素点对应的序号；n表示参考频域图像块中的参考频域像素点数量的一半，例如参考频域图像块为8*8参考频域像素点，则n可取值为8；i*％n表示i*除以n的余数；i*/n表示i*除以n的商值。
在一个实施例中，以参考频域图像块为8*8参考频域像素点为例，终端可通过以下公式确定确定参考频域像素点对应的频段：若xi+yi＜3，判定为预定最低频段；若xi+yi＜5，判定为预定低频段；若xi+yi＜9，判定为预定中低频段；若xi+yi＜11，判定为预定中高频段；若xi+yi≥11，判定为预定高频段。
步骤710，根据参考频域图像块中的每个参考频域像素点对应的频段，确定各参考频域像素点分别对应的修正参数，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；参考频域像素点相应的非参考频域像素点是与参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点。
在一个实施例中，参考频域像素点与相应的非参考频域像素点之间调整后的融合权重，通过以下公式计算得到：
Figure BDA0003276767570000121
其中，ωi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
Figure BDA0003276767570000122
表示目标参考频域图像块中第i个参考频域像素点对应的修正参数，当目标参考频域图像块中第i个参考频域像素点对应的频段为预定高频段时，
Figure BDA0003276767570000123
当目标参考频域图像块中第i个参考频域像素点对应的频段为预定频段中除预定高频段以外的其它频段时，
Figure BDA0003276767570000124
Noiselevel表示目标参考频域图像块对应的噪声参数。
步骤712，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得参考频域图像块对应的融合频域图像块；对融合频域图像块进行频域逆变换处理，获得参考频域图像块分别对应的去噪图像块。
步骤714，当逐个批次处理完成时，将各批次对应的去噪图像块进行拼接，得到各待处理图像共同对应的去噪图像。
参照图8，图8示出了一个实施例中图像处理方法的示意图。可以看到，终端将参考图像和非参考图像分别划分为多于一个图像块，对于参考图像中的每个参考图像块后，从非参考图像中确定与该参考图像块在图像内容上相匹配的非参考图像块，将该参考图像块以及相匹配的非参考图像块罗列成一个批次进行融合处理。参照图9，图9示出了一个实施例中图像处理方法的流程示意图。可以看到，当逐个批次处理完成时，将各批次获得的去噪图像块进行拼接，得到各待处理图像共同对应的去噪图像。本实施例中按照批次处理图像，能够减少计算量，加快处理速度。
参照图10，图10示出了一个实施例中图像处理方法的流程示意图。可以看到，终端获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像，将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的其中一个参考图像块及其在非参考图像中相匹配的非参考图像块进行频域变换处理，得到参考图像块对应的参考频域图像块，以及非参考图像块对应的非参考频域图像块。根据参考频域图像块中的每个参考频域像素点对应的频段，确定各参考频域像素点分别对应的修正参数，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得参考频域图像块对应的融合频域图像块。对融合频域图像块进行频域逆变换处理，获得参考频域图像块分别对应的去噪图像块。
参照图11，图11示出了去噪效果示意图，图11左图示出了通用的去噪方式的去噪效果，图11右图示出了本实施例的去噪效果。可以看到，相比于通用的去噪方式，本实施例能够有效压制运动区域的噪声，并且对于静止区域和运动区域，能够消除噪声分布差异，提升降噪一致性。
本实施例中的图像处理方法，由于不同频段对应的图像内容存在差异，而对不同频段的参考频域像素点采用适用于该频段的去噪强度，一是能够达到图像细节与去噪效果的均衡，二是能够消除噪声分布差异，提升去噪效果，再者对于运动区域来说，不仅能够避免出现运动模糊，而且对运动区域具有出色的降噪能力，并且通过对修正参数进行设置，能够响应于实际应用场景的需求进行灵活去噪。
应该理解的是，虽然图1、图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图12为一个实施例的图像处理装置的结构框图。如图12所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1202、频域变换处理模块1204、修正参数确定模块1206、融合权重调整模块1208和融合去噪模块1210，其中：
图像获取模块1202，用于获取多于一张待处理图像，从各待处理图像中确定参考图像以及除参考图像以外的非参考图像；
频域变换处理模块1204，用于将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块；
修正参数确定模块1206，用于根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数；
融合权重调整模块1208，用于利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重；参考频域像素点相应的非参考频域像素点是与参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点；
融合去噪模块1210，用于按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像。
在一个实施例中，频域变换处理模块1204还用于：对于参考图像中的每个参考图像块，从非参考图像中确定与参考图像块在图像内容上相匹配的非参考图像块，作为与参考图像块相匹配的非参考图像块。
在一个实施例中，修正参数确定模块1206还用于：对于每个参考频域像素点，获取参考频域像素点在目标参考频域图像块中的位置信息，目标参考频域图像块为参考频域像素点所在的参考频域图像块；按照位置信息确定参考频域像素点对应的频段。
在一个实施例中，位置信息为相对坐标；修正参数确定模块1206还用于：获取参考频域像素点的相对坐标中的横坐标值和纵坐标值；根据横坐标值和纵坐标值的加和，确定参考频域像素点对应的频段。
在一个实施例中，融合权重调整模块1208还用于：对于每个参考频域像素点，获取参考频域像素点在目标参考频域图像块中的位置信息，目标参考频域图像块为参考频域像素点所在的参考频域图像块；按照位置信息，从与目标参考频域图像块相匹配的非参考频域图像块中，确定与参考频域像素点相对应的非参考频域像素点。
在一个实施例中，融合权重调整模块1208还用于：对于每个参考频域像素点，获取参考频域像素点所在的目标参考频域图像块对应的噪声参数；确定参考频域像素点与相应的非参考频域像素点之间的频域数据差异；根据频域数据差异以及噪声参数，计算参考频域像素点与相应的非参考频域像素点之间的融合权重。
在一个实施例中，融合权重调整模块1208还用于：计算参考频域像素点对应的修正参数与噪声参数之间的乘积；在计算得到乘积与频域数据差异之间的加和后，计算频域数据差异与加和之间的商值；计算预定值与商值之间的差值，得到参考频域像素点与相应的非参考频域像素点之间调整后的融合权重。
在一个实施例中，融合权重调整模块1208还用于：对于每个参考频域像素点，确定参考频域像素点对应的频段是否为预定高频段；当参考频域像素点对应的频段为预定高频段时，参考频域像素点对应的修正参数为零，参考频域像素点与相应的非参考频域像素点之间调整后的融合权重为预设值，以使参考频域像素点与相应的非参考频域像素点之间的融合处理策略为全部融合。
在一个实施例中，融合权重调整模块1208还用于：通过以下公式计算参考频域像素点与相应的非参考频域像素点之间调整后的融合权重：
Figure BDA0003276767570000141
其中，ωi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
Figure BDA0003276767570000142
表示目标参考频域图像块中第i个参考频域像素点对应的修正参数，当目标参考频域图像块中第i个参考频域像素点对应的频段为预定高频段时，
Figure BDA0003276767570000143
当目标参考频域图像块中第i个参考频域像素点对应的频段为预定频段中除预定高频段以外的其它频段时，
Figure BDA0003276767570000144
Noiselevel表示目标参考频域图像块对应的噪声参数。
在一个实施例中，融合去噪模块1210还用于：按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各参考频域图像块分别对应的融合频域图像块；对各融合频域图像块进行频域逆变换处理，获得各参考频域图像块分别对应的去噪图像块；将各去噪图像块进行拼接，得到各待处理图像共同对应的去噪图像。
在一个实施例中，修正参数确定模块1206还用于：对于每个参考频域图像块，根据参考频域图像块中各参考频域像素点分别对应的频段，确定参考频域图像块中各频段的占比，根据最大占比对应的频段确定参考频域图像块对应的修正参数；融合权重调整模块1208还用于：利用各参考频域图像块分别对应的修正参数，调整各参考频域图像块与相匹配的非参考频域图像块之间的融合权重；融合去噪模块1210还用于：按照调整后的融合权重，对各参考频域图像块与相匹配的非参考频域图像块进行融合处理，获得各待处理图像共同对应的去噪图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本实施例中的图像处理装置，将参考图像和非参考图像分别划分为多于一个图像块后，对参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对非参考图像中与各参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块，根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各参考频域像素点分别对应的修正参数，利用各参考频域像素点分别对应的修正参数，调整各参考频域像素点与相应的非参考频域像素点之间的融合权重，按照调整后的融合权重，对各参考频域像素点与相应的非参考频域像素点进行融合处理，获得各待处理图像共同对应的去噪图像，这样，由于不同频段对应的图像内容存在差异，而对不同频段的参考频域像素点采用适用于该频段的去噪强度，一方面能够达到图像细节与去噪效果的均衡，另一方面能够消除噪声分布差异，从而提升去噪效果，并且对于运动区域来说，能够避免出现运动模糊。
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
图13为一个实施例中电子设备的内部结构示意图。如图13所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取多于一张待处理图像，从各所述待处理图像中确定参考图像以及除所述参考图像以外的非参考图像；
将所述参考图像和所述非参考图像分别划分为多于一个图像块后，对所述参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对所述非参考图像中与各所述参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块；
根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各所述参考频域像素点分别对应的修正参数；
利用各所述参考频域像素点分别对应的修正参数，调整各所述参考频域像素点与相应的非参考频域像素点之间的融合权重；所述参考频域像素点相应的非参考频域像素点是与所述参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点；
按照调整后的融合权重，对各所述参考频域像素点与相应的非参考频域像素点进行融合处理，获得各所述待处理图像共同对应的去噪图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述参考图像中的每个参考图像块，从所述非参考图像中确定与所述参考图像块在图像内容上相匹配的非参考图像块，作为与所述参考图像块相匹配的非参考图像块。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每个参考频域像素点，获取所述参考频域像素点在目标参考频域图像块中的位置信息，所述目标参考频域图像块为所述参考频域像素点所在的参考频域图像块；
按照所述位置信息确定所述参考频域像素点对应的频段。
4.根据权利要求3所述的方法，其特征在于，所述位置信息为相对坐标；所述按照所述位置信息确定所述参考频域像素点对应的频段，包括：
获取所述参考频域像素点的相对坐标中的横坐标值和纵坐标值；
根据所述横坐标值和所述纵坐标值的加和，确定所述参考频域像素点对应的频段。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每个参考频域像素点，获取所述参考频域像素点在目标参考频域图像块中的位置信息，所述目标参考频域图像块为所述参考频域像素点所在的参考频域图像块；
按照所述位置信息，从与所述目标参考频域图像块相匹配的非参考频域图像块中，确定与所述参考频域像素点相对应的非参考频域像素点。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每个参考频域像素点，获取所述参考频域像素点所在的目标参考频域图像块对应的噪声参数；
确定所述参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
根据所述频域数据差异以及所述噪声参数，计算所述参考频域像素点与相应的非参考频域像素点之间的融合权重。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
计算所述参考频域像素点对应的修正参数与所述噪声参数之间的乘积；
在计算得到所述乘积与所述频域数据差异之间的加和后，计算所述频域数据差异与所述加和之间的商值；
计算预定值与所述商值之间的差值，得到所述参考频域像素点与相应的非参考频域像素点之间调整后的融合权重。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
对于每个参考频域像素点，确定所述参考频域像素点对应的频段是否为预定高频段；
当所述参考频域像素点对应的频段为所述预定高频段时，所述参考频域像素点对应的修正参数为零，所述参考频域像素点与相应的非参考频域像素点之间调整后的融合权重为预设值，以使所述参考频域像素点与相应的非参考频域像素点之间的融合处理策略为全部融合。
9.根据权利要求6所述的方法，其特征在于，所述参考频域像素点与相应的非参考频域像素点之间调整后的融合权重，通过以下公式计算得到：
Figure FDA0003276767560000021
其中，ωi表示所述目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间调整后的融合权重；diffi表示所述目标参考频域图像块中第i个参考频域像素点与相应的非参考频域像素点之间的频域数据差异；
Figure FDA0003276767560000022
表示所述目标参考频域图像块中第i个参考频域像素点对应的修正参数，当所述目标参考频域图像块中第i个参考频域像素点对应的频段为预定高频段时，
Figure FDA0003276767560000023
当所述目标参考频域图像块中第i个参考频域像素点对应的频段为预定频段中除所述预定高频段以外的其它频段时，
Figure FDA0003276767560000024
Noiselevel表示所述目标参考频域图像块对应的噪声参数。
10.根据权利要求1所述的方法，其特征在于，所述按照调整后的融合权重，对各所述参考频域像素点与相应的非参考频域像素点进行融合处理，获得各所述待处理图像共同对应的去噪图像，包括：
按照调整后的融合权重，对各所述参考频域像素点与相应的非参考频域像素点进行融合处理，获得各所述参考频域图像块分别对应的融合频域图像块；
对各所述融合频域图像块进行频域逆变换处理，获得各所述参考频域图像块分别对应的去噪图像块；
将各所述去噪图像块进行拼接，得到各所述待处理图像共同对应的去噪图像。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每个参考频域图像块，根据所述参考频域图像块中各参考频域像素点分别对应的频段，确定所述参考频域图像块中各频段的占比，根据最大占比对应的频段确定所述参考频域图像块对应的修正参数；
利用各参考频域图像块分别对应的修正参数，调整各所述参考频域图像块与相匹配的非参考频域图像块之间的融合权重；
按照调整后的融合权重，对各所述参考频域图像块与相匹配的非参考频域图像块进行融合处理，获得各所述待处理图像共同对应的去噪图像。
12.根据权利要求1所述的方法，其特征在于，所述待处理图像为YUV格式的图像，所述YUV格式为亮度与色度相分离的编码格式。
13.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取多于一张待处理图像，从各所述待处理图像中确定参考图像以及除所述参考图像以外的非参考图像；
频域变换处理模块，用于将所述参考图像和所述非参考图像分别划分为多于一个图像块后，对所述参考图像中的每个参考图像块进行频域变换处理，得到由参考频域像素点构成的各参考频域图像块，并对所述非参考图像中与各所述参考图像块相匹配的非参考图像块进行频域变换处理，得到由非参考频域像素点构成的各非参考频域图像块；
修正参数确定模块，用于根据每个参考频域图像块中各参考频域像素点分别对应的频段，确定各所述参考频域像素点分别对应的修正参数；
融合权重调整模块，用于利用各所述参考频域像素点分别对应的修正参数，调整各所述参考频域像素点与相应的非参考频域像素点之间的融合权重；所述参考频域像素点相应的非参考频域像素点是与所述参考频域像素点所在的参考频域图像块相匹配的非参考频域图像块中的非参考频域像素点；
融合去噪模块，用于按照调整后的融合权重，对各所述参考频域像素点与相应的非参考频域像素点进行融合处理，获得各所述待处理图像共同对应的去噪图像。
14.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的图像处理方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的图像处理方法的步骤。
CN202111120118.4A 2021-09-24 2021-09-24 图像处理方法、装置、电子设备和存储介质 Pending CN113781357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111120118.4A CN113781357A (zh) 2021-09-24 2021-09-24 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111120118.4A CN113781357A (zh) 2021-09-24 2021-09-24 图像处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113781357A true CN113781357A (zh) 2021-12-10

Family

ID=78853261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111120118.4A Pending CN113781357A (zh) 2021-09-24 2021-09-24 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113781357A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050007A1 (en) * 2006-08-24 2008-02-28 Advanced Mask Inspection Technology Inc. Pattern inspection apparatus and method with enhanced test image correctability using frequency division scheme
CN104751418A (zh) * 2013-12-26 2015-07-01 联发科技股份有限公司 3维区块匹配的图像去噪的方法与装置
US20170256037A1 (en) * 2016-03-01 2017-09-07 Realtek Semiconductor Corp. Image de-noising method and apparatus thereof
CN107451978A (zh) * 2017-08-07 2017-12-08 上海东软医疗科技有限公司 一种图像处理方法、装置及设备
US20190188517A1 (en) * 2017-12-14 2019-06-20 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
CN111275626A (zh) * 2018-12-05 2020-06-12 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
CN111652829A (zh) * 2020-06-09 2020-09-11 展讯通信（上海）有限公司 图像融合方法、装置、电子设备及存储介质
CN113393398A (zh) * 2021-06-21 2021-09-14 努比亚技术有限公司 一种图像降噪处理方法、设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050007A1 (en) * 2006-08-24 2008-02-28 Advanced Mask Inspection Technology Inc. Pattern inspection apparatus and method with enhanced test image correctability using frequency division scheme
CN104751418A (zh) * 2013-12-26 2015-07-01 联发科技股份有限公司 3维区块匹配的图像去噪的方法与装置
US20170256037A1 (en) * 2016-03-01 2017-09-07 Realtek Semiconductor Corp. Image de-noising method and apparatus thereof
CN107451978A (zh) * 2017-08-07 2017-12-08 上海东软医疗科技有限公司 一种图像处理方法、装置及设备
US20190188517A1 (en) * 2017-12-14 2019-06-20 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
CN111275626A (zh) * 2018-12-05 2020-06-12 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
CN111652829A (zh) * 2020-06-09 2020-09-11 展讯通信（上海）有限公司 图像融合方法、装置、电子设备及存储介质
CN113393398A (zh) * 2021-06-21 2021-09-14 努比亚技术有限公司 一种图像降噪处理方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109191395B (zh) 图像对比度增强方法、装置、设备及存储介质
JP4960992B2 (ja) 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置
US11113795B2 (en) Image edge processing method, electronic device, and computer readable storage medium
CN108924525B (zh) 图像亮度调整方法、装置、计算机设备及存储介质
US10565742B1 (en) Image processing method and apparatus
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN110378861B (zh) 一种图像融合方法及装置
WO2005106789A1 (ja) 階調補正装置、携帯端末機器、撮像装置、携帯電話、階調補正方法及びプログラム
CN111008947B (zh) 图像处理方法和装置、终端设备及存储介质
US10521887B2 (en) Image processing device and image processing method
JP4021261B2 (ja) 画像処理装置
US20130156339A1 (en) Image processing apparatus and image processing method
CN107644409B (zh) 图像增强方法、显示装置及计算机可读存储介质
CN111480177A (zh) 改进的逆色调映射方法和对应装置
JP2011086976A (ja) 画像処理装置および画像処理方法
CN113240608A (zh) 图像去噪方法、装置、电子设备和可读存储介质
CN111986116A (zh) 视频降噪方法和装置、电子设备、计算机可读存储介质
CN111754429A (zh) 运动矢量后处理方法和装置、电子设备及存储介质
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
CN113744294A (zh) 图像处理方法及相关装置
CN113781357A (zh) 图像处理方法、装置、电子设备和存储介质
JP4664938B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4769332B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP3408146B2 (ja) 画像処理装置および画像処理プログラムを記憶する媒体
CN115205168A (zh) 图像处理方法、装置、电子设备和存储介质、产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination