CN114708168A - 图像处理方法和电子设备 - Google Patents
图像处理方法和电子设备 Download PDFInfo
- Publication number
- CN114708168A CN114708168A CN202210450299.5A CN202210450299A CN114708168A CN 114708168 A CN114708168 A CN 114708168A CN 202210450299 A CN202210450299 A CN 202210450299A CN 114708168 A CN114708168 A CN 114708168A
- Authority
- CN
- China
- Prior art keywords
- image
- image frame
- frame
- processing
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 83
- 230000009467 reduction Effects 0.000 claims abstract description 43
- 238000006073 displacement reaction Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 34
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法和电子设备，属于图像处理技术。具体方案包括：从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
Description
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法和电子设备。
背景技术
随着图像处理技术的发展，完全依赖算法本身优化来提升图像质量的方式已很难得到较大的效果提升。为了得到更好的图像质量，可以通过获取更好的图像输入的方式来提升图像质量。
相关技术中的时域降噪算法通常是采用先对Raw域图像进行简单的图像信号处理(Image Signal Processing，ISP)预处理，然后将处理后的图像调整至与YUV域图像接近的灰阶分布，之后再进行运动区域估计；或者，直接使用经过简单的ISP预处理的图像进行全部时域降噪。
然而，一方面，简单的ISP预处理与完整的ISP预处理存在差异，无法完全达到YUV算法效果；另一方面，ISP预处理受ISP参数影响，视频图像为动态过程，ISP参数会随着场景变化而变化，而ISP参数发生变化时，经ISP预处理的图像也会随之发生变化，从而产生扰动，影响算法效果，再一方面由于Raw域图像的位宽和图像尺寸较大，因此，ISP预处理还会带来额外的计算与缓存开销。
发明内容
本申请实施例的目的是提供一种图像处理方法和电子设备，能够解决相关技术中的时域降噪算法图像处理效果差，且会增加算力的问题。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
第二方面，本申请实施例提供了一种图像处理装置，包括：获取模块、空间配准模块和时域降噪模块；所述获取模块，用于从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；所述空间配准模块，用于根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；所述时域降噪模块，还用于根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，可以从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。通过该方案，一方面，由于可以直接对待处理视频中的图像帧进行降噪处理，因此，不仅可以减少ISP预处理步骤，避免因ISP预处理导致的图像偏差，还可以降低视频降噪的算力开销；另一方面，由于使用的是未经ISP预处理的Raw域图像，因此，对环境变化有更高的鲁棒性；再一方面，由于可以根据第三图像帧对第二时刻的第二图像帧进行降噪处理，因此，可以提高待处理视频中图像帧的图像质量。
附图说明
图1是本申请实施例提供的图像处理方法的流程示意图之一；
图2是本申请实施例提供的确定图像偏移参数的图像处理示意图；
图3是本申请实施例提供的图像处理方法的流程示意图之二；
图4是本申请实施例提供的图像处理装置的结构示意图之一；
图5是本申请实施例提供的图像处理装置的结构示意图之二；
图6是本申请实施例提供的电子设备的结构示意图；
图7是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
本申请实施例提供的图像处理方法，该图像处理方法的执行主体可以为电子设备或者电子设备中能够实现该图像处理方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机、可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的图像处理方法进行说明。
如图1所示，本申请实施例提供了一种图像处理方法，该方法可以包括步骤101-步骤103：
步骤101、从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧。
其中，上述第一时刻与第二时刻为相邻的时刻。
需要说明的是，电子设备可以通过本申请实施例提供的图像处理方法对上述待处理视频进行降噪处理，该待处理视频中可以包括多个图像帧，本申请实施例以电子设备对第二时刻的第二图像帧进行降噪处理为例对本申请实施例提供的图像处理方法进行详细说明。
具体地，电子设备可以从待处理视频中获取第一时刻t0的第一图像帧
和第二时刻t1的第二图像帧
该第二图像帧
为未经过ISP预处理的Raw图像。
可选地，电子设备可以通过图像传感器从待处理视频中获取第一图像帧
和第二图像帧
图像的拜尔阵列(Bayer Pattern)可以包括以下至少一项：包RGGB传感器阵列、RYYB传感器阵列、RGBW传感器阵列以及RGBIR传感器阵列。
步骤102、根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧。
其中，上述第三图像帧为第一时刻的图像帧降噪处理后的图像帧。
可选地，电子设备可以通过基于灰度的图像匹配算法确定第一图像帧与第二图像帧之间的图像偏移参数；其中，所述图像匹配算法为块匹配算法、平均绝对差算法、误差平方和算法、平均误差平方和算法、光流法、归一化积相关算法以及序贯相似性算法中的一个。
可选地，电子设备还可以通过手机陀螺仪等其它可探测运动矢量的模块确定图像偏移参数。
下面以图像匹配算法为块匹配算法为例对电子设备确定第一图像帧与第二图像帧之间的图像偏移参数的过程进行详细说明。
首先，电子设备可以将第一图像帧
和第二图像帧
分别分割为大小相同的(m×n)个子图像块，其中，1≤m≤H，1≤n≤W，H为第一图像帧
和第二图像帧
的高，W为第一图像帧
和第二图像帧
的宽。之后，电子设备可以使用块匹配算法分别计算第一图像帧
与第二图像帧
对应位置处子图像块在x和y两个方向上的图像偏移参数。
示例性地，如图2所示，若电子设备将第一图像帧
分割为子图像块
和
将第二图像帧
分割为子图像块
和
则以电子设备计算子图像块
和子图像块
在x和y两个方向上的图像偏移参数为例。电子设备可以根据公式(1)对子图像块
的上、下、左、右四个边缘进行裁剪；
其中，r为裁剪行数或裁剪列数，M为子图像块的高，N为子图像块的宽，之后，电子设备可以以
为窗口，对
进行步长为1的遍历移动，并根据公式(2)和公式(3)计算每次移动时对应像素位置处的绝对误差和(Sum ofAbsolute Differences，SAD)值，然后根据公式(4)、公式(5)和公式(6)将所有SAD值中的最小值确定为图像偏移参数。
图像偏移参数
图像偏移参数
Δ(xmin,ymin)＝min(Δ) (6)
基于上述方案，由于可以通过基于灰度的图像匹配算法确定第一图像帧与第二图像帧之间的图像偏移参数，因此可以确定第一图像帧与第二图像帧之间的偏移量，从而可以为根据第三图像帧得到第四图像帧提供基础。
确定图像偏移参数之后，电子设备可以按照该图像偏移参数将第三图像帧进行空间位移处理，从而得到第四图像帧。具体地，电子设备可以将图像偏移参数Vx和Vy放大到与第二图像帧
相同的尺寸，然后，根据每个像素点的图像偏移参数将第三图像帧
移动至与第二图像帧
相同空域视角的位置，从而得到第四图像帧
可选地，电子设备可以通过双线性插值法对图像偏移参数进行放大处理。
可选地，电子设备可以通过双三次插值算法将第三图像帧
移动至与第二图像帧
相同空域视角的位置。
步骤103、根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧。
其中，上述第五图像帧为第二时刻的图像帧降噪处理后的图像帧。
可选地，确定第四图像帧
之后，电子设备可以根据第二图像帧
和第四图像帧
确定时域加权系数，如图3所示，电子设备确定时域加权系数的过程可以包括S301-S304：
S301：根据所述第二图像帧和所述第四图像帧确定缩放系数图像；
S302：根据所述第二图像帧和所述第四图像帧的差值确定残差图像；
S303：将所述缩放系数图像和所述残差图像进行点对点乘法计算，得到残差缩放图像；
S304：根据所述残差缩放图像确定时域加权系数。
具体地，电子设备可以根据第二图像帧
和第四图像帧
确定缩放系数图像Imratio，并根据第二图像帧
和第四图像帧
确定残差图像Idif，其中，
之后，电子设备可以根据公式(7)将缩放系数图像Imratio和残差图像Idif进行点对点乘法计算，得到残差缩放图像Iamp(x,y)；最后，电子设备可以根据残差缩放图像Iamp(x,y)确定时域加权系数；
Iamp(x,y)＝Imratio(x,y)·Idif(x,y) (7)
基于上述方案，由于可以根据第二图像帧和第四图像帧确定时域加权系数，因此可以为电子设备按照时域加权系数对第二图像帧和第四图像帧进行加权处理提供基础。
可选地，电子设备根据第二图像帧
和第四图像帧
确定缩放系数图像Imratio的过程，具体可以包括：通过第一滤波函数分别对第二图像帧
和第四图像帧
进行滤波处理，得到第二滤波图像和第四滤波图像，所述第二滤波图像对应所述第二图像帧，所述第四滤波图像对应所述第四图像帧；然后，将所述第二滤波图像和所述第四滤波图像进行加权处理，得到加权图像；根据所述加权图像确定缩放系数图像。
具体地，电子设备可以通过第一滤波函数对第二图像帧
进行滤波处理，得到第二滤波图像
通过第一滤波函数对第四图像帧
进行滤波处理，得到第四滤波图像
其中，
flowpass(x)为低通滤波函数，δ为滤波强度。之后，电子设备可以根据公式(8)对第二滤波图像
和第四滤波图像
进行加权处理，得到加权图像Ilum，最后，电子设备可以根据公式(9)和加权图像Ilum确定缩放系数图像Imratio。
其中，α为加权系数，且α∈[0，1]，Q为输入数据位宽，γ为大于1的非线性系数。
可选地，本申请实施例采用均值滤波，上述δ可以为滤波半径，上述α可以为0.5，γ可以为2。
基于上述方案，由于可以通过对第二图像帧和第四图像帧进行滤波和加权确定缩放系数图像，因此，可以为得到残差缩放图像提供基础。
可选地，电子设备根据残差缩放图像确定时域加权系数的过程，具体可以包括：电子设备可以通过第二滤波函数对残差缩放图像Iamp(x,y)进行滤波处理，得到残差缩放滤波图像
然后，电子设备可以对所述残差缩放滤波图像
的像素值进行归一化处理，从而得到时域加权系数A(x,y)。
可选地，电子设备可以根据公式(10)对残差缩放图像Iamp(x,y)进行滤波处理，δamp为滤波强度。
可选地，电子设备可以根据
对残差缩放滤波图像
的像素值进行归一化处理，其中，ω为归一化系数。A(x,y)中各像素值越接近1表示两张图像在该位置处相似度越高，反之则表明相似度越低。
基于上述方案，由于可以通过对残差缩放图像进行滤波和归一化处理得到时域加权系数，因此，可以为根据时域加权系数对第二图像帧和第四图像帧进行加权处理提供基础。
可选地，电子设备可以根据公式(11)和A(x,y)对第二图像帧
和第四图像帧
进行加权处理，得到第五图像帧Iout(x,y)。
可选地，上述第一滤波函数和第二滤波函数可以为高斯滤波函数、阈值滤波函数等任意空域低通滤波函数。且第一滤波函数和第二滤波函数可以为相同的滤波函数，也可以为不同的滤波函数。
在本申请实施例中，一方面，由于可以直接对待处理视频中的图像帧进行降噪处理，因此，不仅可以减少ISP预处理步骤，避免因ISP预处理导致的图像偏差，还可以降低视频降噪的算力开销；另一方面，由于使用的是未经ISP预处理的Raw域图像，因此，对环境变化有更高的鲁棒性；再一方面，由于可以根据第三图像帧对第二时刻的第二图像帧进行降噪处理，因此，可以提高待处理视频中图像帧的图像质量。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
如图4所示，本申请实施例还提供一种图像处理装置400，包括：获取模块410、空间配准模块420和时域降噪模块430。所述获取模块410，用于从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；所述空间配准模块420，用于根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；所述时域降噪模块430，用于根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
可选地，如图5所示，所述时域降噪模块430可以包括缩放系数估计子模块431、帧间残差子模块432、残差缩放子模块433和系数转换子模块434。所述缩放系数估计子模块431，用于根据所述第二图像帧和所述第四图像帧确定缩放系数图像；所述帧间残差子模块432，用于根据所述第二图像帧和所述第四图像帧的差值确定残差图像；所述残差缩放子模块433，用于将所述缩放系数图像和所述残差图像进行点对点乘法计算，得到残差缩放图像；所述系数转换子模块434，用于根据所述残差缩放图像确定时域加权系数。
可选地，所述缩放系数估计子模块431，具体用于通过第一滤波函数分别对所述第二图像帧和所述第四图像帧进行滤波处理，得到第二滤波图像和第四滤波图像，所述第二滤波图像对应所述第二图像帧，所述第四滤波图像对应所述第四图像帧；将所述第二滤波图像和所述第四滤波图像进行加权处理，得到加权图像；根据所述加权图像确定缩放系数图像。
可选地，所述系数转换子模块434，具体用于通过第二滤波函数对所述残差缩放图像进行滤波处理，得到残差缩放滤波图像；对所述残差缩放滤波图像的像素值进行归一化处理，得到所述时域加权系数。
可选地，所述空间配准模块420，还用于所述根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧之前，通过基于灰度的图像匹配算法确定所述第一图像帧与所述第二图像帧之间的图像偏移参数；其中，所述图像匹配算法为块匹配算法、平均绝对差算法、误差平方和算法、平均误差平方和算法、归一化积相关算法以及序贯相似性算法中的一个。
在本申请实施例中，一方面，由于可以直接对待处理视频中的图像帧进行降噪处理，因此，不仅可以减少ISP预处理步骤，避免因ISP预处理导致的图像偏差，还可以降低视频降噪的算力开销；另一方面，由于使用的是未经ISP预处理的Raw域图像，因此，对环境变化有更高的鲁棒性；再一方面，由于可以根据第三图像帧对第二时刻的第二图像帧进行降噪处理，因此，可以提高待处理视频中图像帧的图像质量。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，传感器1005，用于从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；处理器1010，用于根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；处理器1010，还用于根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
在本申请实施例中，一方面，由于可以直接对待处理视频中的图像帧进行降噪处理，因此，不仅可以减少ISP预处理步骤，避免因ISP预处理导致的图像偏差，还可以降低视频降噪的算力开销；另一方面，由于使用的是未经ISP预处理的Raw域图像，因此，对环境变化有更高的鲁棒性；再一方面，由于可以根据第三图像帧对第二时刻的第二图像帧进行降噪处理，因此，可以提高待处理视频中图像帧的图像质量。
可选地，处理器1010，用于根据所述第二图像帧和所述第四图像帧确定缩放系数图像；根据所述第二图像帧和所述第四图像帧的差值确定残差图像；将所述缩放系数图像和所述残差图像进行点对点乘法计算，得到残差缩放图像；用于根据所述残差缩放图像确定时域加权系数。
在本申请实施例中，由于可以根据第二图像帧和第四图像帧确定时域加权系数，因此可以为电子设备按照时域加权系数对第二图像帧和第四图像帧进行加权处理提供基础。
可选地，处理器1010，具体用于通过第一滤波函数分别对所述第二图像帧和所述第四图像帧进行滤波处理，得到第二滤波图像和第四滤波图像，所述第二滤波图像对应所述第二图像帧，所述第四滤波图像对应所述第四图像帧；将所述第二滤波图像和所述第四滤波图像进行加权处理，得到加权图像；根据所述加权图像确定缩放系数图像。
在本申请实施例中，由于可以通过对第二图像帧和第四图像帧进行滤波和加权确定缩放系数图像，因此，可以为得到残差缩放图像提供基础。
可选地，处理器1010，具体用于通过第二滤波函数对所述残差缩放图像进行滤波处理，得到残差缩放滤波图像；对所述残差缩放滤波图像的像素值进行归一化处理，得到所述时域加权系数。
在本申请实施例中，由于可以通过对残差缩放图像进行滤波和归一化处理得到时域加权系数，因此，可以为根据时域加权系数对第二图像帧和第四图像帧进行加权处理提供基础。
可选地，处理器1010，还用于所述根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧之前，通过基于灰度的图像匹配算法确定所述第一图像帧与所述第二图像帧之间的图像偏移参数；其中，所述图像匹配算法为块匹配算法、平均绝对差算法、误差平方和算法、平均误差平方和算法、归一化积相关算法以及序贯相似性算法中的一个。
在本申请实施例中，由于可以通过基于灰度的图像匹配算法确定第一图像帧与第二图像帧之间的图像偏移参数，因此可以确定第一图像帧与第二图像帧之间的偏移量，从而可以为根据第三图像帧得到第四图像帧提供基础。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；
根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；
根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第二图像帧和所述第四图像帧确定时域加权系数，包括：
根据所述第二图像帧和所述第四图像帧确定缩放系数图像；
根据所述第二图像帧和所述第四图像帧的差值确定残差图像；
将所述缩放系数图像和所述残差图像进行点对点乘法计算，得到残差缩放图像；
根据所述残差缩放图像确定时域加权系数。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第二图像帧和所述第四图像帧确定缩放系数图像，包括：
通过第一滤波函数分别对所述第二图像帧和所述第四图像帧进行滤波处理，得到第二滤波图像和第四滤波图像，所述第二滤波图像对应所述第二图像帧，所述第四滤波图像对应所述第四图像帧；
将所述第二滤波图像和所述第四滤波图像进行加权处理，得到加权图像；
根据所述加权图像确定缩放系数图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述残差缩放图像确定时域加权系数，包括：
通过第二滤波函数对所述残差缩放图像进行滤波处理，得到残差缩放滤波图像；
对所述残差缩放滤波图像的像素值进行归一化处理，得到所述时域加权系数。
5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，所述根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧之前，所述方法还包括：
通过基于灰度的图像匹配算法确定所述第一图像帧与所述第二图像帧之间的图像偏移参数；
其中，所述图像匹配算法为块匹配算法、平均绝对差算法、误差平方和算法、平均误差平方和算法、归一化积相关算法以及序贯相似性算法中的一个。
6.一种图像处理装置，其特征在于，包括：获取模块、空间配准模块和时域降噪模块；
所述获取模块，用于从待处理视频中获取第一时刻的第一图像帧和第二时刻的第二图像帧，所述第一时刻与所述第二时刻为相邻的时刻；
所述空间配准模块，用于根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧，其中，所述第三图像帧为所述第一时刻的图像帧降噪处理后的图像帧；
所述时域降噪模块，用于根据所述第二图像帧和所述第四图像帧确定时域加权系数，并按照所述时域加权系数对所述第二图像帧和所述第四图像帧进行加权处理，得到第五图像帧，其中，所述第五图像帧为所述第二时刻的图像帧降噪处理后的图像帧。
7.根据权利要求6所述的图像处理装置，其特征在于，所述时域降噪模块包括缩放系数估计子模块、帧间残差子模块、残差缩放子模块和系数转换子模块；
所述缩放系数估计子模块，用于根据所述第二图像帧和所述第四图像帧确定缩放系数图像；
所述帧间残差子模块，用于根据所述第二图像帧和所述第四图像帧的差值确定残差图像；
所述残差缩放子模块，用于将所述缩放系数图像和所述残差图像进行点对点乘法计算，得到残差缩放图像；
所述系数转换子模块，用于根据所述残差缩放图像确定时域加权系数。
8.根据权利要求7所述的图像处理装置，其特征在于，所述缩放系数估计子模块，具体用于通过第一滤波函数分别对所述第二图像帧和所述第四图像帧进行滤波处理，得到第二滤波图像和第四滤波图像，所述第二滤波图像对应所述第二图像帧，所述第四滤波图像对应所述第四图像帧；将所述第二滤波图像和所述第四滤波图像进行加权处理，得到加权图像；根据所述加权图像确定缩放系数图像。
9.根据权利要求7所述的图像处理装置，其特征在于，所述系数转换子模块，具体用于通过第二滤波函数对所述残差缩放图像进行滤波处理，得到残差缩放滤波图像；对所述残差缩放滤波图像的像素值进行归一化处理，得到所述时域加权系数。
10.根据权利要求6-9任一项所述的图像处理装置，其特征在于，所述空间配准模块，还用于所述根据所述第一图像帧和所述第二图像帧的图像偏移参数对第三图像帧进行空间位移处理得到第四图像帧之前，通过基于灰度的图像匹配算法确定所述第一图像帧与所述第二图像帧之间的图像偏移参数；其中，所述图像匹配算法为块匹配算法、平均绝对差算法、误差平方和算法、平均误差平方和算法、归一化积相关算法以及序贯相似性算法中的一个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450299.5A CN114708168A (zh) | 2022-04-26 | 2022-04-26 | 图像处理方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450299.5A CN114708168A (zh) | 2022-04-26 | 2022-04-26 | 图像处理方法和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708168A true CN114708168A (zh) | 2022-07-05 |
Family
ID=82176797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210450299.5A Pending CN114708168A (zh) | 2022-04-26 | 2022-04-26 | 图像处理方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708168A (zh) |
-
2022
- 2022-04-26 CN CN202210450299.5A patent/CN114708168A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748850B2 (en) | Blended neural network for super-resolution image processing | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN113556464B (zh) | 拍摄方法、装置及电子设备 | |
| US10410314B2 (en) | Systems and methods for crossfading image data | |
| CN112308797B (zh) | 角点检测方法、装置、电子设备及可读存储介质 | |
| CN111583299A (zh) | 一种运动检测方法、装置、存储介质及终端设备 | |
| CN114782280A (zh) | 图像处理方法和装置 | |
| US20230230199A1 (en) | Demosaicing circuit for demosaicing quad bayer raw image data | |
| CN114708168A (zh) | 图像处理方法和电子设备 | |
| CN116912467A (zh) | 图像拼接方法、装置、设备及存储介质 | |
| CN115410133A (zh) | 视频密集预测方法及其装置 | |
| US11810266B2 (en) | Pattern radius adjustment for keypoint descriptor generation | |
| CN115797194A (zh) | 图像降噪方法、装置、电子设备、存储介质和程序产品 | |
| CN115205456A (zh) | 三维模型构建方法、装置、电子设备及存储介质 | |
| Amanatiadis et al. | An integrated architecture for adaptive image stabilization in zooming operation | |
| CN110349109B (zh) | 基于鱼眼畸变校正方法及其系统、电子设备 | |
| CN114049473A (zh) | 图像处理方法及装置 | |
| CN115866240A (zh) | 视频稳定性确定方法及装置 | |
| US20240305901A1 (en) | Demosaicing quad bayer raw image using correlation of color channels | |
| CN115100236A (zh) | 视频处理方法及其装置 | |
| CN115239777A (zh) | 视频处理方法及其装置 | |
| US20240320786A1 (en) | Methods and apparatus for frame interpolation with occluded motion | |
| CN117541507A (zh) | 图像数据对的建立方法、装置、电子设备和可读存储介质 | |
| CN116309130A (zh) | 图像处理方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |