CN116912132A - Bayer域3DNR图像去噪方法及其装置 - Google Patents
Bayer域3DNR图像去噪方法及其装置 Download PDFInfo
- Publication number
- CN116912132A CN116912132A CN202311162957.1A CN202311162957A CN116912132A CN 116912132 A CN116912132 A CN 116912132A CN 202311162957 A CN202311162957 A CN 202311162957A CN 116912132 A CN116912132 A CN 116912132A
- Authority
- CN
- China
- Prior art keywords
- image
- current
- ycbcr
- bayer
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000009467 reduction Effects 0.000 claims abstract description 104
- 238000006243 chemical reaction Methods 0.000 claims abstract description 39
- 230000009466 transformation Effects 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 49
- 238000001914 filtration Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 29
- 230000002123 temporal effect Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种Bayer域3DNR图像去噪方法及其装置，其中方法包括：获取当前帧的Bayer图像；通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。本发明能够提高图像去噪的效果。
Description
技术领域
本发明涉及图像信号处理（ISP）技术领域，尤其涉及一种Bayer域3DNR图像去噪方法及其装置。
背景技术
图像上的噪声不仅有空间噪声，还有时间噪声。其中，利用多帧图像在时间上的相关性去噪，可以称之为时域去噪（TNR）。
对于时域去噪，一种最简单的实现方法是时域均值滤波，其是将相邻帧的图像做加权平均。由于累加后噪声的增长速度（根号关系）小于信号的增长速度（线性关系），所以在图像做加权平均的过程中，图像的信号噪声比会提高。因此，时域均值滤波只适合处理静态图像，如果画面中存在运动的物体则会出现伪影（ghost effect）。
同样的，在时域降噪中，一些因为手持或者相机位移将会导致成像画面移动，从而严重影响降噪效果，同时也会带来严重的伪影现象。另外，由于受芯片面积、功耗以及带宽的限制，ISP上的算法并不能像软件算法一样不计成本的获取硬件资源，以达到最优的去噪效果。
因此，如何在ISP中提高图像去噪的效果，成为亟需解决的难题。
发明内容
为解决上述问题，本发明提供的Bayer域3DNR图像去噪方法及其装置，通过相位对齐变换算法对当前帧的Bayer图像进行处理，能够有效地降低时空结合去噪因缓存前一帧带来地系统带宽急速增加的问题，从而有利于提高在ISP中图像去噪的效果。
第一方面，本发明提供一种Bayer域3DNR图像去噪，该方法包括：
获取当前帧的Bayer图像；
通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；
对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
可选地，在对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之前，该方法还包括：
获取当前帧的Bayer图像相对于前一帧的Bayer图像的全局运动矢量；
根据全局运动矢量，对前一帧的Bayer图像所对应的前一帧YCbCr图像进行运动补偿，得到前一帧YCbCr补偿图像；
对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像；
当前帧的Bayer图像的大小为第一尺寸，当前RGB图像的大小为第二尺寸，第二尺寸小于第一尺寸。
可选地，根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
将当前RGB图像转换为当前YCbCr图像；
根据前一帧YCbCr补偿图像，对当前YCbCr图像进行时域的降噪处理，得到当前目标YCbCr图像；
将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
通过第一颜色空间转换器，将当前RGB图像转换为当前YCbCr图像；
对当前YCbCr图像进行去噪处理，以去除当前YCbCr图像中至少一个频段的噪声，并得到当前YCbCr去噪图像；
根据前一帧YCbCr补偿图像，对当前YCbCr图像进行去鬼影处理，得到用于时域降噪的当前滤波权重，以指导当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前YCbCr图像的融合；
根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像；
将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，在根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤之后，方法还包括：
存储当前目标YCbCr图像，以用于对下一帧YCbCr图像进行时域降噪；
和/或，将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
通过第二颜色空间转换器，将当前目标YCbCr图像转换为RGB格式的目标图像；
通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
根据当前RGB图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频变换残差；
将当前帧的Bayer图像中的红色像素的亮度值与R低频变换残差做减法操作，计算出Bayer格式的目标图像中的红色像素的R高频变换残差；
根据当前RGB图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中的蓝色像素的B低频变换残差；
将当前帧的Bayer图像中的蓝色像素的亮度值与B低频变换残差做减法操作，计算出Bayer格式的目标图像中的蓝色像素的B高频变换残差；
根据当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值的差值，计算出Bayer格式的目标图像中的绿色像素的G高频变换残差；
根据RGB格式的目标图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频去噪变换残差；
根据RGB格式的目标图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中蓝色像素的B低频去噪变换残差；
根据RGB格式的目标图像中的绿色像素的亮度值和G高频变换残差，分别计算出Bayer格式的目标图像中的绿色像素的亮度值；
根据R高频变换残差和R低频去噪变换残差，计算出Bayer格式的目标图像中的红色像素的亮度值；
根据B高频变换残差和B低频去噪变换残差，计算出Bayer格式的目标图像中的蓝色像素的亮度值。
可选地，根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤，包括：
根据当前滤波权重和调谐频率函数，计算出时域融合因子和空域融合因子；
根据空域融合因子、当前YCbCr图像的像素值和当前YCbCr去噪图像的像素值，计算出当前YCbCr去噪目标图像的空域去噪像素值；
根据时域融合因子、空域去噪像素值和前一帧YCbCr补偿图像的像素值，计算出当前目标YCbCr图像的时域去噪像素值，即得到当前目标YCbCr图像。
可选地，通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤，包括：
对RGrGbB格式的当前帧的Bayer图像中的红色像素的亮度值和蓝色像素的亮度值分别采用双线性插值做相位对齐变换，得到当前RGB图像中红色像素的亮度值和蓝色像素的亮度值；
对RGrGbB格式的当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值求平均值的方法做相位对齐变换，得到当前RGB图像中相应位置处的绿色像素的亮度值。
可选地，在通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤之前，方法还包括：
对当前帧的Bayer图像进行空域的降噪处理。
可选地，在通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤之前，方法还包括：
对当前帧的Bayer图像进行GAT变换，以将当前帧的Bayer图像中与信号相关的噪声转换为与信号无关的噪声；
在对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之后，方法还包括：
对当前目标图像进行GAT逆变换，得到Bayer格式的目标图像，将Bayer格式的目标图像作为当前目标图像。
第二方面，本发明提供一种Bayer域3DNR图像去噪装置，包括：
第一获取模块，被配置为获取当前帧的Bayer图像；
相位对齐模块，被配置为通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；
时空降噪模块，被配置为对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
可选地，该系统还包括：
第二获取模块，被配置为在时空降噪模块对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之前，获取当前帧的Bayer图像相对于前一帧的Bayer图像的全局运动矢量；
补偿模块，被配置为根据全局运动矢量，对前一帧的Bayer图像所对应的前一帧YCbCr图像进行运动补偿，得到前一帧YCbCr补偿图像；
时空降噪模块，还被配置为根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像；
当前帧的Bayer图像的大小为第一尺寸，当前RGB图像的大小为第二尺寸，第二尺寸小于第一尺寸。
可选地，时空降噪模块包括：
第一转换子模块，被配置为将当前RGB图像转换为当前YCbCr图像；
第一时域降噪子模块，被配置为根据前一帧YCbCr补偿图像，对当前YCbCr图像进行时域的降噪处理，得到当前目标YCbCr图像；
第二转换子模块，被配置为将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，时空降噪模块包括：
第三转换子模块，被配置为通过第一颜色空间转换器，将当前RGB图像转换为当前YCbCr图像；
去噪子模块，被配置为对当前YCbCr图像进行去噪处理，以去除当前YCbCr图像中至少一个频段的噪声，并得到当前YCbCr去噪图像；
去鬼影子模块，被配置为根据前一帧YCbCr补偿图像，对当前YCbCr图像进行去鬼影处理，得到用于时域降噪的当前滤波权重，以指导当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前YCbCr图像的融合；
第二时域降噪子模块，被配置为根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像；
第四转换子模块，被配置为将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，装置还包括：
存储模块，被配置为存储当前目标YCbCr图像，以用于对下一帧YCbCr图像进行时域降噪；
和/或，第四转换子模块包括：
第一转换单元，被配置为通过第二颜色空间转换器，将当前目标YCbCr图像转换为RGB格式的目标图像；
逆相位对齐变换单元，被配置为通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像。
可选地，逆相位对齐变换单元包括：
第一计算子单元，被配置为根据当前RGB图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频变换残差；
第二计算子单元，被配置为将当前帧的Bayer图像中的红色像素的亮度值与R低频变换残差做减法操作，计算出Bayer格式的目标图像中的红色像素的R高频变换残差；
第三计算子单元，被配置为根据当前RGB图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中的蓝色像素的B低频变换残差；
第四计算子单元，被配置为将当前帧的Bayer图像中的蓝色像素的亮度值与B低频变换残差做减法操作，计算出Bayer格式的目标图像中的蓝色像素的B高频变换残差；
第五计算子单元，被配置为根据当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值的差值，计算出Bayer格式的目标图像中的绿色像素的G高频变换残差；
第六计算子单元，被配置为根据RGB格式的目标图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频去噪变换残差；
第七计算子单元，被配置为根据RGB格式的目标图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中蓝色像素的B低频去噪变换残差；
第八计算子单元，被配置为根据RGB格式的目标图像中的绿色像素的亮度值和G高频变换残差，分别计算出Bayer格式的目标图像中的绿色像素的亮度值；
第九计算子单元，被配置为根据R高频变换残差和R低频去噪变换残差，计算出Bayer格式的目标图像中的红色像素的亮度值；
第十计算子单元，被配置为根据B高频变换残差和B低频去噪变换残差，计算出Bayer格式的目标图像中的蓝色像素的亮度值。
可选地，第二时域降噪子模块包括：
第一计算单元，被配置为根据当前滤波权重和调谐频率函数，计算出时域融合因子和空域融合因子；
第二计算单元，被配置为根据空域融合因子、当前YCbCr图像的像素值和当前YCbCr去噪图像的像素值，计算出当前YCbCr去噪目标图像的空域去噪像素值；
第三计算单元，被配置为根据时域融合因子、空域去噪像素值和前一帧YCbCr补偿图像的像素值，计算出当前目标YCbCr图像的时域去噪像素值，即得到当前目标YCbCr图像。
可选地，相位对齐模块包括：
插值单元，被配置为对RGrGbB格式的当前帧的Bayer图像中的红色像素的亮度值和蓝色像素的亮度值分别采用双线性插值做相位对齐变换，得到当前RGB图像中红色像素的亮度值和蓝色像素的亮度值；
对角平均单元，被配置为对RGrGbB格式的当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值求平均值的装置做相位对齐变换，得到当前RGB图像中相应位置处的绿色像素的亮度值。
可选地，该装置还包括：
空域降噪模块，被配置为在时空降噪模块对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之前，对当前帧的Bayer图像进行空域的降噪处理。
可选地，该装置还包括：
GAT变换模块，被配置为在时空降噪模块对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之前，对当前帧的Bayer图像进行GAT变换，以将当前帧的Bayer图像中与信号相关的噪声转换为与信号无关的噪声；
该装置还包括：
GAT逆变换模块，被配置为在时空降噪模块对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之后，对当前目标图像进行GAT逆变换，得到Bayer格式的目标图像，作为当前目标图像。
第三方面，本发明提供一种电子设备，电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上任一项中的方法。
第四方面，本发明提供一种芯片，芯片包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上任一项中的方法。
第五方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现如上任一项中的方法。
本发明实施例提供的Bayer域3DNR图像去噪方法及其装置，通过相位对齐变换算法对当前帧的Bayer图像进行处理，以将，将当前帧的Bayer图像转换为中心相位对齐的当前RGB图像，从而能有效的降低图像的分辨率，如此能够有效地降低时空结合去噪因缓存前一帧带来地系统带宽急速增加的问题，进而提高了ISP中图像去噪的效果。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例的Bayer域3DNR图像去噪方法的示意性流程图；
图2为本申请一实施例的RGrGbB格式的当前帧的Bayer图像的示意图；
图3为本申请一实施例的 Bayer 3DNR模块的工作流程示意图；
图4为本申请一实施例的第二级时空去噪的工作流程示意图；
图5为本申请一实施例的Bayer域3DNR图像去噪装置的示意性结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
首先，对本发明所涉及的关键技术术语进行说明，具体如下：
raw：原始图像文件，包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据；
Bayer：raw图像数据格式的一种；
BLC：Black Level Correction，黑电平矫正；
3DNR：3D降噪，即三维降噪；
SNR：Spatial Noise Reduction，空域去噪；
STNR：Spatial&Temporal Noise Reduction，时空结合去噪；
ISP_FE：ISP 前端；
ISP_BE：ISP 后端；
ME：Motion Estimation 运动估计；
MC：Motion Compensation 运动补偿；
GAT：Generalized Anscombe Transform，广义Anscombe变换；
IAT：Inverse Anscombe Transform，Anscombe逆变换；
MTB：Median threshold bitmap，中值阈值比特图。
第一方面，本发明一实施例提供一种Bayer域3DNR图像去噪方法，该去噪方法应用于ISP Pipeline（图像信号处理流水线）。其中，ISP Pipeline包括ISP_FE和ISP_BE两个。一般来说，ISP_FE主要有黑电平矫正/数字gain（BLC/GAIN）、坏点矫正（BAD PIXELCORRECTION）以及白平衡（WHITE BALLANCE）等模块。ISP_BE主要包含了Bayer 3DNR模块、DEMOSICA（去马赛克）模块、颜色矫正（COLOR CORRECTION）模块、伽玛矫正（GAMMACORRECTION）模块、颜色空间的转换（RGB2YCBCR）模块以及处理其他的YCbCr域的模块等。
本发明在ISP_FE中加入了用于产生全局运动矢量MV的全局运动估计模块（ME），以配合ISP_BE上的Bayer 3DNR模块。
参见图1，在本实施例中，该Bayer域3DNR图像去噪方法包括步骤S101至步骤S103：
步骤S101：获取当前帧的Bayer图像。
其中，当前帧的Bayer图像也为带噪声的Bayer图像序列。
步骤S102：通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐。
其中，当前帧的Bayer图像的大小为第一尺寸，当前RGB图像的大小为第二尺寸，第二尺寸小于第一尺寸。
具体的，当前帧的Bayer图像的大小为第一尺寸，也即全尺寸，记作FULL。当前RGB图像的大小为第二尺寸，记作D4。第二尺寸小于第一尺寸。
例如，在执行步骤S102后，图像空间分辨率从降为/>，空间分辨率的降低，有助于STNR模块对带宽需求的降低。
在一种可选的实施例中，通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤，包括：
对RGrGbB格式的当前帧的Bayer图像中的红色像素的亮度值和蓝色像素的亮度值分别采用双线性插值做相位对齐变换，得到当前RGB图像中红色像素的亮度值和蓝色像素的亮度值；对RGrGbB格式的当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值求平均值的方法做相位对齐变换，得到当前RGB图像中相应位置处的绿色像素的亮度值。
相位对齐变换的目的是将空间相位不对齐的四通道的当前帧的Bayer图像转换为中心相位对齐的当前RGB图像/>，从而能有效的降低图像的分辨率，利于后面模块的处理。
结合图2，以当前帧的Bayer图像转换采用RGrGbB排布方式为例，来说明相位对齐变换：对于当前帧的Bayer图像种的红色像素和蓝色像素均采用双线性插值做相位对齐变换；对于绿色像素均采用对角平均的方法做相位对齐变换，具体表示如公式一：
公式一
其中，图2中的每个小方格均代表当前帧的Bayer图像中一个像素，小方格中的字母代表像素的颜色，R代表红色，B代表蓝色，Gr和Gb均代表绿色；字母后的两位数字代表像素的位置，对应公式一中的；在公式一中每个量均表示对应像素的亮度值。如，表示为当前帧的Bayer图像中第一行第三列的红色像素的亮度值；/>表示为当前RGB图像中第一行第二列的绿色像素的亮度值。
步骤S103：对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
在一种可选的实施例中，在对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之前，该方法还包括：
获取当前帧的Bayer图像相对于前一帧的Bayer图像的全局运动矢量；根据全局运动矢量，对前一帧的Bayer图像所对应的前一帧YCbCr图像进行运动补偿，得到前一帧YCbCr补偿图像。
对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
需要说明的是，在本实施例中各图像名称前的Bayer、YCbCr和RGB均表示为对应图像的格式。如前一帧YCbCr补偿图像可以理解为是前一帧的YCbCr格式的图像。
在通过YCbCr格式的补偿图像对Bayer图像进行时域的降噪处理时，可以想到的是，先将Bayer图像转换为YCbCr格式的图像；然后将YCbCr格式的补偿图像作用于转换后的YCbCr格式的图像上。
同时，需要说明的是，在本实施例中步骤S102和步骤S103均属于第二级时空去噪（2nd-STNR）中的具体操作过程。
在一种可选的实施例中，结合图3，在通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤，即第二级时空去噪之前，该方法还包括：对当前帧的Bayer图像进行空域的降噪处理，即第一级空域降噪（1st-SNR）。具体可采用双边滤波（BF）或非局部均值滤波（NLM）等方式，在该可选的实施例中不做进一步的限定。
通过在对当前帧的Bayer图像进行时域的降噪处理之前，对当前帧的Bayer图像进行第一级空域降噪，保留了图像的细节，为第二级时空去噪，即执行步骤S103奠定了基础。
在一种可选的实施例中，在通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤之前，该方法还包括：对当前帧的Bayer图像进行GAT变换，以将当前帧的Bayer图像中与信号相关的噪声转换为与信号无关的噪声。
在该可选的实施例中，对当前帧的Bayer图像进行GAT变换的操作步骤也在进行第一级空域降噪之前执行。
同样的，在对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之后，该方法还包括：对当前目标图像进行GAT逆变换，即IAT变换，得到Bayer格式的目标图像，作为当前目标图像。
在一种可选的实施例中，根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括步骤S10311至步骤S10313：
步骤S10311：将当前RGB图像转换为当前YCbCr图像。
步骤S10312：根据前一帧YCbCr补偿图像，对当前YCbCr图像进行时域的降噪处理，得到当前目标YCbCr图像。
步骤S10313：将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
在该可选的实施例中，通过将Bayer图像上估计的全局运动矢量（全局MV），作用在前一帧YCbCr图像上，可以做到逐像素精度的像素对齐，避免了在Bayer数据上做运动补偿精度不高的问题。
在一种可选的实施例中，根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括步骤S10321至步骤S10325：
步骤S10321：通过第一颜色空间转换器，将当前RGB图像转换为当前YCbCr图像。
其中，当前YCbCr图像的大小为第二尺寸。
需要说明的是，第一颜色空间转换器进行颜色空间转换的目的是分离当前RGB图像中的亮度和色度，以便于后续模块分别对当前RGB图像中的亮度和色度进行降噪处理。
具体的，第一颜色空间转换器可采用如下变换，将D4大小的RGB图像（CUR_D4_RGB_IMG）从RGB空间转换到YCbCr空间，具体参见公式二，但并不限于此：
公式二
其中，Y为当前YCbCr图像中对应像素的亮度(luminance)，即表示光的浓度且为非线性；Cb和Cr则为当前YCbCr图像中各个对应像素中蓝色和红色的浓度偏移量成份；R、G和B分别表示当前RGB图像中R通道、G通道和B通道上的数值。
步骤S10322：对当前YCbCr图像进行去噪处理，以去除当前YCbCr图像中至少一个频段的噪声，并得到当前YCbCr去噪图像。
在本实施例中，采用多尺度空域降噪（Multiscale Spatial Denoising）的方式对当前YCbCr图像进行去噪处理，分别对亮度和色度去除各个频率上的噪声。以Haar（哈尔）小波多尺度空域降噪为例，其中的小波金字塔能够同时提供信号的时间信息和频率信息，从而给出信号的时频表示，可以有效帮助在不同的频率上的噪声去除。
具体地，对当前YCbCr图像做多尺度空域降噪，采用Haar小波做多尺度分解。其中可选地，分别对像素中Y通道、Cb通道和Cr通道做4层金字塔分解。从金字塔的最顶层开始，在每层低频子带（LL，由上一层金字塔重构而来）上使用经典的去噪的方法去噪，可选地可以使用双边滤波去噪（BF）、非局部均值滤波（NLM）、引导滤波（GF）等，其中色度的去噪，可选地使用亮度指导去噪，以保证去噪效果；直到所有的层都完成去噪，从而得到D4大小的多尺度去噪后的当前YCbCr去噪图像。
步骤S10323：根据前一帧YCbCr补偿图像，对当前YCbCr图像进行去鬼影处理，得到用于时域降噪的当前滤波权重，以指导当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前YCbCr图像的融合。
需要说明的是，对当前YCbCr图像进行去鬼影（ANTI-GHOST）处理的目的是获得一个逐像素的当前滤波权重FS，以避免在图像融合的过程中产生伪影现象。
具体地，采用块匹配地方式做伪影检测，逐点计算前一帧和当前帧邻域块（）的SAD（绝对差的总和）值，可选地，邻域块地大小可以选择/>，然后由公式三计算出滤波权重FS，具体如下：
公式三
其中，，/>是与噪声水平有关的强度控制参数，决定曲线衰减到0的速度。/>的值归一化到[0, 63]，作为当前滤波权重FS。
步骤S10324：根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像。
在一种可选的实施例中，根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤，包括：
根据当前滤波权重和调谐频率函数，计算出时域融合因子和空域融合因子；
根据空域融合因子、当前YCbCr图像的像素值和当前YCbCr去噪图像的像素值，计算出当前YCbCr去噪目标图像的空域去噪像素值；
根据时域融合因子、空域去噪像素值和前一帧YCbCr补偿图像的像素值，计算出当前目标YCbCr图像的时域去噪像素值，即得到当前目标YCbCr图像。
具体的时域滤波机制定义如下，参见公式四和公式五：
公式四
公式五
其中，为当前YCbCr去噪图像的像素值；CUR是当前YCbCr图像的像素值，是当前帧图像去噪后的像素值；PREV为前一帧YCbCr补偿图像的像素值；
是空域融合因子，也是FS的tuning函数，当/>时，/>取最大值；当/>时，/>取最小值；/>的最小值/>越大，输出图像的噪声更少，但是细节可能会退化；/>的最小值/>越小，输出图像保留更多的细节，但是去噪会越弱；/>
是时域融合因子，是FS的tuning（调谐频率）函数，当/>时，/>；当时，/>取最大值。/>的最大值/>越大，图像越干净，但是收敛速度越慢；/>的最大值/>越小，收敛越快，但是去噪会越弱。
步骤S10325：将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
可以理解的是，步骤S10311包括步骤S10321；步骤S10312包括步骤S10322至步骤S10325。
进一步的，将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
通过第二颜色空间转换器，将当前目标YCbCr图像转换为RGB格式的目标图像；通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像。
在一种可选的实施例中，通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
根据当前RGB图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频变换残差；
将当前帧的Bayer图像中的红色像素的亮度值与R低频变换残差做减法操作，计算出Bayer格式的目标图像中的红色像素的R高频变换残差；
根据当前RGB图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中的蓝色像素的B低频变换残差；
将当前帧的Bayer图像中的蓝色像素的亮度值与B低频变换残差做减法操作，计算出Bayer格式的目标图像中的蓝色像素的B高频变换残差；
根据当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值的差值，计算出Bayer格式的目标图像中的绿色像素的G高频变换残差；
根据RGB格式的目标图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频去噪变换残差；
根据RGB格式的目标图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中蓝色像素的B低频去噪变换残差；
根据RGB格式的目标图像中的绿色像素的亮度值和G高频变换残差，分别计算出Bayer格式的目标图像中的绿色像素的亮度值；
根据R高频变换残差和R低频去噪变换残差，计算出Bayer格式的目标图像中的红色像素的亮度值；
根据B高频变换残差和B低频去噪变换残差，计算出Bayer格式的目标图像中的蓝色像素的亮度值。
进一步的，在RGB格式的目标图像进行逆相位对齐变换的过程中，需要提前计算相位对齐点上的变换残差，参见公式六，但并不限于此：
公式六
其中，表示为当前RGB图像中/>处的红色像素的亮度值；/>表示为Bayer格式的目标图像中/>处的红色像素的R低频变换残差；/>表示为当前帧的Bayer图像中/>处的红色像素的亮度值；/>表示为Bayer格式的目标图像中/>处的红色像素的R高频变换残差；/>表示为当前RGB图像中/>处的蓝色像素的亮度值；/>表示为Bayer格式的目标图像中/>处的红色像素的B低频变换残差；/>表示为当前帧的Bayer图像中/>处的蓝色像素的亮度值；/>分别表示为当前帧的Bayer图像中/>的绿色像素的亮度值；/>表示为Bayer格式的目标图像中/>处的绿色像素的G高频变换残差。
假设RGB格式的目标图像的RGB数据记为，利用公式七计算该目标图像对应的低频去噪变换残差，具体如下：
公式七
其中，表示为RGB格式的目标图像中/>处的红色像素的亮度值；Bayer格式的目标图像中/>处的红色像素的R低频去噪变换残差；表示为RGB格式的目标图像中/>处的蓝色像素的亮度值；/>表示为Bayer格式的目标图像中/>处的蓝色像素的R低频去噪变换残差。
根据公式六和公式七计算出的数值，通过公式八即可计算出Bayer格式的目标图像，具体如下：
公式八
其中，表示为RGB格式的目标图像中/>处的蓝色像素的亮度值；和/>分别表示为Bayer格式的目标图像中/>的绿色像素的亮度值；/>表示为Bayer格式的目标图像中/>的红色像素的亮度值；/>表示为Bayer格式的目标图像中/>的蓝色像素的亮度值。
通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，保留了中心相位上的高频残差，有效的实现了从D4大小的RGB格式的目标图像转换回全尺寸大小的Bayer格式的目标图像。
在一种可选的实施例中，在根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤之后，方法还包括：
存储当前目标YCbCr图像，以用于对下一帧YCbCr图像进行时域降噪。
需要说明的是，当对下一帧YCbCr图像进行时域降噪时，前目标YCbCr图像仍需要通过相应的全局运动矢量进行运动补偿，之后再进行去鬼影处理以及图像的融合。
在该可选的实施例中，当前目标YCbCr图像缓存到DDR（双倍速率同步动态随机存储器）上，并通过1-frame delay（延迟一帧）模块进行延迟操作，以便下一帧STNR使用。可选地，也可以将当前目标YCbCr图像转换为YUV420格式的图像存储到DDR，从而进一步降低带宽的消耗。
在本发明所提供的Bayer域3DNR图像去噪方法通过两级去噪，实现了噪声的逐步去除，同时不损伤图像的细节。其中，第一级空域降噪负责初步的Bayer 空域2D降噪；第二级时空结合的降噪负责更加精细的噪声去除。
另外，通过将相位不对齐的Bayer数据转换为中心相位对齐的RGB数据，不仅有效地降低了STNR因缓存前一帧带来地装置带宽急速增加的问题，同时也便于将多尺度降噪的方法直接作用于YCbCr图像，从而有效的去除图像各个频段的噪声。通过相位对齐逆变换，保留了当前RGB图像的中心相位上的高频残差，有效的实现了从D4大小的RGB图像转换回全尺寸大小的Bayer图像。
除此之外，将Bayer图像上全尺寸估计的全局运动矢量MV，作用在D4大小的YCbCr图像上，以进行STNR，不但可以做到逐像素精度的像素对齐，避免了在Bayer数据上做运动补偿精度不高的问题，同时还节省了带宽，有利于当前帧的图像在时域进行有效的降噪，提高了装置去噪的实时性，在提高了ISP中图像去噪的效果的同时，有效的降低了对硬件资源的过度依赖。
第二方面，本发明一实施例提供一种时空降噪的方法，应用于上述第二级时空去噪，具体如下：
结合图4，当前Bayer图像（CUR_BAYER_IMG，即当前帧的Bayer图像）经过相位对齐变换（PHASE_TRANSFORM），将空间相位不对齐的四通道Bayer图像对齐到相位对齐的RGB图像（CUR_D4_RGB_IMG，即当前RGB图像）；同时，图像分辨率从FULL大小转换到D4大小；D4大小的RGB图像（CUR_D4_RGB_IMG）通过颜色空间转换，转换为D4大小的YCbCr图像（CUR_D4_YCbCr_IMG，即当前YCbCr图像）；对D4大小的YCbCr图像（CUR_D4_YCbCr_IMG）做多尺度空域去噪，得到多尺度空域去噪之后的图像（SNR_D4_YCbCr_IMG，即当前YCbCr去噪图像）；同时，当前D4大小的YCbCr图像（CUR_D4_YCbCr_IMG）和前一帧D4大小的YCbCr图像（PREV_D4_YCbCr_IMG，即前一帧YCbCr补偿图像），通过去鬼影模块（ANTI-GHOST）输出时域降噪（Temporal Denoising）模块需要的滤波强度（FILTER_STRENGTH_MAP，即当前滤波权重）；将当前D4大小YCbCr图像（CUR_D4_YCbCr_IMG），多尺度去噪后的图像（SNR_D4_YCbCr_IMG），前一帧D4大小YCbCr图像（PREV_D4_YCbCr_IMG），以及滤波强度（FILTER_STRENGTH_MAP）输入时域降噪模块（Temporal Denoising），做时域降噪，得到时域降噪之后的图像（FINAL_D4_YCbCr_IMG，即当前目标YCbCr图像）；时域降噪之后的图像（FINAL_D4_YCbCr_IMG）分为两路，其中一路，直接输出缓存到DDR上，以便下一帧STNR使用，另一路通过INVERSE_RGB2YCbCr模块，将图像转换为D4大小RGB图像（FINAL_D4_RGB_IMG，即RGB格式的目标图像）； D4大小RGB图像（FINAL_D4_RGB_IMG）通过逆相位对齐（INVERSE_PHASE_TRANSFORM）模块，重构出全尺寸（FULL）大小的Bayer图像，得到最终的去噪后的Bayer图像（FINAL_STNR_BAYER_IMG，即当前目标图像）。
需要说明的是，本实施例所提供的时空降噪的方法，在应用于ISP_BE中的BAYER_3DNR模块时，需要的全局运动矢量MV依赖于ISP_FE中的ME模块的输出。ME模块，是一个全局运动估计的模块，主要用于在全局上对齐前一帧和当前帧，产生前一帧相对于当前帧的全局运动矢量。该模块采用MTB图像对齐技术，并在第一方面中仅作用在相应图像的G通道上，但并不限于此，如此实现了快速、鲁棒的连续帧全局对齐，得到当前帧的全局运动矢量。
第三方面，本发明一实施例提供一种Bayer域3DNR图像去噪装置200，参见图5，Bayer域3DNR图像去噪装置200包括：
第一获取模块201，被配置为获取当前帧的Bayer图像；
相位对齐模块202，被配置为通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；
时空降噪模块203，被配置为对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
在一种可选的实施例中，该Bayer域3DNR图像去噪装置200还包括：
第二获取模块，被配置为在时空降噪模块203对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之前，获取当前帧的Bayer图像相对于前一帧的Bayer图像的全局运动矢量；
补偿模块，被配置为根据全局运动矢量，对前一帧的Bayer图像所对应的前一帧YCbCr图像进行运动补偿，得到前一帧YCbCr补偿图像；
时空降噪模块203，还被配置为根据前一帧YCbCr补偿图像，对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像；
当前帧的Bayer图像的大小为第一尺寸，当前RGB图像的大小为第二尺寸，第二尺寸小于第一尺寸。
在一种可选的实施例中，时空降噪模块203包括：
第一转换子模块，被配置为将当前RGB图像转换为当前YCbCr图像；
第一时域降噪子模块，被配置为根据前一帧YCbCr补偿图像，对当前YCbCr图像进行时域的降噪处理，得到当前目标YCbCr图像；
第二转换子模块，被配置为将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
在一种可选的实施例中，时空降噪模块203包括：
第三转换子模块，被配置为通过第一颜色空间转换器，将当前RGB图像转换为当前YCbCr图像；
去噪子模块，被配置为对当前YCbCr图像进行去噪处理，以去除当前YCbCr图像中至少一个频段的噪声，并得到当前YCbCr去噪图像；
去鬼影子模块，被配置为根据前一帧YCbCr补偿图像，对当前YCbCr图像进行去鬼影处理，得到用于时域降噪的当前滤波权重，以指导当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前YCbCr图像的融合；
第二时域降噪子模块，被配置为根据当前YCbCr去噪图像、前一帧YCbCr补偿图像和当前滤波权重，对当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像；
第四转换子模块，被配置为将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
在一种可选的实施例中，Bayer域3DNR图像去噪装置200还包括：
存储模块，被配置为存储时域降噪模块203输出的当前目标YCbCr图像，以用于对下一帧YCbCr图像进行时域降噪；
和/或，第四转换子模块包括：
第一转换单元，被配置为通过第二颜色空间转换器，将当前目标YCbCr图像转换为RGB格式的目标图像；
逆相位对齐变换单元，被配置为通过逆相位对齐变换算法，将RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像。
在一种可选的实施例中，逆相位对齐变换单元包括：
第一计算子单元，被配置为根据当前RGB图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频变换残差；
第二计算子单元，被配置为将当前帧的Bayer图像中的红色像素的亮度值与R低频变换残差做减法操作，计算出Bayer格式的目标图像中的红色像素的R高频变换残差；
第三计算子单元，被配置为根据当前RGB图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中的蓝色像素的B低频变换残差；
第四计算子单元，被配置为将当前帧的Bayer图像中的蓝色像素的亮度值与B低频变换残差做减法操作，计算出Bayer格式的目标图像中的蓝色像素的B高频变换残差；
第五计算子单元，被配置为根据当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值的差值，计算出Bayer格式的目标图像中的绿色像素的G高频变换残差；
第六计算子单元，被配置为根据RGB格式的目标图像中的红色像素的亮度值，计算出Bayer格式的目标图像中的红色像素的R低频去噪变换残差；
第七计算子单元，被配置为根据RGB格式的目标图像中的蓝色像素的亮度值，计算出Bayer格式的目标图像中蓝色像素的B低频去噪变换残差；
第八计算子单元，被配置为根据RGB格式的目标图像中的绿色像素的亮度值和G高频变换残差，分别计算出Bayer格式的目标图像中的绿色像素的亮度值；
第九计算子单元，被配置为根据R高频变换残差和R低频去噪变换残差，计算出Bayer格式的目标图像中的红色像素的亮度值；
第十计算子单元，被配置为根据B高频变换残差和B低频去噪变换残差，计算出Bayer格式的目标图像中的蓝色像素的亮度值。
在一种可选的实施例中，第二时域降噪子模块包括：
第一计算单元，被配置为根据当前滤波权重和调谐频率函数，计算出时域融合因子和空域融合因子；
第二计算单元，被配置为根据空域融合因子、当前YCbCr图像的像素值和当前YCbCr去噪图像的像素值，计算出当前YCbCr去噪目标图像的空域去噪像素值；
第三计算单元，被配置为根据时域融合因子、空域去噪像素值和前一帧YCbCr补偿图像的像素值，计算出当前目标YCbCr图像的时域去噪像素值，即得到当前目标YCbCr图像。
在一种可选的实施例中，相位对齐模块包括：
插值单元，被配置为对RGrGbB格式的当前帧的Bayer图像中的红色像素的亮度值和蓝色像素的亮度值分别采用双线性插值做相位对齐变换，得到当前RGB图像中红色像素的亮度值和蓝色像素的亮度值；
对角平均单元，被配置为对RGrGbB格式的当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值求平均值的装置做相位对齐变换，得到当前RGB图像中相应位置处的绿色像素的亮度值。
在一种可选的实施例中，该Bayer域3DNR图像去噪装置200还包括：
空域降噪模块，被配置为在时空降噪模块203对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之前，对当前帧的Bayer图像进行空域的降噪处理。
在一种可选的实施例中，该Bayer域3DNR图像去噪装置200还包括：
GAT变换模块，被配置为在时空降噪模块203根据前一帧YCbCr补偿图像，对当前帧的Bayer图像进行时域的降噪处理，得到当前目标图像之前，对当前帧的Bayer图像进行GAT变换，以将当前帧的Bayer图像中与信号相关的噪声转换为与信号无关的噪声；
该Bayer域3DNR图像去噪装置200还包括：
GAT逆变换模块，被配置为在时空降噪模块203对当前RGB图像进行时域和空域的降噪处理，得到当前目标图像之后，对当前目标图像进行GAT逆变换，得到Bayer格式的目标图像，作为当前目标图像。
第四方面，本发明一实施例提供一种电子设备，电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的方法。
第屋方面，本发明一实施例提供一种芯片，芯片包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的方法。
第六方面，本发明一实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现第一方面中的方法。
在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种Bayer域3DNR图像去噪方法，其特征在于，包括：
获取当前帧的Bayer图像；
通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；
对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
2.根据权利要求1所述的方法，其特征在于，在对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之前，所述方法还包括：
获取当前帧的Bayer图像相对于前一帧的Bayer图像的全局运动矢量；
根据所述全局运动矢量，对所述前一帧的Bayer图像所对应的前一帧YCbCr图像进行运动补偿，得到前一帧YCbCr补偿图像；
所述对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
根据所述前一帧YCbCr补偿图像，对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像；
所述当前帧的Bayer图像的大小为第一尺寸，所述当前RGB图像的大小为第二尺寸，所述第二尺寸小于所述第一尺寸。
3.根据权利要求2所述的方法，其特征在于，所述根据所述前一帧YCbCr补偿图像，对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
将所述当前RGB图像转换为当前YCbCr图像；
根据所述前一帧YCbCr补偿图像，对所述当前YCbCr图像进行时域的降噪处理，得到当前目标YCbCr图像；
将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述前一帧YCbCr补偿图像，对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤，包括：
通过第一颜色空间转换器，将所述当前RGB图像转换为当前YCbCr图像；
对所述当前YCbCr图像进行去噪处理，以去除所述当前YCbCr图像中至少一个频段的噪声，并得到当前YCbCr去噪图像；
根据所述前一帧YCbCr补偿图像，对所述当前YCbCr图像进行去鬼影处理，得到用于时域降噪的当前滤波权重，以指导所述当前YCbCr去噪图像、所述前一帧YCbCr补偿图像和所述当前YCbCr图像的融合；
根据所述当前YCbCr去噪图像、所述前一帧YCbCr补偿图像和所述当前滤波权重，对所述当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像；
将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述当前YCbCr去噪图像、所述前一帧YCbCr补偿图像和所述当前滤波权重，对所述当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤之后，所述方法还包括：
存储所述当前目标YCbCr图像，以用于对下一帧YCbCr图像进行时域降噪；
和/或，所述将当前目标YCbCr图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
通过第二颜色空间转换器，将当前目标YCbCr图像转换为RGB格式的目标图像；
通过逆相位对齐变换算法，将所述RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像。
6.根据权利要求5所述的方法，其特征在于，所述通过逆相位对齐变换算法，将所述RGB格式的目标图像转换为Bayer格式的目标图像，即得到当前目标图像的步骤，包括：
根据所述当前RGB图像中的红色像素的亮度值，计算出所述Bayer格式的目标图像中的红色像素的R低频变换残差；
将所述当前帧的Bayer图像中的红色像素的亮度值与所述R低频变换残差做减法操作，计算出所述Bayer格式的目标图像中的红色像素的R高频变换残差；
根据所述当前RGB图像中的蓝色像素的亮度值，计算出所述Bayer格式的目标图像中的蓝色像素的B低频变换残差；
将所述当前帧的Bayer图像中的蓝色像素的亮度值与所述B低频变换残差做减法操作，计算出所述Bayer格式的目标图像中的蓝色像素的B高频变换残差；
根据所述当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值的差值，计算出所述Bayer格式的目标图像中的绿色像素的G高频变换残差；
根据所述RGB格式的目标图像中的红色像素的亮度值，计算出所述Bayer格式的目标图像中的红色像素的R低频去噪变换残差；
根据所述RGB格式的目标图像中的蓝色像素的亮度值，计算出所述Bayer格式的目标图像中蓝色像素的B低频去噪变换残差；
根据所述RGB格式的目标图像中的绿色像素的亮度值和所述G高频变换残差，分别计算出Bayer格式的目标图像中的绿色像素的亮度值；
根据所述R高频变换残差和R低频去噪变换残差，计算出所述Bayer格式的目标图像中的红色像素的亮度值；
根据所述B高频变换残差和B低频去噪变换残差，计算出所述Bayer格式的目标图像中的蓝色像素的亮度值。
7.根据权利要求4所述的方法，其特征在于，所述根据所述当前YCbCr去噪图像、所述前一帧YCbCr补偿图像和所述当前滤波权重，对所述当前YCbCr图像进行时域降噪，得到当前目标YCbCr图像的步骤，包括：
根据所述当前滤波权重和调谐频率函数，计算出时域融合因子和空域融合因子；
根据所述空域融合因子、所述当前YCbCr图像的像素值和所述当前YCbCr去噪图像的像素值，计算出所述当前YCbCr去噪目标图像的空域去噪像素值；
根据所述时域融合因子、所述空域去噪像素值和所述前一帧YCbCr补偿图像的像素值，计算出所述当前目标YCbCr图像的时域去噪像素值，即得到所述当前目标YCbCr图像。
8.根据权利要求1所述的方法，其特征在于，所述通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤，包括：
对RGrGbB格式的所述当前帧的Bayer图像中的红色像素的亮度值和蓝色像素的亮度值分别采用双线性插值做相位对齐变换，得到当前RGB图像中红色像素的亮度值和蓝色像素的亮度值；
对RGrGbB格式的所述当前帧的Bayer图像中的绿色像素的亮度值，采用对角线上相邻的两个数值求平均值的方法做相位对齐变换，得到当前RGB图像中相应位置处的绿色像素的亮度值。
9.根据权利要求1至8中任一项所述的方法，其特征在于，在所述通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤之前，所述方法还包括：
对所述当前帧的Bayer图像进行空域的降噪处理。
10.根据权利要求1至8中任一项所述的方法，其特征在于，在所述通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像的步骤之前，所述方法还包括：
对所述当前帧的Bayer图像进行GAT变换，以将所述当前帧的Bayer图像中与信号相关的噪声转换为与信号无关的噪声；
在所述对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像的步骤之后，所述方法还包括：
对所述当前目标图像进行GAT逆变换，得到Bayer格式的目标图像，将Bayer格式的目标图像作为当前目标图像。
11.一种Bayer域3DNR图像去噪装置，其特征在于，包括：
第一获取模块，被配置为获取当前帧的Bayer图像；
相位对齐模块，被配置为通过相位对齐变换算法，将当前帧的Bayer图像转换为当前RGB图像，以在降低图像分辨率的同时，保证当前帧的Bayer图像中的像素的相位与当前RGB图像中的像素的相位对齐；
时空降噪模块，被配置为对所述当前RGB图像进行时域和空域的降噪处理，得到当前目标图像。
12.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
13.一种芯片，其特征在于，所述芯片包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311162957.1A CN116912132B (zh) | 2023-09-11 | 2023-09-11 | Bayer域3DNR图像去噪方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311162957.1A CN116912132B (zh) | 2023-09-11 | 2023-09-11 | Bayer域3DNR图像去噪方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116912132A true CN116912132A (zh) | 2023-10-20 |
| CN116912132B CN116912132B (zh) | 2023-12-26 |
Family
ID=88360570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311162957.1A Active CN116912132B (zh) | 2023-09-11 | 2023-09-11 | Bayer域3DNR图像去噪方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912132B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101133520B1 (ko) * | 2011-01-03 | 2012-04-04 | 엠텍비젼 주식회사 | 색 노이즈 제거 방법 및 장치 |
| CN102547162A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 用于处理原始图像数据的图像信号处理器线缓冲器配置 |
| CN106251318A (zh) * | 2016-09-29 | 2016-12-21 | 杭州雄迈集成电路技术有限公司 | 一种序列图像的去噪装置及方法 |
| CN106504281A (zh) * | 2016-12-02 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
| CN107862672A (zh) * | 2017-12-20 | 2018-03-30 | 上海富瀚微电子股份有限公司 | 图像去雾的方法及装置 |
| CN109410124A (zh) * | 2016-12-27 | 2019-03-01 | 深圳开阳电子股份有限公司 | 一种视频图像的降噪方法及装置 |
| CN110246089A (zh) * | 2018-03-07 | 2019-09-17 | 舜宇光学（浙江）研究院有限公司 | 基于非局域均值滤波的Bayer域图像降噪系统及其方法 |
| US20190355098A1 (en) * | 2018-05-18 | 2019-11-21 | Gopro, Inc. | Multiscale denoising of raw images with noise estimation |
| CN110944176A (zh) * | 2019-12-05 | 2020-03-31 | 浙江大华技术股份有限公司 | 图像帧降噪方法和计算机存储介质 |
| CN111784603A (zh) * | 2020-06-29 | 2020-10-16 | 珠海全志科技股份有限公司 | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 |
| CN111861902A (zh) * | 2020-06-10 | 2020-10-30 | 天津大学 | 基于深度学习的Raw域视频去噪方法 |
| WO2021115403A1 (zh) * | 2019-12-13 | 2021-06-17 | 深圳市中兴微电子技术有限公司 | 一种图像的处理方法及装置 |
| CN113240607A (zh) * | 2021-05-26 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像去噪方法、装置、电子设备及存储介质 |
| CN116017172A (zh) * | 2022-12-26 | 2023-04-25 | 展讯通信（上海）有限公司 | 一种Raw域图像的降噪方法及其装置、相机和终端 |
-
2023
- 2023-09-11 CN CN202311162957.1A patent/CN116912132B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547162A (zh) * | 2010-09-30 | 2012-07-04 | 苹果公司 | 用于处理原始图像数据的图像信号处理器线缓冲器配置 |
| KR101133520B1 (ko) * | 2011-01-03 | 2012-04-04 | 엠텍비젼 주식회사 | 색 노이즈 제거 방법 및 장치 |
| CN106251318A (zh) * | 2016-09-29 | 2016-12-21 | 杭州雄迈集成电路技术有限公司 | 一种序列图像的去噪装置及方法 |
| CN106504281A (zh) * | 2016-12-02 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
| CN109410124A (zh) * | 2016-12-27 | 2019-03-01 | 深圳开阳电子股份有限公司 | 一种视频图像的降噪方法及装置 |
| CN107862672A (zh) * | 2017-12-20 | 2018-03-30 | 上海富瀚微电子股份有限公司 | 图像去雾的方法及装置 |
| CN110246089A (zh) * | 2018-03-07 | 2019-09-17 | 舜宇光学（浙江）研究院有限公司 | 基于非局域均值滤波的Bayer域图像降噪系统及其方法 |
| US20190355098A1 (en) * | 2018-05-18 | 2019-11-21 | Gopro, Inc. | Multiscale denoising of raw images with noise estimation |
| CN110944176A (zh) * | 2019-12-05 | 2020-03-31 | 浙江大华技术股份有限公司 | 图像帧降噪方法和计算机存储介质 |
| WO2021115403A1 (zh) * | 2019-12-13 | 2021-06-17 | 深圳市中兴微电子技术有限公司 | 一种图像的处理方法及装置 |
| CN111861902A (zh) * | 2020-06-10 | 2020-10-30 | 天津大学 | 基于深度学习的Raw域视频去噪方法 |
| CN111784603A (zh) * | 2020-06-29 | 2020-10-16 | 珠海全志科技股份有限公司 | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 |
| CN113240607A (zh) * | 2021-05-26 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像去噪方法、装置、电子设备及存储介质 |
| CN116017172A (zh) * | 2022-12-26 | 2023-04-25 | 展讯通信（上海）有限公司 | 一种Raw域图像的降噪方法及其装置、相机和终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116912132B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102769722B (zh) | 时域与空域结合的视频降噪装置及方法 | |
| TWI542224B (zh) | 影像訊號處理方法以及影像訊號處理裝置 | |
| US8098961B2 (en) | Resolution enhancement apparatus and method | |
| US7636393B2 (en) | Image processing method, image recording method, image processing device and image file format | |
| RU2652722C1 (ru) | Обработка данных для сверхразрешения | |
| US20100245670A1 (en) | Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening | |
| US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
| US20120224766A1 (en) | Image processing apparatus, image processing method, and program | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| CN111784603A (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
| US9014503B2 (en) | Noise-reduction method and apparatus | |
| JP7375208B2 (ja) | スーパー夜景画像の生成方法、装置、電子機器および記憶媒体 | |
| TWI423666B (zh) | Image elimination method for image sequence | |
| US20150206280A1 (en) | Image processing apparatus, image processing method, and program | |
| US11816858B2 (en) | Noise reduction circuit for dual-mode image fusion architecture | |
| CN116912132B (zh) | Bayer域3DNR图像去噪方法及其装置 | |
| US11915392B2 (en) | Image enhancement method and apparatus | |
| US9811892B1 (en) | Separating sub-band image data for processing and merging with unprocessed image data | |
| US9911177B2 (en) | Applying chroma suppression to image data in a scaler of an image processing pipeline | |
| CN101778297B (zh) | 影像序列的干扰消除方法 | |
| US9916637B1 (en) | Splitting and merging subband image data | |
| US8576926B2 (en) | Single frame artifact filtration and motion estimation | |
| CN111754437B (zh) | 一种基于运动强度的3d降噪方法及装置 | |
| CN112241936B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN112241670B (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |