CN115719311A - 处理图像的方法和相关设备 - Google Patents

Abstract

本申请提供一种处理图像的方法和相关设备，该方法包括：获取待处理图像的彩色图像和亮度图像，其中该彩色图像为红绿蓝RGB格式的图像使用深度神经网络图像信号处理和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像。上述技术方案利用两种降噪方法对图像进行降噪处理，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。

Description

处理图像的方法和相关设备

技术领域

本申请涉及图像处理领域，更具体地，涉及一种处理图像的方法和相关设备。

背景技术

在一些拍摄场景中，由于光照强度较低，摄像机捕捉到的图像信息的信噪比低，图像内容差，不利于辨识场景内物体内容。通过传统的图像处理流程，往往只能提升静态物体成像效果，无法提升动态物体成像质量。甚至有时甚至会牺牲动态物体成像效果来提升整体静态视觉质量，产生极强的运动拖影，即鬼影。

因此，需要一个更适合的图像处理流程，以期在光照强度较低的场景下提供良好的图像处理效果。

发明内容

本申请提供一种处理图像的方法和相关设备，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。

第一方面，本申请实施例提供一种处理图像的方法，包括获取待处理图像的彩色图像和亮度图像，其中该彩色图像为红绿蓝RGB格式的图像使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像。

DNN ISP降噪能够很好地降低噪声，且不会引入传统算法造成的运动鬼影。时域空域降噪算法能够更好地保留细节纹理。上述技术方案利用两种降噪方法对图像进行降噪处理，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。

在一种可能的设计中，该使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像，包括对该彩色图像进行DNN ISP降噪处理，得到该低频参考图像对该亮度图像进行时域空域降噪处理，得到该高频参考图像；对该亮度图像和该高频参考图像进行DNN ISP降噪处理，得到该中频参考图像。

上述技术方案将主要影响运动物体结构和低频平坦区域噪声情况的中低频信息与主要影响纹理信息的高频亮度信息区分开，使图像降噪增强算法可以针对不同频率信息进行更有侧重的降噪增强处理，发挥各自长处。具体地，DNN ISP降噪能够很好地降低噪声，且不会引入传统算法造成的运动鬼影。因此，使用DNN ISP应用到中频信息和低频信息的降噪任务中，可以获得良好的降噪结果，且保留中低频信息的结构信息和色彩信息。时域空域降噪算法能够更好地保留细节纹理。将时域空域降噪算法应用到高频信息的降噪任务中，可以保留更好的细节信息。上述技术方案结合各频段降噪结果的降噪优势，突出低频色彩降噪的低色彩噪声、少运动鬼影、保留色彩信息，中频亮度降噪的少运动鬼影、少结构噪声、保留结构信息，以及高频亮度降噪的细节保留完善。

在一种可能的设计中，该对该亮度图像和该高频参考图像进行DNS ISP降噪处理，得到该中频参考图像，包括对该亮度图像进行拆分，得到N个第一通道数据，N为大于或等于2的正整数对该高频参考图像进行拆分，得到N个第二通道数据将该N个第一通道数据与该N个第二通道数据延通道拼接，得到2×N个第三通道数据将该2×N个第三通道数据输入降噪网络，得到N个第四通道数据，该N个第四通道数据与该N个彩色滤色镜的颜色一一对应，该N个第四通道数据中的每个第四通道数据包括对应的颜色的像素强度将该N个第四通道数据组合，得到该中频参考图像。

在一种可能的设计中，该对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像，包括对该低频参考图像和该中频参考图像进行融合，得到第一参考图像对该高频参考图像和该第一参考图像进行融合，得到该已处理图像。

在一种可能的设计中，该对该低频参考图像和该中频参考图像进行融合，包括将RGB格式的该低频参考图像转为亮度色度YUV格式的第二参考图像使用该中频参考图像替换该第二参考图像中的明亮度Y图像，得到该第一参考图像。

在一种可能的设计中，该对该高频参考图像和该第一次参考图像进行融合，得到该已处理图像，包括使用低频滤波器提取该高频参考图像的高频细节，得到高频细节图像将该高频细节图像与该第一参考图像中的Y图像相加，得到第三参考图像，其中该第三参考图像为YUV格式的图像将该第三参考图像转换为RGB格式的该已处理图像。

在一种可能的设计中，该获取待处理图像的彩色图像和亮度图像，包括在该待处理图像是通过包括红绿蓝白RGBW滤色镜的感光元件获取的情况下，根据该RGBW滤色镜中的RGB滤色镜对应的感光单位的像素强度得到该彩色图像，根据该RGBW滤色镜中的白色W滤色镜对应的感光单位的像素强度得到该亮度图像。

在一种可能的设计中，该获取待处理图像的彩色图像和亮度图像，包括在该待处理图像是通过包括RGGB滤色镜的感光元件获取的情况下，根据该感光元件的像素强度得到该彩色图像确定对应于该彩色图像的YUV格式的图像中的亮度Y图像为该亮度图像。

第二方面，本申请实施例提供一种电子设备，该电子设备包括用于实现第一方面或第一方面的任一种可能的实现方式的单元。

第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器，该处理器用于与存储器耦合，读取并执行该存储器中的指令和/或程序代码，以执行第一方面或第一方面的任一种可能的实现方式。

第四方面，本申请实施例提供一种芯片系统，该芯片系统包括逻辑电路，该逻辑电路用于与输入/输出接口耦合，通过该输入/输出接口传输数据，以执行第一方面或第一方面任一种可能的实现方式。

第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该计算机存储介质在计算机上运行时，使得计算机执行如第一方面或第一方面的任一种可能的实现方式。

第六方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行如第一方面或第一方面的任一种可能的实现方式。

附图说明

图1是一个摄像设备的示意性结构框图。

图2是拜耳滤色镜以及滤色镜矩阵的示意图。

图3是一个RGBW滤色镜的滤色镜矩阵的示意图。

图4是根据本申请实施例提供的图像处理的方法的示意性流程图。

图5是根据DNN ISP算法的示意性流程图。

图6是对彩色图像进行DNN ISP降噪处理的示意性流程图。

图7是对该亮度图像和该高频参考图像进行DNN ISP降噪处理的示意性流程图。

图8是对该亮度图像进行时域空域降噪处理的示意性流程图。

图9是低频参考图像和中频参考图像融合的示意性流程图。

图10是高频参考图像和第一参考图像融合的示意性结构框图。

图11是根据本申请实施例提供的电子设备。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例中的术语“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

以及，除非有特别说明，本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。

本申请实施例中所称的芯片可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是应用处理器(application processor，AP)，或其他集成芯片。

本申请实施例中所称的摄像设备可以是摄像机、照相机、安防摄像头、车载摄像头、交通摄像头等具有摄像功能的设备。

图1是一个摄像设备的示意性结构框图。如图1所示的摄像设备100包括摄像头模组110和与摄像头模组110通信连接的图像处理器120。

摄像头模组110用于获取图像数据并将图像数据输入到图像处理器120中，以便图像处理器120对图像数据进行处理。其中，摄像头模组110与图像处理器120的通信连接可以包括通过走线等电连接方式进行数据传输，也可以通过耦合等方式实现数据传输。可以理解的是，摄像头模组110与图像处理器120还可以通过其它能够实现数据传输的方式实现通信连接。

图像处理器120的功能是通过一系列复杂的数学算法运算，对数字图像信号进行优化处理，最后把处理后的信号传到显示器上。图像处理器120可以是图像处理芯片或数字信号处理芯片(digital signal processor，DSP)，它的作用是将感光芯片获得的数据及时快速地传递给中央处理器并刷新感光芯片，因此DSP芯片的好坏，直接影响画面品质(比如色彩饱和度，清晰度等)。

一些实施例中，摄像设备100还包括模数转换器130。模数转换器130连接于摄像头模组110与图像处理器120之间。模数转换器130用于将摄像头模组110产生的信号转换为数字图像信号并传输至图像处理器120，再通过图像处理器120对数字图像信号进行处理，最终通过显示屏或者显示器进行图像或者影像显示。

一些实施例中，摄像设备100还包括存储器140，存储器140与图像处理器120通信连接，图像处理器120对图像数字信号加工处理以后再将图像传输至存储器140中，以便于在后续需要查看图像时能够随时从存储中查找图像并在显示屏上进行显示。一些实施例中，图像处理器120还会对处理后的图像数字信号进行压缩，再存储至存储器140中，以节约存储器140空间。

摄像头模组110包括光学镜头111、感光元件112和色彩滤波阵列113。感光元件112位于光学镜头111的像侧，且当摄像头模组110进行工作时，待成像景物通过光学镜头111后在感光元件112上成像。具体的，摄像头模组110的工作原理为：被摄景物反射的光线L通过光学镜头111生成光学图像投射到感光元件112的表面，感光元件112将光学图像转为电信号即模拟图像信号S1并将转环得到的模拟图像信号S1传输至模数转换器130，以通过模数转换器130转换为数字图像信号S2给图像处理器120。

感光元件112是一种半导体芯片，表面包含有几十万到几百万的光电二极管，受到光照射时，会产生电荷，通过模数转换器130芯片转换成数字信号。感光元件112可以是电荷耦合元件(charge coupled device，CCD)，也可以是互补金属氧化物导体器件(complementary metal-oxide semiconductor，CMOS)。电荷藕合器件感光元件112CCD使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器130芯片转换成数字信号。CCD由许多感光单位组成。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。互补性氧化金属半导体CMOS主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N(带–电)和P(带+电)级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。

色彩滤波阵列(也可以称为色彩滤色镜、色彩滤色器、色彩滤波器等)是在感光元件上方的一层马赛克覆层，用于采集图像的色彩信息。感光元件112只能感应光的强度，不能区分光的波长(色彩)。因此，感光元件112需要通过色彩滤波(color filter)来获取像素点的色彩信息。

色彩滤波根据波长进行滤波，特定的滤色镜只允许特定的波长通过。拜耳滤色镜(bayer filter)是目前市场上用途最广的色彩滤色镜。拜耳滤色镜中有50％的滤色镜是绿色(green，G)、25％的滤色镜是红色(red，R)，25％的滤色镜是蓝色(blue，B)。因此，拜耳滤色镜也可以称为是RGGB滤色镜。在拜耳滤色镜中，两个绿色滤色镜处在对角线的位置，它们和红色、蓝色滤波器形成2×2的矩阵。为了便于描述，这样一个2×2的矩阵可以称为是一个滤色镜矩阵。

图2是拜耳滤色镜以及滤色镜矩阵的示意图。如图2中的(a)是设置有拜耳滤色镜的感光元件的示意图。图2中的(b)是拜耳滤色镜中的一个滤色镜矩阵的示意图。如图2中的(b)所示的滤色镜矩阵包括一个红色滤色镜、一个蓝色滤色镜和两个绿色滤色镜。为了便于描述，以下实施例中将位于滤色镜矩阵左下角的绿色滤色镜称为绿色滤色镜1，位于滤色镜矩阵右上角的绿色滤色镜称为绿色滤色镜2。

为了便于描述，本申请实施例将其上设置有RGGB滤色镜的感光元件称为RGGB感光元件；将RGGB感光元件中的设置有红色滤色镜的感光单位称为红色感光单位，将设置有绿色滤色镜的感光单位称为绿色感光单位，将设置有蓝色滤色镜的感光单位称为蓝色感光单位。更进一步，可以将设置有绿色滤色镜1的感光单位称为绿色感光单位1，将设置有绿色滤色镜2的感光单位称为绿色感光单位2

RGBW滤色镜是另一种色彩滤色镜。除了包含R、G、B三种颜色的滤色镜以外，RGBW滤色镜还包括白色(white，W)滤色镜。RGBW取消了第二排绿色滤色镜，让三种光线都能畅通无阻地进入像素内。

图3是一个RGBW滤色镜的滤色镜矩阵的示意图。如图3所示的滤色镜矩阵是一个4×4的矩阵。该滤色镜矩阵可以由四个子矩阵组成，该四个子矩阵中的每个子矩阵包括一个彩色滤镜和三个白色滤镜。本申请实施例中所称的彩色滤色镜是指除白色滤色镜以外的其他颜色的滤色镜，例如，红色滤色镜、蓝色滤色镜、绿色滤色镜。除非特殊说明，本申请实施例中所称的RGBW滤色镜都是指包括如图3所示的滤色镜矩阵的RGBW滤色镜。

如图3所示，子矩阵1包括滤色镜矩阵左上角的四个滤色镜，该四个滤色镜包括三个白色滤色镜和一个红色滤色镜；子矩阵2包括滤色镜矩阵右上角的四个滤色镜，该四个滤色镜包括三个白色滤色镜和一个绿色滤色镜；子矩阵3包括滤色镜矩阵左下角的四个滤色镜，该四个滤色镜包括三个白色滤色镜和一个绿色滤色镜；子矩阵4包括滤色镜矩阵右下角四个滤色镜，该四个滤色镜包括三个白色滤色镜和一个红色滤色镜。为了便于区分子矩阵2中的绿色滤色镜和子矩阵3中的绿色滤色镜，以下将子矩阵2中的绿色滤色镜称为绿色滤色镜1，将子矩阵3中的绿色滤色镜称为绿色滤色镜2。

此外，如图3所示，滤色镜矩阵中的每个子矩阵都包括三个白色滤色镜，且三个白色滤色镜在四个子矩阵中的相对位置是相同的(即都在子矩阵的左上角、右上角和右下角)。因此，为了便于描述，可以将位于子矩阵左上角的白色滤色镜称为白色滤色镜1，将位于子矩阵右上角的白色滤色镜称为白色滤色镜2，将位于子矩阵右下角的白色滤色镜称为白色滤色镜3。

类似的，将其上设置有RGBW滤色镜的感光元件称为RGBW感光元件；将RGBW感光元件中设置有红色滤色镜的感光单位称为红色感光单位，将设置有绿色滤色镜的感光单位称为绿色感光单位，将设置有蓝色滤色镜的感光单位称为蓝色感光单位，将设置有白色滤色镜的感光单位称为白色感光单位。更进一步，可以将设置有白色滤色镜1的感光单位称为白色感光单位1，将设置有白色滤色镜2的感光单位称为白色感光单位2，将设置有白色滤色镜3的感光单位称为白色感光单位3；还可以将设置有绿色滤色镜1的感光单位称为绿色感光单位1，将设置有绿色滤色镜2的感光单位称为绿色感光单位2

以下实施例主要以RGGB滤色镜和RGBW滤色镜为例对本申请的技术方案进行描述。可以理解的是，图2所示的RGGB滤色镜以及图3所示的RGBW滤色镜只是两个较为常用的色彩滤波阵列。色彩滤波阵列113也可以采用其他色彩滤色镜，例如四拜耳(quad-bayer)色彩滤波阵列或者其他形式的滤色镜矩阵的RGBW滤色镜等。本申请实施例也可以应用于设置有这些色彩滤色镜的感光元件获取的图像，具体实现方式与设置有RGGB滤色镜或RGBW滤色镜的感光元件获取的图像的具体实现方式类似。

图4是根据本申请实施例提供的图像处理的方法的示意性流程图。

401，获取待处理图像的彩色图像和亮度图像。

该待处理图像可以是感光元件生成的原始(raw)图像。raw图像是未经过加速器，比如神经网络处理器(neural-network processing unit，NPU)、图形处理器(graphicsprocessing unit，GPU)、数字信号处理器(digital signal processor，DSP)等处理器进行算法加速，以及未经过图像信号处理器(image signal processor，ISP)处理的原始图像。

在一些实施例中，该待处理图像是由RGBW感光元件获取的。在另一些实施例中，该待处理图像是由RGGB感光元件获取的。为了便于描述，以下将由RGBW感光元件获取的待处理图像成为第一待处理图像；将由RGGB感光元件获取的待处理图像称为第二待处理图像。相应的，可以将第一待处理图像的彩色图像称为第一彩色图像，将第一待处理图像的亮度图像称为第一亮度图像；将第二待处理图像的彩色图像称为第二彩色图像，将第二待处理图像的亮度图像称为第二亮度图像。

该彩色图像是RGB格式的图像。该RGB格式的图像可以简称称为RGB图像。

由于用于获取第一待处理图像的彩色滤色镜中有白色滤色镜，因此可以直接根据白色感光单位的像素强度确定该第一亮度图像。该第一彩色图像可以根据红色感光单位、绿色感光单位和蓝色感光单位的像素强度确定。

由于用于获取第二待处理图像的色彩滤色镜中没有白色滤色镜，因此可以先根据红色感光单位、绿色感光单位和蓝色感光单位的像素强度确定该第二彩色图像，然后将该第二色彩图像转换为YUV格式的图像(可以简称为YUV图像)，确定YUV格式的图像中的Y分量的图像(可以简称为Y图像)为该第二亮度图像。

RGB图像可以通过以下公式转换为YUV图像：

其中，Y_i,j、U_i,j和V_i,j分别表示表示Y分量、U分量和V分量的在坐标(i，j)的值，R_i,j、G_i,j和B_i,j分别表示在坐标(i，j)的红色、绿色和蓝色的像素强度。

当然，在另一些实施例中，也可以不进行RGB格式到YUV格式的转换，而只需要根据该第二彩色图像确定YUV格式的图像中Y图像即可。

402，对该彩色图像进行深度神经网络图像信号(deep neural network imagesignal processing，DNN ISP)降噪处理，得到低频参考图像。

403，对该亮度图像进行时域空域降噪处理，得到高频参考图像。

404，对该亮度图像和该高频参考图像进行DNN ISP降噪处理，得到中频参考图像。

405，对该低频参考图像和该中频参考图像进行融合，得到第一参考图像。

406，对该高频参考图像和该第一参考图像进行融合，得到已处理图像。

上述技术方案将主要影响运动物体结构和低频平坦区域噪声情况的中低频信息与主要影响纹理信息的高频亮度信息区分开，使图像降噪增强算法可以针对不同频率信息进行更有侧重的降噪增强处理，发挥各自长处。具体地，DNN ISP降噪能够很好地降低噪声，且不会引入传统算法造成的运动鬼影。因此，使用DNN ISP应用到中频信息和低频信息的降噪任务中，可以获得良好的降噪结果，且保留中低频信息的结构信息和色彩信息。时域空域降噪算法能够更好地保留细节纹理。将时域空域降噪算法应用到高频信息的降噪任务中，可以保留更好的细节信息。上述技术方案结合各频段降噪结果的降噪优势，突出低频色彩降噪的低色彩噪声、少运动鬼影、保留色彩信息，中频亮度降噪的少运动鬼影、少结构噪声、保留结构信息，以及高频亮度降噪的细节保留完善。因此，利用上述技术方案可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。

下面结合图5至图10对图4所示的各个步骤进行介绍。

图5是根据DNN ISP算法的示意性流程图。如图5所示，DNN ISP算法由预处理算法、深度学习网络以及后处理算法构成。预处理算法负责将数据处理为适合网络输入的格式，深度学习网络主要由卷积层构成，根据预先训练的权重对输入图像进行降噪处理，网络的输出被送入后处理单元，得到了降噪后的图像

图6是对彩色图像进行DNN ISP降噪处理的示意性流程图。

601，将彩色图像拆分为M个通道的数据。该N个通道的数据与滤色镜矩阵包括M个彩色滤色镜的颜色一一对应，该M个通道中每个通道的数据包括对应的颜色在彩色图像中的像素强度。M为大于或等于2的正整数。

例如，如果该彩色图像是第一彩色图像(即通过RGBW感光元件获取的待处理图像的彩色图像)，那么可以将该彩色图像拆分为四个通道的数据。该四个通道可以分别称为通道1、通道2、通道3和通道4。该四个通道与四个滤色镜一一对应，例如，通道1对应于红色滤色镜，通道2对应于绿色滤色镜1，通道3对应于绿色滤色镜2，通道4对应于蓝色滤色镜。通道1的数据包括感光元件中所有红色感光单位的获取到的像素强度，通道2的数据包括感光元件中所有绿色感光单位1获取的像素强度，通道3的数据包括感光元件中所有绿色感光单位2获取的像素强度，通道4的数据包括感光元件中所有蓝色感光单位获取的像素强度。

将该第一彩色图像拆分为四个通道的数据的具体公式如下：

P_c,i,j＝R_i0,j0， (公式2)

i0＝4×i+d1， (公式3)

j0＝4×j+d2， (公式4)

其中，P_c,i,j为拆组后c通道(i,j)位置上的像素强度，R_i0,j0为彩色图像中(i0,j0)位置上的像素强度。(d1,d2)为基于通道c的位置偏移量。(d1,d2)与通道c的关系如表1所示。

表1

c	(d1,d2)
		1	(1，0)
2	(1，2)
		3	(2，1)
4	(2,2)

又如，如果该彩色图像是第二彩色图像(即通过RGGB感光元件获取的待处理图像的彩色图像)，那么同样可以将该彩色图像拆分为四个通道的数据。该四个通道可以分别称为通道1、通道2、通道3和通道4。该四个通道与四个滤色镜一一对应，例如，通道1对应于红色滤色镜，通道2对应于绿色滤色镜1，通道3对应于绿色滤色镜2，通道4对应于蓝色滤色镜。通道1的数据包括感光元件中所有红色感光单位的获取到的像素强度，通道2的数据包括感光元件中所有绿色感光单位1获取的像素强度，通道3的数据包括感光元件中所有绿色感光单位2获取的像素强度，通道4的数据包括感光元件中所有蓝色感光单位获取的像素强度。

将该第二彩色图像拆分为四个通道的数据的具体公式如下：

P_c,i,j＝R_i0,j0， (公式5)

i0＝2×i+d1， (公式6)

j0＝2×j+d2， (公式7)

其中，P_c,i,j为拆组后c通道(i,j)位置上的像素强度，R_i0,j0为彩色图像中(i0,j0)位置上的像素强度。(d1,d2)为基于通道c的位置偏移量。(d1,d2)与通道c的关系如表2所示。

表2

c	(d1,d2)
		1	(0，0)
2	(0，1)
		3	(1，0)
4	(1，1)

602，将M个通道的数据延通道拼接，得到拼接后的数据。

603，将拼接后的数据输入到预先训练好的深度学习网络中。

该深度学习网络可以是利用U-net结构的降噪网络也可以是其他预先训练好的降噪网络。

604，获取深度学习网络的输出数据。该输出数据是M个通道的数据，该N个通道的数据与滤色镜矩阵包括M个彩色滤色镜的颜色一一对应，该N个通道中每个通道的数据包括对应的颜色的像素强度。为了区分步骤601中的M个通道的数据和步骤604中得到的M个通道的数据，可以将步骤601中的M个通道的数据称为M个第一通道数据，将步骤604中的M个通道的数据称为M个第二通道数据。

605，将N个第二通道数据进行组合，得到低频参考图像。

步骤605可以认为是步骤601的逆过程。因此，可以参考公式2至公式4和表1，或者，公式5至公式7和表2将该N个第二通道数据进行组合，得到该低频参考图像。

图7是对该亮度图像和该高频参考图像进行DNN ISP降噪处理的示意性流程图。

701，将亮度图像拆分为N个通道的数据。

702，将高频参考图像拆分为N个通道的数据。

在该亮度图像是根据白色感光单位获取的像素强度确定的情况下，该N个通道与滤色镜矩阵中的一个子矩阵包括的N个白色滤色镜一一对应，其中N为滤色镜矩阵中的一个子矩阵包括的白色滤色镜数目。N个通道中的每个通道包括对应的白色滤色镜的感光单位的像素强度。

例如，如果该亮度图像是该第一亮度图像，那么可以将该第一亮度图像拆分为三个通道的数据。这三个通道可以分别称为通道1，通道2和通道3。通道1对应于白色滤色镜1，通道2对应于白色滤色镜2，通道3对应于白色滤色镜3。通道1的数据包括白色感光单位1的像素强度，通道2的数据包括白色感光单位2的像素强度，通道3的数据包括白色感光单位3的像素强度。

可以利用公式5至公式7将该第一亮度图像拆分为三个通道的数据。在利用公式5至公式7将该第一亮度图像拆分为三个通道的数据时，(d1,d2)与通道c的关系如表3所示。

表3

c	(d1,d2)
		1	(0，0)
2	(0，1)
		3	(1，1)

通过彩色图像转换得到的Y图像可以认为是由多个2×2像素组成的一张亮度图像。该N个通道与一个2×2像素包括的4个像素一一对应，每个通道包括亮度图像中所有与对应的像素位置相同的像素的像素强度。

例如，该2×2个像素中右下角的像素(即相当于位于与RGGB滤色镜中红色滤色镜位置的像素)可以称为像素1，左下角的像素(即相当于位于与RGGB滤色镜中绿色滤色镜1位置的像素)可以称为像素2，右上角的像素(即相当于位于与RGGB滤色镜中绿色滤色镜2位置的像素)3，左上角的像素(即相当于位于与RGGB滤色镜中蓝色滤色镜位置的像素)可以称为像素4。第二亮度图像可以拆分得到的四个通道的数据。这四个通道可以分别称为通道1、通道2、通道3和通道4。通道1包括第二亮度图像中所有与像素1位置相同的像素的像素强度，通道2包括第二亮度图像中所有与像素2位置相同的像素的像素强度，通道3包括第二亮度图像中所有与像素3位置相同的像素的像素强度，通道4包括第二亮度图像中所有与像素4位置相同的像素的像素强度。

将第二亮度图像拆分为四个通道的数据的拆分方式与将第二彩色图像拆分为四个通道的数据的方式相同，即可以通过公式5至公式7，以及如表2所示的对应关系，将该第二亮度图像拆分为四个通道的数据。

高频参考图像是通过对亮度图像进行时域空域降噪得到的。时域空域降噪对亮度图像的尺寸没有影响。因此，高频参考图像的拆分方式与亮度图像的拆分方式相同。

例如，如果高频参考图像是对第一亮度图像进行时域空域降噪的到的。那么该高频参考图像可以拆分为三个通道的数据。这三个通道可以分别称为通道1、通道2和通道3。通道1的数据包括的像素强度是白色感光单位1的像素强度经过时域空域降噪后得到的像素强度，通道2的数据的像素强度是白色感光单位2的像素强度经过时域空域降噪后得到的像素强度，通道3的数据包括的像素强度是白色感光单位3的像素强度经过时域空域降噪后得到的像素强度。将该高频参考图像拆分为三个通道的数据的拆分方式与将第一亮度图像拆分为四个通道的数据的方式相同，即可以通过公式5至公式7，以及如表3所示的对应关系，将该高频参考图像拆分为三个通道的数据。

又如，如果高频参考图像是对第二亮度图像进行时域空域降噪的到的。那么该高频参考图像可以拆分为四个通道的数据。这三个通道可以分别称为通道1、通道2、通道3和通道4。通道1的数据包括的像素强度是第二亮度图像中所有与像素1位置相同的像素的像素强度经过时域空域降噪后得到的像素强度，通道2的数据的像素强度是第二亮度图像中所有与像素2位置相同的像素的像素强度经过时域空域降噪后得到的像素强度，通道3的数据包括的像素强度是第二亮度图像中所有与像素3位置相同的像素的像素强度经过时域空域降噪后得到的像素强度，通道4的数据包括的像素强度是第二亮度图像中所有与像素4位置相同的像素的像素强度经过时域空域降噪后得到的像素强度。将该高频参考图像拆分为四个通道的数据的拆分方式与将第二亮度图像拆分为四个通道的数据的方式相同，即可以通过公式5至公式7，以及如表2所示的对应关系，将该高频参考图像拆分为四个通道的数据。

为了便于区分步骤701和步骤702的拆分结果，可以将步骤701中得到的N个通道的数据称为N个第一通道数据，将步骤702中得到的N个通道的数据称为N个第二通道数据。

703，将N个第一通道数据和N个第二通道数据延通道拼接，得到拼接后的数据。

704，将拼接后的数据输入到预先训练好的深度学习网络中。

该深度学习网络可以是利用U-net结构的降噪网络也可以是其他预先训练好的降噪网络。

705，获取深度学习网络的输出数据。该输出数据是N个通道的数据，该N个通道的数据与滤色镜矩阵包括N个彩色滤色镜的颜色一一对应，该N个通道中每个通道的数据包括对应的颜色的像素强度。可以将步骤705中的N个通道的数据称为N个第三通道数据。

706，将N个第三通道数据进行组合，得到中频参考图像。

步骤705可以认为是步骤701的逆过程。因此，可以参考公式5至公式7，以及表2或者表3将该N个第三通道数据进行组合，得到该中频参考图像。

图6中的步骤601至步骤602和图7中的步骤701至步骤703对应于图5中的预处理算法；图6中的步骤603和图7中的步骤704对应于图5中的深度学习网络；图6中的步骤604至步骤605和图7中的步骤705和步骤706对应于图5中的后处理算法。

图8是对该亮度图像进行时域空域降噪处理的示意性流程图。

801，确定该亮度图像的静态区域。

例如，可以通过以下方式确定该亮度图像的静态区域：将该亮度图像与参考帧(也就是前一帧)的亮度图像分成若干个n*n的方块小图(分别记为patch_{cur_x,y},patch_{ref_x,y})，然后依次然后让该亮度图像的patch_{cur_x,y}与参考帧的亮度图像的patch_{ref_x,y}进行逐一搜索匹配，匹配距离deltaV公式为：

deltaV＝|patch_{cur_x,y}-patch_{ref_x,y}|₂， (公式8)

其中，|.|₂为L2范数(也可以称为最小均方误差)。找到最相似(匹配距离最小)的参考帧方块小图patch_{ref_x*,y*}，计算两个方块的中心位置偏差绝对值D，即为运动幅度，即

D＝((x_{patch_cur}-x*_{patch_ref})2+(y_{patch_cur}-y*_{patch_ref})²)^0.5， (公式9)

确定当前帧的各方块的中心位置偏差绝对值是否小于运动阈值thr(经验值1-3)，若是，则判定为静止区域，否则为运动区域。

802，对该亮度图像进行空域降噪(也可以称为2维(2dimensions，2D)降噪)。

在一些实施例中，静态区域和动态区域可以使用相同的空域降噪方法。在此情况下，可以直接使用公式10对该亮度图像进行空域降噪。

W_2d＝k*W， (公式10)

其中，W_2d表示该亮度图像的空域降噪结果，k为高斯滤波核，*表示卷积操作，W表示该亮度图像。高斯滤波核的大小以及标准差可以根据实际情况选取。例如，滤波核的大小可以为3×3、5×5、7×7等，标准差可以取大于或等于2且小于或等于3的数，本申请实施例对此并不限定。

在另一些实施例中，静态区域和动态区域可以使用不同强度的空域降噪。在此情况下，可以分别对静态区域和动态区域进行空域降噪。

803，对该静态区域进行时域降噪(也可以称为3维(3dimensions，3D)降噪)。

可以通过以下公式对静态区域进行时域降噪：

W_3dnr＝mean({W_{2dnr_t}}_T)， (公式11)

其中{W_{2dnr_t}}_T为T帧亮度图像中的第t帧亮度图像的静态区域的时域降噪结果，mean({W_{2dnr_t}}_T)表示计算该亮度图像的静态区域的各个像素点在T帧中的平均值。W_3dnr表示静态区域进行时域-空域3D降噪的降噪结果，即高频参考图像中的静态区域。T为大于或等于2的正整数，t＝1，…，T。

804，将步骤802中的空域降噪结果中的静态区域的部分替换为步骤803中得到的时域降噪结果，得到高频参考图像。

图9是低频参考图像和中频参考图像融合的示意性流程图。

901，将低频参考图像转换为YUV格式的第二参考图像。

该低频参考图像是对RGB格式的彩色图像进行DNN ISP降噪处理得到的。因此该低频参考图像也是RGB格式的图像。RGB格式到YUV格式的转换可以使用公式1实现。

902，使用中频参考图像替换该第二参考图像中的Y图像，得到第一参考图像。

中频参考图像是亮度图像，因此，可以直接使用中频参考图像替换的该第二参考图像中的Y图像，得到该第一参考图像。

在一些实施例中，如果第二参考图像中的Y图像、U图像(即YUV图像中U分量的图像)和V图像(即YUV图像中V分量的图像)的尺寸不同，可以通过对尺寸较小的图像进行差值，得到尺寸相同的Y图像、U图像和V图像。差值方法可以是双线性差值、双三次差值、最邻近差值等，本申请实施例对此并不限定。

图10是高频参考图像和第一参考图像融合的示意性结构框图。

1001，使用低频滤波器提取该高频参考图像的高频细节，得到高频细节图像。

用于提取高频细节的低频滤波器可以是高斯滤波器、卡尔曼滤波器等，本申请实施例对此并不限定。例如假设该低频滤波器为高斯滤波器，那么可以根据以下公式确定该高频参考图像的高频细节：

H＝W_in-k*W_in， (公式12)

其中，H是高频细节图像，k为高斯核，*表示卷积操作，W_in为高频参考图像。高斯核大小可以根据需要选取，例如可以为2×2、3×3、5×5等，本申请实施例对此并不限定。

1002，将该高频细节图像与该第一参考图像中的Y图像相加，得到第三参考图像。

该高频细节图像是通过高频参考图像获取的，而高频参考图像和第一参考图像中的Y图像都是根据待处理图像中的亮度图像确定的。因此，该高频细节图像的尺寸与该第一参考图像中的Y图像尺寸相同，高频细节图像的像素与该Y图像的像素一一对应。将该Y图像中的每个像素强度值与对应的高频细节图像中的像素强度值相加，就可以得到该第三参考图像。

可以理解，该第一参考图像是YUV格式的图像，因此该第三参考图像也是YUV格式的图像。

1003，将该第三参考图像转换为RGB格式的图像。转换后的RGB格式的图像就是对该待处理图像进行降噪后的已处理图像。

图11是根据本申请实施例提供的电子设备。如图11所示的电子设备1100包括获取单元1101、降噪单元1102和融合单元1103。

获取单元1101，用于获取待处理图像的彩色图像和亮度图像，其中所述彩色图像为红绿蓝RGB格式的图像。

降噪单元1102，用于使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对所述获取单元获取的所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像。

融合单元1103，用于对所述降噪单元确定的所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像。

获取单元1101、降噪单元1102和融合单元1103的具体功能和有益效果，可以参见上述实施例，为了简洁。在此就不再赘述。

在一些实施例中，电子设备1100可以是摄像设备。例如，电子设备1100可以是如图1所示的摄像设备100。

在另一些实施例中，电子设备1100也可以是摄像设备中的部件。例如，电子设备1100可以是如图1所示的摄像设备100中的图形处理器。

在另一些实施例中，电子设备1100也可以是计算机设备(例如台式计算机、笔记本电脑、平板电脑等)或者计算机设备中的部件(例如芯片)。在此情况下，摄像设备可以利用存储器存储该待处理图像。电子设备1100可以读取该存储器中保存的该待处理图像，并对该待处理图像进行降噪和融合操作，得到已处理图像。

本申请实施例还提供了一种电子设备，包括处理器和存储器。处理器用于与存储器耦合，读取并执行存储器中的指令和/或程序代码，以执行上述方法实施例中的步骤。

应注意，本申请实施例中的处理器可以是一种芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

根据本申请实施例提供的方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述实施例中的各个步骤。

根据本申请实施例提供的方法，本申请还提供一种计算机可读介质，该计算机可读介质存储有程序代码，当该程序代码在计算机上运行时，使得该计算机执行上述实施例中的各个步骤。

根据本申请实施例提供的方法，本申请实施例提供一种芯片系统，该芯片系统包括逻辑电路，该逻辑电路用于与输入/输出接口耦合，通过该输入/输出接口传输数据，以执行上述实施例中的各个步骤。本申请实施例还提供一种摄像设备，该摄像设备包括该芯片系统。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种处理图像的方法，其特征在于，包括：

获取待处理图像的彩色图像和亮度图像，其中所述彩色图像为红绿蓝RGB格式的图像；

使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像；

对所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像。

2.如权利要求1所述的方法，其特征在于，所述使用深度神经网络图像信号处理DNNISP和时域空域降噪技术对所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像，包括：

对所述彩色图像进行DNN ISP降噪处理，得到所述低频参考图像；

对所述亮度图像进行时域空域降噪处理，得到所述高频参考图像；

对所述亮度图像和所述高频参考图像进行DNN ISP降噪处理，得到所述中频参考图像。

3.如权利要求2所述的方法，其特征在于，所述对所述亮度图像和所述高频参考图像进行DNSISP降噪处理，得到所述中频参考图像，包括：

对所述亮度图像进行拆分，得到N个第一通道数据，N为大于或等于2的正整数；

对所述高频参考图像进行拆分，得到N个第二通道数据；

将所述N个第一通道数据与所述N个第二通道数据延通道拼接，得到2×N个第三通道数据；

将所述2×N个第三通道数据输入降噪网络，得到N个第四通道数据，所述N个第四通道数据与所述N个彩色滤色镜的颜色一一对应，所述N个第四通道数据中的每个第四通道数据包括对应的颜色的像素强度；

将所述N个第四通道数据组合，得到所述中频参考图像。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述对所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像，包括：

对所述低频参考图像和所述中频参考图像进行融合，得到第一参考图像；

对所述高频参考图像和所述第一参考图像进行融合，得到所述已处理图像。

5.如权利要求4所述的方法，其特征在于，所述对所述低频参考图像和所述中频参考图像进行融合，包括：

将RGB格式的所述低频参考图像转为亮度色度YUV格式的第二参考图像；

使用所述中频参考图像替换所述第二参考图像中的明亮度Y图像，得到所述第一参考图像。

6.如权利要求5所述的方法，其特征在于，所述对所述高频参考图像和所述第一次参考图像进行融合，得到所述已处理图像，包括：

使用低频滤波器提取所述高频参考图像的高频细节，得到高频细节图像；

将所述高频细节图像与所述第一参考图像中的Y图像相加，得到第三参考图像，其中所述第三参考图像为YUV格式的图像；

将所述第三参考图像转换为RGB格式的所述已处理图像。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述获取待处理图像的彩色图像和亮度图像，包括：

在所述待处理图像是通过包括红绿蓝白RGBW滤色镜的感光元件获取的情况下，根据所述RGBW滤色镜中的RGB滤色镜对应的感光单位的像素强度得到所述彩色图像，根据所述RGBW滤色镜中的白色W滤色镜对应的感光单位的像素强度得到所述亮度图像。

8.如权利要求1至6中任一项所述的方法，其特征在于，所述获取待处理图像的彩色图像和亮度图像，包括：

在所述待处理图像是通过包括RGGB滤色镜的感光元件获取的情况下，根据所述感光元件的像素强度得到所述彩色图像；

确定对应于所述彩色图像的YUV格式的图像中的亮度Y图像为所述亮度图像。

9.一种电子设备，其特征在于，包括：

获取单元，用于获取待处理图像的彩色图像和亮度图像，其中所述彩色图像为红绿蓝RGB格式的图像；

降噪单元，用于使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对所述获取单元获取的所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像；

融合单元，用于对所述降噪单元确定的所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像。

10.如权利要求9所述的电子设备，其特征在于，所述降噪单元，具体用于：

对所述彩色图像进行DNN ISP降噪处理，得到所述低频参考图像；

对所述亮度图像进行时域空域降噪处理，得到所述高频参考图像；

对所述亮度图像和所述高频参考图像进行DNN ISP降噪处理，得到所述中频参考图像。

11.如权利要求10所述的电子设备，其特征在于，所述降噪单元，具体用于：

对所述亮度图像进行拆分，得到N个第一通道数据，N为大于或等于2的正整数；

对所述高频参考图像进行拆分，得到N个第二通道数据；

将所述N个第一通道数据与所述N个第二通道数据延通道拼接，得到2×N个第三通道数据；

将所述2×N个第三通道数据输入降噪网络，得到N个第四通道数据，所述N个第四通道数据与所述N个彩色滤色镜的颜色一一对应，所述N个第四通道数据中的每个第四通道数据包括对应的颜色的像素强度；

将所述N个第四通道数据组合，得到所述中频参考图像。

12.如权利要求9至11中任一项所述的电子设备，其特征在于，所述融合单元，具体用于：

对所述低频参考图像和所述中频参考图像进行融合，得到第一参考图像；

对所述高频参考图像和所述第一参考图像进行融合，得到所述已处理图像。

13.如权利要求12所述的电子设备，其特征在于，所述融合单元，具体用于：

将RGB格式的所述低频参考图像转为亮度色度YUV格式的第二参考图像；

使用所述中频参考图像替换所述第二参考图像中的明亮度Y图像，得到所述第一参考图像。

14.如权利要求13所述的电子设备，其特征在于，所述融合单元，具体用于：

使用低频滤波器提取所述高频参考图像的高频细节，得到高频细节图像；

将所述高频细节图像与所述第一参考图像中的Y图像相加，得到第三参考图像，其中所述第三参考图像为YUV格式的图像；

将所述第三参考图像转换为RGB格式的所述已处理图像。

15.如权利要求9至14中任一项所述的电子设备，其特征在于，所述获取单元，具体用于在所述待处理图像是通过包括红绿蓝白RGBW滤色镜的感光元件获取的情况下，根据所述RGBW滤色镜中的RGB滤色镜对应的感光单位的像素强度得到所述彩色图像，根据所述RGBW滤色镜中的白色W滤色镜对应的感光单位的像素强度得到所述亮度图像。

16.如权利要求9至14中任一项所述的电子设备，其特征在于，所述获取单元，具体用于在所述待处理图像是通过包括RGGB滤色镜的感光元件获取的情况下，根据所述感光元件的像素强度得到所述彩色图像；

确定对应于所述彩色图像的YUV格式的图像中的亮度Y图像为所述亮度图像。

17.一种电子设备，其特征在于，包括：处理器，所述处理器用于与存储器耦合，读取并执行所述存储器中的指令和/或程序代码，以执行如权利要求1至8中任一项所述的方法。

18.一种芯片系统，其特征在于，包括：逻辑电路，所述逻辑电路用于与输入/输出接口耦合，通过所述输入/输出接口传输数据，以执行如权利要求1至8中任一项所述的方法。

19.一种计算机可读介质，其特征在于，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如权利要求1至8中任一项所述的方法。

Images