CN114338958A - 一种图像处理的方法及相关设备 - Google Patents

Abstract

本申请实施例提供一种图像处理的方法及相关设备，涉及图像处理技术领域。使得电子设备在拍摄视频的过程中，可以降低视频画面中的噪声，以提高电子设备实时显示的视频画面的质量。该方法可以应用于电子设备，该方法可以包括：电子设备接收第一操作，第一操作用于触发电子设备录制视频。响应于第一操作，电子设备显示预设图像信号。其中，预设图像信号是由第一raw域图像转换得到的，第一raw域图像是通过第一神经网络对电子设备采集的第二raw域图像进行去噪和去马赛克处理得到的。

Description

一种图像处理的方法及相关设备

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理的方法及相关设备。

背景技术

近年来，人们越来越喜欢通过分享视频去传递信息。其中，视频中的噪声会影响视频的清晰度，进而影响视频的播放效果。例如，当电子设备拍摄的场景为暗光场景，电子设备实时显示的视频画面会比较暗，影响视频的显示效果。在这种情况下，为了提高电子设备实时显示的视频画面的亮度，可以提高图像传感器的感光度，以使得视频画面的亮度达到正常亮度。这种方式可以使得电子设备拍摄的视频画面的亮度在一定程度上得到提升，但是，也增加了视频画面中的噪声，影响了视频画面的清晰度，

可以理解的，视频画面中的噪声是存在于图像数据中不必要或多余的干扰信息。图像中的噪声不仅会影响图像的质量，而且会妨碍人们对图像信息的接收。需要明白的，电子设备在获取视频的过程中，电子设备的显示屏可以实时显示获取到的视频的画面。也就是说，用户可以通过显示屏实时观看到视频的拍摄效果。如果视频画面中噪声过大，就会影响视频的播放效果。

发明内容

本申请提供一种图像处理的方法及相关设备，使得电子设备在拍摄视频的过程中，可以降低视频画面中的噪声，以提高电子设备实时显示的视频画面的质量。

为实现上述技术目的，本申请采用如下技术方案：

第一方面，本申请提供一种图像处理的方法，该方法可以应用于电子设备，该方法可以包括：电子设备接收第一操作，第一操作用于触发电子设备录制视频。响应于第一操作，电子设备显示预设图像信号。其中，预设图像信号是由第一raw域图像转换得到的，第一raw域图像是通过第一神经网络对电子设备采集的第二raw域图像进行去噪和去马赛克处理得到的。

可以理解的，电子设备在录制视频的过程中可以实施显示采集到的图像。其中，电子设备实时显示的预设图像信号就是电子设备实时采集的图像，电子设备通过第一神经网络对实时采集到的第二raw域图像去噪和去马赛克处理，以降低视频画面中的噪声，提高电子设备实时显示的视频画面的质量。

第一方面的一种可能的实现方式中，上述响应于第一操作，显示预设图像信号。可以具体包括：响应于第一操作，电子设备采集第二raw域图像；并识别录制视频的场景，以确定该场景对应的第一神经网络。电子设备可以将第二raw域图像传输至第一神经网络，并运行第一神经网络，以得到去噪和去马赛克处理的第一raw域图像。电子设备可以将第一raw域图像转换为预设图像信号，并显示预设图像信号。

可以理解的不同的场景中电子设备采集的raw域图像中的噪声可能是不同的，针对每种场景训练对应的神经网络，可以有效提高该场景下raw域图像的处理效果。因此，电子设备可以确定场景，使用该场景对应的神经网络处理第二raw域图像，从而可以有效降低视频画面中的噪声，提高视频的显示效果。

第一方面的另一种可能的实现方式中，上述电子设备识别录制视频的场景时，电子设备可以具体根据第二raw域图像和/或传感器参数，识别录制视频的场景。这样，电子设备可以准确确定出当前场景对应的神经网络。

其中，传感器参数可以包括：加速度传感器参数、光照传感器参数、重力传感器参数和速度传感器参数中的一个或多个。

需要说明的，电子设备可以通过识别第二raw域图像确定场景。例如，根据第二raw域图像确定场景中的光照等信息，以便确定拍摄场景的光线状况。传感器的参数可以反映出电子设备当前所在的环境的参数，以便电子设备确定拍摄的环境，从而确定出拍摄场景。

第一方面的另一种可能的实现方式中，电子设备将第第二raw域图像传输至第一神经网络，并运行第一神经网络，得到去噪和去马赛克处理的第一raw域图像时。电子设备可以将第二raw域图像传输至第一神经网络之后，将第二raw域图像和第三raw域图像作为第一神经网络的输入，运行第一神经网络，以得到去噪和去马赛克处理的第一raw域图像。

其中，第三raw域图像是去噪和去马赛克之后得到的，第三raw域图像的采集时间早于第二raw域图像的采集时间。

可以理解的，第一神经网络可以根据多个输入的raw域图像，处理第二raw域图像。电子设备先采集到第三raw域图像，并进行去噪和去马赛克处理。第一神经网络可以将第三raw域图像作为参考图像，处理第二raw域图像。例如，t时刻，电子设备采集到第三raw域图像，进行去噪和去马赛克处理，t+1时刻，电子设备采集到第二raw域图像，将第三raw域图像和第二raw域图像共同输入神经网络，以得到去噪和去马赛克处理的t+1时刻第一raw域图像。实际应用中，可以采用多帧已经去噪和去马赛克处理的raw域图像和当前需要处理的第二raw域图像作为第一神经网络的输入，以便降低图像的噪声，从而提高视频的显示效果。

第一方面的另一种可能的实现方式中，电子设备还可以采集初始raw域图像，对初始raw域图像进行基本处理，以得到第二raw域图像。其中，基本处理包括：去黑电平处理、对比度处理和坏点处理中的至少一个。

其中，电子设备的摄像头采集图像，初始raw域图像可以是未处理的拜尔格式图像。这样，电子设备可以对拜尔格式图像进行基本处理，以降低拜尔格式图像中的噪声。以便第一神经网络处理raw域图像，进一步降低图像中的噪声。

第二方面，本申请还提供一种图像处理装置，包括获取模块和显示模块。

获取模块可以用于，接收第一操作，第一操作用于触发电子设备录制视频。显示模块可以用于，响应于第一操作，显示预设图像信号。其中，预设图像信号是由第一原始raw域图像转换得到的，第一raw域图像是通过第一神经网络对电子设备采集的第二raw域图像进行去噪和去马赛克处理得到的。

第二方面的一种可能的实现方式中，显示模块可以具体用于，响应于第一操作，采集第二raw域图像；识别录制视频的场景，以确定场景对应的第一神经网络；将第二raw域图像传输至第一神经网络，运行第一神经网络，以得到去噪和去马赛克处理的第一raw域图像；将第一raw域图像转换为预设图像信号，并显示预设图像信号。

第二方面的一种可能的实现方式中，显示模块用于识别录制视频的场景，以确定场景对应的第一神经网络时，显示模块具体用于：根据第二raw域图像和/或传感器参数，识别录制视频的场景，以确定场景对应的第一神经网络。

其中，传感器参数包括：加速度传感器参数、光照传感器参数、重力传感器参数和速度传感器参数中的一个或多个。

第二方面的一种可能的实现方式中，显示模块将第二raw域图像传输至第一神经网络，运行第一神经网络，以得到去噪和去马赛克处理的第一raw域图像时，显示模块具体用于：将第二raw域图像传输至第一神经网络，将第二raw域图像和第三raw域图像作为第一神经网络的输入，运行第一神经网络，以得到去噪和去马赛克处理的第一raw域图像。

其中，第三raw域图像是去噪和去马赛克之后得到的，第三raw域图像的采集时间早于第二raw域图像的采集时间。

第二方面的一种可能的实现方式中，装置还包括采集模块。采集模块用于采集初始raw域图像，对raw域图像进行基本处理，以得到第二raw域图像，其中，基本处理包括：去黑电平处理、对比度处理和坏点处理中的至少一个。

第三方面，本申请还提供一种电子设备，该电子设备包括：存储器、显示屏和一个或多个处理器。存储器、显示屏和处理器耦合。其中，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，是电子设备执行上述第一方面及其任一种可能的实现方式中的方法。

第四方面，本申请还提供一种芯片系统，该芯片系统应用于电子设备；芯片系统可以包括一个或多个接口电路和一个或多个处理器。接口电路和处理器通过线路互联，接口电路用于从电子设备的存储器接收信号，并向处理器发送该信号，该信号包括存储器中存储的计算机指令。当处理器执行上述的计算机指令时，电子设备执行第一方面及其任一种可能的实施方式中的方法。

第五方面，本申请还提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行第一方面及其任一种可能的实施方式中的方法。

第六方面，本申请还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面及其任一种可能的实施方式中的方法。

可以理解的是，上述本申请提供的第二方面及其任一种可能的实施方式中的图像处理的装置，第三方面的电子设备，第四方面的芯片系统，第五方面的计算机可读存储介质，第六方面的计算机程序产品所能达到的有益效果，可参考如第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种raw图的示意图；

图2为本申请实施例提供的一种RGB格式图像示意图；

图3为本申请实施例提供的一种应用场景的示意图；

图4为本申请实施例提供的一种手机处于视频拍摄状态的示意图；

图5为本申请实施例提供的一种手机处于视频通话状态的示意图；

图6为本申请实施例提供的一种车载设备的结构示意图；

图7为本申请实施例提供的一种安防监控设备的结构示意图；

图8为本申请实施例提供的一种电子设备的硬件结构示意图；

图9为本申请实施例提供的一种图像处理方法的流程图；

图10为本申请实施例提供的一种ISP的模块结构示意图；

图11为本申请实施例提供的一种图像处理方法的模块结构示意图；

图12为本申请实施例提供的一种电子设备的结构示意图；

图13为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以下将对本申请实施例可能出现的术语进行说明。

色差：也称为“色散”。其中，电子设备拍摄图像的过程中，如果电子设备的镜头在聚焦的过程中没有将不同波长的光线聚焦在同一个焦平面(不同波长的光线焦距是不同的)，或者镜头对接收到的不同光线的放大程度不同，都会使得电子设备获取的图像上目标对象的颜色出现色差。

伪色：或称为“伪彩色”。对于彩色图像而言每个像素呈现的颜色是由基本色(红、蓝和绿的三原色)的数值决定的。实际中，电子设备可以将每个像素当成调色板(Palettes)或颜色查找表(Color Look-Up Table，CLUT)的入口地址，CLUT的入口地址可以对应实际颜色的红(red，R)、绿(green，G)、蓝(blue，B)的强度值。如果像素的颜色在调色板中不存在，调色板可以用一个最接近的颜色来替代。这种情况下，该像素对应的颜色的R、G、B强度值产生的色彩可能不是目标对象本身的色彩，该像素的颜色被称为伪色。

紫边：电子设备在拍摄视频或图像的过程中，由于被拍摄的目标对象所在场景中存在亮部区域和暗部区域，使得电子设备获取到的图像上存在高光部分和低光部分。紫边表示在图像上的高光部分和低光部分的交界处的颜色出现色斑的现象。

伪影：泛指图像失真。如，电子设备在拍摄的目标对象的图像中出现目标对象没有的运动或移动的影子的现象。

视频是指将一系列静态影像(或图像)以电信号的方式加以捕捉、记录、处理、储存、传送与重现的技术。其中，视频文件中可以包括连续的多帧图像。当电子设备播放视频文件时，每秒可以连续播放超过24帧图像，根据视觉暂留原理，人眼将无法辨别连续播放的多帧图像中的每张静态图像。因此，当用户观看视频时，会感觉是观看到平滑连续的画面。

电子设备在拍摄视频的过程中，图像传感器可以采集原始raw域图像，图像信号处理器(image signal processor，ISP)可以将raw域图像转换为彩色模式(red green blue，RGB)图。

其中，raw域图像可以是指拜耳(Bayer)格式的图像，则raw域图像也可以称为Bayer格式raw图。Bayer格式的图像是指图像中仅包括红色、蓝色和绿色(即三原色)的图像。请参考图1，为本申请实施例示出的一种Bayer格式的图像。如图1所示，Bayer格式的图像中只包括红色(图1中R所在位置)、蓝色(图1中B所在位置)和绿色(图1中G所在位置)的像素点。RGB图是三原色(即红色、蓝色和绿色)叠加形成的图像，请参考图2，为本申请实施例提供的一种RGB格式的图像。如图2所示，RGB格式的图像包括红、蓝和绿三个通道，通过三个通道的颜色叠加呈现出RGB图。

需要理解的，当ISP将raw域图像转换为RGB格式图像，ISP需要精准恢复出raw域图像中没有的颜色，即呈现出拍摄的目标对象实际的颜色。一般而言，raw域图像是存在噪声的，ISP将raw域图像转换为RGB格式图像时，需要对raw域图像进行去噪和去马赛克处理，以提高生成的RGB格式图像的清晰度，从而提高视频画面的显示效果。特别的，电子设备在拍摄视频的过程中，显示屏可以实时显示拍摄的视频画面。如果电子设备无法实时对视频画面进行去噪和去马赛克处理，会使得电子设备显示的视频画面质量差，影响用户体验。因此，在电子设备拍摄视频的过程中，如果可以实时的对拍摄的视频画面进行去噪和去马赛克处理，可以提高视频画面的清晰度，进而提高视频画面的显示效果。

在第一种实现中，ISP中可以包括多个模块，每个模块可以实现不同的功能。如，ISP中包括Rawnf模块，Rawnf模块具有去噪的功能，ISP处理raw域图像时可以通过Rawnf模块对raw图进行去噪处理。

raw域图中raw域噪声的分布规律与泊松-高斯模型的分布规律相符，ISP的Rawnf模块可以采用非局部均值算法(Non-Local Means，NLM)对raw图进行降噪处理。NLM可以处理raw图中存在噪声的像素点，该像素点的灰度值通过其周围的像素点的灰度值加权平均得到，以实现去噪的目的。其中，采用NLM算法处理raw域图中的raw域噪声时，NLM算法的运行时间和raw图的降噪效果成反比。即Rawnf模块运行的时间就越长，则raw图经过Rawnf模块处理后的降噪效果越好。

需要说明的是，NLM算法对raw域图的降噪效果越好，raw域图可以呈现出的纹理和细节就越少。因此，Rawnf模块采用NLM算法处理raw域图的时间越长，通过raw域图生成的RGB图中纹理和细节就越少。这种处理方式降低了视频画面的质量，影响视频画面的显示效果。

在第二种实现中，可以采用ISP中的TNR模块对raw域图进行降噪处理。其中，TNR模块主要是用于降低raw域图中时域的噪声。

具体地说，TNR模块可以采用视频画面中连续的两个raw域图比较、融合，以实现在时域降噪的目的。在对两个raw域图对比的过程中，如果两个raw域图的相似度比较低，则TNR模块难以确定出raw域图的时域噪声，使得TNR模块对raw域图中时域的降噪效果差。因此，采用TNR模块对raw域图的时域噪声进行降噪处理，对两个raw域图的相似性有较高的要求。要提高图像传感器采集的两个raw域图的相似度，就需要在较短的时间间隔内连续采集图像，特别是在拍摄高速运动的目标对象时，对采集目标对象的时间间隔要求更高。因此，采用这种方式降噪，对电子设备的要求较高，实现困难。

在第三种实现中，可以采用ISP中的GCD(去马赛克)模块处理raw域图。其中，GCD模块主要是用于对raw域图进行去马赛克(demosaic)处理，同时GCD模块可以解决raw域图中的色差、伪色和紫边等问题。进一步的，GCD模块处理raw域图之后可以生成对应的RGB格式图像。

具体地说，GCD模块对raw域图的处理是基于插值算法实现的，插值算法会降低图像的清晰度，且还可能使得GCD模块输出的RGB图出现伪影的现象。

可以理解的，噪声是图像干扰的重要原因，数字图像生成和传输的过程中均可能受到设备干扰或外部环境影响而产生噪声。对图像进行去噪处理就是减少图像中的噪声的过程，也就是降低图像的干扰，提高图像的清晰度的过程。图像中的马赛克影响图像的解析力，对图像进行去马赛克操作可以提高图像的解析力。例如，电子设备获取视频或者图像的过程中，对图像进行去噪和去马赛克处理可以提高图像的解析力，以实现提升图像清晰度，提高图像的显示效果。

本申请实施例提供一种图像处理的方法，可以依据去噪和去马赛克任务的相似性，通过神经网络处理raw域图像，同时实现去噪和去马赛克的目的，以提高图像质量。

下面将结合附图对本申请实施例的实施方式进行说明。

请参考图3，为本申请实施例提供的方法的应用场景示意图。如图3所示，包括目标对象100和电子设备200，电子设备200处于拍摄视频的状态。其中，电子设备200包括摄像头21、处理器22和显示器23。摄像头21可以获取目标对象100反射的光线，生成对应的原始raw域图像，并向处理器22传输raw域图像。处理器22实时处理摄像头21采集的多张raw域图像以生成的视频画面，向显示器23传输视频画面，使得显示器23可以显示视频画面。这样，用户可以通过电子设备200的显示器23查看实时拍摄的视频画面。

电子设备在拍摄视频的过程中，可以采用本申请实施例中的方法，实时处理摄像头采集到的视频画面，提高视频画面的质量。

例如，可以对电子设备的摄像头实时采集的原始raw域图像传输至神经网络，由神经网络对raw域图像进行去噪和去马赛克处理，以提高图像质量。神经网络对raw域图像去噪和去马赛克之后转换为RGB格式图像，并向ISP传输该RGB格式图像。ISP可以对RGB格式图像进行后续处理，以得到输出的视频画面，电子设备的显示器可以实时显示视频画面。其中，后续处理包括：白平衡、颜色校正处理、色调映射和图像格式转换等。

又例如，电子设备的摄像头实时采集的raw域图像可以传输至ISP中，由ISP进行raw域图像的基本处理。其中，基本处理包括黑电平校正处理、对比度处理和坏点处理等。ISP将基本处理后的raw域图像传输至神经网络，通过神经网络进行去噪和去马赛克处理，以提高图像质量。神经网络将去噪和去马赛克处理后生成的RGB格式图像传输至ISP，ISP可以对RGB格式图像进行后续处理，以得到输出的视频画面，电子设备的显示器可以实时显示视频画面。

可以理解的，采用本申请实施例提供的方法可以提高视频中图像的质量，从而降低视频画面中的噪声，提高视频画面的清晰度。

需要说明的，本申请实施例中的电子设备可以是具有视频拍摄功能的手机、数码相机、摄像机、运动相机(GoPro)、智能手表、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、行车记录仪、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话等。另外，电子设备还可以是个人数字助理(personaldigital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtualreality，VR)设备，自动驾驶的车辆等，本申请实施例对该电子设备的具体形态不作特殊限制。

以下对本申请实施例提供的方法的应用场景进行举例说明。

场景一：手机拍摄视频。

示例性的，如图4所示，手机处于拍摄视频的状态。其中，手机的前置摄像头或者后置摄像头可以采集目标对象的raw域图像，ISP处理器可以将raw域图像转换为RGB格式图像，进而将RGB格式图像处理成视频画面，通过手机的显示屏实时展示视频画面。视频画面中的噪声会影响视频的播放效果，特别是拍摄的目标对象所在的场景为暗光场景，或者电子设备的视频帧率较高的情况下，都会出现视频画面中噪声较高的现象。

本申请实施例提供的方法可以应用于手机视频拍摄场景中，手机的摄像头采集视频画面的raw域图像，神经网络实时对raw域图像进行去噪和去马赛克处理，手机的显示屏实时显示去噪和去马赛克处理后的视频画面。以降低手机拍摄的视频画面中的噪声，提升视频画面中的清晰度。

场景二：手机进行视频通话。

可以理解的，手机可以和至少一个电子设备进行视频通话，手机的显示屏上可以显示自身的摄像头实时拍摄的视频画面。本申请实施例以用户使用手机与另一电子设备的用户视频通话，且手机的显示屏上显示其摄像头实时拍摄的视频画面为例。如图5所示，为手机和电子设备进行视频通话的过程中，手机的显示屏上显示的视频画面。其中，如图5所示，在显示屏上的区域50中显示手机的摄像头实时拍摄的视频画面。如果视频画面中的噪声较大，会使得手机显示的视频画面的质量较低。

本申请实施例提供的方法可以应用于手机视频通话场景中，手机的摄像头可以实时采集视频通话画面的raw域图像，采用神经网络对raw域图像去噪和去马赛克处理，提升视频通话画面的质量。手机可以基于显示屏上显示窗口的划分，将处理后的视频通话画面显示在预设区域。以降低手机视频通话画面中的噪声，提升视频通话画面中的清晰度。

场景三：车载设备拍摄并实时显示行车路况。

车载设备包括行车记录仪和显示屏，行车记录仪可以拍摄到车辆周围的环境图像，显示屏可以实时显示行车记录仪拍摄到的视频画面。如图6所示，为车载设备中显示屏的显示画面，车载设备的显示屏可以显示行车记录仪实时拍摄的视频画面。可以理解的，车辆的行驶速度、以及车辆的行驶环境(例如：夜间环境、雾霾环境和下雨天气等)都会影响行车记录仪采集到的图像的质量。如果行车记录仪采集的raw域图像的质量不好，使得显示屏上显示的视频画面的噪声较大，影响驾驶员对道路状况的判断。

本申请实施例提供的方法可以应用于车载设备中，行车记录仪实时采集到行车路况的raw域图像，采用神经网络对raw域图像进行去噪和去马赛克的处理，降低raw域图像中的噪声。以降低视频画面中的噪声干扰，提高视频画面的清晰度。

场景四：安防监控。

安防监控的设备结构如图7所示，包括摄像头71、图像处理器(图中未示出)和显示屏72。摄像头71可以实时采集监控区域中的图像，图像处理器71可以处理摄像头采集到的图像，显示屏72用于实时显示摄像头71采集的视频画面。示例性的，安防监控应用的场景包括，在公共场合的摄像头，用于监控公共场所的安全。如，道路中设置摄像头，可以实时监控交通状况和车辆的安全驾驶。这种设置在公共场所的摄像头往往受到天气、距离等因素使得采集得到的raw域图像中噪声较大。

本申请实施例提供的方法应用于安防监控，摄像头可以采集到监控区域中的raw域图像，采用神经网络对raw域图像进行去噪和去马赛克处理，降低raw域图像的噪声。从而降低监控视频画面中的噪声，提高监控视频画面的清晰度。

请参考图8，为本申请实施例提供的一种电子设备的结构示意图。如图8所示，该电子设备200可以包括处理器210，外部存储器接口220，内部存储器221，按键230，充电管理模块240，电源管理模块241，电池242，传感器模块280，摄像头250，以及显示屏260等。其中传感器模块280可以包括：陀螺仪传感器280A，方向传感器280B，加速度传感器280C，距离传感器280D，触摸传感器280E，环境光传感器280F等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器和神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，和/或通用输入输出(general-purposeinput/output，GPIO)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器210可以包含多组I2C总线，处理器210可以通过I2C总线耦合摄像头250。

MIPI接口可以被用于连接处理器210与显示屏260，摄像头250等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器210和摄像头250通过CSI接口通信，实现电子设备200的拍摄功能。处理器210和显示屏260通过DSI接口通信，实现电子设备200的显示功能。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备200的结构限定。在本申请另一些实施例中，电子设备200也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

外部存储器接口220可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242，充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210，内部存储器220，外部存储器221和显示屏260等供电。

电子设备200通过GPU，显示屏260，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏260和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏260用于显示图像，视频等。显示屏260包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备200可以包括1个或N个显示屏260，N为大于1的正整数。

电子设备100可以通过ISP，NPU，摄像头250，视频编解码器，GPU，显示屏260以及应用处理器等实现拍摄功能。

摄像头250用于捕获静态图像或视频。摄像头250包括镜头251和图像传感器252，镜头251可以由多个透镜组成。目标对象反射的光线通过镜头251传输至图像传感器252(即感光元件)，图像传感器252可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。图像传感器252可以生成目标对象的raw域图像，并将raw域图像传输至ISP。ISP将raw域图像传输至NPU中，通过NPU中的神经网络对raw域图像进行去噪和去马赛克处理，并将处理后的图像信号传输至ISP。之后ISP将图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备200可以包括1个或N个摄像头250，N为大于1的正整数。

ISP用于处理摄像头250反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头250的图像传感器252上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头250中。

电子设备200可以通过传感器模块280中的各个传感器获取传感器数据，并通过传感器数据确定电子设备的运动状态。

其中，压力传感器280A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器280B可以用于确定电子设备200的运动姿态。方向传感器280D可以用于感应电子设备200在某个方向上惯性力大小和衡量电子设备200在该方向上的加速度与重力。加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器280F，用于测量距离。接近光传感器280G可以包括例如发光二极管(LED)和光检测器，例如光电二极管，发光二极管可以是红外发光二极管。触摸传感器280K，也称“触控面板”。触摸传感器280K可以设置于显示屏260，由触摸传感器280K与显示屏260组成触摸屏，也称“触控屏”。环境光传感器280L用于感知环境光亮度。

按键230包括开机键，音量键等。按键230可以是机械按键。也可以是触摸式按键。

以下实施例中的实施方法均可以在具备上述硬件结构的电子设备中实现。

示例性的，以电子设备是手机为例。手机可以通过摄像头模组采集目标对象的raw域图像，目标对象的raw域图像可以是Bayer格式图像。手机中的ISP对raw域图像进行基本处理，并将处理后的raw图传输至NPU。NPU可以采用神经网络对raw域图像进行去噪和去马赛克处理，以提高图像的质量。NPU对raw域图像进行去噪和去马赛克之后，生成RGB格式图像，并向ISP传输RGB格式图像。ISP可以对RGB格式图像进行后续处理，并向显示屏传输处理后的视频画面。这样，手机在拍摄视频的过程中，显示屏可以实时显示高质量的视频画面。

其中，基本处理包括黑电平校正处理、对比度处理和坏点处理等。后续处理包括：白平衡、颜色校正处理、色调映射和图像格式转换等。

以下将以手机中的摄像头、ISP、NPU和显示屏为执行主体，对本申请实施例提供的方法进行详细说明。

其中，电子设备可以在接收到用户的第一操作之后，触发录制视频的功能。在上述的场景一中，手机运行相机应用，手机显示拍摄视频的界面，手机接收到用户对录制视频开始按键的选择操作，开始录制视频。在上述场景二中，手机运行通讯应用，显示通讯应用的界面，接收到用户视频通话的操作，当视频通话被接通，则手机启动摄像头拍摄视频。在场景三中，车载设备接收到用户的开启操作，车载设备的行车记录仪被开启，实现实时拍摄视频并显示拍摄视频。在场景四中，监控设备接收到用户的启动操作，监控设备实时获取监控区域的视屏画面并显示该视频画面。

请参考图9，为本申请实施例提供的图像处理的方法的流程图。如图9所示，该方法包括步骤901-步骤907。其中，本申请实施例中以电子设备是手机，手机拍摄视频的场景为例，对本申请实施例提供的方法进行说明。

需要说明的是，手机在拍摄视频的过程中，会连续的采集多张目标对象的图像。手机对每张目标对象的图像进行去噪和去马赛克处理，以通过显示屏实时显示多张图像构成的视频画面。本申请实施例以手机处理t时刻采集到的目标对象的图像为例，说明本申请实施例提供的方法。

步骤901：摄像头获取目标对象的第一raw图，第一raw图是未处理的Bayer格式图像。

其中，第一raw图是手机在t时刻图像传感器采集到的Bayer格式图像。

可以理解的，图像传感器采集到的raw图的噪声模型符合泊松-高斯模型的分布规律。可以通过如下关系确定出噪声方差：noice variance＝a*像素亮度值+b。其中，a和b均是常数。在对raw域图像降噪时，可以根据泊松-高斯模型的分布规律进行降噪处理。

步骤902：ISP对第一raw图进行基本处理，生成第二raw图。

基本处理至少包括：黑电平校正处理、对比度处理和坏点处理等。基本处理对第一raw图中的噪声产生的都是线性的变化，这种线性变化对第一raw图中噪声的影响较小，也就是说，对噪声分布的影响程度较小。

示例性的，请参考图10，为ISP的模块结构示意图。如图10所示，ISP中包括BLC，LSC，AWB，ATR，GTM，GCD，RGBSCL，DRC，GAMMA和TNR等模块。其中，在GCD模块处理raw图之前，ISP中的模块处理raw图对噪声分布的影响较小。如图10所示，在GCD之前，BLC，LSC，AWB，ATR和GTM等模块处理raw图，这些模块都是采用线性变换的方式处理raw图，因此，对raw图中噪声分布的影响较小。例如，BLC模块可以对第一raw图进行黑电平校正，以减少图像中的暗点。Dgamma模块可以对raw图进行对比度处理，提升raw图的对比度。DPC模块可以对raw图进行坏点校正，这里的坏点是像素值不正确的像素点。具体地说，可以在GCD模块处理raw图之后，将raw图转换为RGB格式图像，ISP可以采用抽样法将RGB格式图像转换为第二raw图。

需要说明的，ISP中的Rawnf模块可以采用NLM处理raw图，NLM处理raw图可以降低图像的噪声。但是，这种处理方式对raw图中噪声分布影响较大。本申请实施例中采用神经网络处理raw图中的噪声，因此，当ISP处理raw图时，可以关闭Rawnf模块，以降低ISP对噪声模型分布的影响程度。

GCD模块可以对raw图进行色差校正，对raw图中噪声分布规律有较大影响。由于ISP模块中raw图经过GCD处理之后，传输至NPU。基于ISP在GCD模块之后的其他模块是对GCD模块输出的RGB格式图像进行处理，这里需要GCD模块运行并将raw图转换为RGB格式图像，且希望可以降低GCD模块对raw图噪声的影响程度。具体实施中，可以调整GCD模块中的配置参数，以尽量减少GCD对raw图中噪声分布的影响程度。

步骤903：ISP向NPU传输第二raw图。

可以理解的，如果选择ISP中其他模块(除GCD模块之外)与NPU建立传输通路，则对ISP的修改较大。因此，本申请实施例采用GCD模块的输出通路与NPU建立数据传输通道，使得GCD处理之后的第二raw图可以传输至NPU。也就是说，在不改变ISP中各模块的结构的情况下，将GCD之后的传输通路连接至NPU模块，通过NPU对raw图进行有效的去噪和去马赛克处理。

需要说明的，GCD模块可以将raw图转换为三通道的RGB格式图像，在GCD对raw图处理之后，可以使能采样模块(resample)将三通道的RGB格式图像转换为第二raw图。这样，ISP模块可以将第二raw图传输至NPU。

示例性的，GCD模块可以将raw图转换为16字节(16bit)三通道数据的RGB图，ISP使能resample将16bit的RGB图像转换为16bit的Bayer格式图像。

步骤904：NPU根据手机的拍摄场景确定对应的第一神经网络，采用第一神经网络对第二raw图去噪和去马赛克，生成RGB格式图像。

其中，第一神经网络是采用联合去噪和去马赛克处理第二raw图。具体实施中，可以选择图像处理中将去噪和去马赛克作为联合问题一起处理的算法。去马赛克是指，从图像传感器所输出的不完全取样的色彩信号(即Bayer格式图像)中恢复/重建出全彩图像的过程。去噪是指，去除图像中错误和额外的信息。

值得一提的，本申请实施例中的方法是手机在实时拍摄视频的过程中，对视频中一帧帧的画面进行去噪和去马赛克处理。基于视频实时性的要求，NPU上的第一神经网络处理第二raw图时的运算量小于等于15GMAC(表示处理器的运算速度)。但是，手机在实际拍摄视频的过程中，拍摄环境中光线的亮度不同，则手机采集的raw图中噪声的大小也不同。例如，相比于正常光照情况，暗光场景下手机采集到的raw图的噪声更大。如果采用第一神经网络可以对全部可能的场景中raw图进行去噪和去马赛克处理，对第一神经网络的运算要求较高，可能会影响视频的实时性。因此，可以在NPU中训练多个神经网络，不同的神经网络对应不同的场景。

示例性的，手机可以根据传感器的数据确定拍摄场景。如，不同光照环境下手机采集到的图像中噪声不同，手机根据拍摄环境中光照的强度不同，区别不同的拍摄场景。手机可以根据拍摄场景的光照强度区分出：强光拍摄场景、正常光照拍摄场景和暗光拍摄场景。具体地说，手机可以根据环境光传感器采集的数据，确定手机所在环境中的光照，进而确定出拍摄场景的光照。又如，手机处于不同的运动状态时，手机采集到的图像中的噪声不同。当用户携带手机运动，如用户边走路边使用手机拍摄视频，手机采集到的图像中噪声较大，当手机处于静止状态(如，手机被固定在支架上)，手机拍摄视频时采集的图像中噪声较小。具体地说，手机可以获取加速度传感器的数据，根据加速度传感器的数据确定手机当前的状态。

其中，手机可以多个因素对拍摄场景进行分类，可以将拍摄场景分为，静止强光场景、静止正常光照场景、静止暗光场景、运动正常光照场景、运动暗光场景以及运动强光场景等。如，手机可以根据获取环境光传感器中的光强数据和加速度传感器中的加速度数据，根据光强数据和加速度数据确定出手机当前的拍摄场景。

又示例性的，手机可以根据初始拍摄时，图像传感器采集的图像确定出当前的拍摄场景。如，手机拍摄视频的过程中，图像传感器采集到视频画面之后，手机可以根据采集到的至少一帧的视频图像确定出当前的拍摄场景。

又示例性的，手机可以根据传感器数据和视频拍摄采集的图像，确定出手机当前的拍摄场景。手机在拍摄视频的过程中，可以获取至少一个传感器的数据，以及图像传感器采集的图像，根据图像传感器的数据以及至少一帧的视频图像确定当前的拍摄场景。

可以理解的，手机在不同的拍摄场景中，手机采集的视频图像中噪声是不同的。因此，可以根据不同的拍摄场景设置对应的神经网络，当手机确定拍摄场景发生改变时，可以调整NPU中的神经网络。也就是说，手机在拍摄视频的过程中，使用拍摄场景对应的神经网络处理采集到的视频画面。手机确定拍摄场景发生改变，则更改为拍摄场景对应的神经网络，用于实时处理采集到的视频画面。例如，手机确定拍摄场景为静止正常光照的场景，手机使用静止正常光照场景对应的神经网络(如，第一神经网络)实时处理采集到的视频画面，当手机确定拍摄场景改变为静止暗光的场景，则手机使用静止暗光场景对应的神经网络(如，第二神经网络)实时处理采集到的视频画面。

值得一提的，由于手机在切换第二神经网络之前，手机已经采集到静止暗光场景中的视频画面，且手机中的第一神经网络也处理了切换场景之后的视频画面。为了提高视频画面的流畅性，在训练神经网络的过程中，可以采用场景切换过程中的视频画面对第一神经网络进行训练。例如，采用静止暗光场景切换至静止正常光照场景过程中手机拍摄的视频画面，对第一神经网络和第二神经网络进行训练，使得第一神经网络和第二神经网络对场景切换过程中视频画面的处理相似，以提高视频画面的流畅性，从而提高用户体验。

可以理解的，如果预设了多种拍摄场景对应的神经网络，则可以从不同的拍摄场景切换对每个神经网络进行训练。这样一来，使得手机在拍摄视频的过程中，拍摄场景不断改变的情况下，手机可以显示流畅的画面，对多种拍摄场景中的视频画面均有良好的去噪和去马赛克的效果，提升视频画面的质量。

示例性的，上述场景二中，用户使用手机视频通话，手机的拍摄场景包括：静止正常光照场景、静止暗光场景、运动正常光照、运动暗光场景、近景正常光照场景、近景暗光场景等。另外，当手机切换摄像头的过程中，手机的拍摄场景可能发生改变。

又示例性的，上述场景三中，行车记录仪可以实时采集到车辆行驶中路况的状况，或者，车辆所在的环境中的实时图像。其中，车辆的行驶速度、车辆行驶的路况、车辆周围的光照程度以及天气环境(如、雨、雪、雾霾等)都会影响车载设备采集的raw图的噪声。例如，车辆从平坦的路面行驶至颠簸的路面时，由于路况变差使得行车记录仪采集到的raw域图像中的噪声也变大。又例如，车辆从正常光照的路况行驶至光线较差的隧道中时，由于光照发生改变使得行车记录仪采集到的raw域图像中的噪声变大。车辆的车载设备中预设的拍摄场景可以包括：高速正常光照场景、低速正常光照场景、高速暗光场景、低速暗光颠簸路面场景、低速正常光照恶劣天气场景等。

又示例性的，上述场景四中，安防监控的摄像头和显示屏一般位置固定，拍摄场景也是固定的。例如，商场等公共场所的监控设备，一般拍摄场景固定，可以根据光照强度设置多个拍摄场景。特别的，对于设置在道路中的安防监控设备可以根据环境变换预设多种拍摄场景，如，正常光照场景、暗光雨雪场景、暗光雾霾场景、暗光场景等。

对于神经网络而言，raw图的去噪和阿马赛克都是属于低级别的任务。如，去噪和马赛克实质上都是从一张质量一般的raw图经过神经网络处理后得到噪声小，高质量的RGB格式图像，因此，可以采用一个神经网络(如第一神经网络)进行去噪和去马赛克。如，采用联合去噪和去马赛克(joint demosaicing and denoising，JDD)网络模型对raw图去噪和去马赛克。

第一神经网络是以多尺度的网络模型为基础创建的，如，基于类似Unet的神经网络创建第一神经网络。其中，第一神经网络需要根据至少连续两张的第二raw图作为输入，对其中一张第二raw图进行去噪和去马赛克处理。以将两张第二raw图作为输入为例，其中一张raw图可以是已经去噪和去马赛克处理后的raw图；或者，可以是两张一模一样的raw图。如将t-1时刻的第二raw图和t时刻的第二raw图作为第一神经网络的输入，t-1时刻的raw图是经过去噪和去马赛克处理的raw图。也就是说，第一神经网络可以参考前一帧去噪和去马赛克处理后的raw图，对当前帧(即t时刻raw图)进行去噪和去马赛克处理。特别的，当t时刻的raw图是手机的图像传感器采集的第一张raw图，则可以将t时刻raw图进行复制后，将两站一模一样的raw图作为第一神经网络的输入。

示例性的，第一神经网络的网络模型如图11所示，将t-1时刻的第二raw图和t时刻的第二raw图作为第一神经网络的输入，其中，这两张raw图均为分辨率512×512的一通道图像。采用合并数组(Concat)函数对两张raw图进行合并，采用卷积神经网络对t时刻的第二raw图进行去噪和去马赛克处理。第一神经网络输出的是t时刻的分辨率为512×512的三通道的RGB格式图像。

具体地说，第一神经网络可以是由神经单元组成的，神经单元可以是一个函数，将输入信号转换输出信号，输出信号可以作为下一层卷积层的输入。神经网络可以将多个单一的神经单元联结在一起而形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接收域连接，以提取局部接收域的特征，局部接收域可以是由若干个神经单元组成的区域。

第一神经网络是通过训练学习之后确定的，第一神经网络中包括多个权重矩阵。训练第一神经网络的过程就是学习权重矩阵的过程，训练第一神经网络的目的就是得到训练好的第一神经网络的所有层的权重矩阵。

示例性的，本申请实施例中训练第一神经网络的训练数据可以包括，原始图像、与原始图像对应的样本图像。其中，原始图像是指未经过图像信号处理的raw域图像，如，Bayer格式图像。样本图像可以是原始图像经过去噪和去马赛克处理后的输出图像，如，对原始的Bayer格式图像中的纹理或细节等一个或多个方面进行去噪和去马赛克处理后的RGB格式图像。

值得一提的是，在上述不同的场景中，可以根据场景下获取到的对应的原始图像训练神经网络。例如，在场景一中，会采用手机拍摄视频时，采集原始图像以及与原始图像对应的样本图像训练神经网络。在场景二中，可以采用手机视频通话的原始图像，以及与原始图像对应的样本图像训练神经网络。在场景三中，可以采集车载设备中行车记录仪采集的原始图像，与原始图像对应的样本图像训练神经网络。在场景四中，可以采集安防监控得到的原始图像，与原始图像对应的样本图像训练神经网络。每种场景还可以包括多种拍摄场景，还可以获取每种场景下的不同拍摄场景得到的原始图像，以及与原始图像对应的样本图像训练神经网络。

步骤905：NPU向ISP传输RGB格式图像。

可以理解的，ISP中的GCD模块可以对raw图进行去噪处理，并将raw图转换为RGB格式图像。本申请实施例降低了GCD降噪对raw图噪声的影响程度，通过NPU中的神经网络实现去噪和去马赛克，为了边缘ISP对GCD输出的RGB格式图像进行后续的处理。因此，NPU中的神经网络对第二raw图去噪和去马赛克之后，将raw图转换为RGB格式图像，并向ISP传输该RGB格式图像。

步骤906：ISP将RGB格式图像转换为图像信号，向显示屏传输图像信号。

其中，ISP对RGB格式图像进行后续处理，使得手机的显示屏实时显示视频画面。其中，后续处理包括但不限于，白平衡、颜色校正处理、色调映射和图像格式转换等。

可以理解的，ISP可以根据显示屏的显示图像格式进行图像格式转换，使得手机可以显示实时显示拍摄视频画面。

需要说明的，NPU中可以设置于拍摄场景对应的神经网络，并根据手机确定的拍摄场景运行对应的神经网络，以提高手机在各种场景下的去噪效果。其中，ISP中的模块也具有去噪功能，例如，GCD模块、TNR模块等。不同的拍摄场景中，raw图中的噪声模型也会发生改变，手机在调整神经网络的过程中可以调整具有去噪功能模块中的参数，使得在切换神经网络的过程中，手机显示的视频画面更流程。

步骤907：显示屏显示图像信号。

可以理解的，ISP可以在处理完RGB格式图像之后得到图像信号，并向DSP传输图像信号。DSP可以将图像信号转换为标准格式的视频画面，通过手机的显示屏显示视频画面。

示例性的，上述场景二中，用户使用手机进行视频通话时，手机中的显示屏上可以显示手机采集到的视频画面，以及手机接收到的视频通话的视频画面。手机可以根据对显示屏的视频窗口划分，在预设的显示位置上显示手机采集的视频画面。

本申请实施例中的方法应用于ISP中模块与NPU模块的交互过程时，其方法的实现如图11所示，其示出ISP与NPU数据传输的过程。如图11所示，ISP中包括GCD模块1101、采样模块(resample)1102和RGBSCL模块1103；存储单元(system cache)1104、NPU1105、内存模块DDR1106。

示例性的，ISP中的GCD模块1101输出RGB格式的图像，ISP使能采样模块1102。将RGB格式采用为raw域图像，并传输至存储单元(system cache)1104。NPU1105从存储单元1104中读取raw域图像，并对raw域图像进行去噪和去马赛克处理，以提高图像的质量。NPU1105对raw域图像去噪和去马赛克之后，将处理后的图像转换为RGB格式图像，并传输至存储单元1104。RGBSCL模块1103可以获取存储单元1104中处理后的图像。

可以理解的，神经网络对raw域图像进行处理时，需要获取至少两张raw域图像。如果存储单元中的raw域图像是首帧的raw域图像，则NPU1105可以复制raw域图像作为输入。如果存储单元中的raw图不是首帧的raw域图像，NPU可以将DDR中的raw图和存储单元中的raw图作为神经网络的输入。例如，NPU从存储单元中读取t时刻的raw域图像，从DDR1106中读取t-1时刻的raw域图像，将这两张raw域图像输入神经网络。神经网络可以根据t时刻的raw域图像和t-1时刻的raw域图像，对t时刻的raw域图像进行去噪和去马赛克处理，提升视频画面的质量。

可以理解的，当神经网络对t时刻的raw域图像进行去噪和去马赛克之后，可以将处理后的raw图像存储至DDR中。这样，当神经网络处理下一时刻(即t+1时刻)的raw域图像时，可以作为神经网络的输入。

需要说明的，存储单元1104是ISP中主要的存储单元，相比于DDR1106，ISP使用存储单元1104时的读写速率更快，带宽更宽。在一些实施例中，存储单元1104可以存储神经网络处理raw域图像的中间结果，以及存储处理后的raw域图像等。DDR1106可以作为辅助存储模块，例如，DDR1106中可以存储神经网络处理完成之后的raw域图像。

本身实施例还提供一种图像处理的装置，如图12所示，为图像处理的装置的一种可能的结构示意图。该图像处理的装置包括：拍摄模块1201、处理模块1202和显示模块1203。

其中，拍摄模块1201可以用于，获取目标对象的第一raw图。第一raw图是未处理的Bayer格式图像。

处理模块1202可以用于，对第一raw图进行基本处理，生成第二raw图。以及根据拍摄场景确定对应的第一神经网络，采用第一神经网络对第二raw图进行去噪和去马赛克处理，得到图像信号，提高图像的质量。

显示模块1203可以用于，显示处理模块1202处理后的图像信号。

可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请实施例还提供一种芯片系统，如图13所示，该芯片系统包括至少一个处理器1301和至少一个接口电路1302。处理器1301和接口电路1302可通过线路互联。例如，接口电路1302可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路1302可用于向其它装置(例如处理器1301)发送信号。示例性的，接口电路1302可读取存储器中存储的指令，并将该指令发送给处理器1301。当所述指令被处理器1301执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的用户设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像处理的方法，其特征在于，应用于电子设备，所述方法包括：

所述电子设备接收第一操作，所述第一操作用于触发所述电子设备录制视频；

响应于所述第一操作，所述电子设备显示预设图像信号；其中，所述预设图像信号是由第一原始raw域图像转换得到的，所述第一raw域图像是通过第一神经网络对所述电子设备采集的第二raw域图像进行去噪和去马赛克处理得到的。

2.根据权利要求1所示的方法，其特征在于，所述响应于所述第一操作，所述电子设备显示预设图像信号，包括：

响应于所述第一操作，所述电子设备采集所述第二raw域图像；

所述电子设备识别录制视频的场景，以确定所述场景对应的所述第一神经网络；

所述电子设备将所述第二raw域图像传输至所述第一神经网络，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像；

所述电子设备将所述第一raw域图像转换为预设图像信号，并显示所述预设图像信号。

3.根据权利要求2所示的方法，其特征在于，所述电子设备识别录制视频的场景，以确定所述场景对应的所述第一神经网络，包括：

所述电子设备根据所述第二raw域图像和/或传感器参数，识别录制视频的场景，以确定所述场景对应的所述第一神经网络；

其中，所述传感器参数包括：加速度传感器参数、光照传感器参数、重力传感器参数和速度传感器参数中的一个或多个。

4.根据权利要求2或3所述的方法，其特征在于，所述电子设备将所述第二raw域图像传输至所述第一神经网络，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像，包括：

所述电子设备将所述第二raw域图像传输至所述第一神经网络，将所述第二raw域图像和第三raw域图像作为所述第一神经网络的输入，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像；

其中，所述第三raw域图像是去噪和去马赛克之后得到的，所述第三raw域图像的采集时间早于所述第二raw域图像的采集时间。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

所述电子设备采集初始raw域图像，对所述初始raw域图像进行基本处理，以得到所述第二raw域图像，其中，所述基本处理包括：去黑电平处理、对比度处理和坏点处理中的至少一个。

6.一种图像处理装置，其特征在于，包括：获取模块和显示模块；

所述获取模块用于，接收第一操作，所述第一操作用于触发所述电子设备录制视频；

所述显示模块用于，响应于所述第一操作，显示预设图像信号；其中，所述预设图像信号是由第一原始raw域图像转换得到的，所述第一raw域图像是通过第一神经网络对所述电子设备采集的第二raw域图像进行去噪和去马赛克处理得到的。

7.根据权利要求6所述的装置，其特征在于，

所述显示模块具体用于，响应于所述第一操作，采集所述第二raw域图像；识别录制视频的场景，以确定所述场景对应的所述第一神经网络；将所述第二raw域图像传输至所述第一神经网络，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像；将所述第一raw域图像转换为预设图像信号，并显示所述预设图像信号。

8.根据权利要求7所述的装置，其特征在于，所述显示模块用于识别录制视频的场景，以确定所述场景对应的所述第一神经网络时，所述显示模块具体用于：

根据所述第二raw域图像和/或传感器参数，识别录制视频的场景，以确定所述场景对应的所述第一神经网络；

其中，所述传感器参数包括：加速度传感器参数、光照传感器参数、重力传感器参数和速度传感器参数中的一个或多个。

9.根据权利要求7或8所述的装置，其特征在于，所述显示模块将所述第二raw域图像传输至所述第一神经网络，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像时，所述显示模块具体用于：

将所述第二raw域图像传输至所述第一神经网络，将所述第二raw域图像和第三raw域图像作为所述第一神经网络的输入，运行所述第一神经网络，以得到去噪和去马赛克处理的所述第一raw域图像；

其中，所述第三raw域图像是去噪和去马赛克之后得到的，所述第三raw域图像的采集时间早于所述第二raw域图像的采集时间。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括采集模块，

所述采集模块用于采集初始raw域图像，对所述raw域图像进行基本处理，以得到所述第二raw域图像，其中，所述基本处理包括：去黑电平处理、对比度处理和坏点处理中的至少一个。

11.一种电子设备，其特征在于，所述电子设备包括：存储器、显示屏和一个或多个处理器；所述存储器、所述显示屏和所述处理器耦合；

其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，使所述电子设备执行如权利要求1-5中任一项权利要求中所述的方法。

12.一种芯片系统，其特征在于，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路和一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1-5中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-5中任一项所述的方法。

Images