CN113810593A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备，所述方法包括：获取原始图像数据，并对原始图像数据进行降噪处理，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据，将多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片，将降噪处理后的图像数据进行格式转换，并进行显示。本申请实施例可以从原始图像数据中统计出基准数据，并在应用处理芯片对图像数据进行处理的同时，对原始图像数据进行降噪并显示，提高对图像数据的处理能力。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中，一般都具有获取图像的图像传感器，可以进行图像处理的多媒体处理芯片、以及应用处理器(AP，Application Processor)。图像传感器可以通过MI PI(Mobile IndustryProcessor Interface，移动产业处理器接口)线连接到多媒体处理芯片，多媒体处理芯片可以通过MI PI线连接到AP。

图像传感器可包括互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。多媒体处理芯片可包括图像信号处理器(Image Signal Processor，ISP)，ISP对图像传感器获取的图像进行处理，并将处理结果传输到AP。然而，相关技术中的多媒体处理芯片对图像处理的能力有限。

发明内容

本申请提供一种图像处理方法、装置、存储介质及电子设备，可以提升多媒体处理芯片对图像处理的能力。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

第二方面，本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取原始图像数据，并对所述原始图像数据进行降噪处理；

统计模块，用于根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

发送模块，用于将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

显示模块，用于将降噪处理后的图像数据进行格式转换，并进行显示。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的图像处理方法。

第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述存储器中的指令用于执行以下步骤：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

本申请实施例提供的图像处理方法可以获取原始图像数据，并对原始图像数据进行降噪处理，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据，将多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片，将降噪处理后的图像数据进行格式转换，并进行显示。本申请实施例可以从原始图像数据中统计出基准数据，并在应用处理芯片对图像数据进行处理的同时，对原始图像数据进行降噪并显示，提高对图像数据的处理能力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的一种流程示意图。

图2为本申请实施例提供的多媒体处理芯片的第一种结构示意图。

图3为本申请实施例提供的图像处理方法的另一流程示意图。

图4为本申请实施例提供的电子设备的一种结构示意图。

图5为本申请实施例提供的图像处理装置的一种结构示意图。

图6为本申请实施例提供的图像处理装置的另一结构示意图。

图7为本申请实施例提供的电子设备的结构示意图。

图8为本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

请参阅图1，图1为本申请实施例提供的图像处理方法的一种流程示意图。本申请实施例提供的图像处理方法应用于电子设备，具体流程可以如下：

步骤101，获取原始图像数据，并对原始图像数据进行降噪处理。

在一实施例中，上述原始图像数据可以为RAW数据，其中，RAW是未经处理的格式，RAW图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始数据。另外，上述原始图像数据可以为静态图像数据比如用户在拍照模式下所获取到的图像数据，也可以为动态图像数据比如用户在拍摄视频模式下所获取到的视频图像数据。

举例来说，电子设备可以根据拍照指令对当前场景进行拍照，以得到原始图像数据。具体的，在电子设备进行拍照时成像装置会获取多帧原始图像在缓存当中，然后再从中挑选一帧图像作为目标图像。其中，拍照指令可以是用户通过对电子设备上的应用程序的操作产生的。例如，当用户启动电子设备上的相机应用程序后，点击屏幕上的拍摄按钮或者实体按键时，电子设备可以生成拍照指令。

在一实施例中，上述原始图像数据可以为多张，电子设备可以通过摄像头获取多帧原始图像，该多帧原始图像可以为不同曝光度的原始图像，也可以为不同快门时间的原始图像，还可以为不同感光度的原始图像等等。其中，摄像头的数量可以为一个、两个或者两个以上等等。

以该多帧原始图像可以为不同曝光度的原始图像进行举例，可以通过一个摄像头获取多帧不同曝光度的原始图像，也可以通过多个摄像头获取多帧不同曝光度的原始图像。其中，多帧曝光度不同的图像可以由摄像头使用不同的曝光时间来进行拍摄而得，曝光时间可指的是从快门打开到关闭的时间间隔，在这一段时间内，物体可在底片等感光面上留下影像。比如，电子设备可预先设定长曝光时间范围、正常曝光时间范围及短曝光时间范围，从而获取三帧不同曝光度的图像，其中，采用长曝光时间范围中的曝光时间采集的图像亮度较大，可能会出现图像过曝的情况；采用正常曝光时间范围采集的图像亮度正常，比较不会出现图像过亮或过暗的情况；采用短曝光时间范围采集的图像亮度较小，可能会出现图像欠曝过暗的情况。

在一实施例中，上述多帧原始图像可以为电子设备的成像装置在进行拍摄时获取当前场景的多帧图像。该成像装置可以是前置摄像头、后置摄像头等。启动电子设备的成像装置，使其进入拍照预览模式，并将被拍摄的场景显示在电子设备的显示窗口，并将此时显示窗口所显示的画面定义为预览图像。其中，成像装置硬件上一般包括五个部分：外壳(马达)、镜头、红外滤光片、图像传感器(例如CCD或COMS)和挠性印刷电路板(FPCB)等。在拍照预览模式下，显示预览图像的过程中，镜头在马达的驱动下移动，被拍摄的物体经过镜头在图像传感器上成像。图像传感器通过光-电转换将光信号转换为电信号输给图像处理电路进行后续处理。

进一步的，以该成像装置是后置摄像头为例。比如，若电子设备包括一个摄像头，则可以在拍照时控制摄像头连续采集多帧不同曝光度的当前场景图像，以得到多帧原始图像，然后通过HDR(High-Dynamic Range，高动态范围)算法生成HDR图像，最后在对该HDR图像数据进行降噪处理。

步骤102，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据。

步骤103，将多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片。

在一申请实施例中，原始图像数据可以由平台端的图像处理器诸如图像信号处理器(Image Signal Processing，ISP)进行处理。其中，平台端可以理解为应用处理芯片，平台端的的图像处理器可以理解为应用处理芯片集成有ISP。可以理解的是，应用处理芯片集成有应用处理器，以实现对各种信号的控制。

为了提升图像质量，可以理解为图像显示时的质量。本申请一些实施例可以提供一图像预处理器(pre-ISP)诸如神经网络处理器(Neural-network Processing Unit，NPU)先对图像进行预处理，比如降噪处理。并将预处理的结果传输到平台端的ISP。平台端的ISP基于pre-ISP的处理结果作为输入数据，并进行进一步的处理。从而可以提升图像质量。

本申请在实际研发过程中发现对于静态图像数据，由pre-ISP先对图像进行预处理，该预处理操作一般并不会破坏静态图像数据的原始数据，然而，对于动态图像数据诸如视频图像数据由pre-ISP诸如神经网络处理器预处理后会使得视频图像数据的原始数据被破坏，诸如图像色彩、图像亮度、对焦等。即使pre-ISP将其对视频图像数据进行预处理的结果传输到平台端的ISP，由于pre-ISP诸如神经网络处理器对原始数据处理后所得到的预处理结果破坏了原始数据，导致平台端的ISP无法在pre-ISP进行预处理的基础上进行进一步的处理。

基于此，本申请实施例还可以通过多媒体处理芯片统计所述原始图像数据的基准数据，该基准数据为平台端的ISP进行图像数据处理所需要的数据，即平台端的ISP基于该基准数据可以对per-ISP对视频图像数据的预处理结果进行进一步的处理。诸如该基准数据包括3A(AF stats、AWB stats、AE stats)数据、相位对焦数据等。从而可以提高视频图像的质量。基准数据还可以理解为基准信息。

步骤104，将降噪处理后的图像数据进行格式转换，并进行显示。

在一实施例中，上述格式转换是为了后续的图像处理单元能跟直接识别和处理的图像格式，通常为通用的标准视频帧格式，例如可以是YUV、CMYK、YCBCR或RGB等类型的格式，比如可以将RAW数据转换为YUV数据，然后通过显示单元显示降噪处理后的预览图像，方便用户直接查看降噪效果。

在一实施例中，在显示上述图像之前，还可以根据电子设备屏幕当前的分辨率对格式转换后的目标图像进行降采样处理。

可以理解的是，目标图像的实际分辨率大于屏幕显示的分辨率情况，相较于目标图像的实际分辨率等于屏幕显示分辨率的情况并不会获得更好的显示效果。因此，在选取目标图像之后，还可以获取屏幕当前的分辨率，再根据屏幕当前的分辨率对该目标图像进行降采样处理，使得目标图像的分辨率与屏幕当前的分辨率一致。这样能够提高后期对于目标图像的处理效率，并且不会降低其显示效果。

由上可知，本申请实施例提供的图像处理方法可以获取原始图像数据，并对原始图像数据进行降噪处理，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据，将多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片，将降噪处理后的图像数据进行格式转换，并进行显示。本申请实施例可以从原始图像数据中统计出基准数据，并在应用处理芯片对图像数据进行处理的同时，对原始图像数据进行降噪并显示，提高对图像数据的处理能力。

请参阅图2，图2为本申请实施例提供的多媒体处理芯片的第一种结构示意图。

多媒体处理芯片诸如多媒体处理芯片200可以对其所获取到的图像数据诸如RAW数据进行处理，以提升图像质量。需要说明的是，多媒体处理芯片200可以将其处理结果传输到应用处理芯片，以便于应用处理芯片内的图像信号处理器能够对图像数据进一步处理，以进行显示或存储。其中图像数据也可以理解为图像信息。

多媒体处理芯片200可以包括神经网络处理器(Neural-network ProcessingUnit，NPU)220，神经网络处理器220可以对多媒体处理芯片200所获取到的图像数据进行降噪处理，神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。

本申请一些实施例中，神经网络处理器220可以为用来处理图像的专用处理器，可以简称为专用处理器。可以在电路排布、编程等硬件配置过程中来进行硬化实现，从而可以保证神经网络处理器220在处理图像数据过程中的稳定性，以及降低神经网络处理器220处理图像数据所需的功耗和时间。可以理解的是，当神经网络处理器220为专用处理器时，其功能为用来处理图像数据，且其不能够处理其他一些数据诸如文本信息。

神经网络处理器220处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络处理器220按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像可以具有多行数据块，即神经网络处理器220可以对一帧图像的一部分诸如

帧进行处理，其中n为正整数，诸如2、4、5等。当神经网络处理器220对一帧图像未全部处理完，则神经网络处理器220可以内置缓存(全称，OCM)来存储神经网络处理器220在处理一帧图像过程中所处理多行数据块的数据。等待神经网络处理器220对一帧图像处理完成，则神经网络处理器220可以将处理过的数据写入到一存储器诸如多媒体处理芯片200的存储器230。其中，该存储器230可以内置于多媒体处理芯片200内，也可以外置。可以采用存储控制器实现数据的传输。

需要说明的是，神经网络处理器220在数据流的Pipeline中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理器220处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理器220在快速处理图像数据的基础上，可以实现数据的实时传输。

神经网络处理器220可以对动态图像数据进行处理，诸如用户在拍摄视频模式下所获取到的视频图像数据。神经网络处理器220可以包括处理视频图像数据的算法，诸如降噪算法、视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法，视频超分算法等。其中，动态图像数据可以包括录制视频的图像数据、视频播放的图像数据。

神经网络处理器220也可以对静态图像数据进行处理，诸如用户在拍照模式下所获取到的静态图像数据。神经网络处理器220可以包括处理静态图像数据的算法，诸如降噪算法、静态图像HDR算法、静态图像夜景算法、静态图像虚化算法等。

需要说明的是，在多媒体处理芯片200获取到初始图像数据后，若直接由神经网络处理器220对该初始图像数据进行处理，神经网络处理器220根据需求对初始图像数据进行预设算法的处理，以得到的处理结果。然而，往往神经网络处理器220通过预设算法处理完初始图像数据后会导致初始图像数据失真，若多媒体处理芯片200将神经网络处理器220处理完而形成失真的数据发送给应用处理芯片时，会造成应用处理芯片的图像信号处理器对该初始图像数据的信息诸如AF stats信息错误，进而导致对焦失败，造成应用处理芯片的图像信号处理器无法进行3A(AF stats、AWB stats、AE stats)等处理。其中，初始图像数据可以理解为多媒体处理芯片200接收到的数据，但未进行处理的数据。诸如将图像传感器所发送至多媒体处理芯片200的数据定义为初始图像数据。

基于此，本申请一些实施例中多媒体处理芯片200可以统计应用处理芯片进行图像数据处理所需要的基准数据，统计完成应用处理芯片所需要的数据后可以将其所统计的数据发送给应用处理芯片，以确保应用处理芯片能够顺利完成图像数据处理诸如3A处理。其中，上述统计的基准信息并不限于3A信息，图像信号处理器210的还可以统计其他信息，比如相位对焦信息、LSC stats和Metadata等信息。

下面将在上述实施例描述的方法基础上，对本申请的图像处理方法做进一步介绍。参阅图3，图3为本申请实施例提供的图像处理方法的另一流程示意图，该图像处理方法包括：

步骤201，获取原始图像数据，并通过预设算法对原始图像数据进行优化处理。

可以理解的是，对于视频图像而言，无论是播放视频，还是录制视频，若视频出现卡顿等现象，则会对用户造成较大的影响。为了尽可能保持视频图像的连续性，或者说为了尽可能减少甚至消除视频图像的卡顿问题，本申请一些实施例在对视频图像进行处理过程之前，对视频图像先进行优化处理，以减少甚至消除视频图像卡顿的问题。

基于此，本申请一些实施例可以通过预设算法对原始图像数据进行优化处理，以使得解决原始图像数据所存在的坏点等问题。再将优化处理后的数据传输到pre-ISP诸如神经网络处理器，可以加快神经网络处理器的收敛，以提高神经网络处理器处理一帧图像所用的时间，从而就可以确保神经网络处理器可以在预设时间段内处理完一帧视频图像数据。该预设时间段诸如为33nm(毫秒)。

其中，对原始图像数据进行优化处理可以包括坏点补偿(Bad Pixel Correction，BPC)、线性化(Linearization)处理、黑电平校正(Black Level Correction，BLC)中的至少一个。对视频图像数据进行优化处理的算法可以包括黑电平校正算法、坏点补偿算法和线性化处理算法中的至少一个。也即通过预设算法对原始图像数据进行优化处理的步骤，包括：

通过黑电平校正算法、坏点补偿算法和线性化处理算法中的至少一个算法对原始图像数据进行处理。

需要说明的是，对原始图像数据进行优化处理并不限于此，诸如对原始图像数据进行优化处理还可以包括图像裁剪(Crop)处理、图像缩小(Bayerscaler)处理中的至少一个。对原始图像数据进行优化处理的算法可以包括图像裁剪算法、图像缩小算法中的至少一个。

步骤202，将优化处理后的图像数据输入至训练后的前馈去噪卷积神经网络当中。

步骤203，对前馈去噪卷积神经网络中的每一层数据都进行零填充处理，并输出处理结果。

在一实施例中，可以通过DnCNN(前馈去噪卷积神经网络)模型来进行降噪处理，DnCNN模型能够处理具有未知噪声水平的高斯去噪(即，盲高斯去噪)。使用残差学习策略，DnCNN在隐藏层中清晰的去除了潜在的干净的图像。这个特性激励我们训练单个DnCNN模型处理一般的图像去噪任务，例如高斯噪声、单图像超分辨率和JPEG图像去块。我们大量的实验表明，我们的模型不仅在一般的图像去噪任务上展现了高的效率，而且还可以通过GPU的计算获得有效的实现。

其网络结构可以为：

第一部分：Conv(3*3*c*64)+ReLu(c代表图片通道数)

第二部分：Conv(3*3*64*64)+BN(batch normalization)+ReLu

第三部分：Conv(3*3*64)

其中，每一层都通过零填充(zero padding)算法进行处理，以使得每一层的输入、输出尺寸保持一致。

步骤204，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据。

在一申请实施例中，还可以通过多媒体处理芯片统计所述原始图像数据的基准数据，该基准数据为平台端的ISP进行图像数据处理所需要的数据，即平台端的ISP基于该基准数据可以对per-ISP对视频图像数据的预处理结果进行进一步的处理。诸如该基准数据包括3A(AF stats、AWB stats、AE stats)数据、相位对焦数据等。

步骤205，对降噪处理后的图像数据进行位宽调整处理。

步骤206，将位宽调整处理后的图像数据和多媒体处理芯片统计的基准数据发送至应用处理芯片。

其中，神经网络处理器在对图像数据进行一些算法的情况下会使得数据的位宽大于应用处理芯片处理图像数据的位宽。基于此，本申请实施例在接收到降噪处理后的图像数据之后，可以对上述图像数据进行位宽调整处理，使得位宽调整后的数据符合应用处理芯片处理数据的位宽。然后将位宽调整处理后的图像数据发送至应用处理芯片，以使得应用处理芯片能够基于基准数据对位宽调整后的数据进行进一步处理。

步骤207，将降噪处理后的图像数据进行格式转换，并进行显示。

在一实施例中，上述格式转换是为了后续的图像处理单元能跟直接识别和处理的图像格式，通常为通用的标准视频帧格式，例如可以是YUV、CMYK、YCBCR或RGB等类型的格式，比如可以将RAW数据转换为YUV数据，然后通过显示单元显示降噪处理后的预览图像，方便用户直接查看降噪效果。

由上可知，本申请实施例提供的图像处理方法可以获取原始图像数据，并通过预设算法对原始图像数据进行优化处理，将优化处理后的图像数据输入至训练后的前馈去噪卷积神经网络当中，对前馈去噪卷积神经网络中的每一层数据都进行零填充处理，并输出处理结果，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据，对降噪处理后的图像数据进行位宽调整处理，将位宽调整处理后的图像数据和多媒体处理芯片统计的基准数据发送至应用处理芯片，将降噪处理后的图像数据进行格式转换，并进行显示。本申请实施例可以从原始图像数据中统计出基准数据，并在应用处理芯片对图像数据进行处理的同时，对原始图像数据进行降噪并显示，提高对图像数据的处理能力。

请参阅图4，图4为本申请实施例提供的电子设备的一种结构示意图。

在一些实施例中，当多媒体处理芯片200将其处理过的图像数据传输到应用处理芯片400，应用处理芯片400的应用处理器410控制图像信号处理器420对多媒体处理芯片200处理过的数据进行进一步处理，并将处理完的数据进行存储和通过显示屏显示。

下面从数据处理的过程的角度进行描述。

应用处理器410接收启动摄像头的指令。需要说明的是，电子设备20的摄像头包括图像传感器600，电子设备20的摄像头可以为一个或多个。该摄像头可以为前置摄像头，也可以为后置摄像头。

应用处理器410基于该启动摄像头的指令启动图像传感器410。可以由应用处理器410对图像传感器410进行配置，以实现图像传感器410的启动。

图像传感器410采集图像数据，并将该图像数据传输到多媒体处理芯片200的第一接口201。其中，该图像数据为原始图像数据。

图像信号处理器210对该原始图像数据进行统计处理，以统计出基准数据，并将其统计出的基准数据通过第二接口202传输到存储器440。需要说明的是，当多媒体处理芯片200还包括其他接口诸如第三接口203时，所统计出的基准数据还可以通过其他接口诸如第三接口203传输到存储器440。

图像信号处理器210对该原始数据进行优化处理诸如线性化处理、坏点补偿等处理，并将优化处理后的数据传输到神经网络处理器220。可以理解的是，可以将其优化处理后的数据直接传输到神经网络处理器210，也可以存储到存储器230中，由神经网络处理器220从存储器230获取。

神经网络处理器210对优化处理后的数据进行处理，诸如AI算法处理，并将处理后的数据传输到图像信号处理器210。

图像信号处理器210将神经网络处理器220处理后的数据通过第二接口202传输到存储器430。

图像信号处理器420基于基准数据，对神经网络处理器220处理过的数据进行进一步的处理，诸如3A处理。需要说明的是，对原始图像数据进行的处理，图像信号处理器420无需再进行处理。比如对原始图像数据进行坏点补偿和线性化处理，图像信号处理器420无需在进行坏点补偿和线性化处理。

图像信号处理器420将处理后的数据发送至显示屏和存储器430，以显示和存储该图像。

需要说明的是，若该图像为视频图像则在存储前可以先通过编码器对其进行编码处理，等待编码完成后再进行存储。若该图像为照片图像则在存储器可以先进行压缩诸如JPEG压缩，等待压缩后再进行存储。

需说明的是，在图像信号处理器210将神经网络处理器220处理后的数据通过第二接口202传输到存储器430之前，可以由主控处理器260先确定神经网络处理器220处理后的数据的位宽与图像信号处理器420所要处理数据的位宽是否相同，如相同则图像信号处理器210将神经网络处理器220处理后的数据通过第二接口202传输到存储器430。若不相同，则图像信号处理器210对神经网络处理器220处理后的数据进行位宽调整处理，以使得调整后的数据的位宽与图像信号处理器420所要处理数据的位宽相同。以确保图像信号处理器420可以正常处理由多媒体处理芯片200传输过来的数据。

请参阅图5，图5为本申请实施例提供的图像处理装置的一种结构示意图。其中该图像处理装置30包括：

获取模块301，用于获取原始图像数据，并对所述原始图像数据进行降噪处理；

统计模块302，用于根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

发送模块303，用于将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

显示模块304，用于将降噪处理后的图像数据进行格式转换，并进行显示。

在一实施例中，请进一步参阅图6，所述获取模块301可以包括：

获取子模块3011，用于获取原始图像数据，并通过预设算法对所述原始图像数据进行优化处理；

降噪子模块3012，用于对所述优化处理后的图像数据进一步进行降噪处理。

在一实施例中，所述发送模块303可以包括：

处理子模块3031，用于对所述降噪处理后的图像数据进行位宽调整处理。

发送子模块3032，用于将位宽调整处理后的图像数据和所述多媒体处理芯片统计的基准数据发送至应用处理芯片。

由上述可知，本申请实施例的图像处理装置30可以获取原始图像数据，并对原始图像数据进行降噪处理，根据原始图像数据，通过多媒体处理芯片统计原始图像数据的基准数据，将多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片，将降噪处理后的图像数据进行格式转换，并进行显示。本申请实施例可以从原始图像数据中统计出基准数据，并在应用处理芯片对图像数据进行处理的同时，对原始图像数据进行降噪并显示，提高对图像数据的处理能力。

本申请实施例中，图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法的实施例，此处不再赘述。

本文所使用的术语“模块”可看作为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看作为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。

本申请实施例还提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的图像处理方法。

本申请实施例还提供一种电子设备，如平板电脑、手机等。电子设备中的处理器会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器中，并由处理器来运行存储在存储器中的应用程序，从而实现各种功能：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图7，电子设备400包括处理器401以及存储器402。其中，处理器401与存储器402电性连接。

处理器400是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备400的各种功能并处理数据，从而对电子设备400进行整体监控。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

请一并参阅图8，在一些实施方式中，电子设备400还可以包括：显示器403、射频电路404、音频电路405以及电源406。其中，其中，显示器403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。

显示器403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器403可以包括显示面板，在一些实施方式中，可以采用液晶显示器(Liquid Crystal Display，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。

射频电路404可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。通常，射频电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，SubscriberIdentity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。

音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路506可将接收到的音频数据转换成电信号，传输到扬声器，由扬声器转换为声音信号输出。

电源406可以用于给电子设备400的各个部件供电。在一些实施例中，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源406还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图8中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括以下步骤：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

2.根据权利要求1所述的图像处理方法，其特征在于，获取原始图像数据，并对所述原始图像数据进行降噪处理的步骤，包括：

通过预设算法对所述原始图像数据进行优化处理；

对所述优化处理后的图像数据进行降噪处理。

3.根据权利要求2所述的图像处理方法，其特征在于，通过预设算法对所述原始图像数据进行优化处理的步骤，包括：

通过黑电平校正算法、坏点补偿算法和线性化处理算法中的至少一个算法对所述原始图像数据进行处理。

4.根据权利要求2所述的图像处理方法，其特征在于，对所述优化处理后的图像数据进一步进行降噪处理的步骤，包括：

将所述优化处理后的图像数据输入至训练后的前馈去噪卷积神经网络当中以得到多层数据；

对所述前馈去噪卷积神经网络中的每一层数据都进行零填充处理，并输出处理结果。

5.根据权利要求1所述的图像处理方法，其特征在于，将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片的步骤，包括：

对所述降噪处理后的图像数据进行位宽调整处理；

将位宽调整处理后的图像数据和所述多媒体处理芯片统计的基准数据发送至应用处理芯片。

6.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取原始图像数据，并对所述原始图像数据进行降噪处理；

统计模块，用于根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

发送模块，用于将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

显示模块，用于将降噪处理后的图像数据进行格式转换，并进行显示。

7.根据权利要求6所述的图像处理装置，其特征在于，所述获取模块包括：

获取子模块，用于通过预设算法对所述原始图像数据进行优化处理；

降噪子模块，用于对所述优化处理后的图像数据进行降噪处理。

8.根据权利要求6所述的图像处理装置，其特征在于，所述发送模块包括：

处理子模块，用于对所述降噪处理后的图像数据进行位宽调整处理。

发送子模块，用于将位宽调整处理后的图像数据和所述多媒体处理芯片统计的基准数据发送至应用处理芯片。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至5任一项所述的图像处理方法。

10.一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，其特征在于，所述处理器加载所述存储器中的指令用于执行以下步骤：

获取原始图像数据，并对所述原始图像数据进行降噪处理；

根据所述原始图像数据，通过多媒体处理芯片统计所述原始图像数据的基准数据；

将所述多媒体处理芯片统计的基准数据和降噪处理后的图像数据发送至应用处理芯片；

将降噪处理后的图像数据进行格式转换，并进行显示。

Images