CN113781288A - 电子设备和图像处理方法 - Google Patents

Abstract

本申请实施例一种电子设备和图像处理方法，电子设备包括摄像头、多媒体处理芯片和应用处理芯片；所述摄像头用于采集图像数据；所述多媒体处理芯片被配置为：复制所述摄像头采集到的图像数据，以生成复制数据；对所述图像数据行预处理，以得到预处理结果；将所述预处理结果和所述复制数据发送到所述应用处理芯片；所述应用处理芯片被配置为：对所述预处理结果进行后处理，以得到预览图像；对所述复制数据进行处理，以得到拍照图像。本申请实施例可以节省多媒体处理芯片的带宽。

Description

电子设备和图像处理方法

技术领域

本申请涉及电子技术领域，具体涉及一种多媒体处理芯片、电子设备和图像处理方法。

背景技术

各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中，一般都具有获取图像的图像传感器，可以进行图像处理的多媒体处理芯片、以及应用处理器(AP，Application Processor)。图像传感器可以通过MIPI(Mobile IndustryProcessor Interface，移动产业处理器接口)线连接到多媒体处理芯片，多媒体处理芯片可以通过MIPI线连接到AP。

多媒体处理芯片一般采用图像信号处理器(Image Signal Processor，ISP)对图像传感器获取的图像进行处理，多媒体处理芯片对图像处理完成后，将其处理结果存储到存储器中，并将存储于存储器的处理结果传输到AP。

发明内容

本申请实施例提供了一种电子设备和图像处理方法，可以节省多媒体处理芯片的带宽。

第一方面，本申请实施例提供了一种多电子设备，包括：摄像头、多媒体处理芯片和应用处理芯片；

所述摄像头用于采集图像数据；

所述多媒体处理芯片被配置为：复制所述摄像头采集到的图像数据，以生成复制数据；

对所述图像数据行预处理，以得到预处理结果；

将所述预处理结果和所述复制数据发送到所述应用处理芯片；

所述应用处理芯片被配置为：对所述预处理结果进行后处理，以得到预览图像；

对所述复制数据进行处理，以得到拍照图像。

第二方面，本申请实施例提供一种图像处理方法，包括：

通过多媒体处理芯片将摄像头采集到的图像数据进行复制，得到复制数据；

通过所述多媒体处理芯片对所述图像数据进行预处理，得到预处理结果；

通过应用处理芯片对预处理结果进行后处理，得到预览图像；

通过所述应用处理芯片对复制数据进行处理，得到拍照图像。

本申请实施例在处理预览的图像数据时可以将其存储于多媒体处理芯片，并先由多媒体处理芯片进行预处理，并由应用处理芯片进行后处理，以进行预览显示；且可以将拍照的图像数据诸如复制数据存储于应用处理芯片，并在拍照时可以由应用处理芯片进行处理以得到拍照图像，从而就无需多媒体处理芯片存储复制数据，进而可以节省多媒体处理芯片的带宽。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的电子设备的第一种结构示意图。

图2是本申请实施例提供的电子设备的第二种结构示意图。

图3是本申请实施例提供的电子设备的第三种结构示意图。

图4是本申请实施例提供的电子设备的第四种结构示意图。

图5是本申请实施例提供的电子设备的第五种结构示意图。

图6是本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

本申请实施例提供一种电子设备和图像处理方法。下面请参阅附图，从本申请实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1为本申请实施例提供的电子设备的第一种结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600与多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为两个部件之间的通信连接关系，诸如采用无线连接的方式实现通信，再比如采用有线连接的方式实现通信。其中有线连接可以理解为信号线诸如导线连接，或者两个元器件直接焊接在一起。

其中，摄像头600可以采集图像数据，也可以将图像数据理解为图像信息。摄像头600可以为一个或多个，诸如摄像头600可以包括主摄像头、广角摄像头和长焦摄像头中的至少一个，摄像头600还可以包括微距摄像头和普通黑白摄像头中的至少一个。摄像头600可以是电子设备20的前置摄像头，也可以是电子设备20的后置摄像头。

摄像头600可以包括图像传感器和镜头，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。摄像头600可以采集原始图像数据诸如RAW域数据，并可以将其采集到的图像数据传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理器进行处理。

摄像头600所采集到的图像数据可以称为原始图像数据，也可以称为初始图像数据。可以理解的是，图像数据对应有图像，诸如用户在拍照过程中，摄像头600所采集到的图像数据可以从电子设备20的预览窗口进行预览。具体来说，摄像头600所采集到的图像数据先后由多媒体处理芯片200和应用处理芯片400进行处理，处理完成后显示到电子设备20的显示屏。从而用户可以通过电子设备20的预览窗口预览到图像，可以将其定义为预览图像。

其中，图像数据可以为静态图像数据，也可以为动态图像数据。其中静态图像数据诸如为存储于存储器中的图片的数据、摄像头600所采集到的静态图像数据。其中动态图像数据可以为预览图像的数据、视频录制的数据、视频播放的数据。

多媒体处理芯片200可以对图像数据进行处理，多媒体处理芯片200可以处理来自摄像头600所采集的图像数据诸如动态图像数据。多媒体处理芯片200也可以处理不来自摄像头600所采集的图像数据诸如存储于一存储器内的动态图像数据。多媒体处理芯片200可将其处理结果通过其接口传输到应用处理芯片400，以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。从而可以提高图像的显示质量。

其中，多媒体处理芯片200对图像数据进行处理可以称为前处理、预处理等，应用处理芯片400对图像数据进行处理可以称为后处理。

请参阅图2，图2为本申请实施例提供的电子设备的第二种结构示意图。电子设备20还包括显示屏800，显示屏800可显示画面。多媒体处理芯片200和应用处理芯片400对图像数据处理完后可以由显示屏800显示画面。当然，多媒体处理芯片200和应用处理芯片400对图像数据处理完后还可以将图像存储于电子设备20的存储器。

需要说明的是，本申请实施例多媒体处理芯片200所处理的图像数据可以为RAW图像数据，应用处理芯片200可以先对RAW图像数据进行处理，然后将RAW图像数据的格式转换为YUV图像数据格式，最后再将YUV图像数据进行存储和显示。RAW图像数据相比其他图像数据诸如YUV图像数据，RAW图像数据保留更多细节。本申请实施例对RAW图像数据进行处理可以在更多细节上提升图像质量。

多媒体处理芯片200可被配置为：复制摄像头采集到的图像数据，以生成复制数据；对图像数据行预处理，以得到预处理结果；将预处理结果和复制数据发送到应用处理芯片400。本申请实施例在处理预览的图像数据时可以将其存储于多媒体处理芯片200，并先由多媒体处理芯片200进行预处理，并由应用处理芯片400进行后处理，以进行预览显示.且可以将拍照的图像数据诸如复制数据存储于应用处理芯片400，并在拍照时可以由应用处理芯片400进行处理以得到拍照图像，从而就无需多媒体处理芯片200存储复制数据，进而可以节省多媒体处理芯片200的带宽。

请参阅图3，图3为本申请实施例提供的电子设备的第三种结构示意图。其中，多媒体处理芯片200可以包括图像信号处理器(Image Signal Processing，ISP)210、神经网络处理器(Neural-network Processing Unit，NPU)220、第一接口201和第二接口202。

多媒体处理芯片200至少基于神经网络处理器220对图像数据进行预处理，以得到预处理结果。诸如多媒体处理芯片200基于神经网络处理器220对图像数据进行神经网络算法处理。再比如多媒体处理芯片200基于图像信号处理器210先对图像数据进行第一次预处理，再由神经网络处理器220对图像数据进行第二次预处理。还比如多媒体处理芯片200基于图像信号处理器210先对图像数据进行第一次预处理，再由神经网络处理器220对第一次预处理后的图像数据进行第二次预处理，然后由神经网络处理器210对第二次预处理后的图像数据进行第三次预处理。

需要说明的是，本申请实施例多媒体处理芯片200对图像数据进行预处理的方式并不限于此，以上仅为本申请实施例对图像数据进行预处理的几种具体举例说明，并不构成本申请实施例对图像数据进行预处理的限缩。

其中，多媒体处理芯片200所处理的图像数据可以来自摄像头600所采集的图像数据。诸如第一接口201与摄像头600通信连接，摄像头600所采集到的图像数据诸如动态图像数据可以传输到第一接口201。第一接口201还与图像信号处理器210通信连接，第一接口201可以将其从摄像头600所接收到的图像数据传输到图像信号处理器210。

需要说明的是，多媒体处理芯片200还可以处理其他图像数据，诸如多媒体处理芯片200的图像数据由电子设备20的存储器传输到多媒体处理芯片200。诸如采用通过高速互联总线接口(PeripheralComponent InterconnectExpress，PCIE)和/或低速互联总线接口传输。

图像信号处理器210对图像数据进行第一次预处理包括线性化处理、坏点补偿和黑电平校正等优化处理中的至少一种。图像信号处理器210可以将其第一次预处理后的结果存储到存储器诸如多媒体处理芯片200的存储器中。图像信号处理器210也可以将其第一次预处理的结果直接传输到神经网络处理器220。可以理解的是，多媒体处理芯片200的存储器可以外置。

神经网络处理器220对图像数据进行第二次预处理诸如采用神经网络算法对图像数据进行处理。神经网络算法诸如语义分割算法、HDR算法、降噪算法、超分辨率算法、夜景算法、模糊算法等。神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。神经网络处理器220对图像数据处理的结果可以存储到存储器诸如多媒体处理芯片200的存储器中。

需要说明的是，本申请实施例先由图像信号处理器210对图像数据进行第一次预处理，诸如坏点补偿、线性化处理等不仅可以优化图像，提升图像质量，而且可以加快神经网络处理器220的收敛速度。从而可以降低神经网络处理器220处理一帧图像数据所需的时间，以实现快速、实时处理图像数据的目的。

当多媒体处理芯片200所处理图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，本申请实施例多媒体处理芯片200对图像数据进行预处理还包括由图像信号处理器210对第二次预处理后的图像数据进行第三次预处理，该第三次预处理包括位宽调整处理。

举例来说，本申请实施例神经网络处理器220对图像数据进行处理的位宽可以为第一位宽，诸如14比特(bit)、16比特。本申请实施例应用处理芯片400对图像数据进行处理的位宽可以为第二位宽，诸如为12比特。在神经网络处理器220所处理图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，可以由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以将图像数据的位宽调整与应用处理芯片400所需处理图像数据的位宽相同。然后再将图像数据传输到应用处理芯片400进行后处理。

需要说明的是，图像信号处理器210对图像数据进行处理并不限于此，诸如对图像数据裁剪处理、缩小处理等。

本申请实施例图像信号处理器210、神经网络处理器220均与系统总线连接。其中，多媒体处理芯片200的存储器也与系统总线连接。

需要说明的是，由于本申请实施例多媒体处理芯片200对图像数据的预处理至少基于神经网络处理器220对图像数据进行预处理，可以理解的是，神经网络处理器220对图像数据诸如RAW图像数据进行处理往往会改变RAW图像数据的状态信息。在多媒体处理芯片200对图像数据预处理完成后，由于状态信息的损坏，应用处理芯片400可能无法对预处理结果进行后处理诸如对焦参数的计算、白平衡处理等。

基于此，本申请实施例在神经网络处理器220对图像数据处理之前，先由图像信号处理器210对图像数据进行处理，以获得图像数据的状态信息。诸如自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。图像信号处理器210可以从图像数据中统计出各种状态信息，诸如直接从图像数据中抽取出相位对焦状态信息，采用预设算法从图像数据中统计出自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。需要说明的是，图像信号处理器210还可以采用预设算法从图像数据中统计出其他自动对焦状态信息诸如反差对焦状态信息。

其中，图像信号处理器210可以通过Datatype标志分解出相位对焦状态信息。

由此本申请实施例在神经网络处理器220对图像数据进行处理之前，先由图像信号处理器210对图像数据统计和/或提取，以得到图像数据的各种状态信息。神经网络处理器220再对图像数据处理时，仍然保留有各种状态信息，即使神经网络处理器220处理后会改变图像数据的状态信息。应用处理芯片400仍然可以基于图像信号处理器210所获得的各种状态信息进行各种处理。

图像信号处理器210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息和自动曝光状态信息等先存储到多媒体处理芯片200的存储器，然后再通过第二接口202传输到第三接口402。需要说明的是，图像信号处理器210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息和自动曝光状态信息等不存储到多媒体处理芯片200的存储器，而直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该自动白平衡状态信息，以计算出自动白平衡参数，并基于该自动白平衡参数对多媒体处理芯片200的预处理结果进行白平衡处理，以提升图像质量。应用处理芯片400还可以计算自动曝光状态信息，以计算出自动曝光参数，并将该自动曝光参数配置给摄像头600。摄像头600可以基于该自动曝光参数进行曝光。应用处理芯片400还可以计算自动对焦状态信息诸如相位对焦信息，以计算出自动对焦参数，并将该自动对焦参数配置给摄像头600。摄像头600可以基于该自动对焦参数进行对焦。

图像信号处理器210还可以将其获取到的其他状态信息诸如镜头阴影校正状态信息可以先存储到多媒体处理芯片200的存储器，然后再传输到第二接口202。当然，也可以不存储到多媒体处理芯片200的存储器，而是直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该镜头阴影校正状态信息，以计算出镜头阴影校正参数，并基于该镜头阴影校正参数对多媒体处理芯片200的预处理结果进行镜头阴影校正，以提升图像质量。

第一接口201、第二接口202和第三接口402均可以为移动产业处理器接口(MobileIndustry Processor Interface，MIPI)。本申请实施例第二接口202可以包括N路通路，N为大于2的自然数。诸如4。需要说明的是，为了节省功耗，以及防止升温过高，本申请实施例可以采用第二接口202中的其中一部分诸如M路通路来传输图像数据。或者说本申请实施例可以将采用第二接口202中的其中一部分诸如M路通路来传输多媒体处理芯片200的预处理结果。

其中，M为小于N的正整数，诸如2。

由此，本申请实施例多媒体处理芯片200在将其预处理结果传输到应用处理芯片400的过程中，第二接口202的N路通路中可以空闲出至少一路(N-M)路通路。N-M诸如为2。即本申请实施例可以通过第二接口202的一路处于空闲状态的通路将状态信息诸如相位对焦状态信息等传输到第三接口402对应的通路。

在一些实施例中，第二接口202的N路通路中的M路通路用于将预处理结果传输到应用处理芯片400，第二接口202的N路通路中处于空闲状态的至少一路通路用于将状态信息诸如相位对焦信息等直接传输到应用处理芯片400。举例来说，第二接口202的N路通路中的M路通路用于将存储于多媒体处理芯片200对图像数据处理得到的预处理结果传输到应用处理芯片400，第二接口202的N路通路中处于空闲状态的至少一路通路用于直接将图像信号处理器210所获取到的状态信息诸如提取到的相位对焦状态信息传输到应用处理芯片400。

可以理解的是，第一接口201可以与第二接口202的通路个数相同，第三接口402也可以与第二接口202的通路个数相同。诸如第一接口201、第二接口202和第三接口402的通路个数均为4个。需要说明的是第一接口201、第二接口202和第三接口402的通路个数也可以为其他个数，诸如第一接口201、第二接口202和第三接口402的通路个数均为3个。

其中，应用处理芯片400可以先对RAW图像数据进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的RAW图像数据进行格式转换，诸如将RAW图像数据转换为YUV图像数据的格式。进而可以通过显示屏800显示，也可以存储到电子设备20的存储器。可以理解的是，应用处理芯片400还可与对YUV图像数据进行图像处理。

需要说明的是，多媒体处理芯片200的元器件并不限于此，诸如多媒体处理芯片200还可以包括直接存储访问控制器，其可以实现图像数据的搬移。比如其可以将存储于存储器230内的预处理结果搬移到第二接口202，并通过第二件接口202将该预处理结果传输到第三接口402。

多媒体处理芯片200还可以包括数字信号处理器，数字信号处理器可以与系统总线连接，其可以处理静态图像数据，诸如从多帧图像中选择出一帧图像作为拍照图像。在一些实施例中，当数字信号处理器处理静态图像数据时，可以由神经网络处理器220来处理动态图像数据。需要说明的是，本申请实施例所限定的数字信号处理器主要是用来辅助神经网络处理器220对图像数据进行处理。

本申请其他一些实施例中，可以在多媒体处理芯片200获取到图像数据后，复制一份图像数据作为复制数据，可以将该复制数据存储在多媒体处理芯片200的存储器中，在需要进行拍照时，多媒体处理芯片200可以将存储于多媒体处理芯片200的存储器中的复制数据传输到应用处理芯片400，由应用处理芯片400的拍照图像处理模块440来处理复制数据，进而可以得到拍照图像。

请参阅图4，图4为本申请实施例提供的电子设备的第四种结构示意图。应用处理芯片400还可以包括预览图像处理模块420和拍照图像处理模块440。其中，预览图像处理模块420与第三接口402通信连接诸如通过信号线连接，用于处理预览图像的图像数据，以得到预览图像。拍照图像处理模块440与第三接口402通信连接诸如通过信号线连接，用于处理拍照图像的图像数据，以得到拍照图像。

图4所示电子设备处理图像数据的一种流程如下：

首先，多媒体处理芯片200的第一接口201接收摄像头600所采集的图像数据，诸如RAW图像数据。

然后，第一接口201对该图像数据进行复制诸如采用硬件复制，以得到一份复制数据，该复制数据等同于该图像数据。第一接口201将其复制到的复制数据存储到多媒体处理芯片200的存储器中。

再然后，多媒体处理芯片200可以对图像数据采用一系列的处理，诸如由图像信号处理器210对图像数据进行统计，以统计出状态信息；再比如由图像信号处理器对图像数据进行坏点补偿、线性化处理、黑电平校正等优化处理，由神经网络处理器220对优化处理后的图像数据进行神经网络算法处理，由图像信号处理器210对神经网络算法处理后的图像数据进行位宽调整处理，以得到预处理结果。

可以通过第二接口202将状态信息和预处理结果传输到第三接口402，由预览图处理模块420基于该状态信息对预处理结果进行后处理，诸如白平衡处理等，以得到预览图像，可以通过电子设备20的显示屏800进行显示。从而完成图像预览。

在需要进行拍照时，多媒体处理芯片200在将存储于存储器中的复制数据传输到应用处理芯片400。可以通过第二接口202的其中一个处于空闲状态的通路传输，也可以通过PCIe传输。应用处理芯片400通过第三接口402或通过PCIe接收到复制数据后，拍照图像处理模块440开始对该复制数据进行一系列处理，诸如先从多帧图像中挑选出一帧质量较好的图像，然后再对该一帧图像进行优化、降噪等处理，以得到拍照图像，可以将该拍照图像存储在电子设备20的存储器中。从而完成拍照图像的存储。

即当触发预览时，可以先由多媒体处理芯片200对其获取到的图像数据进行复制和预处理。然后由应用处理芯片400的预览图像处理模块420进行后处理以得到预览图像，从而可以通过显示屏800显示出来，以完成实现预览。

当触发拍照时，多媒体处理芯片200将其复制到的复制数据传输到应用处理芯片400。然后由应用处理芯片400的拍照图像处理模块440进行处理，得到拍照图像，可以将该拍照图像存储在电子设备20的存储器中，以完成拍照。

需要说明的是，当触发预览、而在预览结束仍未触发拍照时，则可以先由多媒体处理芯片200对其获取到的图像数据进行复制和预处理。然后由应用处理芯片400的预览图像处理模块420进行后处理以得到预览图像，从而可以通过显示屏800显示出来，以完成实现预览。然后，删除复制数据。

然而，需要说明的是，不管是由多媒体处理芯片200的数字信号处理器从多帧图像中选择出一帧图像作为拍照图像，还是在需要拍照时多媒体处理芯片200将复制数据发送至应用处理芯片400。都需要在多媒体处理芯片200的存储器预先存储复制数据，且该复制数据是神经网络处理器220处理前的图像数据。其就会额外占用多媒体处理芯片200的存储空间。

请参阅图5，图5为本申请实施例提供的电子设备的第五种结构示意图。多媒体处理芯片200的第一接口201和第二接口202可以直接通信连接诸如通过信号线连接。从而，第一接口201的数据可以绕过图像信号处理器210，而直接传输到第二接口202。然后可以通过第二接口202直接传输到第三接口402。由此，本申请实施例在一些情况下，图像数据可以不经过图像信号处理器210、神经网络处理器220进行处理，而直接传输到应用处理芯片400。诸如采用软件配置寄存器来将第一接口201采用应用所复制到的复制数据直接传输到第二接口202，而不经过图像信号处理器210的处理。

图5所示电子设备处理图像数据的一种流程如下：

首先，多媒体处理芯片200的第一接口201接收摄像头600所采集的图像数据，诸如RAW图像数据。

然后，第一接口201对该图像数据进行复制诸如采用硬件复制，以得到一份复制数据，该复制数据等同于该图像数据。采用软件配置寄存器的方式将第一接口201采用硬件方式所复制到的复制数据直接传输到第二接口202。第二接口202可以通过其中一个处于空闲状态的通路将该复制数据传输到第三接口402，第三接口402将该复制数据存储到应用处理芯片400的存储器中。

在第一接口201将图像数据复制完成后，其将图像数据传输到图像信号处理器210。

再然后，多媒体处理芯片200可以对图像数据采用一系列的处理，诸如由图像信号处理器210对图像数据进行统计，以统计出状态信息；再比如由图像信号处理器对图像数据进行坏点补偿、线性化处理、黑电平校正等优化处理，由神经网络处理器220对优化处理后的图像数据进行神经网络算法处理，由图像信号处理器210对神经网络算法处理后的图像数据进行位宽调整处理，以得到预处理结果。

可以通过第二接口202将状态信息和预处理结果传输到第三接口402，由预览图处理模块420基于该状态信息对预处理结果进行后处理，诸如白平衡处理等，以得到预览图像，可以通过电子设备20的显示屏800进行显示。从而完成图像预览。

在需要进行拍照时，拍照图像处理模块440从应用处理芯片400的存储器获取该复制数据，并开始对该复制数据进行一系列处理，诸如先从多帧图像中挑选出一帧质量较好的图像，然后再对该一帧图像进行优化、降噪等处理，以得到拍照图像，可以将该拍照图像存储在电子设备20的存储器中。从而完成拍照图像的存储。

即当触发预览时，可以先由多媒体处理芯片200对其获取到的图像数据进行复制和预处理。然后由应用处理芯片400的预览图像处理模块420进行后处理以得到预览图像，从而可以通过显示屏800显示出来，以完成实现预览。

当触发拍照时，由拍照图像处理模块440对复制数据进行处理，得到拍照图像，可以将该拍照图像存储在电子设备20的存储器中，以完成拍照。

需要说明的是，当触发预览、而在预览结束仍未触发拍照时，则可以先由多媒体处理芯片200对其获取到的图像数据进行复制和预处理。然后由应用处理芯片400的预览图像处理模块420进行后处理以得到预览图像，从而可以通过显示屏800显示出来，以完成实现预览。然后，删除复制数据。

由上可知，本申请实施例可以采用不同的方式实现图像预览和拍照。可以理解的是，该拍照可以为零延时拍照。在整个图像预览过程中，拍照图像的传输不会对图像预览的数据的传输产生影响，实现实时数据传输的目的，使得预览图像更加清晰。

在实际数据传输过程中，为了节省成本，以及减少对多媒体处理芯片200空间的占用。本申请实施例可以采用第二接口202的N路通路中空闲出至少一路(N-M)路通路传输复制数据。不仅不会影响其他通路传输预览图像的图像数据，还可以传输复制数据。

在一些实施例中，比如N为4，即第二接口202可以具有4路通路，其中两路通路诸如通路0、通路1用来传输图像数据。其中一路通路诸如通路2用来传输状态信息。其中一路通路诸如通路3用来传输复制数据。

另外，还需要说明的是，摄像头600可以为多个，诸如其包括预设摄像头，该预设摄像头可以为主摄像头。当多个摄像头诸如2个摄像头均采集有图像数据时，多个摄像头可以将两个摄像头所采集到的图像数据均传输到第一接口。该两个摄像头包括有预设摄像头。第一接口在接收到两个摄像头所采集到的图像数据时，其从多个摄像头中获取预设摄像头所采集到的图像数据，并复制该预设摄像头所采集到的图像数据以生成复制数据。该预设摄像头可以理解为主显示一路的摄像头。

由此，本申请一些实施例可以减少多媒体处理芯片200带宽的占用。

其中，应用处理芯片400和多媒体处理芯片200对图像数据可以进行差异化处理，诸如多媒体处理芯片200对图像数据进行降噪处理，而应用处理芯片400不再对图像数据进行降噪处理。再比如多媒体处理芯片200对图像数据进行语义分割处理，而应用处理芯片400不再对图像数据进行语义分割处理，而进行其他处理诸如对焦处理。从而本申请实施例就可以大大节省应用处理芯片400对图像数据进行处理的功耗。可以通过多媒体处理芯片200对图像数据进行专门化处理，以在节省应用处理芯片400功耗的情况下，以提升图像数据的质量。

当然，应用处理芯片400和多媒体处理芯片200对图像数据也可以不进行差异化处理，诸如应用处理芯片400和多媒体处理芯片200均对图像数据进行降噪处理。

需要说明的是，虽然图1-5未示出，本申请实施例所限定的电子设备20还可以包括其他器件，诸如电池、扬声器、受话器等器件。

下面从动态图像处理方法的角度进行说明。

请参阅图6，图6为本申请实施例提供的图像处理方法的流程示意图，结合图1至图5。

6001，通过多媒体处理芯片200将摄像头600采集到的图像数据进行复制，得到复制数据。多媒体处理芯片200可以通过第一接口201从摄像头600获取图像数据，采用硬件的方式对图像数据复制，以生成复制数据。其中，第一接口201具体可以参阅以上内容，在此不再赘述。

可以理解的是，第一接口201所复制到的图像数据可以存储于多媒体处理芯片200的存储器，也可以直接配置寄存器而传输到第二接口202，通过第二接口202处于空闲状态的一个通路传输到第三接口402，并存储到应用处理芯片400的存储器。

6002，通过多媒体处理芯片200对图像数据进行预处理，得到预处理结果。多媒体处理芯片200对图像数据的预处理至少基于神经网络处理器220对图像数据进行神经网络算法处理。诸如先由图像信号处理器210进行第一次预处理，然后由神经网络处理器对第一次预处理后的图像数据进行第二次预处理，再由图像信号处理器210对第二次预处理后的图像数据进行第三次预处理。其中，图像信号处理器210和神经网络处理器220对图像数据的处理可以参阅以上内容，在此不再赘述。并通过第二接口202将该预处理结果传输到第三接口402。

需要说明的是，多媒体处理芯片200在对图像数据进行预处理之前，还通过图像信号处理器210统计图像数据的状态信息，以将状态信息传输到应用处理芯片400，诸如通过第二接口202处于空闲状态的一路通路传输到第三接口402。

6003，通过应用处理芯片400对预处理结果进行后处理，得到预览图像。在实际数据处理过程中，预览图像处理模块420可以先对状态信息进行处理，以得到相应的参数，基于一些参数可以对预处理结果进行后处理诸如白平衡处理等，以得到预览图像，可以由显示屏800进行显示，实现预览。

需要说明的是，预览图像处理模块420对预处理结果进行后处理并不限于此，具有可以参阅以上内容，在此不再赘述。

6004，通过应用处理芯片400对复制数据进行处理，得到拍照图像。在实际数据处理过程中，拍照图像处理模块440可以先从多帧图像中挑选出一帧图像，然后再对该一帧图像进行处理，以得到拍照图像，进而可以对拍照图像进行编码、存储。

通过应用处理芯片400对复制数据进行处理，得到拍照图像之前，包括：

当触发预览时，通过应用处理芯片400的预览图像处理模块对预处理结果进行后处理，得到预览图像。当触发拍照时，通过应用处理芯片400的拍照图像处理模块440从复制数据的多帧图像中选择出一帧图像数据，并对其进行处理，以得到拍照图像。当预览结束仍未触发拍照时，删除复制数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种电子设备和图像处理方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种电子设备，其特征在于，包括：摄像头、多媒体处理芯片和应用处理芯片；

所述摄像头用于采集图像数据；

所述多媒体处理芯片被配置为：复制所述摄像头采集到的图像数据，以生成复制数据；

对所述图像数据行预处理，以得到预处理结果；

将所述预处理结果和所述复制数据发送到所述应用处理芯片；

所述应用处理芯片被配置为：对所述预处理结果进行后处理，以得到预览图像；

对所述复制数据进行处理，以得到拍照图像。

2.根据权利要求1所述的电子设备，其特征在于，所述应用处理芯片还被配置为：

当触发预览时，对所述预处理结果进行后处理，以得到预览图像；

当触发拍照时，对所述复制数据进行处理，以得到拍照图像。

3.根据权利要求2所述的电子设备，其特征在于，所述应用处理芯片还被配置为：

当触发预览、而在预览结束仍未触发拍照时，对所述预处理结果进行后处理，以得到预览图像，并删除所述复制数据。

4.根据权利要求1至3任一项所述的电子设备，其特征在于，所述多媒体处理芯片包括第一接口、第二接口；

所述第一接口被配置为：从所述摄像头获取所述图像数据，复制所述图像数据生成复制数据，将所述复制数据直接传输到第二接口；

所述第二接口被配置为：将所述复制数据和所述预处理结果传输到所述应用处理芯片。

5.根据权利要求4所述的电子设备，其特征在于，所述第二接口包括N路通路，所述N路通路中的M路通路用于将所述预处理结果传输到所述应用处理芯片，所述N路通路中处于空闲状态的至少一路通路用于将所述复制数据传输到所述应用处理芯片；

其中N为大于2的自然数，M为小于N的正整数。

6.根据权利要求4所述的电子设备，其特征在于，所述摄像头为多个，包括预设摄像头，所述第一接口还被配置为：从多个摄像头获取所述预设摄像头所采集到的图像数据，并复制所述预设摄像头所采集到的图像数据生成复制数据。

7.根据权利要求4所述的电子设备，其特征在于，所述多媒体处理芯片还包括图像信号处理器和神经网络处理器；

所述第一接口还被配置为：将所述图像数据传输到图像信号处理器；

所述图像信号处理器被配置为：统计所述图像数据的状态信息；

所述多媒体处理芯片至少基于所述神经网络处理器对所述图像数据进行预处理，以得到预处理结果；

所述第二接口还被配置为：将所述状态信息传输到所述应用处理芯片；

所述应用处理芯片还被配置为：基于所述状态信息对所述预处理结果进行后处理，以得到预览图像。

8.根据权利要求7所述的电子设备，其特征在于，所述状态数据包括自动对焦状态信息、自动白平衡状态信息、自动曝光状态信息和镜头阴影校正状态信息中的至少一种；

所述应用处理芯片还被配置为：

计算所述自动对焦状态信息，得到自动对焦参数，将所述自动对焦参数配置给所述摄像头；和/或

计算所述自动曝光状态信息，得到自动曝光参数，将所述自动曝光参数配置给所述摄像头；和/或

计算所述自动白平衡状态信息，得到自动白平衡参数，基于所述自动白平衡参数对所述预处理结果进行白平衡处理；和/或

计算镜头阴影校正状态信息，得到镜头阴影校正参数，基于所述镜头阴影校正参数对所述预处理结果进行镜头阴影校正。

9.根据权利要求7所述的电子设备，其特征在于，所述多媒体处理芯片至少基于所述神经网络处理器对所述图像数据进行预处理，至少包括：

所述图像信号处理器对所述图像数据进行第一次预处理；

所述神经网络处理器对第一次预处理后的图像数据进行第二次预处理。

10.根据权利要求7所述的电子设备，其特征在于，所述多媒体处理芯片对图像数据的预处理至少包括：

所述图像信号处理器对图像数据进行第一次预处理；

所述神经网络处理器对第一次预处理后的图像数据进行第二次预处理；

所述图像信号处理器对第二次预处理后的图像数据进行第三次预处理。

11.根据权利要求1至3任一项所述的电子设备，其特征在于，所述多媒体处理芯片还包括数字信号处理器，所述数字信号处理器用于对静态图像数据进行处理，所述神经网络处理器用于对动态图像数据进行处理。

12.根据权利要求1至3任一项所述的电子设备，其特征在于，所述多媒体处理芯片用于对RAW图像数据进行处理。

13.一种图像处理方法，其特征在于，包括：

通过多媒体处理芯片将摄像头采集到的图像数据进行复制，得到复制数据；

通过所述多媒体处理芯片对所述图像数据进行预处理，得到预处理结果；

通过应用处理芯片对预处理结果进行后处理，得到预览图像；

通过所述应用处理芯片对复制数据进行处理，得到拍照图像。

14.根据权利要求13所述的图像处理方法，其特征在于，所述通过应用处理芯片对复制数据进行处理，得到拍照图像之前，包括：

当触发预览时，通过所述应用处理芯片对预处理结果进行后处理，得到预览图像；

当触发拍照时，通过所述应用处理芯片从所述复制数据的多帧图像中选择出一帧图像数据，并对其进行处理，以得到拍照图像；

当预览结束仍未触发拍照时，删除所述复制数据。

Images