CN113744119A - 多媒体处理芯片和电子设备 - Google Patents

Abstract

本申请实施例提供一种多媒体处理芯片和电子设备。其中，多媒体处理芯片包括第一接口；第二接口，所述第二接口和所述第一接口直接连接；图像信号处理器，所述图像信号处理器与所述第一接口连接，且所述图像信号处理器与所述第二接口连接；神经网络处理器；当所述第一接口将其所接收到的图像数据传输到所述图像信号处理器时，所述图像信号处理器统计所述图像数据的状态信息，且所述神经网络处理器对所述图像数据进行神经网络算法处理，所述第二接口将所述多媒体处理芯片处理过的图像数据传输到应用处理芯片；当所述第一接口将其所接收到的图像数据直接传输到第二接口时，所述第二接口将从所述第一接口接收到的图像数据直接传输到应用处理芯片。本申请实施例中，在不同的情况下采用不同的图像处理方式，在提高对图像数据处理能力的基础上，提高图像数据处理效率。

Description

多媒体处理芯片和电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种多媒体处理芯片和电子设备。

背景技术

各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中，一般都具有获取图像的图像传感器，可以进行图像处理的多媒体处理芯片、以及应用处理器(AP，Application Processor)。图像传感器可以通过MIPI(Mobile IndustryProcessor Interface，移动产业处理器接口)线连接到多媒体处理芯片，多媒体处理芯片可以通过MIPI线连接到AP。

图像传感器可包括互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。多媒体处理芯片一般采用图像信号处理器(Image Signal Processor，ISP)对图像传感器获取的图像进行处理，多媒体处理芯片对图像处理完成后得到处理结果，并将处理结果传输到AP。然而，相关技术中的多媒体处理芯片对图像的处理能力有限。

发明内容

本申请实施例提供一种多媒体处理芯片和电子设备，可以提高多媒体处理芯片对图像处理的能力。

本申请实施例公开一种多媒体处理芯片，其包括：

第一接口；

第二接口，所述第二接口和所述第一接口直接连接；

图像信号处理器，所述图像信号处理器与所述第一接口连接，且所述图像信号处理器与所述第二接口连接；

神经网络处理器；

当所述第一接口将其所接收到的图像数据传输到所述图像信号处理器时，所述图像信号处理器统计所述图像数据的状态信息，且所述神经网络处理器对所述图像数据进行神经网络算法处理，所述第二接口将所述多媒体处理芯片处理过的图像数据传输到应用处理芯片；

当所述第一接口将其所接收到的图像数据直接传输到第二接口时，所述第二接口将从所述第一接口接收到的图像数据直接传输到应用处理芯片。

本申请实施例公开一种电子设备，其包括：

多媒体处理芯片，为如上所述的多媒体处理芯片；和

当所述第二接口将所述多媒体处理芯片处理过的图像数据传输到所述应用处理芯片时，所述应用处理芯片对所述多媒体处理芯片处理过的图像数据进行后处理；

当所述第二接口直接将所述第一接口所接收到的图像数据传输到所述应用处理芯片时，所述应用处理芯片直接对所述第一接口接收到的图像数据进行处理。

本申请实施例中，可以在不同的情况下采用不同的图像处理方式，在提高对图像数据处理能力的基础上，提高图像数据处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的图像处理装置的第一种结构示意图。

图2为本申请实施例提供的图像处理装置的第二种结构示意图。

图3为图1所示图像处理装置的第一应用场景示意图。

图4为图1所示图像处理装置的第二应用场景示意图。

图5为本申请实施例提供的图像处理装置对视频图像进行处理的方法流程示意图

图6为本申请实施例提供的多媒体处理芯片的第一种结构示意图。

图7为本申请实施例提供的多媒体处理芯片的第二种结构示意图。

图8为本申请实施例提供的多媒体处理芯片的第三种结构示意图。

图9为本申请实施例提供的多媒体处理芯片的第四种结构示意图。

图10为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第一种数据流向示意图。

图11为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第一种方法示意图。

图12为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第二种数据流向示意图。

图13为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第二种方法示意图。

图14为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第三种数据流向示意图。

图15为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第三种方法示意图

图16为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第四种数据流向示意图。

图17为本申请实施例提供的多媒体处理芯片对图像数据进行处理的第四种方法示意图。

图18为本申请实施例提供的多媒体处理芯片的第五种结构示意图。

图19为本申请实施例提供的离线静态图像处理方法的流程示意图。

图20为本申请实施例采用多媒体处理芯片对RAW图像编辑处理的方法流程示意图。

图21为本申请实施例提供的离线动态图像处理方法的流程示意图。

图22为本申请实施例采用多媒体处理芯片对视频播放的图像数据进行处理的方法流程示意图。

图23为本申请实施例提供的多媒体处理芯片的第六种结构示意图。

图24为本申请实施例提供的多媒体处理芯片的第七种结构示意图。

图25为本申请实施例提供的多媒体处理芯片的第八种结构示意图。

图26为本申请实施例提供的电子设备第一种结构示意图。

图27为本申请实施例提供的电子设备的第二种结构示意图。

图28为本申请实施例提供的电子设备的第三种结构示意图。

图29为本申请实施例提供的图像处理方法的流程示意图。

图30为本申请实施例与相关技术的比较图。

图31为本申请实施例与相关技术的比较图。

图32为本申请实施例提供的电路板的第一种结构示意图。

图33为本申请实施例提供的电路板的第二种结构示意图。

具体实施方式

本申请实施例提供一种多媒体处理芯片和电子设备。其中，多媒体处理芯片可以安装于电路板诸如主板中，以应用到电子设备中实现对图像的处理，以提升图像质量。

请参阅图1，图像处理装置110可以对其获取到的数据诸如RAW数据进行处理，以便于其他图像处理器对图像数据进行进一步处理，以提升图像质量。

图像处理装置110可以对静态图像数据进行处理，诸如用户在拍照模式下所获取到的静态图像数据。图像处理装置110还可以对动态图像数据进行处理，诸如用户在预览模式或录制视频模式所获取到的动态图像数据。

可以理解的是，静态图像数据和动态图像数据均可以由平台端(System-on-a-Chip，SoC芯片)的处理器进行处理。平台端可以理解为应用处理芯片，平台端的处理器可以理解为图像信号处理器(Image Signal Processing，ISP)和应用处理器(AP，ApplicationProcessor)。然而，平台端往往对图像数据的处理能力有限。随着用户对图像质量的要求越来越高，仅通过平台端对图像数据进行处理往往并不能够满足用户需求。

为了提升图像质量，可以理解为图像显示时的质量。本申请一些实施例可以提供一图像预处理器(pre-ISP)诸如神经网络处理器(Neural-network Processing Unit，NPU)先对图像进行预处理，并将预处理的结果传输到平台端。平台端基于pre-ISP的处理结果作为输入数据，并进行后处理。从而可以提升图像质量。

本申请在实际研发过程中发现对于静态图像数据，由pre-ISP先对静态图像数据进行预处理，该预处理操作一般并不会破坏静态图像数据的状态信息。待pre-ISP对静态图像数据预处理后可直接传输到平台端，平台端可以直接对pre-ISP所处理过的静态图像数据进行后处理。

其中，状态信息可以理解为平台端对图像数据进行后处理所需要的信息，即平台端基于该状态信息可以对图像数据的预处理结果进行后处理。

其中，状态信息可以包括自动白平衡(Automatic White Balance，AWB)状态信息、自动曝光(Automatic Exposure，AE)状态信息和自动对焦(Automatic Focus，AF)状态信息，可以简称3A状态信息。状态信息还可以理解为状态数据。需要说明的是，状态信息并不限于此。诸如状态信息还包括镜头阴影校正(Lens Shade Correction，LSC)状态信息。自动白平衡状态信息可以理解为白平衡处理所需的状态信息，自动曝光状态信息可以理解为曝光所需的状态信息，自动对焦状态信息可以理解为对焦所需的状态信息，镜头阴影校正状态信息可以理解为镜头阴影校正所需的状态信息。

然而，对于动态图像数据诸如视频图像数据由pre-ISP诸如神经网络处理器预处理后会使得动态图像数据的状态信息被破坏，诸如图像色彩、图像亮度、对焦所需数据等。即使pre-ISP将其对动态图像数据进行预处理的结果传输到平台端，由于pre-ISP诸如神经网络处理器对动态图像数据处理后所得到的预处理结果破坏了状态信息，导致平台端无法在pre-ISP进行预处理的基础上进行后处理。

基于此，本申请一些实施例可以采用图像处理装置诸如图1所示的图像处理装置110中的统计模块112对动态图像数据进行统计，以从动态图像数据中得到状态信息。pre-ISP诸如神经网络处理器对动态图像数据进行预处理后，平台端可以基于图像处理装置110的统计模块112所统计得到的状态信息对预处理结果进行后处理，以提升动态图像质量。

然而，可以理解的是，对于动态图像数据而言，无论是播放视频，还是录制视频，若视频出现卡顿等现象，则会对用户造成较大的影响。为了尽可能保持视频图像的连续性，或者说为了尽可能减少甚至消除视频图像的卡顿问题，本申请一些实施例在对动态图像进行处理过程中，先对动态图像进行优化处理，以减少甚至消除播放卡顿的问题。

基于此，本申请一些实施例可以采用图像处理装置诸如图1所示的图像处理装置110中的优化模块114对动态图像数据进行优化处理，以解决动态图像数据所存在的坏点等问题。再将优化处理后的数据传输到pre-ISP诸如神经网络处理器，可以加快神经网络处理器的收敛，以提高神经网络处理器处理一帧图像所用的时间，从而就可以确保神经网络处理器可以在预设时间段内处理完一帧动态图像数据。该预设时间段诸如为33nm(毫秒)。

其中，优化模块114对动态图像数据进行优化处理可以包括坏点补偿(Bad PixelCorrection，BPC)、线性化(Linearization)处理、黑电平校正(Black Level Correction，BLC)中的至少一个。优化模块114对动态图像数据进行优化处理的算法可以包括黑电平校正算法、坏点补偿算法和线性化处理算法中的至少一个。优化模块114执行黑电平校正算法可以实现对动态图像数据的黑电平校正，优化模块114执行坏点补偿算法可以实现对动态图像数据的坏点补偿，优化模块114执行线性化处理算法可以实现对动态图像数据的线性化处理。

需要说明的是，优化模块114对动态图像数据进行优化处理并不限于此，诸如优化模块114对动态图像数据进行优化处理还可以包括图像裁剪(Crop)处理、图像缩小(Bayerscaler)处理中的至少一个。优化模块114对动态图像数据进行优化处理的算法可以包括图像裁剪算法、图像缩小算法中的至少一个。优化模块114执行图像裁剪算法可以实现对动态图像的裁剪，优化模块114执行图像缩小算法可以实现对动态图像的缩小。

本申请一些实施例中，可以采用几个不同的优化模块来分别执行不同的算法，以达到不同的优化结果。也可以在优化模块中分为几个优化子模块来分别执行不同的算法，以达到不同的优化结果。

请参阅图2，图像处理装置110的优化模块114可以包括多个优化子模块，在此可以将优化子模块定义为优化单元。诸如优化模块114包括第一优化单元1142和第二优化单元1144。第一优化单元1142可以对动态图像数据进行坏点补偿，第二优化单元1144可以对动态图像数据进行线性化处理。从而可以确保优化模块114优化处理过的数据加快pre-ISP诸如神经网络处理器的收敛速度，进而可以保证pre-ISP诸如神经网络处理器能够在预设时间段内完成对一帧图像的处理，以解决播放卡顿的问题。

可以理解的是，优化模块114的优化单元并不限于第一优化单元1142和第二优化单元1144，诸如优化模块114还可以包括第三优化单元，第三优化单元可以对动态图像数据进行黑电平校正。优化模块114还可以包括第四优化单元可以对动态图像数据进行图像裁剪处理，优化模块114还可以包括第五优化单元可以对动态图像数据进行图像缩小处理。

需要说明的是，优化模块114的优化单元的个数及功能并不限于此，以上仅为本申请一些实施例对优化模块的优化单元的一些举例说明。优化模块114对动态图像数据进行优化处理后能够加快pre-ISP诸如神经网络处理器处理动态图像数据的收敛速度的功能子模块均在本申请的保护范围内。

还需要说明的是，优化模块114对动态图像数据进行优化处理也可以不是为了加快pre-ISP诸如神经网络处理器处理动态图像数据的收敛速度。优化模块114的对动态图像数据的优化处理可以根据实际需要而设计。

本申请实施例所提供的图像处理装置110还可以对静态图像数据进行统计以统计出状态信息。本申请实施例所提供的图像处理装置110还可以对静态图像数据进行优化处理，以改善静态图像质量。

以上为本申请实施例从统计模块112和优化模块114的角度进行的限定。为了进一步说明本申请实施例所限定的图像处理装置110在处理数据过程中的流向，下面将本申请实施例的图像处理装置110结合到其他电路中进行说明。

请参阅图3，图像处理装置110可以与一个或多个摄像头120进行连接，以从摄像头120获取摄像头120所采集的图像数据诸如动态图像数据。还可以理解为图像处理装置110与摄像头120连接，可以接收摄像头120发送给图像处理装置110的动态图像数据。动态图像数据可以分为两路，一路可以传输给统计模块112，另一路可以传输给优化模块114。

可以理解的是，本申请实施例所限定的两个器件之间的电连接，可以理解为两个器件通过信号诸如导线连接，可以实现信号的传输。当然，还可以理解为两个器件连接在一起，诸如通过焊接点焊接在一起。

统计模块112在接收到动态图像数据后，可以基于该动态图像数据统计其中的一些信息，在此可以定义为状态信息，诸如3A状态信息等。待统计模块112统计数据完成，即统计模块112统计出状态信息时，可以将该状态信息直接发送到第一图像处理器130。该第一图像处理器130可以理解为平台端的处理器诸如ISP和AP。

优化模块114在接收到动态图像数据后可以对动态图像数据进行一次或多次优化处理，诸如坏点补偿、线性化处理等。待优化模块114对动态图像数据的优化处理完成后，可以将优化处理后的动态图像数据传输给第二图像处理器140。第二图像处理器140可以理解为pre-ISP，诸如神经网络处理器。

需要说明的是，在实际生产加工过程中，需要分别完成第一图像处理器130、第二图像处理器14和图像处理装置110，在生产加工阶段会额外增加成本。而在信号传输和处理阶段会使得一些信号额外从一个器件传输到另一个器件，会额外增加时间和功耗。

基于此，为了节省成本、节省时间和功耗，本申请其他一些实施例可以将第二图像处理器140、统计模块112和优化模块114集成在一个器件上。

请参阅图4，图4和图3的区别在于，第二图像处理器140、统计模块112和优化模块114集成在一个器件上，诸如命名为图像处理装置110。由此在构造上，可以将统计模块112、优化模块114和第二处理器140集成在一起，可以节省成本，可以加快相互传输数据的速率，节省时间和功耗。

综上，本申请一些实施例通过图像处理装置110不仅可以统计出一些状态信息，而且还可以对动态图像数据进行优化处理。从而可以在加快per-ISP诸如神经网络处理器收敛的速度，以保证其在预设时间段内对一帧图像处理完成，而且还可以确保第一图像处理器130能够基于统计模块112所统计的状态信息在pre-ISP进行预处理的基础上进行后处理。进而以提升动态图像的质量。第一图像处理器130处理完RAW格式的动态图像数据可以对其进行格式转换，诸如将RAW格式图像数据转换为YUV格式图像数据。第一图像处理器130还可以对YUV格式图像数据进行处理诸如RGBToYUV。第一图像处理器130可以将处理完的图像数据显示于显示屏，以及存储到存储器中。

为了进一步说明本申请实施例所限定的图像处理装置110在处理数据过程中的流向，下面从图像处理装置110处理数据的方法的角度进行描述。

请参阅图5，动态图像处理方法包括：

1001，图像处理装置110获取动态图像数据。图像处理装置110可以从摄像头120获取动态图像数据。该动态图像数据可以为RAW数据。

1002，图像处理装置110的统计模块112从动态图像数据中统计出状态信息。状态信息可以包括3A状态信息。

1003，图像处理装置110的将统计模块所统计的状态信息发送至第一图像处理器130。该第一图像处理器130可以理解平台端的AP和ISP，其可以基于该状态信息进行图像处理。诸如状态信息包括3A状态信息，第一图像处理器130可以基于3A状态信息进行3A处理。3A处理可以理解为基于3A状态信息进行的处理。

1004，图像处理装置110的优化模块114对动态图像数据进行优化处理。该优化处理可以包括对动态图像数据的坏点补偿、线性化处理和黑电平校正中的至少一个。

1005，图像处理装置110将优化处理后的动态图像数据发送至第二图像处理器140。该第二图像处理器140可以理解为神经网络处理器。优化处理后的动态图像数据给到第二图像处理器140，可以使得第二图像处理器140在预设时间段内处理一帧动态图像数据，或者说可以加快其对动态图像数据的收敛速度。从而实现第二图像处理器140实时地将其处理过的动态图像数据传输到第一图像处理器130，以解决播放卡顿的问题。

神经网络处理器可以对优化处理后的动态图像数据进行神经网络算法处理，并可以将其处理过的图像数据传输到第一图像处理器130，第一图像处理器130可以基于状态信息对神经网络算法处理后的动态图像数据进行后处理诸如3A处理。

需要说明的是，第二图像处理器诸如神经网络处理器在对动态图像数据进行一些算法的情况下会使得数据的位宽大于第一图像处理器处理图像数据的位宽。基于此，本申请实施例在接收到第二图像处理器诸如神经网络处理器对动态图像数据进行处理的结果后，可以通过优化模块114对第二图像处理器的处理结果进行位宽调整处理，使得位宽调整后的数据符合第一图像处理器处理数据的位宽。然后将位宽调整处理后的动态图像数据发送至第一图像处理器，以使得第一图像处理器能够基于基准数据对位宽调整后的数据进行进一步处理。

下面从统计模块、优化模块和神经网络处理器集成在一起的角度进行详细说明。

请参阅图6，多媒体处理芯片诸如多媒体处理芯片200可以对其所获取到的图像数据诸如RAW数据进行处理，以提升图像质量。需要说明的是，多媒体处理芯片200可以将其处理结果传输到应用处理芯片，以便于应用处理芯片能够对图像数据进行后处理，以进行显示或存储。其中图像数据也可以理解为图像信息。

RAW数据相比其他图像数据诸如YUV数据，RAW数据保留的细节更多。

多媒体处理芯片200可以包括神经网络处理器(Neural-network ProcessingUnit，NPU)220，神经网络处理器220可以对多媒体处理芯片200所获取到的图像数据进行增强处理，神经网络处理器220可以运行人工智能训练网络处理图像算法对图像数据进行增强处理。神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。

本申请一些实施例中，神经网络处理器220可以为用来处理图像的专用处理器，可以简称为专用处理器。可以在电路排布、编程等硬件配置过程中来进行硬化实现，从而可以保证神经网络处理器220在处理图像数据过程中的稳定性，以及降低神经网络处理器220处理图像数据所需的功耗和时间。可以理解的是，当神经网络处理器220为专用处理器时，其功能为用来处理图像数据，且其不能够处理其他一些数据诸如文本信息。需要说明的是，在其他一些实施例中神经网络处理器220也可以处理其他诸如文本信息。

神经网络处理器220处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络处理器220按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像可以具有多行数据块，即神经网络处理器220可以对一帧图像的一部分诸如

帧进行处理，其中n为正整数，诸如2、4、5等。当神经网络处理器220对一帧图像未全部处理完，则神经网络处理器220可以内置缓存来存储神经网络处理器220在处理一帧图像过程中所处理多行数据块的数据。等待神经网络处理器220对一帧图像处理完成，则神经网络处理器220可以将处理过的数据写入到一存储器诸如多媒体处理芯片200的存储器230。其中，该存储器230可以内置于多媒体处理芯片200内，也可以外置。可以采用存储控制器实现数据的传输。

神经网络处理器220可以对RAW数据进行处理，可以理解的是，RAW数据的信息比较全，神经网络处理器220对RAW数据进行处理相比对YUV数据进行处理，可以在更多细节上提升图像质量。

需要说明的是，神经网络处理器220在数据流中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理器220处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理器220在快速处理图像数据的基础上，可以实现数据的实时传输。

可以理解的是，有些神经网络处理器处理图像方式为：从一存储有图像数据的存储器加载一帧图像，并对该帧图像做相应的算法处理。其在处理过程中，该神经网络处理器的卷积层所计算的临时数据往往需要保存到该存储器中。由此可见，相对于有些神经网络处理器，本申请一些实施例所限定的神经网络处理器220为专用神经网络处理器，可以加快图像数据的处理速度，保证在预设时间内完成一帧图像的处理。

神经网络处理器220可以对动态图像数据进行处理，诸如用户在视频录制模式下所获取到的动态图像数据。神经网络处理器220可以包括处理动态图像数据的算法，诸如夜景算法、HDR算法、虚化算法、降噪算法，超分辨率算法等。其中，动态图像数据可以包括录制视频的图像数据、视频播放的图像数据和预览图像的数据。本申请实施例可以将动态图像数据理解为视频图像数据。

神经网络处理器220也可以对静态图像数据进行处理，诸如用户在拍照模式下所获取到的静态图像数据。神经网络处理器220可以包括处理静态图像数据的算法，诸如HDR算法、夜景算法、虚化算法、降噪算法、超分辨率算法、语义分割算法等。需要说明的是，静态图像数据还可以包括打开相册应用所显示的图像。

本申请实施例所限定的神经网络处理器220即可以处理动态图像数据，又可以处理静态图像数据，从而使得多媒体处理芯片200可以应用于不同的场景，诸如拍照场景、视频录制场景。需要说明的是，本申请实施例所限定的神经网络处理器220也可以仅处理动态图像数据，而不处理静态图像数据。下面以神经网络处理器220处理动态图像数据为例进行说明。

需要说明的是，在多媒体处理芯片200获取到图像数据诸如动态图像数据后，若直接由神经网络处理器220对该动态图像数据进行处理，神经网络处理器220根据需求对动态图像数据进行预设算法的处理，以得到处理结果。然而，往往神经网络处理器220通过预设算法处理完动态图像数据后会导致动态图像数据失真，若多媒体处理芯片200将神经网络处理器220处理完而形成失真的数据发送给应用处理芯片时，会造成应用处理芯片对该动态图像数据的状态信息诸如自动对焦所需的状态信息错误，进而导致对焦失败，造成摄像头无法对焦。其中，该动态图像数据可以理解为多媒体处理芯片200接收到的数据，但未进行处理的数据。诸如将图像传感器所发送至多媒体处理芯片200的数据定义为初始的动态图像数据。

基于此，本申请一些实施例中，可以在多媒体处理芯片200内集成一统计模块，通过该统计模块来统计应用处理芯片进行图像数据处理所需要的数据，或者说通过该统计模块来统计应用处理芯片进行图像数据处理所需要的状态信息。统计模块统计完成应用处理芯片所需要的数据后可以将其所统计的数据发送给应用处理芯片，以确保应用处理芯片能够顺利完成图像数据处理诸如3A处理。

请继续参阅图6，本申请一些实施例中，可以将该统计模块集成于一图像信号处理器(Image Signal Processing，ISP)210，或者说多媒体处理芯片200还包括图像信号处理器210，图像信号处理器210包括统计模块212。多媒体处理芯片200在获取到初始的动态图像数据后，可以优先传输到图像信号处理器210，并由图像信号处理器210的统计模块212对该初始的动态图像数据进行统计，以统计出应用处理芯片所需的状态信息诸如3A状态信息。从而可以确保应用处理芯片基于该统计模块212所统计的状态信息对多媒体处理芯片200发送到应用处理芯片的处理结果进行后处理。

可以理解的是，图像信号处理器210的统计模块212所统计的状态信息并不限于3A状态信息，诸如图像信号处理器210的统计模块212统计镜头阴影校正状态信息等状态信息。

还需要说明的是，多媒体处理芯片200在获取到动态图像数据后，若直接由神经网络处理器220对该动态图像数据进行处理，神经网络处理器220根据需求对动态图像数据进行预设算法的处理，以得到的处理结果。然而，往往动态图像数据会存在坏点等问题。神经网络处理器220通过预设算法直接对动态图像数据进行处理会使得神经网络处理器220的收敛速度变慢，从而降低神经网络处理器220处理一帧图像所需的时间，不易实现快速处理图像数据以及有效提升图像质量的目的。

基于此，本申请一些实施例，可以在图像信号处理器210内集成优化模块，优化模块可以对动态图像数据进行第一次预处理诸如坏点补偿，以得到第一处理结果。然后再通过神经网络处理器220对该第一次预处理结果进行第二次预处理，不仅可以解决图像坏点等问题，还可以提高神经网络处理器220的神经网络算法收敛速度可以保证神经网络处理器220能够在预设时间内完成一帧图像的处理，进而可以实现快速、实时处理图像的目的。

请参阅图7，图像信号处理器210还包括优化模块214，优化模块214可以对动态图像数据进行坏点补偿，优化模块214可以执行坏点补偿算法以实现对动态图像数据的坏点补偿。优化模块214可以对动态图像数据进行线性化处理，优化模块214可以执行线性化处理算法以实现对动态图像数据的线性化处理。优化模块214可以对动态图像数据进行黑电平校正，优化模块214可以执行黑电平校正算法以实现对动态图像数据的黑电平校正。

可以理解的是，图像信号处理器210的优化模块214对动态图像进行第一次预处理并不限于此，诸如优化模块214对初始图像数据进行图像裁剪处理，优化模块214可以执行图像裁剪算法以实现对动态图像数据的裁剪。再比如优化模块214对动态图像数据进行图像缩小处理，优化模块214可以执行图像缩小算法以实现对动态图像数据的缩小。

还需要说明的是，在神经网络处理器220处理完图像数据后，多媒体处理芯片200可以直接将神经网络处理器220所对图像数据处理后的数据发送给应用处理芯片。然而，在一些情况下，神经网络处理器220处理完的数据往往在位宽上与应用处理芯片所处理的数据的位宽存在差异。诸如神经网络处理器220采用视频HDR(High-Dynamic Range，高动态范围图像)算法对动态图像数据进行处理后的位宽为20bit(比特)，而应用处理芯片所要处理的数据的位宽为14bit。因此，神经网络处理器220对图像数据进行处理后的位宽超出了应用处理芯片所要处理数据的位宽。从而就需要对神经网络处理器220处理后的数据进行位宽调整操作，以使得多媒体处理芯片200传输到应用处理芯片的数据位宽是相同的。

基于此，本申请一些实施例多媒体处理芯片200的神经网络处理器220在对动态图像数据进行处理后，可以先由图像信号处理器210的优化模块214进行位宽调整处理(tonemapping)，使得优化模块214调整后的数据的位宽与应用处理芯片所需处理的数据的位宽相同。从而可以确保多媒体处理芯片200对动态图像数据进行处理后的数据传输到应用处理芯片后，应用处理芯片能够对该数据进行后处理，以提升图像质量。

本申请一些实施例中，可以采用几个不同的优化模块来分别执行不同的算法，以达到不同的优化结果。也可以在优化模块214中分为几个优化子模块来分别执行不同的算法，以达到不同的优化结果。诸如优化模块214的一个子模块可以对动态图像数据进行坏点补偿，优化模块214的一个子模块可以对动态图像数据进行线性化处理，优化模块214的一个子模块可以对动态图像数据进行黑电平校正，优化模块214的一个子模块可以对动态图像数据进行图像裁剪处理，优化模块214的一个子模块可以对动态图像数据进行图像缩小处理，优化模块214的一个子模块可以对图像数据进行位宽调整处理。

需要说明的是，优化模块214可以具有以上子模块中的一个或多个，优化模块214可以执行以上一个或多个的操作，从而可以保证多媒体处理芯片200传输到应用处理芯片的数据可以由应用处理芯片进行进一步的处理。当然，还可以确保神经网络处理器220能够加快收敛，以实现提升图像质量的目的。可以理解的是，优化模块214还可以具有其它子模块，在此不再一一举例说明。

请继续参阅图6和图7，多媒体处理芯片200可以包括第一接口201和第二接口202。第一接口201和第二接口202均可以为移动产业处理器接口(Mobile Industry ProcessorInterface，MIPI)。第一接口201可以接收图像数据诸如RAW数据，诸如第一接口201可以接收来自摄像头所获取到的RAW数据。第一接口201所接收到的图像数据诸如RAW数据可以为的图像数据，即第一接口201所接收到的图像数据为未经过处理加工的图像数据，具体可以将原始的图像数据理解为未经过图像处理器处理的图像数据。第一接口201接收到图像数据诸如原始的图像数据后可以将该图像数据传输到图像信号处理器210。

第二接口202可以接收图像信号处理器210对图像数据进行处理的结果，第二接口202也可以接收神经网络处理器220对图像数据进行处理的结果。第二接口202可以与应用处理芯片连接，以将第二接口202所接收到的图像数据诸如动态图像数据等传输到应用处理芯片。

第一接口201和第二接口202可以通过图像信号处理器210连接，第一接口201所接收到的数据可以分为至少两路进行传输，比如一路数据传输到图像信号处理器210的统计模块212，另一路数据存储到存储器230。或者另一路数据由优化模块214进行处理。第二接口202可以传输由统计模块212所统计到的数据，第二接口202也可以传输由优化模块214所处理的数据。

请继续参阅图6和图7，存储器230存储多媒体处理芯片200的各种数据和指令。诸如存储器230可以存储原始的图像数据，存储器230可以存储由的优化模块214所处理过的数据，存储器230可以存储由神经网络处理器220处理过的数据，存储器230还可以存储多媒体处理芯片200的操作系统。存储器230的个数可以为一个、两个、三个、甚至更多个。存储器230的类型可以为静态存储器，也可以为动态存储器，诸如DDR(Double Data Rate SDRAM)。存储器230可以内置，也可以外置。诸如在封装的过程中，先将图像信号处理器210、神经网络处理器220等器件进行封装，再与存储器230进行封装。

多媒体处理芯片200的数据传输可以由一个或多个存储访问控制器实现。

请参阅图8，多媒体处理芯片200还可以包括存储访问控制器250，该存储访问控制器250可以为直接存储访问控制器(Direct Memory Access,DMA)，其搬移数据的效率高，且可以搬移大数据。直接存储访问控制器250可将数据从一个地址空间搬移到另一个地址空间。诸如直接存储访问控制器250可以将存储于存储器230内的数据搬移到神经网络处理器220。

直接存储访问控制器250可以包括AHB(Advanced High performance Bus)直接存储访问控制器，也可以包括AXI(Advanced eXtensible Interface)直接存储访问控制器。

请继续参阅图6至图8，多媒体处理芯片200的各个元器件可以由系统总线240连接。比如图像信号处理器210和系统总线240连接，神经网络处理器220和系统总线240连接，存储器230和系统总线240连接，存储访问控制器250和系统总线240连接。

多媒体处理芯片200可以由一控制处理器来实现对多媒体处理芯片200系统的运行。

请参阅图9，多媒体处理芯片200还可以包括主控处理器240(Central ProcessingUnit,CPU)，主控处理器240用来控制多媒体处理芯片200的系统的运行，诸如外设参数配置、控制中断响应等。

为了进一步说明本申请实施例所提供的多媒体处理芯片对图像数据尤其是动态图像数据的处理过程，结合图5至图8，下面从多媒体处理芯片对数据进行处理的数据流向和方法进行描述。

请参阅图10和图11，多媒体处理芯片200对数据的处理的方法包括：

2011，多媒体处理芯片200的第一接口201接收原始数据，该原始数据诸如为动态图像数据。

2012，将原始数据通过一路传输到图像信号处理器210的统计模块212，并由统计模块212对其接收到的原始数据进行统计处理，以统计出状态信息。需要说明的是，原始数据也可以先存储到存储器230中，然后由统计模块212对存储于存储器230的原始数据进行统计处理，以统计出状态信息。

2013，将统计模块212所统计到的数据通过第二接口202传输出去，诸如传输到应用处理芯片。需要说明的是，统计模块212所统计到的数据如状态信息也可以先存储到存储器230中，然后再通过第二接口202传输出去。

2014，将原始数据通过另一路存储到存储器230。

2015，将存储器230所存储的原始数据发送到神经网络处理器220，并由神经网络处理器220进行处理。或者神经网络处理器220从存储器230获取原始数据，并对该原始数据进行处理诸如神经网络算法处理。

2016，将神经网络处理器220的处理完的数据存储到存储器230中。在此可以将神经网络处理器220对数据进行处理的结果定义为预处理结果。

2017，将神经网络处理器220处理完的数据通过第二接口202传输出去，如传输到应用处理芯片。

以上为本申请实施例多媒体处理芯片200进行数据处理的第一种方式，应用处理芯片可基于该状态信息对神经网络处理器220的处理结果进行进一步的处理，以提高图像质量，如提高视频播放的质量。

请参阅图12和图13，多媒体处理芯片200对数据的处理的方法包括：

2021，多媒体处理芯片200的第一接口201接收原始数据，该原始数据诸如为动态图像数据。

2022，将原始数据通过一路传输到图像信号处理器210的统计模块212，并由统计模块212对其接收到的原始数据进行统计处理，以统计出状态信息。需要说明的是，原始数据也可以先存储到存储器230中，然后由统计模块212对存储于存储器230的原始数据进行统计处理，以统计出状态信息。

2023，将统计模块212所统计到的数据通过第二接口202传输出去，诸如传输到应用处理芯片。需要说明的是，统计模块212所统计到的状态信息也可以先存储到存储器230中，然后再通过第二接口202传输出去。

2024，将原始数据通过另一路传输到优化模块214，并由优化模块214进行优化处理，诸如坏点补偿、线性化处理等。

2025，将优化模块214处理后的数据发送到神经网络处理器220，并由神经网络处理器220进行处理。需要说明的是，可以先将优化模块214处理后的数据发送到存储器230，然后再将存储在存储器230、且由优化模块214处理过的数据传输到神经网络处理器220，并由神经网络处理器220对优化模块214处理过的数据进行处理。

2026，将神经网络处理器220的处理完的数据存储到存储器230中。在此可以将神经网络处理器220对数据进行处理的结果定义为预处理结果。

2027，将神经网络处理器220处理完的数据通过第二接口203传输出去，诸如传输到应用处理芯片。

以上为本申请实施例多媒体处理芯片200进行数据处理的第二种方式，多媒体处理芯片200可分不同的通路将原始数据传输到统计模块212进行数据统计，和优化模块214进行优化处理。优化处理后的数据可以再由神经网络处理器220进行处理，将神经网络处理器220所处理过的数据及状态信息传输到应用处理芯片，不仅可以确保应用处理芯片基于该状态信息对神经网络处理器220的处理结果进行进一步的处理，以提高图像质量，诸如提高视频播放的质量。还可以加快神经网络处理器220的收敛速度，以提高视频播放的流畅度。

还需要说明的是，多媒体处理芯片200的优化模块214在对数据进行优化处理后，诸如坏点补偿、线性化处理等之后，应用处理芯片无需再对其接收到的图像数据进行相应的处理。诸如优化模块214对图像数据进行坏点补偿、线性化处理和黑电平校正，应用处理芯片无需再对其接收到的图像数据进行坏点补偿、线性化处理和黑电平校正，从而就可以减少应用处理芯片的功耗。

请参阅图14和图15，多媒体处理芯片200对数据的处理的方法包括：

2031，多媒体处理芯片200的第一接口201接收原始数据，该原始数据诸如为动态图像数据。

2032，将原始数据通过一路传输到图像信号处理器210的统计模块212，并由统计模块212对其接收到的原始数据进行统计处理，以统计出数据如状态信息。需要说明的是，原始数据也可以先存储到存储器230中，然后由统计模块212对存储于存储器230的原始数据进行统计处理，以统计出状态信息。

2033，将统计模块212所统计到的数据通过第二接口202传输出去，诸如传输到应用处理芯片。需要说明的是，统计模块212所统计到的状态信息也可以先存储到存储器230中，然后再通过第二接口202传输出去。

2034，将原始数据通过另一路存储到存储器230。

2035，将存储器230所存储的原始数据发送到神经网络处理器220，并由神经网络处理器220进行处理。或者神经网络处理器220从存储器230获取原始数据，并对该原始数据进行处理诸如神经网络算法处理。

2036，将神经网络处理器220的处理完的数据传输到优化模块214，由优化模块214对神经网络处理器220处理过的数据进行位宽调整处理，以使得调整后的位宽与应用处理芯片所需处理数据的位宽相同。在此可以将优化模块214对数据进行处理的结果定义为预处理结果。需要说明的是，可以先将神经网络处理器220处理后的数据发送到存储器230，然后再将存储在存储器230、且由神经网络处理220处理过的数据传输到优化模块214，并由优化模块214对神经网络处理器220处理过的数据进行位宽调整处理。

2037，将优化模块214进行位宽调整处理完的数据通过第二接口203传输出去，诸如传输到应用处理芯片。

以上为本申请实施例多媒体处理芯片200进行数据处理的第三种方式，可以确保应用处理芯片基于该状态信息对位宽调整处理后的数据进行进一步的处理，以提高图像质量，如提高视频播放质量。

请参阅图16和图17，多媒体处理芯片200对数据的处理的方法包括：

2041，多媒体处理芯片200的第一接口201接收原始数据，该原始数据诸如为动态图像数据。

2042，将原始数据通过一路传输到图像信号处理器210的统计模块212，并由统计模块212对其接收到的原始数据进行统计处理，以统计出数据如状态信息。需要说明的是，原始数据也可以先存储到存储器230中，然后由统计模块212对存储于存储器230的原始数据进行统计处理，以统计出状态信息。

2043，将统计模块212所统计到的数据通过第二接口202传输出去，诸如传输到应用处理芯片。需要说明的是，统计模块212所统计到的状态信息也可以先存储到存储器230中，然后再通过第二接口202传输出去。

2044，将原始数据通过另一路传输到优化模块214，并由优化模块214进行第一次优化处理，诸如坏点补偿、线性化处理、黑电平校正等。

2045，将优化模块214第一次优化处理后的数据发送到神经网络处理器220，并由神经网络处理器220进行处理。需要说明的是，可以先将优化模块214处理后的数据发送到存储器230，然后再将存储在存储器230、且由优化模块214进行第一次优化处理过的数据传输到神经网络处理器220，并由神经网络处理器220对优化模块214进行第一次优化处理过的数据进行处理。

2046，将神经网络处理器220处理完的数据传输到优化模块214，优化模块214对神经网络处理器220处理过的数据进行第二次优化处理。在此可以将优化模块214进行第二次优化处理的结果定义为预处理结果。需要说明的是，可以先将神经网络处理器220处理后的数据存储到存储器230，然后再将存储在存储器230、且由神经网络处理器220处理过的数据传输到优化模块214，并由优化模块214对神经网络处理器220处理过的数据进行第二次优化处理。其中，第二次优化处理可以包括对数据的位宽进行调整，以使得调整后的位宽与应用处理芯片所需要处理数据的位宽相同。

2047，将优化模块214第二次优化处理完的数据通过第二接口203传输出去，诸如传输到应用处理芯片。

以上为本申请实施例多媒体处理芯片200进行数据处理的第四种方式，可以确保应用处理芯片基于该状态信息对位宽调整处理后的数据进行进一步的处理，以提高图像质量，诸如提高视频播放的质量。还可以加快神经网络处理器220的收敛速度，以提高视频播放的流畅度。

对于本申请实施例多媒体处理芯片200的以上四种处理数据的方式，还需要说明的是，当多媒体处理芯片200接收到图像数据后，可以由主控处理器260确定出该图像数据是否存在坏点等问题，若存在则可以启动优化模块214对图像数据先进行坏点等优化处理，若不存在则可以直接由神经网络处理器220进行处理。当神经网络处理器220对数据处理完成后，可以由主控处理器260确定出该神经网络处理器220所处理后的数据的位宽与预设位宽是否相同，如果相同则可以直接将该神经网络处理器220处理过的数据传输给到应用处理芯片。如果不相同则可以经过优化模块214进行位宽调整的优化处理，以使得优化模块214进行位宽调整后的数据的位宽与预设位宽相同。可以理解的是，该预设位宽可以理解为应用处理芯片对数据进行处理所需的位宽。

需要说明的是，本申请实施例多媒体处理芯片200与其他器件诸如应用处理芯片的连接方式并不限于此，诸如多媒体处理芯片200还可以包括与应用处理芯片连接的第三接口。

请参阅图18，多媒体处理芯片200还可以包括第三接口203，第三接口203可以称为互连总线接口，诸如第三接口203为高速互连总线接口(Peripheral ComponentInterconnect Express，PCIE)203，也可以称为高速外围组件互连接口，外部设备互连总线接口，其是一种高速串行计算机扩展总线标准的接口。需要说明的是，第三接口203也可以为低速互连总线接口。

第三接口203与系统总线240连接，第三接口203可以通过系统总线240与其他器件实现数据的传输。诸如第三接口203可以接收图像信号处理器210对图像数据进行处理的结果，第三接口203也可以接收神经网络处理器220对图像数据进行处理的结果。第三接口203还可以与应用处理芯片连接，以将多媒体处理芯片200处理过的数据传输到应用处理芯片。

第三接口203可以离线传输图像数据。诸如第三接口203可以离线传输静态图像的数据，第三接口203也可以离线传输动态图像的数据。本申请实施例多媒体处理芯片200不仅可以处理由摄像头所采集到的图像数据，还可以离线处理静态图像数据和/或动态图像数据，以实现对图片质量的增强，以及实现视频播放的质量。

请参阅图19，离线静态图像处理方法包括：

3011，接收相册查看指令。可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器接收该相册查看指令。

3012，根据该相册查看指令，确定是否进入图片增强模式。可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器来确定是否进入图片增强模式。比如用户进入相册界面后，该相册界面显示出“增强模式”和“普通模式”两个虚拟控件。当用户触控“增强模式”虚拟控件时，则应用处理器确定出进入增强模式，则执行步骤3013。当用户触控“普通模式”虚拟控件时，则应用处理器确定出不进入增强模式，则执行3016。需要说明的是，确定是否进入图片增强模式的方式并不限于此，其仅为举例说明。

其中，图片增强模式可以理解为改善图片质量的模式，即由本申请实施例所限定的多媒体处理芯片200对图片数据进行处理的模式。普通模式可以理解为图片数据未被本申请所限定的多媒体处理芯片200进行处理的模式。

3013，将所需显示的图片数据发送至多媒体处理芯片200。可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器发出指令，以将所需显示的图片数据发送到多媒体处理芯片200。

3014，通过多媒体处理芯片200对所需显示的图片数据进行增强处理。以提升图片质量。

3015，显示由多媒体处理芯片200进行增强处理的图片。可以由多媒体芯片200所应用到的电子设备诸如智能手机的显示屏显示由多媒体处理芯片200进行增强处理的图片。

3016，显示图片。可以由多媒体芯片200所应用到的电子设备诸如智能手机的显示屏直接显示图片，而不经过多媒体处理芯片200进行增强处理。

比如用户使用一电子设备诸如智能手机打开相册时，应用处理芯片可以将相册照片的图像数据通过第三接口203传输到多媒体处理芯片200，多媒体处理芯片200可以对该图像数据进行RAW图像编辑处理。当多媒体处理芯片200对该RAW图像数据处理完成后，再通过第三接口203将其处理过的数据传输出去，以通过电子设备的显示屏进行显示。从而本申请一些实施例的多媒体处理芯片200可以实现对图库RAW图像的处理。

需要说明的是，用户使用一电子设备诸如智能手机在拍摄图像时，可以将图像存储为RAW数据，以便于多媒体处理芯片200可以实现对相册中照片，或者说图库中照片的数据进行RAW图像编辑处理。

请参阅图20，采用多媒体处理芯片对RAW图像编辑处理的方法包括：

3021，应用处理芯片的应用处理器接收打开相册的第一指令；

3022，应用处理芯片的应用处理器根据所述第一指令将相册中所需处理的照片的RAW图像数据通过第三接口203传输到多媒体处理芯片200。

3023，多媒体处理芯片200对所述RAW图像数据进行RAW图像编辑处理。

3024，多媒体处理芯片200将其对RAW图像数据进行RAW图像编辑处理后的数据通过第三接口203传输到外部存储器。

需要说明的是，多媒体处理芯片200对RAW图像数据进行RAW图像编辑处理后，可以通过第三接口203传输到外部存储器中，诸如电子设备用来存储相册中照片的存储器。然后，可以在电子设备的显示屏中显示出多媒体处理芯片200对RAW图像数据进行处理过的照片。可以理解的是，该外部存储器可以理解为多媒体处理芯片外的存储器。

请参阅图21，离线动态图像处理方法包括：

4011，接收播放指令；可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器接收该播放指令。

4012，根据所述播放指令确定是否对进入视频增强模式。可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器来确定是否进入视频增强模式。比如用户进入视频界面后，该视频界面显示出“增强模式”和“普通模式”两个虚拟控件。当用户触控“增强模式”虚拟控件时，则应用处理器确定出进入增强模式，则执行步骤4013。当用户触控“普通模式”虚拟控件时，则应用处理器确定出不进入增强模式，则执行4016。需要说明的是，确定是否进入视频增强模式的方式并不限于此，其仅为举例说明。

其中，视频增强模式可以理解为改善视频播放质量的模式，即由本申请实施例所限定的多媒体处理芯片200对视频播放数据进行处理的模式。普通模式可以理解为视频播放数据未被本申请所限定的多媒体处理芯片200进行处理的模式。

4013，根据所述播放指令将所需播放的视频数据发送至多媒体处理芯片。可以由多媒体芯片200所应用到的电子设备诸如智能手机的应用处理器发出指令，以将所需播放的视频数据发送到多媒体处理芯片200。

4014，通过多媒体处理芯片200对所需播放的视频数据进行增强处理。以提升视频播放质量。

4015，播放由多媒体处理芯片200进行增强处理的视频。可以由多媒体芯片200所应用到的电子设备诸如智能手机的显示屏播放由多媒体处理芯片200进行增强处理的视频数据。

4016，播放视频。可以由多媒体芯片200所应用到的电子设备诸如智能手机的显示屏直接播放视频，而不经过多媒体处理芯片200进行增强处理。

比如，用户使用一电子设备诸如智能手机播放视频时，或者说电子设备在播放视频的模式下，应用处理芯片可以将播放视频的图像数据通过第三接口203传输到多媒体处理芯片200，多媒体处理芯片200可以对该图像数据进行处理，诸如通过神经网络处理器220对该图像数据进行处理。可以提高视频播放的分辨率，以及解决视频播放过程中出现颗粒的问题。当多媒体处理芯片200对该图像数据处理完成后，多媒体处理芯片200再通过第三接口203将其处理过的数据传输出去，以通过电子设备的显示屏进行播放。从而本申请一些实施例的多媒体处理芯片200可以实现对视频播放的处理。

请参阅图22，采用多媒体处理芯片对视频播放的图像数据进行处理的方法包括：

4021，应用处理芯片的应用处理器接收视频播放的第二指令；

4022，应用处理芯片的应用处理器根据所述第二指令将视频播放过程中的图像数据通过第三接口203传输到多媒体处理芯片200。

4023，多媒体处理芯片200通过神经网络处理器220对所述视频播放过程中的图像数据进行增强处理，诸如SR(Super Resolution)处理，以提高视频播放的分辨率，以及解决视频播放过程中出现颗粒的问题。

4024，多媒体处理芯片200将其所述视频播放过程中的图像数据进行处理后的数据通过第三接口203传输到外部存储器。

需要说明的是，多媒体处理芯片200对视频播放的图像数据进行图像处理后，可以通过第三接口203传输到外部存储器中，诸如电子设备用来存储视频的存储器。然后，可以在电子设备的显示屏中显示出多媒体处理芯片200对图像数据进行处理过的视频。可以理解的是，该外部存储器可以理解为多媒体处理芯片外的存储器。

其中，多媒体处理芯片200对图像数据进行处理可以理解为两种：一种是由图像信号处理器210对图像数据进行统计，以统计出状态信息。另一种是由多媒体处理芯片200内的所有或部分图像处理器诸如图像信号处理器210和神经网络处理器220对图像数据进行预处理。该预处理可以理解先由图像信号处理器210对图像数据进行第一次预处理诸如优化处理，然后由神经网络处理器对第一次预处理后的图像数据进行第二次预处理诸如神经网络算法处理，再然后由图像信号处理器210对第二次预处理后的图像数据进行第三次预处理诸如位宽调整处理。需要说明的是，另一种由多媒体处理芯片200内的所有或部分图像处理器对图像数据进行预处理至少包括神经网络处理器220对图像数据进行神经网络算法处理，在神经网络处理器220处理之前可以由图像信号处理器210先对图像数据进行优化处理。在神经网络处理器220处理之后还可以由图像信号处理器210对图像数据进行位宽调整处理。

可以理解的是，本申请实施例多媒体处理芯片200在处理离线图片或离线视频时，可以由第三接口203进行数据的传输，其不会占用到第二接口202。第二接口202可以进行实时数据的传输。

需要说明的是，本申请实施例的多媒体处理芯片200中处理图像数据的模块并不限于此。多媒体处理芯片200还可以包括其他处理模块来对图像数据进行处理，诸如多媒体处理芯片200还可以包括数字信号处理器。

参阅图23，多媒体处理芯片200还可以包括数字信号处理器(Digital SignalProcessing)270，数字信号处理器270可以用来协助图像信号处理器210和神经网络处理器220。然而，数字信号处理器270也可以对计算量较小的图像数据进行处理。

数字信号处理器270采用一些通用算法对图像数据进行处理，诸如数字信号处理器270可以采用图像质量检测算法从多帧图像中选择出一帧图像。需要说明的是，在一些情况下，神经网络处理器220无法支持一些算法，诸如对于超广角的摄像头，如果需要畸形校正处理，神经网络处理器220可能无法实现，则可以采用数字信号处理器270来进行处理。

由此可见，本申请实施例数字信号处理器270主要用来处理一些数据量较小的图像数据，神经网络处理器220主要用来处理一些数据量较大的图像数据。诸如数字信号处理器270可以用来处理静态图像，神经网络处理器220用来处理动态图像诸如视频图像。再比如数字信号处理器270用来在拍照模式下处理图像数据，神经网络处理器220用来在视频录制模式、视频播放模式和预览图像模式下处理图像数据。从而，本申请实施例采用数字信号处理器270和神经网络处理器220相结合的方式，能够实现更好的、更全面的图像处理优化，以使得多媒体处理芯片200处理过的图像数据的质量更好，显示的效果更佳。

在一些实施例中，在拍摄照片模式下，多媒体处理芯片200可以通过第三接口203对拍摄照片模式下的图像数据进行传输。在视频录制模式下，多媒体处理芯片200可以通过第二接口202对视频录制模式下的图像数据进行传输。在预览图像模式下，多媒体处理芯片200可以通过第二接口202对预览图像模式下的图像数据进行传输。在视频播放模式下，多媒体处理芯片200可以通过第三接口203对播放视频的图像数据进行传输。在相册显示照片模式下，多媒体处理芯片200可以通过第三接口203对显示照片的图像数据的进行输。

第三接口203可以实时或离线传输图像数据，也可以传输配置参数等数据，第三接口203传输数据的效率高。基于此，本申请实施例可以将第二接口202和第三接口203分配不同的数据进行传输。以提高数据的传输效率。可以通过主控处理器260确定出多媒体处理芯片200所接收到的图像数据是哪一种类型的图像数据，或者说可以通过主控处理器260确定出多媒体处理芯片200所接收到的图像数据是在哪一个模式下的获取的图像数据。当多媒体处理芯片200接收到图像数据时，主控处理器260可以根据该图像数据确定该图像数据是哪一个模式下获取的图像数据。当主控处理器260确定出多媒体处理芯片200接收的图像数据为视频录制模式和预览图像模式下的图像数据时，主控处理器260可以控制神经网络处理器220对该图像数据件处理。当主控处理器260确定出多媒体处理芯片200接收的图像数据为拍照模式下的图像数据时，主控处理器260可以控制数字信号处理器270对该图像数据进行处理。

需要说明的是，拍摄照片模式下的图像数据也可以通过第二接口202进行传输。

请参阅图24，图24所示的多媒体处理芯片200与图23所示的多媒体处理芯片200的区别在于：图24所示的多媒体处理芯片200未设置第三接口。多媒体处理芯片200对静态图像进行处理的数据也可以通过第二接口202传输出去。诸如第二接口202具有多个通路，当多媒体处理芯片200对动态图像进行处理时，可以直接通过第二接口202的一个或多个通路传输。即第二接口202的各个通路优先配置给多媒体处理芯片200对动态图像进行处理的数据。当多媒体处理芯片200对静态图像进行处理时，可以通过主控处理器260先确定出第二接口202的各个通路是否有空闲的通路，即是否有未正在传输动态图像数据的通路。如果第二接口202的多个通路中有一个或多个处于空闲状态，则多媒体处理芯片200对静态图像处理的数据可以通过处于空闲状态的一个或多个通路传输出去。

需要说明的是，当第二接口202的所有通路均未处于空闲状态，则可以等到第二接口202至少有一路通路处于空闲状态再将静态图像的数据通过处于空闲状态的通路传输出去。当然，本申请其他一些实施例还可以采用其他方式传输静态图像的数据，而无需根据第二接口202的通路状态再确定是否传输静态图像的数据。

请参阅图25，多媒体处理芯片200的第一接口201和第二接口202还可以直接连接，从而第一接口201在接收到一些图像数据诸如静态图像数据可以直接传输到第二接口202，而不经过图像信号处理器210和/或神经网络处理器220对图像数据进行处理。

当第一接口201将其所接收到的图像数据传输到图像信号处理器210时，图像信号处理器210统计图像数据的状态信息，且神经网络处理器220对图像数据进行神经网络算法处理，第二接口202将多媒体处理芯片200处理过的图像数据传输到应用处理芯片。应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。

当第一接口201将其所接收到的图像数据直接传输到第二接口202时，第二接口202将从第一接口201接收到的图像数据直接传输到应用处理芯片。应用处理芯片直接对第一接口201接收到的图像数据进行处理。

在一些实施例中，当多媒体处理芯片200接收到录制视频的图像数据时，可以通过第一接口201将图像数据传输到图像信号处理器210进行处理。当多媒体处理芯片200接收预览图像的数据时，可以通过第一接口201直接将图像数据传输到第二接口202。当多媒体处理芯片200接收拍照模式下的拍照图像时，可以通过第一接口201直接将图像数据传输到第二接口202。

在其他一些实施例中，当多媒体处理芯片200接收预览模式下的预览图像时，也可以通过第一接口201将图像数据传输图像信号处理器210进行处理。可以理解的是，当多媒体处理芯片200接收拍照模式下的拍照图像时，还可以通过第一接口201将图像数据传输图像信号处理器210进行处理。可以理解的是，在一些拍照模式下诸如零延时拍照模式，在拍照和预览过程中，可能存在预览和拍照不一致的问题。基于此，当多媒体处理芯片200接收预览模式下的预览图像时，可以通过第一接口201将图像数据传输图像信号处理器210进行处理，以解决画面不一致性的问题。

在第一模式下，多媒体处理芯片200对其第一接口201所接收到的图像数据诸如第一图像数据进行统计处理，以统计出状态信息，多媒体处理芯片200对其第一接口201所接收到的图像数据诸如第一图像数据进行预处理，以得到预处理结果。多媒体处理芯片200对图像数据的预处理诸如为优化处理、神经网络算法处理、位宽调整处理等。具体可以参阅以上内容，在此不再赘述。多媒体处理芯片200对图像数据诸如第一图像数据处理完成后，可以将状态信息和预处理的结果传输给应用处理芯片，应用处理芯片可以对预处理的结果进行后处理。诸如基于自动对焦状态信息计算出对焦参数，并将其配置给摄像头，基于自动白平衡状态信息计算出白平衡参数，基于此白平衡参数对预处理的结果进行白平衡处理等。

在第二模式下，多媒体处理芯片200将从第一接口201接收到的图像数据诸如第二图像数据，直接传输到第二接口202，并通过第二接口202将该第二图像数据传输到应用处理芯片。应用处理芯片接收到给图像数据诸如第二图像数据时，可以对其进行处理。诸如对第二图像数据进行统计处理以统计出状态信息，对第二图像数据进行优化处理诸如坏点补偿、黑电平校正、线性化处理、降噪处理等。本申请实施例应用处理芯片在第一模式下和第二模式下对图像数据的处理方式不同。或者说，本申请实施例应用处理芯片对第一图像数据进行处理的方式与对第二图像数据进行处理的方式不同。可以理解的是，第一图像数据是先由多媒体处理芯片200进行处理再由应用处理芯片进行处理，其可以提升图像质量，可以节省应用处理芯片的功耗。第二图像数据未经过多媒体处理芯片200进行处理。

本申请一些实施例，第一模式可以理解为：视频录制模式、视频播放模式中的一种模式，第二模式可以理解为拍照模式和预览图像模式。在其他一些实施例中，第一模式可以理解为视频录制模式、视频播放模式和预览图像模式中的一种模式。在另外一些实施例中，第一模式可以理解为零延时拍照模式，第二模式可以理解为非零延时拍照模式。

可以根据不同的条件实现对图像处理的不同方式，比如在第一条件下多媒体处理芯片200对其从第一接口201接收到的图像数据进行处理，以及在第二条件下从将其从第一接口201接收到的图像数据直接传输到第二接口202。

在一些情况下，当对图像质量的要求不高时，可以直接将图像数据传输到应用处理芯片，诸如摄像头所采集到的图像数据直接通过第一接口201传输到第二接口202，然后由第二接口202传输到应用处理芯片，以便于应用处理芯片直接对其进行处理。当对图像质量的要求高时，可以将图像数据传输到第一接口201，先由多媒体处理芯片200对其进行预处理，处理完再通过第二接口202传输到应用处理芯片，由应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。可以将对图像质量的要求不高理解为第二条件，对图像质量的要求高理解为第一条件。

在一些情况下，可以根据用户的选择诸如触控操作来实现不同的图像处理方式。比如用户可以触控一虚拟控件以触发数据透传指令，多媒体处理芯片200可以根据该数据透传指令将其从第一接口201接收到的图像数据直接传输到第二接口202，并通过第二接口202传输到应用处理芯片，以便于应用处理芯片直接对其进行处理。再比如用户可以触控一虚拟控件以触发数据处理指令，多媒体处理芯片200可以根据数据处理质量将其从第一接口201接收到的图像数据进行预处理，处理完再通过第二接口202传输到应用处理芯片，由应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。可以将数据处理指令理解为第一条件，将数据透传指令理解为第二条件。

在一些情况下，当处理静态图像数据时，可以直接将静态图像数据传输到应用处理芯片，以便于应用处理芯片直接对其进行处理。当处理动态图像数据时，可以将动态图像数据传输到第一接口201，先由多媒体处理芯片200对其进行预处理，处理完再通过第二接口202传输到应用处理芯片，由应用处理芯片对多媒体处理芯片200处理过的动态图像数据进行后处理。比如在拍照模式下可以将图像数据直接传输到应用处理芯片来处理图像数据，在预览图像模式、视频录制模式、视频播放模式等可以先由多媒体处理芯片200对图像数据进行预处理，后由应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。可以将第一接口201接收动态图像数据理解为第一条件，将第一接口201接收静态图像数据理解为第二条件。

需要说明的是，本申请实施例所限定的拍照模式诸如为非零延时拍照模式。本申请其他一些实施例可以在零延时拍照模式下的图像数据可以先由多媒体处理芯片200对图像数据进行预处理，后由应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。

在一些情况下，在拍照模式和预览图像模式下可以将图像数据直接传输到应用处理芯片来处理图像数据。在视频录制模式、视频播放模式等可以先由多媒体处理芯片200对图像数据进行预处理，后由应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理。

为了进一步说明本申请实施例所提供的多媒体处理芯片与其他器件的数据交互，下面从多媒体处理芯片的应用的角度进行描述。可以理解的是，多媒体处理芯片200可以应用于一电子设备诸如智能手机、平板电脑等设备中。

请参阅图26，电子设备20可包括图像传感器600、多媒体处理芯片200和应用处理芯片400。

其中，摄像头600可以采集图像数据。该摄像头600可以为前置摄像头，也可以为后置摄像头。摄像头600可以包括图像传感器和镜头，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。摄像头600可以与多媒体处理芯片200电连接，诸如摄像头600与多媒体处理芯片200的第一接口201电连接。摄像头600可以采集原始图像数据诸如RAW图像数据，并通过第一接口201传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理器诸如图像信号处理器210和神经网络处理器220进行处理。

其中，多媒体处理芯片200为如上任一多媒体处理芯片200，在此不再赘述。

其中，应用处理芯片400可以实现对电子设备20各种功能的控制。诸如应用处理芯片400可以控制电子设备20的摄像头600采集图像，应用处理芯片400还可以控制多媒体处理芯片200对摄像头600采集的图像进行处理等。应用处理芯片400还可以对图像数据进行处理。

摄像头600采集到图像数据可以传输到多媒体处理芯片200的接口，多媒体处理芯片200可以对图像数据进行预处理，应用处理芯片400可以对图像数据进行后处理。多媒体处理芯片200和应用处理芯片400之间对图像数据的处理可以是差异化的处理，也可以存在相同的处理。

下面从其中一种多媒体处理芯片应用到电子设备20中进行详细说明。

请参阅图27，电子设备20的应用处理芯片400可以包括应用处理器410、图像信号处理器420、存储器430、系统总线440和第四接口401。

其中，应用处理器410可以作为电子设备20的控制中心。其也可以执行一些算法以对图像数据进行处理。

其中，存储器430可以存储各种数据诸如图像数据、系统数据等。该存储器430可以内置于应用处理芯片410，也可以外置于应用处理器410。

其中，第四接口401可以为移动产业处理器接口，第四接口401与第二接口202电连接连接，可以接收由多媒体处理芯片200所处理过的数据。

其中，图像信号处理器420可以对图像数据进行处理。

本申请一些实施例可以由应用处理器410和图像信号处理器420共同对预处理后的图像数据进行后处理。可以理解的是，应用处理器410和图像信号处理器420也可以共同对摄像头600所采集的图像数据进行处理。

在一些实施例中，图像信号处理器210对图像数据处理的结果可以通过第二接口202和第四接口401的连接传输到应用处理芯片400的存储器430。神经网络处理器220对图像数据处理的结果可以通过第二接口202和第四接口401的连接传输到应用处理芯片400的存储器430。数字信号处理器270对图像数据处理的结果可以通过第二接口202和第四接口401的连接传输到应用处理芯片400的存储器430。

结合图25，需要说明的是，在一些情况下，多媒体处理芯片200所接收到的数据诸如拍摄照片模式下的图像数据可以直接由第一接口201传输到第二接口202，然后通过第二接口202和第四接口401的连接传输到存储器430。

需要说明的是，多媒体处理芯片200将数据传输到应用处理芯片400的方式并不限于此。

请参阅图28，电子设备20中的多媒体处理芯片200可以参阅图23，应用处理芯片400还可以包括第五接口402，第五接口402可称为互连总线接口，诸如第五接口402为高速互连总线接口，也可以称为高速外围组件互连接口，外部设备互连总线接口，其是一种高速串行计算机扩展总线标准的接口。需要说明的是，第五接口402也可以为低速互连总线接口。

第五接口402和第三接口203连接。在一些实施例中，第五接口402和第三接口203的类型相同，诸如第五接口402和第三接口203均为高速互连总线接口。多媒体处理芯片200可以将一些图像数据诸如静态图像数据、预览图像数据通过第三接口203和第五接口402的连接传输到存储器430。当然，多媒体处理芯片200还可以将一些数据诸如相册照片的数据、视频播放的数据通过第三接口203和第五接口402的连接传输到存储器430。

在一些实施例中，当多媒体处理芯片200将其处理过的图像数据传输到应用处理芯片400，应用处理芯片400对多媒体处理芯片200处理过的数据进行后处理，并将处理完的数据进行存储和通过显示屏显示。

下面从数据处理的过程的角度进行描述。

多媒体处理芯片200获取动态图像数据诸如视频录制的图像数据，多媒体处理芯片200根据其获取到的动态图像数据，通过多媒体处理芯片200统计该动态图像数据的状态信息，以及通过多媒体处理芯片200对该动态图像数据进行预处理。待多媒体处理芯片200统计出状态信息，以及对动态图像数据进行预处理完成，多媒体处理芯片200可以将其所统计的状态信息和预处理后的动态图像数据发送至应用处理芯片400。应用处理芯片400基于该状态信息对预处理后的动态图像数据进行后处理。从而可以提升图像的质量。

应用处理器410接收启动摄像头600的第三指令。

应用处理器410基于该启动摄像头600的第三指令启动摄像头600。可以由应用处理器410对摄像头600进行配置，以实现摄像头600的启动。

摄像头600采集图像数据，并将该图像数据传输到多媒体处理芯片200的第一接口201。

图像信号处理器210的统计模块212对该图像数据进行统计处理，以统计出状态信息，并将其统计出的状态信息通过第二接口202传输到第四接口401。

图像信号处理器210的优化模块214对该图像数据进行优化处理诸如线性化处理、坏点补偿、黑电平校正等处理，并将优化处理后的数据传输到神经网络处理器220。可以理解的是，优化模块214可以将其优化处理后的数据直接传输到神经网络处理器210，也可以存储到存储器230中，由神经网络处理器220从存储器230获取。

神经网络处理器210对优化模块214优化处理后的数据进行处理，诸如神经网络算法处理，并将处理后的数据传输到存储器230。

多媒体处理芯片200将其处理后的数据通过第二接口202传输到第四接口401。

应用处理器410和图像信号处理器420基于状态信息，对神经网络处理器220处理过的数据进行后处理，诸如3A处理。

可以理解的是，若单独由应用处理芯片对图像数据进行处理，则需要由应用处理芯片的图像信号处理器对图像数据进行状态信息的统计，由应用处理芯片的应用处理器执行一些算法基于状态信息计算出一些参数诸如对焦参数、曝光参数、白平衡参数、镜头阴影校正参数等。基于所计算出的参数应用处理器可以对摄像头进行配置，以及由图像信号处理器对图像数据进行校正处理。整个处理过程均是由应用处理芯片执行，导致应用处理芯片的功耗较高。而应用处理芯片往往还需要对其他各种功能进行管控，从而在整个图像处理过程中，可能对应用处理芯片的性能产生影响。

本申请实施例将图像数据的一部分处理交由多媒体处理芯片400进行处理，另一部分处理交由应用处理芯片200处理，从而在节省应用处理芯片200功耗的基础上，还可以提升图像质量。其中，图像信号处理器210统计出状态信息后，可以将其统计的状态信息发送到应用处理芯片400，由应用处理器410执行一些算法基于状态信息计算出一些参数诸如对焦参数、曝光参数、白平衡参数、镜头阴影校正参数等。基于所计算出的参数应用处理器410可以对摄像头600进行配置，以及由图像信号处理器420对图像数据进行校正处理。需要说明的是，图像信号处理器210统计出状态信息后，也可以不通过应用处理器410执行一些算法来进行计算，比如由主控处理器260来执行一些算法，基于状态信息计算出一些参数，然后将参数传输到应用处理芯片400，并由应用处理器410可以对摄像头600进行配置，以及由图像信号处理器420对图像数据进行校正处理。另外，图像信号处理器210统计出状态信息后还可以由图像信号处理器420执行一些算法，基于状态信息计算出一些参数，基于该参数并由应用处理器410可以对摄像头600进行配置，以及由图像信号处理器420对图像数据进行校正处理。可以理解的是，应用处理器410和主控处理器260所执行的算法可以进行更新，而图像信号处理器420所执行的算法往往无法更新，在实际应用过程中可以优先选择应用处理器410或主控处理器260执行相关算法对状态信息进行计算。

下面针对不同的状态信息具体举例说明。

状态信息可包括自动对焦状态信息，应用处理器410可以执行相关算法，基于该自动对焦状态信息计算出对焦参数，并将该对焦参数配置给摄像头600。摄像头600可以基于该对焦参数进行对焦。也可以由主控处理器260执行相关算法，基于该自动对焦状态信息计算出对焦参数，然后将对焦参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将对焦参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出对焦参数也是可以的。其中，自动对焦状态信息可以包括相位对焦状态信息、反差对焦状态信息、激光对焦状态信息和TOF(Time of Flight)对焦状态信息中的一种或多种。

自动对焦状态信息可以包括反差对焦状态信息，可以通过图像信号处理器210对图像数据诸如动态图像数据进行预设算法处理以计算出反差对焦状态信息。应用处理器410可以执行相关算法，基于该反差对焦状态信息计算出反差对焦参数，并将该反差对焦参数配置给摄像头600。摄像头600可以基于该反差对焦参数进行对焦。也可以由主控处理器260执行相关算法，基于该反差对焦状态信息计算出反差对焦参数，然后将反差对焦参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将反差对焦参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出反差对焦参数也是可以的。

自动对焦状态信息还可以包括相位对焦状态信息，可以通过图像传感器210对图像数据诸如动态图像数据进行抽取，诸如对图像数据进行标记区分，以抽取出相位对焦状态信息。应用处理器410可以执行相关算法，基于该相位对焦状态信息计算出相位对焦参数，并将该相位对焦参数配置给摄像头600。摄像头600可以基于该相位对焦参数进行对焦。也可以由主控处理器260执行相关算法，基于该相位对焦状态信息计算出相位对焦参数，然后将相位对焦参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将相位对焦参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出相位对焦参数也是可以的。

自动对焦状态信息还可以包括激光对焦状态信息，可以通过图像信号处理器210对图像数据诸如动态图像数据进行预设算法处理以计算出激光对焦状态信息。应用处理器410可以执行相关算法，基于该激光对焦状态信息计算出激光对焦参数，并将该激光对焦参数配置给摄像头600。摄像头600可以基于该激光对焦参数进行对焦。也可以由主控处理器260执行相关算法，基于该激光对焦状态信息计算出激光对焦参数，然后将激光对焦参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将激光对焦参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出激光对焦参数也是可以的。

自动对焦状态信息还可以包括TOF对焦状态信息，可以通过图像信号处理器210对图像数据诸如动态图像数据进行预设算法处理以计算出TOF对焦状态信息。应用处理器410可以执行相关算法，基于该TOF对焦状态信息计算出TOF对焦参数，并将该TOF对焦参数配置给摄像头600。摄像头600可以基于该TOF对焦参数进行对焦。也可以由主控处理器260执行相关算法，基于该TOF对焦状态信息计算出TOF对焦参数，然后将TOF对焦参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将TOF对焦参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出TOF对焦参数也是可以的。

状态信息还可以包括自动白平衡状态信息，应用处理器410可以执行相关算法，基于该自动白平衡状态信息计算出白平衡参数，图像信号处理器420可以基于白平衡参数对多媒体处理芯片200预处理过的图像数据进行白平衡处理，或者说图像校正处理。也可以由主控处理器260执行相关算法，基于该自动白平衡状态信息计算出白平衡参数，然后将白平衡参数发送到应用处理芯片400，由图像信号处理器420基于白平衡参数对多媒体处理芯片200预处理过的图像数据进行白平衡处理。当然，由图像信号处理器420执行相关算法以计算出白平衡参数也是可以的。

状态信息还可以包括自动曝光状态信息，应用处理器410可以执行相关算法，基于该自动曝光状态信息计算出曝光参数，并将该曝光参数配置给摄像头600。摄像头600可以基于该曝光参数进行曝光。也可以由主控处理器260执行相关算法，基于该自动曝光状态信息计算出曝光参数，然后将曝光参数配置给摄像头600，或者发送到应用处理芯片400，由应用处理器410将曝光参数配置给摄像头600。当然，由图像信号处理器420执行相关算法以计算出曝光参数也是可以的。需要说明的是，在需要对曝光参数进行补偿时，可以由图像信号处理器420对曝光参数进行补偿处理，然后可以由应用处理器410将补偿后的曝光参数配置给摄像头600，摄像头600基于补偿后的曝光参数进行曝光。

状态信息还包括镜头阴影校正状态信息，应用处理器410可以执行相关算法，基于该镜头阴影校正状态信息计算出镜头阴影校正参数，图像信号处理器420可以基于镜头阴影校正参数对多媒体处理芯片200预处理过的图像数据进行镜头阴影校正。也可以由主控处理器260执行相关算法，基于该镜头阴影校正状态信息计算出镜头阴影校正参数，然后将镜头阴影校正参数发送到应用处理芯片400，由图像信号处理器420基于白平衡参数对多媒体处理芯片200预处理过的图像数据进行白平衡处理。当然，由图像信号处理器420执行相关算法以计算出镜头阴影校正参数也是可以的。

其中，图像信号处理器420统计图像数据的状态信息可以理解为：采用算法的方式计算出一些状态信息和/或采用抽取的方式抽取出一些状态信息。

优化模块214对图像数据进行的处理，图像信号处理器420无需再进行处理。比如优化模块214对图像数据进行坏点补偿线性化处理、黑电平校正，图像信号处理器420无需再进行坏点补偿、线性化处理、黑电平校正。本申请实施例多媒体处理芯片200和应用处理芯片400对图像数据进行差异化处理。从而可以节省应用处理芯片400的功耗。诸如优化模块214对图像数据进行的坏点补偿线性化处理、黑电平校正，图像信号处理器420无需再进行坏点补偿、线性化处理、黑电平校正。然而，应用处理芯片400和多媒体处理芯片200对图像数据也可以进行一部分相同的处理。诸如多媒体处理芯片200对动态图像数据进行降噪处理，应用处理芯片400也对动态图像数据进行降噪处理。再诸如多媒体处理芯片200对动态图像数据进行统计处理，用处理芯片400也对动态图像数据进行统计处理。

图像信号处理器420将处理后的数据发送至显示屏和存储器430，以显示和存储该图像。

需要说明的是，若该图像为动态图像则在存储前可以先通过编码器对其进行编码处理，等待编码完成后再进行存储。若该图像为静态图像则在存储器可以先进行压缩诸如JPEG压缩，等待压缩后再进行存储。

还需要说明的是，多媒体处理芯片200所处理的图像数据可以是RAW图像数据，应用处理芯片400可以对RAW图像数据进行处理诸如3A处理，也可以将RAW格式转换为YUV格式，以对YUV格式的图像进行处理。诸如图像信号处理器420对YUV格式的图像进行RGBToYUV处理。

在图像信号处理器210将神经网络处理器220处理后的数据通过第二接口202传输到第四接口401之前，可以由主控处理器260先确定神经网络处理器220处理后的数据的位宽与应用处理芯片400所要处理数据的位宽是否相同，如相同则图像信号处理器210将神经网络处理器220处理后的数据通过第二接口202传输到第四接口401。若不相同，则图像信号处理器210的优化模块214对神经网络处理器220处理后的数据进行位宽调整处理，以使得调整后的数据的位宽与应用处理芯片400所要处理数据的位宽相同。以确保应用处理芯片400可以正常处理由多媒体处理芯片200传输过来的数据。

还需要说明的是，在其他一些实施例中，多媒体处理芯片200在对图像数据进行处理时，也可以不通过优化模块214对原始图像进行优化处理，而直接由神经网络处理器220进行处理。

本申请实施例由多媒体处理芯片200对图像数据进行处理的方式可以参阅图10至图17，在此不再赘述。

请参阅图29，图像处理方法包括：

5011，接收一指令。可以先由应用处理芯片400接收到该指令，并将该指令传输到多媒体处理芯片200。该指令可以包括数据处理指令、数据透传指令。

5012，若所述指令为数据处理指令，则通过多媒体处理芯片统计图像数据的状态信息和对图像数据进行预处理。其中，多媒体处理芯片200对图像数据进行统计以及对图像数据进行预处理可以参阅以上内容，在此不再赘述。该数据处理指令可以理解为多媒体处理芯片200对图像数据进行处理的指令。

5013，将所述多媒体处理芯片所统计的状态信息和预处理的结果传输到应用处理芯片。多媒体处理芯片200可以通过第二接口202将其统计的状态信息和预处理的结果传输到应用处理芯片400的第四接口401。

5014，通过所述应用处理芯片对所述多媒体处理芯片处理过的图像数据进行后处理。应用处理芯片对多媒体处理芯片200处理过的图像数据进行后处理可以参阅以上内容，在此不再赘述。

5015，若所述指令为数据透传指令，则通过应用处理芯片对图像数据进行处理。该数据透传指令可以理解为图像数据不经过多媒体处理芯片200进行处理，而直接由应用处理芯片400对图像数据进行处理的指令。在多媒体处理芯片200未对图像数据进行处理，而直接由应用处理芯片400对图像数据进行处理可以包括对图像数据的统计、对图像数据的优化诸如线性化处理、坏点补偿、黑电平校正等、对图像数据的降噪等处理，在此不再一一举例说明。

由此可见，本申请实施例应用处理芯片400对多媒体处理芯片200处理过的数据进行进一步的处理的方式与应用处理芯片400对多媒体处理芯片200未处理过的数据进行直接处理的方式不同。本申请实施例可以根据不同的需求采用不同的图像处理方式，以满足用户的不同需求。

为了进一步说明本申请实施例通过多媒体处理芯片200对图像数据进行预处理后，再由应用处理芯片400对图像数据进行后处理以提升图像质量，下面请参阅图30和图31。图30的第一图，示出了本申请实施例多媒体处理芯片200和应用处理芯片400共同对图像进行处理而显示的一帧图像，其包括本申请实施例通过神经网络处理器220对图像数据进行HDR算法处理。图30的第二图，示出了仅由应用处理芯片单独对图像进行处理而显示的一帧图像。由第一图和第二图的比较可以看出，两帧图像在多个方面和多个区域存在差异。诸如第二图人物周围的亮度过亮，靠近人物的物品展示又过于清晰诸如第二区域B的物体的清晰度大于第二区域A的清晰度，导致人物不够突出。且第二图的周围诸如第一区域B的细节展示不如第一区域A的细节展示。

其中，图31的第三图，示出了本申请实施例多媒体处理芯片200和应用处理芯片400共同对图像进行处理而显示的一帧图像，其包括本申请实施例通过神经网络处理器220对图像信号进行视频夜景算法处理。图31的第四图，示出了仅由应用处理芯片单独对图像进行处理而显示的一帧图像。由第三图和第四图的比较可以看出，两帧图像在多个区域存在差异。诸如第三图的第三区域A比第四图的第三区域B的清晰。再比如第三图的第四区域A比第四图的第四区域B展示出更多的细节。

可以理解的是，本申请实施例所限定的摄像头600、多媒体处理芯片200和应用处理芯片400可以安装在一起，诸如摄像头600、多媒体处理芯片200和应用处理芯片400安装在一个电路板上。

请参阅图32，电路板22安装有图像传感器600、多媒体处理芯片200和应用处理芯片400。摄像头600、多媒体处理芯片200和应用处理芯片400均通过信号线连接，以实现信号的传输。

可以理解的是，电路板22还可以安装有其他元器件，在此不再一一举例。

请参阅图33，摄像头600也可以与多媒体处理芯片200和应用处理芯片400不安装在一个电路板上，诸如摄像头600单独安装在一个电路板上，多媒体处理芯片200和应用处理芯片400安装在一个电路板22上，摄像头600与多媒体处理芯片200通过信号线连接。

以上对本申请实施例提供的多媒体处理芯片和电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种多媒体处理芯片，其特征在于，包括：

第一接口；

第二接口，所述第二接口和所述第一接口直接连接；

图像信号处理器，所述图像信号处理器与所述第一接口连接，且所述图像信号处理器与所述第二接口连接；

神经网络处理器；

当所述第一接口将其所接收到的图像数据传输到所述图像信号处理器时，所述图像信号处理器统计图像数据的状态信息，且所述神经网络处理器对图像数据进行神经网络算法处理，所述第二接口将所述多媒体处理芯片处理过的图像数据传输到应用处理芯片；

当所述第一接口将其所接收到的图像数据直接传输到第二接口时，所述第二接口将从所述第一接口接收到的图像数据直接传输到应用处理芯片。

2.根据权利要求1所述的多媒体处理芯片，其特征在于，根据第一条件，所述第一接口将其接收到的图像数据传输到图像信号处理器；

根据第二条件，所述第一接口将其接收到的图像数据直接传输到所述第二接口。

3.根据权利要求2所述的多媒体处理芯片，其特征在于，所述多媒体处理芯片被配置为：

当所述第一接口接收到动态图像数据时，所述第一接口将所述动态图像数据传输到所述图像信号处理器；

当所述第一接口接收到静态图像数据时，所述第一接口将所述静态图像数据直接传输到所述第二接口。

4.根据权利要求1所述的多媒体处理芯片，其特征在于，所述图像信号处理器被配置为：

在所述神经网络处理器对所述图像数据进行神经网络算法处理之前，先对所述图像数据进行优化处理；和/或在所述神经网络处理器对所述图像数据进行神经网络算法处理之后对所述图像数据进行位宽调整处理。

5.根据权利要求4所述的多媒体处理芯片，其特征在于，所述图像信号处理器对所述图像数据进行优化处理包括黑电平校正、坏点补偿和线性化处理中的至少一个。

6.根据权利要求1至5任一项所述的多媒体处理芯片，其特征在于，所述状态信息包括自动对焦状态信息、自动白平衡状态信息、自动曝光状态信息中的至少一种。

7.根据权利要求1至5任一项所述的多媒体处理芯片，其特征在于，所述图像数据为RAW图像数据，所述多媒体处理芯片用于对RAW图像数据进行处理。

8.根据权利要求1至5任一项所述的多媒体处理芯片，其特征在于，所述多媒体处理芯片还用于离线处理静态图像数据和/或动态图像数据。

9.根据权利要求1所述的多媒体处理芯片，其特征在于，所述多媒体处理芯片还包括数字信号处理器，所述数字信号处理器被配置为：处理静态图像数据，所述神经网络处理器还被配置为：处理动态图像数据。

10.根据权利要求8所述的多媒体处理芯片，其特征在于，所述神经网络处理器对动态图像数据进行处理包括夜景、HDR、虚化、降噪、超分辨率处理中的至少一个。

11.一种电子设备，其特征在于，包括：

多媒体处理芯片，所述多媒体处理芯片为如权利要求1至10任一项所述的多媒体处理芯片；和

应用处理芯片，所述应用处理芯片与所述多媒体处理芯片通信连接；

当所述第二接口将所述多媒体处理芯片处理过的图像数据传输到所述应用处理芯片时，所述应用处理芯片对所述多媒体处理芯片处理过的图像数据进行后处理；

当所述第二接口直接将从所述第一接口所接收到的图像数据传输到所述应用处理芯片时，所述应用处理芯片直接对所述第一接口接收到的图像数据进行处理。

12.一种电子设备，其特征在于，包括通信连接的多媒体处理芯片和应用处理芯片；

在第一模式下，所述多媒体处理芯片被配置为：

统计第一图像数据的状态信息和对所述第一图像数据进行预处理，以将所述状态信息和所述预处理的结果传输到所述应用处理芯片；

在所述第一模式下，所述应用处理芯片被配置为：

基于所述状态信息对所述预处理的结果进行后处理；

在第二模式下，所述多媒体处理芯片被配置为：

将从所述多媒体处理芯片的第一接口所接收到的第二图像数据，直接通过所述多媒体处理芯片的第二接口传输到所述应用处理芯片；

在所述第二模式下，所述应用处理芯片对所述第二图像数据进行处理。

13.根据权利要求12所述的电子设备，其特征在于，所述第一模式包括播放视频模式、录制视频模式中的至少一种模式，所述第二模式包括拍照模式和预览图像模式。

14.根据权利要求12所述的电子设备，其特征在于，所述第一模式包括预览图像模式、播放视频模式、录制视频模式中的至少一种模式，所述第二模式包括拍照模式。

15.根据权利要求12所述的电子设备，其特征在于所述第一模式包括零延时拍照模式，所述第二模式包括非零延时拍照模式。

16.根据权利要求12至15任一项所述的电子设备，其特征在于，所述状态信息包括自动对焦状态信息、自动白平衡状态信息和自动曝光状态信息中的至少一个，所述应用处理芯片用于：

根据所述自动对焦状态信息计算得到对焦参数，并将所述对焦参数配置给所述摄像头；

根据所述自动白平衡状态信息计算得到白平衡参数，以得到白平衡参数，并基于所述白平衡参数对所述多媒体处理芯片处理过的数据进行白平衡处理；

根据所述自动曝光状态信息计算得到曝光参数，并将所述曝光参数配置给所述摄像头，或对所述曝光参数进行补偿后配置给所述摄像头。

17.根据权利要求16所述的电子设备，其特征在于，所述状态信息包括镜头阴影校正状态信息，所述应用处理芯片用于：

根据所述镜头阴影校正状态信息计算得到镜头阴影校正参数，并基于所述镜头阴影校正参数对所述多媒体处理芯片处理过的数据进行镜头阴影校正。

18.根据权利要求12至15任一项所述的电子设备，其特征在于，所述多媒体处理芯片对所述第一图像数据进行预处理包括：

对所述图像进行优化处理；

对优化处理后的图像数据进行神经网络算法处理。

19.根据权利要求18所述的电子设备，其特征在于，所述图像信号处理器对所述图像数据进行优化处理包括黑电平校正、坏点补偿和线性化处理中的至少一个。

20.根据权利要求12至15任一项所述的电子设备，其特征在于，所述图像数据为RAW图像数据，所述多媒体处理芯片用于对RAW图像数据进行处理。

Images