CN113873178B - 多媒体处理芯片、电子设备和图像处理方法 - Google Patents

Abstract

本申请实施例一种多媒体处理芯片、电子设备和图像处理方法，多媒体处理芯片包括：图像信号处理器，被配置为：统计多帧图像的状态信息；神经网络处理器，被配置为：对所述多帧图像进行HDR融合处理，得到融合图像；和接口，被配置为：将所述状态信息和所述融合图像发送至应用处理芯片。本申请实施例可以节省应用处理芯片的功耗。

Description

多媒体处理芯片、电子设备和图像处理方法

技术领域

本申请涉及电子技术领域，具体涉及一种多媒体处理芯片、电子设备和图像处理方法。

背景技术

电子设备诸如智能手机在采用摄像头拍摄图像时，为了改善图像质量，一般会采用图像合成算法将多帧图像合成为一帧图像。相关技术中，电子设备的应用处理芯片获取到多帧图像后对多帧图像进行图像处理，然后进行合成处理，其会增加应用处理芯片的功耗。

发明内容

本申请实施例提供了一种多媒体处理芯片、电子设备和图像处理方法，可以节省应用处理芯片的功耗。

第一方面，本申请实施例提供了一种多媒体处理芯片，包括：

图像信号处理器，被配置为：

统计多帧图像的状态信息；和

神经网络处理器，被配置为：

对所述多帧图像进行HDR融合处理，得到融合图像；

接口，被配置为：

将所述状态信息和所述融合图像发送至应用处理芯片。

第二方面，本申请实施例提供一种电子设备，包括：

多媒体处理芯片，所述多媒体处理芯片为如上所述的多媒体处理芯片；

应用处理芯片，与所述多媒体处理芯片通信连接，所述应用处理芯片被配置为：

接收所述多媒体处理芯片发送的状态信息和融合图像；

基于所述状态信息对所述融合图像进行后处理。

第三方面，本申请实施例提供一种图像处理方法，包括：

通过多媒体处理芯片统计多帧图像的状态信息，其中，所述多帧图像为RAW图像；

通过所述多媒体处理芯片对所述多帧图像据进行HDR融合处理，得到融合图像；

通过所述多媒体处理芯片将所述状态信息和所述融合图像发送至应用处理芯片；

通过所述应用处理芯片基于所述状态信息对所述融合图像进行后处理。

本申请实施例处理图像的过程可以是先由多媒体处理芯片对多帧图像进行HDR融合处理，再由应用处理芯片对经HDR融合处理后的融合图像进行后处理。相比HDR融合及后处理均由应用处理芯片完成，可以减少应用处理芯片的功耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的电子设备的第一种结构示意图。

图2是本申请实施例提供的电子设备的第二种结构示意图。

图3是本申请实施例提供的电子设备的第三种结构示意图。

图4为本申请实施例提供的电子设备的第四种结构示意图。

图5为本申请实施例提供的电子设备中第一摄像头的曝光参考图。

图6为本申请实施例提供的电子设备的第一信令图。

图7为本申请实施例提供的电子设备的第五种结构示意图。

图8为本申请实施例提供的电子设备中第二摄像头的曝光参考图。

图9为本申请实施例提供的电子设备的第二信令图。

图10为本申请实施例提供的电子设备进行HDR融合处理前的多帧图像和HDR融合后的融合图像。

图11为本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

本申请实施例提供一种多媒体处理芯片、电子设备和图像处理方法。电子设备诸如为智能手机、平板电脑等具有图像处理功能的设备，基于该电子设备可以实现多帧图像的融合，以提升图像质量。

下面请参阅附图，从本申请实施例所提供的电子设备处理图像的角度进行描述。其中附图中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1为本申请实施例提供的电子设备的第一种结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600与多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为两个部件之间的通信连接关系，诸如采用无线连接的方式实现通信，再比如采用有线连接的方式实现通信。其中有线连接可以理解为信号线诸如导线连接，或者两个元器件直接焊接在一起。

其中，摄像头600可以采集图像，每一帧图像对应有图像数据，可以将图像理解为图像数据，或者图像信息。摄像头600可以为一个或多个，诸如摄像头600可以包括主摄像头、广角摄像头和长焦摄像头中的至少一个，摄像头600还可以包括微距摄像头或普通黑白摄像头中的至少一个。摄像头600可以是电子设备20的前置摄像头，也可以是电子设备20的后置摄像头。

摄像头600可以包括图像传感器和镜头，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。摄像头600可以采集原始图像诸如RAW图像，并可以将其采集到的图像传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理器进行处理。

摄像头600所采集到的图像可以称为原始图像，也可以称为初始图像。可以理解的是，用户在拍照过程中，摄像头600所采集到的图像可以从电子设备20的预览窗口进行预览。具体来说，摄像头600所采集到的图像先后由多媒体处理芯片200和应用处理芯片400进行处理，处理完成后显示到电子设备20的显示屏。从而用户可以通过电子设备20的预览窗口预览到图像，可以将其定义为预览图像。

其中，图像可以为静态图像，也可以为动态图像。其中静态图像诸如为存储于存储器中的图片、摄像头600所采集到的静态图像。其中动态图像可以为预览图像、视频录制的图像、视频播放的图像。

多媒体处理芯片200可以对图像进行处理，多媒体处理芯片200可以处理来自摄像头600所采集的图像诸如动态图像。多媒体处理芯片200也可以处理不来自摄像头600所采集的图像诸如存储于一存储器内的动态图像。多媒体处理芯片200可将其处理结果通过其接口传输到应用处理芯片400，以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。从而可以提高图像的显示质量。

其中，多媒体处理芯片200对图像进行处理可以称为前处理、预处理等，应用处理芯片400对图像进行处理可以称为后处理。

请参阅图2，图2为本申请实施例提供的电子设备的第二种结构示意图。电子设备20还包括显示屏800，显示屏800可显示画面。多媒体处理芯片200和应用处理芯片400对图像处理完后可以由显示屏800显示画面。当然，多媒体处理芯片200和应用处理芯片400对图像处理完后还可以将图像存储于电子设备20的存储器。

需要说明的是，本申请实施例多媒体处理芯片200所处理的图像可以为RAW图像，应用处理芯片200可以先对RAW图像进行处理，然后将RAW图像的格式转换为YUV图像格式，最后再将YUV图像进行存储或/和显示。RAW图像相比其他图像诸如YUV图像，RAW图像保留更多细节。本申请实施例对RAW图像进行处理可以在更多细节上提升图像质量。

请参阅图3，图3为本申请实施例提供的电子设备的第三种结构示意图。其中，多媒体处理芯片200可以包括图像信号处理器(Image Signal Processing，ISP)210、神经网络处理器(Neural-network Processing Unit，NPU)220、第一接口201和第二接口202。

多媒体处理芯片200至少基于神经网络处理器220对图像进行预处理，以得到预处理结果。诸如多媒体处理芯片200基于神经网络处理器220对图像进行神经网络算法处理。再比如多媒体处理芯片200基于图像信号处理器210先对图像进行第一次预处理，再由神经网络处理器220对图像进行第二次预处理。还比如多媒体处理芯片200基于图像信号处理器210先对图像进行第一次预处理，再由神经网络处理器220对第一次预处理后的图像进行第二次预处理，然后由神经网络处理器210对第二次预处理后的图像进行第三次预处理。

需要说明的是，本申请实施例多媒体处理芯片200对图像进行预处理的方式并不限于此，以上仅为本申请实施例对图像进行预处理的几种具体举例说明，并不构成本申请实施例对图像进行预处理的限缩。

其中，多媒体处理芯片200所处理的图像可以来自摄像头600所采集的图像。诸如第一接口201与摄像头600通信连接，摄像头600所采集到的图像诸如动态图像可以传输到第一接口201。第一接口201还与图像信号处理器210通信连接，第一接口201可以将其从摄像头600所接收到的图像传输到图像信号处理器210。

需要说明的是，多媒体处理芯片200还可以处理其他图像，诸如多媒体处理芯片200的图像由电子设备20的存储器传输到多媒体处理芯片200。诸如采用通过高速互联总线接口(PeripheralComponent Interconnect Express，PCIE)。

图像信号处理器210对图像进行第一次预处理包括线性化处理、坏点补偿和黑电平校正等优化处理中的至少一种。图像信号处理器210可以将其第一次预处理后的结果存储到存储器诸如多媒体处理芯片200的存储器中。图像信号处理器210也可以将其第一次预处理的结果直接传输到神经网络处理器220。可以理解的是，多媒体处理芯片200的存储器可以外置。

神经网络处理器220对图像进行第二次预处理诸如采用神经网络算法对图像进行处理。神经网络算法诸如语义分割算法、高动态范围图像(High-Dynamic Range，HDR)算法、降噪算法、超分辨率算法、夜景算法、模糊算法等。神经网络处理器220处理图像的效率高，对图像质量的提升明显。神经网络处理器220对图像处理的结果可以存储到存储器诸如多媒体处理芯片200的存储器中。

需要说明的是，本申请实施例先由图像信号处理器210对图像进行第一次预处理，诸如坏点补偿、线性化处理等不仅可以优化图像，提升图像质量，而且可以加快神经网络处理器220的收敛速度。从而可以降低神经网络处理器220处理一帧图像所需的时间，以实现快速、实时处理图像的目的。

当多媒体处理芯片200所处理图像的位宽与应用处理芯片400所处理图像的位宽不同时，本申请实施例多媒体处理芯片200对图像进行预处理还包括由图像信号处理器210对第二次预处理后的图像进行第三次预处理，该第三次预处理包括位宽调整处理。

举例来说，本申请实施例神经网络处理器220对图像进行处理的位宽可以为第一位宽，诸如14比特(bit)、16比特。本申请实施例应用处理芯片400对图像进行处理的位宽可以为第二位宽，诸如为12比特。在神经网络处理器220所处理图像的位宽与应用处理芯片400所处理图像的位宽不同时，可以由图像信号处理器210对神经网络处理器220处理过的图像进行位宽调整处理，以将图像的位宽调整与应用处理芯片400所需处理图像的位宽相同。然后再将图像传输到应用处理芯片400进行后处理。

需要说明的是，图像信号处理器210对图像进行处理并不限于此，诸如对图像裁剪处理、缩小处理等。

本申请实施例图像信号处理器210、神经网络处理器220均与系统总线连接。其中，多媒体处理芯片200的存储器也与系统总线连接。

需要说明的是，由于本申请实施例多媒体处理芯片200对图像的预处理至少基于神经网络处理器220对图像进行预处理，可以理解的是，神经网络处理器220对图像诸如RAW图像进行处理往往会改变RAW图像的状态信息。在多媒体处理芯片200对图像预处理完成后，由于状态信息的损坏，应用处理芯片400可能无法对预处理结果进行后处理诸如对焦参数的计算、白平衡处理等。

基于此，本申请实施例在神经网络处理器220对图像处理之前，先由图像信号处理器210对图像进行处理，以获得图像的状态信息。诸如自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。图像信号处理器210可以从图像中统计出各种状态信息，诸如直接从图像中抽取出相位对焦状态信息，采用预设算法从图像中统计出自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。需要说明的是，图像信号处理器210还可以采用预设算法从图像中统计出其他自动对焦状态信息诸如反差对焦状态信息。

其中，图像信号处理器210可以通过Datatype标志分解出相位对焦状态信息。

由此本申请实施例在神经网络处理器220对图像进行处理之前，先由图像信号处理器210对图像统计和/或提取，以得到图像的各种状态信息。神经网络处理器220再对图像处理时，仍然保留有各种状态信息，即使神经网络处理器220处理后会改变图像的状态信息。应用处理芯片400仍然可以基于图像信号处理器210所获得的各种状态信息进行各种处理。

图像信号处理器210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息和自动曝光状态信息等先存储到多媒体处理芯片200的存储器，然后再通过第二接口202传输到第三接口402。需要说明的是，图像信号处理器210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息和自动曝光状态信息等不存储到多媒体处理芯片200的存储器，而直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该自动白平衡状态信息，以计算出自动白平衡参数，并基于该自动白平衡参数对多媒体处理芯片200的预处理结果进行白平衡处理，以提升图像质量。应用处理芯片400还可以计算自动曝光状态信息，以计算出自动曝光参数，并将该自动曝光参数配置给摄像头600。摄像头600可以基于该自动曝光参数进行曝光。应用处理芯片400还可以计算自动对焦状态信息诸如相位对焦信息，以计算出自动对焦参数，并将该自动对焦参数配置给摄像头600。摄像头600可以基于该自动对焦参数进行对焦。

图像信号处理器210还可以将其获取到的其他状态信息诸如镜头阴影校正状态信息可以先存储到多媒体处理芯片200的存储器，然后再传输到第二接口202。当然，也可以不存储到多媒体处理芯片200的存储器，而是直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该镜头阴影校正状态信息，以计算出镜头阴影校正参数，并基于该镜头阴影校正参数对多媒体处理芯片200的预处理结果进行镜头阴影校正，以提升图像质量。

第一接口201、第二接口202和第三接口402均可以为移动产业处理器接口(MobileIndustry Processor Interface，MIPI)。

其中，应用处理芯片400可以先对RAW图像进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的RAW图像进行格式转换，诸如将RAW图像转换为YUV图像的格式。进而可以通过显示屏800显示，也可以存储到电子设备20的存储器。可以理解的是，应用处理芯片400还可以对YUV图像进行图像处理。

需要说明的是，多媒体处理芯片200的元器件并不限于此，诸如多媒体处理芯片200还可以包括直接存储访问控制器，其可以实现图像的搬移。比如其可以将存储于存储器230内的预处理结果搬移到第二接口202，并通过第二件接口202将该预处理结果传输到第三接口402。

多媒体处理芯片200还可以包括数字信号处理器，数字信号处理器可以与系统总线连接，其可以处理静态图像，诸如从多帧图像中选择出一帧图像作为拍照图像。在一些实施例中，当数字信号处理器处理静态图像时，可以由神经网络处理器220来处理动态图像。需要说明的是，本申请实施例所限定的数字信号处理器主要是用来辅助神经网络处理器220对图像进行处理。

请参阅图4，图4为本申请实施例提供的电子设备的第四种结构示意图。图像信号处理器210可以包括一统计模块212，该统计模块212可以统计多帧图像的状态信息，诸如依次统计多帧图像的状态信息。

请参阅图5和图6，图5为本申请实施例提供的电子设备中第一摄像头的曝光参考图，图6为本申请实施例提供的电子设备的第一信令图。结合图5，本申请实施例电子设备处理图像的过程如下：

应用处理芯片400将自动曝光参数诸如自动曝光时间配置给第一摄像头。其中该自动曝光参数可以理解为预设的自动曝光参数，或者理解为第一摄像头进行第一次曝光时所依据的参数。

同时，应用处理芯片400将自动曝光信息发送到多媒体处理芯片200，以告知第一摄像头的曝光信息，譬如告知多媒体处理芯片200，第一摄像头基于该自动曝光参数进行曝光，或者说第一摄像头是由软件配置实现曝光。以便于多媒体处理芯片200在接收到第一摄像头所采集的多帧图像时，来区分多帧图像的序列。

第一摄像头接收到自动曝光参数后，基于该自动曝光参数进行曝光，采集多帧图像。每一帧图像具有相应的图像数据，可以将图像理解为图像数据。该多帧图像为RAW图像，也可以将RAW图像理解为RAW图像数据。

其中，多帧图像可以为两帧图像、三帧图像、四帧图像等。诸如多帧图像包括第一图像和第二图像，第一图像具有第一曝光度，第二图像具有第二曝光度，第一曝光度大于第二曝光度。可以将第一曝光度理解为高曝光度，第二曝光度可以理解为低曝光度。

再比如多帧图像包括第三图像、第四图像和第五图像，第三图像具有第三曝光度，第四图像具有第四曝光度，第五图像具有第五曝光度，第三曝光度大于第四曝光度，第四曝光度大于第五曝光度。可以将第三曝光度理解为高曝光度，第四曝光度理解为中曝光度，将第五曝光度理解为低曝光度。

可以理解的是，第一摄像头采集多帧图像的过程是上一帧曝光结束后，才进行下一帧曝光。因此，两帧图像在同一曝光时间内图像不重叠，或者说不交叉。如图5所示，曝光行L1的曝光时间T1开始于曝光开始C1，结束于曝光结束C2。曝光时间T1内一帧图像未与其他图像有重叠，或者说在一帧图像的曝光时间T1内，该帧图像未与其他图像重叠。

第一摄像头将其采集到的多帧图像传输到多媒体处理芯片200的第一接口202，第一接口202可以将多帧图像直接传输到图像信号处理器210，由图像信号处理器210统计多帧图像的状态信息。具体可以通过图像信号处理器210的统计模块212来统计多帧图像的状态信息，诸如依次统计多帧图像的状态信息。由于各帧图像在曝光时间上没有重叠。每一次第一摄像头可以采集到一帧图像，其可以按照行的方式将一帧图像传输到第一接口201。第一接口202也可以将多帧图像存储到多媒体处理芯片200的存储器，由图像信号处理器210从存储器获取该多帧图像，并统计该多帧图像的状态信息。

可以由神经网络处理器220可以从存储器中获取多帧图像，并对多帧图像进行HDR融合处理，诸如进行HDR神经网络优化学习，以合成RAW图像的HDR帧序列，即合成出融合图像。当然，神经网络处理器220也可以直接从图像信号处理器210获取多帧图像，并对其进行处理。可以将该融合图像定义为第一融合图像，该第一融合图像来源于第一摄像头所采集的多帧图像。

可以理解的是，相关技术中，进行HDR融合操作的过程都是基于YUV图像，在HDR融合处理后得到融合的图像的细节并不足够多。因此，本申请实施例基于RAW图像进行HDR融合处理，合成出的融合图像仍然是RAW图像，合成之后的融合图像的细节足够多，可以在更多细节上提升图像的质量。

需要说明的是，本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之前，可以先通过图像信号处理器210对多帧图像进行优化诸如坏点补偿、线性化等处理。本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之后，可以通过图像信号处理器210对融合图像进行位宽调整处理，还可以通过图像信号处理器210对融合图像进行亮度和颜色的调整处理。

还需要说明的是，本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之后，还可以通过图像信号处理器210对融合图像进行其他处理，在此不再一一举例说明。

多媒体处理芯片200将状态信息和融合图像传输到应用处理芯片400。在实际传输过程中，可以通过同一接口诸如第二接口202的不同通路传输，也可以通过不同的接口传输。在实际传输过程中，可以同时传输状态信息和融合图像，也可以分时传输。

应用处理芯片400可以通过其第三接口402接收状态信息和融合图像。当然，应用处理芯片400还可以通过第三接口402和其他接口诸如PCIE接口接收状态信息和融合图像。应用处理芯片400可以对状态信息进行计算，诸如对自动白平衡状态信息和/或镜头阴影校正状态信息进行计算，得到自动白平衡状态参数和/或镜头阴影校正参数。应用处理芯片400基于自动白平衡状态参数可以对RAW域的融合图像进行白平衡处理，应用处理芯片400基于镜头阴影校正参数可以对RAW域的融合图像进行镜头阴影校正。需要说明的是，应用处理芯片400还可以对RAW域的融合图像进行其他处理，在此不再一一举例说明。

应用处理芯片400对RAW图像，或者说对RAW域的融合图像处理完成后，可以将RAW图像转换为YUV图像。

可以理解的是，应用处理芯片400还可以对YUV图像进行处理。在应用处理器400对YUV图像处理完成后，可以将YUV格式的融合图像存储到存储器和/或显示到显示屏800。

另外，应用处理芯片400还可以计算其他状态信息，诸如自动曝光状态信息、自动对焦状态信息，以计算出自动曝光参数和自动对焦参数。

应用处理芯片400将其计算出的自动曝光参数和自动对焦参数配置给第一摄像头，第一摄像头基于应用处理芯片400所计算出的自动曝光参数进行下一次的曝光，或者说第二次曝光。第一摄像头基于应用处理芯片400所计算出的自动对焦参数进行对焦。

请参阅图7，图7为本申请实施例提供的电子设备的第五种结构示意图。图像信号处理器210可以包括多个统计模块，每一统计模块可以统计一帧图像的状态信息。诸如统计模块包括第一统计模块214和第二统计模块216，第一统计模块214可以统计一帧图像的状态信息，第二统计模块216可以统计另一帧图像的状态信息。可以理解的是，多个统计模块还包括更多个，诸如还包括第三统计模块、第四统计模块等。

请参阅图8和图9，图8为本申请实施例提供的电子设备中第二摄像头的曝光参考图，图9为本申请实施例提供的电子设备的第二信令图。结合图7，本申请实施例电子设备处理图像的过程如下：

第二摄像头支持自动曝光HDR帧。第二摄像头基于设定的曝光参数诸如曝光时间进行曝光，采集多帧图像。每一帧图像具有相应的图像数据，可以将图像理解为图像数据。该多帧图像为RAW图像，也可以将RAW图像理解为RAW图像数据。

其中，多帧图像可以为两帧图像、三帧图像、四帧图像等。诸如多帧图像包括第一图像和第二图像，第一图像具有第一曝光度，第二图像具有第二曝光度，第一曝光度大于第二曝光度。可以将第一曝光度理解为高曝光度，第二曝光度可以理解为低曝光度。

再比如多帧图像包括第三图像、第四图像和第五图像，第三图像具有第三曝光度，第四图像具有第四曝光度，第五图像具有第五曝光度，第三曝光度大于第四曝光度，第四曝光度大于第五曝光度。可以将第三曝光度理解为高曝光度，第四曝光度理解为中曝光度，将第五曝光度理解为低曝光度。

可以理解的是，第二摄像头采集多帧图像的过程是上一帧曝光未结束，就进行下一帧曝光。或者说第二摄像头采集多帧图像的过程是上一行曝光未结束就进行下一行的曝光。因此，两帧图像在同一曝光时间内会产生图像的部分重叠，诸如在预设的时间内产生重叠，或者说交叉。预设时间诸如为曝光时间的1/n，n可以为2、3、4、5等大于1的自然数。从而在同一行的曝光时间内第二摄像头所采集到的图像至少包括其中一帧完整图像，和一帧图像的一部分。

举例来说，如图8所示，曝光行L2的曝光时间T2开始于曝光开始C3，结束于曝光结束C4。曝光时间T2内一帧图像至少与另一帧图像部分重叠，或者说在一帧图像的曝光时间T1内，该帧图像与至少其他一帧图像部分重叠。诸如为相邻曝光时间内的两帧图像部分重叠。

第二摄像头将其采集到的多帧图像传输到多媒体处理芯片200的第一接口202，第一接口202可以将多帧图像直接传输到图像信号处理器210，由图像信号处理器210统计多帧图像的状态信息。具体可以通过图像信号处理器210的多个统计模块来统计多帧图像的状态信息，统计模块的个数可以与多帧图像的个数相同，诸如一统计模块统计一帧图像的状态信息。由于各帧图像在曝光时间上会产生重叠。每一次第二摄像头曝光不仅可以采集到一帧图像，还可以采集到另一帧图像的一部分，可以按照行的方式将第二摄像头采集到的一帧图像和另一帧图像的一部分传输到第一接口201，第一接口201可以通过其虚拟通道(VC)识别出各帧图像，以便于一个统计模块来统计一帧图像的状态信息。

诸如通过第一统计模块214统计第一帧图像的状态信息，通过第二统计模块216统计第二帧图像的状态信息。

可以理解的是，第一接口202也可以将多帧图像存储到多媒体处理芯片200的存储器，由图像信号处理器210从存储器获取该多帧图像，并统计该多帧图像的状态信息。

可以由神经网络处理器220可以从存储器中获取多帧图像，并对多帧图像进行HDR融合处理，诸如进行HDR神经网络优化学习，以合成RAW图像的HDR帧序列，即合成出融合图像。当然，神经网络处理器220也可以直接从图像信号处理器210获取多帧图像，并对其进行处理。可以将该融合图像定义为第二融合图像，该第二融合图像来源于第二摄像头所采集的多帧图像。

可以理解的是，相关技术中，进行HDR融合操作的过程都是基于YUV图像，在HDR融合处理后得到融合的图像的细节并不足够多。因此，本申请实施例基于RAW图像进行HDR融合处理，合成出的融合图像仍然是RAW图像，合成之后的融合图像的细节足够多，可以在更多细节上提升图像的质量。

需要说明的是，本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之前，可以先通过图像信号处理器210对多帧图像进行优化诸如坏点补偿、线性化等处理。本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之后，可以通过图像信号处理器210对融合图像进行位宽调整处理，还可以通过图像信号处理器210对融合图像进行亮度和颜色的调整处理。

还需要说明的是，本申请实施例多媒体处理芯片200在通过神经网络处理器220对多帧图像进行融合之后，还可以通过图像信号处理器210对融合图像进行其他处理，在此不再一一举例说明。

多媒体处理芯片200将状态信息和融合图像传输到应用处理芯片400。在实际传输过程中，可以通过同一接口诸如第二接口202的不同通路传输，也可以通过不同的接口传输。在实际传输过程中，可以同时传输状态信息和融合图像，也可以分时传输。

应用处理芯片400可以通过其第三接口402接收状态信息和融合图像。当然，应用处理芯片400还可以通过第三接口402和其他接口诸如PCIE接口接收状态信息和融合图像。应用处理芯片400可以对状态信息进行计算，诸如对自动白平衡状态信息和/或镜头阴影校正状态信息进行计算，得到自动白平衡状态参数和/或镜头阴影校正参数。应用处理芯片400基于自动白平衡状态参数可以对RAW域的融合图像进行白平衡处理，应用处理芯片400基于镜头阴影校正参数可以对RAW域的融合图像进行镜头阴影校正。需要说明的是，应用处理芯片400还可以对RAW域的融合图像进行其他处理，在此不再一一举例说明。

应用处理芯片400对RAW图像，或者说对RAW域的融合图像处理完成后，可以将RAW图像转换为YUV图像。

可以理解的是，应用处理芯片400还可以对YUV图像进行处理。在应用处理器400对YUV图像处理完成后，可以将YUV格式的融合图像存储到存储器和/或显示到显示屏800。

另外，应用处理芯片400还可以计算其他状态信息，诸如自动曝光状态信息、自动对焦状态信息，以计算出自动曝光参数和自动对焦参数。

应用处理芯片400将其计算出的自动曝光参数和自动对焦参数配置给第二摄像头，第二摄像头基于应用处理芯片400所计算出的自动曝光参数进行下一次的曝光，或者说第二次曝光。第二摄像头基于应用处理芯片400所计算出的自动对焦参数进行对焦。当然，第二摄像头的第二次曝光也可以基于设定的曝光参数进行曝光。

请参阅图10，图10为本申请实施例提供的电子设备进行HDR融合处理前的多帧图像和HDR融合后的融合图像。图10示出了电子设备20的摄像头600可以采集四帧图像诸如为第一图像、第二图像、第三图像和第四图像。第一图像、第二图像、第三图像和第四图像的曝光度依次增加。经过本申请实施例多媒体处理芯片200和应用处理芯片400的处理，得到融合图像。从而可以抑制过曝，提高前曝，改善图像质量。

基于电子设备20对图像的处理，下面从方法的角度进行描述。

请参阅图11，图11为本申请实施例提供的图像处理方法的流程示意图。

图像处理方法包括：

1001，通过多媒体处理芯片200统计多帧图像的状态信息，其中多帧图像均为RAW图像。其中，该多帧图像可以由摄像头诸如第一摄像头或第二摄像头采集得到。多媒体处理芯片200统计多帧图像的状态信息具有可以参阅以上内容，在此不再赘述。

1002，通过多媒体处理芯片200对多帧图像进行HDR融合处理，得到融合图像。多媒体处理芯片200对多帧图像进行HDR融合处理可以参阅以上内容，在此不再赘述。

1003，通过多媒体处理芯片200将状态信息和融合图像发送至应用处理芯片400。可以通过多媒体处理芯片200的接口诸如第二接口202将状态信息和融合图像传输到应用处理芯片400的第三接口402。当然，还可以通过其他接口诸如PCIE等。

1004，通过应用处理芯片200基于状态信息对融合图像进行后处理。应用处理芯片200可以基于自动白平衡状态信息计算出自动白平衡参数，以对融合图像进行白平衡处理。当然，应用处理芯片200还可以对融合图像进行其他处理，具有可以参阅以上内容，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的多媒体处理芯片、电子设备和图像处理方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种多媒体处理芯片，其特征在于，包括：

图像信号处理器，被配置为：

当摄像头采集多帧图像之后，统计所述多帧图像的状态信息，所述状态信息为自动曝光状态信息、自动白平衡状态信息、自动对焦状态信息和镜头阴影校正状态信息中的至少一者；和

神经网络处理器，被配置为：

在所述图像信号处理器统计所述状态信息后，对所述多帧图像进行HDR融合处理，得到融合图像；

接口，被配置为：

将所述状态信息和所述融合图像发送至应用处理芯片，以便所述应用处理芯片基于所述状态信息对所述融合图像进行后处理。

2.根据权利要求1所述的多媒体处理芯片，其特征在于，所述多帧图像均为RAW图像。

3.根据权利要求2所述的多媒体处理芯片，其特征在于，在一曝光时间内所述多帧图像不重叠，所述图像信号处理器包括一统计模块，所述统计模块被配置为：依次统计所述多帧图像的状态信息。

4.根据权利要求2所述的多媒体处理芯片，其特征在于，在一曝光时间内所述多帧图像部分重叠，所述图像信号处理器包括多个统计模块，且所述多个统计模块的个数与所述多帧图像的个数相同，所述多个统计模块中的一个统计模块用于统计一帧图像的状态信息。

5.根据权利要求2所述的多媒体处理芯片，其特征在于，所述多帧图像包括第一图像和第二图像，所述第一图像具有第一曝光度，所述第二图像具有第二曝光度，所述第一曝光度大于第二曝光度；或者

所述多帧图像包括第三图像、第四图像和第五图像，所述第三图像具有第三曝光度，所述第四图像具有第四曝光度，所述第五图像具有第五曝光度，所述第三曝光度大于第四曝光度，所述第四曝光度大于第五曝光度。

6.根据权利要求1至5任一项所述的多媒体处理芯片，其特征在于，所述图像信号处理器还被配置为：

在所述神经网络处理器对所述多帧图像进行HDR融合处理之前先对所述多帧图像进行优化处理；

所述神经网络处理器还被配置为：

对经优化处理后的所述多帧图像进行HDR融合处理。

7.根据权利要求6所述的多媒体处理芯片，其特征在于，所述图像信号处理器还被配置为：

在所述神经网络处理器对所述多帧图像进行HDR融合处理之后，对所述融合图像进行位宽调整处理，使得位宽调整后的图像与所述应用处理芯片所处理图像的位宽相同。

8.根据权利要求6所述的多媒体处理芯片，其特征在于，所述图像信号处理器还被配置为：

在所述神经网络处理器对所述多帧图像进行HDR融合处理之后，调整所述融合图像的颜色和亮度。

9.根据权利要求6所述的多媒体处理芯片，其特征在于，所述图像信号处理器对所述多帧图像进行优化处理包括：坏点补偿、线性化处理、黑电平校正中的至少一者。

10.一种电子设备，其特征在于，包括：

多媒体处理芯片，所述多媒体处理芯片为如权利要求1至9任一项所述的多媒体处理芯片；

应用处理芯片，与所述多媒体处理芯片通信连接，所述应用处理芯片被配置为：

接收所述多媒体处理芯片发送的状态信息和融合图像；

基于所述状态信息对所述融合图像进行后处理。

11.根据权利要求10所述的电子设备，其特征在于，所述电子设备还包括摄像头，所述状态信息包括自动曝光状态信息、自动白平衡状态信息、自动对焦状态信息和镜头阴影校正状态信息中的至少一者，所述应用处理芯片还被配置为：

计算所述自动对焦状态信息，得到自动对焦参数，将所述自动对焦参数配置给所述摄像头；和/或

计算所述自动曝光状态信息，得到自动曝光参数，将所述自动曝光参数配置给所述摄像头；和/或

计算所述自动白平衡状态信息，得到自动白平衡参数，基于所述自动白平衡参数对所述融合图像进行白平衡处理；和/或

计算镜头阴影校正状态信息，得到镜头阴影校正参数，基于所述镜头阴影校正参数对所述融合图像进行镜头阴影校正。

12.根据权利要求10所述的电子设备，其特征在于，所述摄像头包括第一摄像头，所述第一摄像头用于根据预设的曝光参数进行曝光，以采集多帧图像，其中所述预设的曝光参数由所述应用处理芯片配置给所述第一摄像头，所述应用处理芯片还用于将所述预设的曝光参数同步给所述多媒体处理芯片；

所述第一摄像头还用于将其采集到的多帧图像传输到多媒体处理芯片的接口，其中在一曝光时间内所述多帧图像不重叠。

13.根据权利要求10所述的电子设备，其特征在于，所述摄像头包括支持自动曝光的第二摄像头，所述第二摄像头用于根据设定的曝光参数进行曝光，以采集多帧图像，所述第二摄像头还用于将其采集到的多帧图像传输到多媒体处理芯片的接口，其中在一曝光时间内所述多帧图像部分重叠。

14.一种图像处理方法，其特征在于，包括：

当摄像头采集多帧图像之后，通过多媒体处理芯片统计所述多帧图像的状态信息，其中，所述多帧图像均为RAW图像；所述状态信息为自动曝光状态信息、自动白平衡状态信息、自动对焦状态信息和镜头阴影校正状态信息中的至少一者；

在所述多媒体处理芯片统计所述状态信息后，通过所述多媒体处理芯片对所述多帧图像进行HDR融合处理，得到融合图像；

通过所述多媒体处理芯片将所述状态信息和所述融合图像发送至应用处理芯片；

通过所述应用处理芯片基于所述状态信息对所述融合图像进行后处理。