CN113837937A - 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法 - Google Patents

Abstract

本申请实施例一种多媒体处理芯片、电子设备、图像融合方法和图像裁剪方法，多媒体处理芯片包括：图像信号处理模块，被配置为获取多路图像数据的状态信息；神经网络处理模块，被配置为对多路图像数据进行图像超分辨率算法处理；数字信号处理模块，被配置为对经图像超分辨率算法处理后的多路图像数据进行融合处理，得到融合图像；和接口模块，被配置为向应用处理芯片发送所述状态信息和所述融合图像。本申请实施例可以避免电子设备在显示图像时抖动。

Description

多媒体处理芯片、电子设备图像融合方法和图像裁剪方法

技术领域

本申请涉及电子技术领域，具体涉及一种多媒体处理芯片、电子设备图像融合方法和图像裁剪方法。

背景技术

随着用户对电子设备诸如智能手机的拍照技术的要求越来越高，电子设备上集成多个摄像头的方案也应运而生。相关技术中，电子设备基于变焦操作，可以逐个启动对应焦段的摄像头来采集图像，并由电子设备的图像信号处理模块对多个摄像头所采集到的图像数据进行融合处理，以提升图像显示质量。然而多个摄像头在变焦过程中电子设备所显示的图像会出现抖动的问题。

发明内容

本申请实施例提供了一种多媒体处理芯片、电子设备图像融合方法和图像裁剪方法，避免电子设备在显示图像时抖动。

第一方面，本申请实施例提供了一种多媒体处理芯片，其包括：

图像信号处理模块，被配置为获取多路图像数据的状态信息；

神经网络处理模块，被配置为对多路图像数据进行图像超分辨率算法处理；

数字信号处理模块，被配置为对经图像超分辨率算法处理后的多路图像数据进行融合处理，得到融合图像；和

接口模块，被配置为向应用处理芯片发送所述状态信息和所述融合图像。

第二方面，本申请实施例提供一种电子设备，其包括：

多个摄像头，被配置为以不同的焦段采集图像数据，得到多路图像数据；

多媒体处理芯片，所述多媒体处理芯片为如上所述的多媒体处理芯片，其中所述接口模块还被配置为接收所述多个摄像头的多路图像数据；和

应用处理芯片，被配置为基于所述状态信息对所述融合图像进行后处理。

第三方面，本申请实施例提供一种图像融合方法，其包括：

通过多媒体处理芯片获取多个摄像头的多路图像数据；

通过所述多媒体处理芯片获取所述多路图像数据的状态信息；

通过所述多媒体处理芯片对所述多路图像数据进行优化处理；

通过所述多媒体处理芯片对经优化处理后的多路图像数据进行图像超分辨率算法处理；

通过所述多媒体处理芯片对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理；

通过所述多媒体处理芯片对经位宽调整处理后的多路图像数据进行颜色校准处理；

通过所述多媒体处理芯片对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像；

基于状态信息，通过应用处理芯片对所述融合图像进行后处理。

第四方面，本申请实施例提供一种图像裁剪方法，其包括：

通过多媒体处理芯片获取多个摄像头的多路图像数据；

通过所述多媒体处理芯片获取所述多路图像数据的状态信息；

通过所述多媒体处理芯片对所述多路图像数据进行优化处理；

通过所述多媒体处理芯片对经优化处理后的多路图像数据进行图像超分辨率算法处理；

通过所述多媒体处理芯片对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理；

通过所述多媒体处理芯片对经位宽调整处理后的多路图像数据进行颜色校准处理；

通过所述多媒体处理芯片对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像；

根据变焦比例信息通过应用处理芯片对所述融合图像进行裁剪处理，得到裁剪图像；

基于状态信息，通过所述应用处理芯片对所述裁剪图像进行后处理。

本申请实施例电子设备在变焦过程中无需切换摄像头，可以解决电子设备在显示画面时的抖动问题，以实现平滑变焦的目的。且本申请可以由多媒体处理芯片先后对多路图像数据进行图像超分辨率算法处理和融合处理，再将融合图像向应用处理芯片发送。相比在应用处理芯片进行图像超分辨率算法处理和融合处理，本申请实施例在减少应用处理芯片的功耗的基础上，能够有效提升画面质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的电子设备的第一结构示意图。

图2为本申请实施例提供的电子设备的第二结构示意图。

图3为本申请实施例提供的多媒体处理芯片的结构示意图。

图4为本申请实施例提供的电子设备的第三结构示意图。

图5为本申请实施例提供的电子设备的信令图。

图6为本申请实施例提供的图像融合方法的流程示意图。

图7为本申请实施例提供的图像裁剪方法的流程示意图。

具体实施方式

本申请实施例提供一种多媒体处理芯片、电子设备、图像融合方法和裁剪方法。电子设备诸如为智能手机、平板电脑等具有图像处理功能的设备，基于该电子设备可以实现多路图像数据的融合，以提升图像质量，进而提升画面显示的质量。

下面请参阅附图，从本申请实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1为本申请实施例提供的电子设备的第一种结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600和多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为两个部件之间的通信连接关系，诸如采用无线连接的方式实现通信，再比如采用有线连接的方式实现通信。其中有线连接可以理解为信号线诸如导线连接，或者两个元器件直接焊接在一起。

其中，摄像头600可以采集图像数据，也可以将图像数据理解为图像信息。摄像头600可以为一个或多个，本申请实施例以摄像头600为多个进行说明，诸如摄像头600可以为两个、三个、四个等，各个摄像头600的焦段不同。诸如摄像头600包括焦段不同的第一摄像头、第二摄像头和第三摄像头，举例来说摄像头600包括主摄像头、广角摄像头和长焦摄像头。

需要说明的是，摄像头600类型并不限于此，电子设备20还可以包括微距摄像头或普通黑白摄像头中的至少一个。

其中，主摄像头可以用来拍摄大多数场景，从主摄像头中观察的画面与人眼看见的画面十分接近，通过主摄像头拍摄出的图像比较“写实”。长焦摄像头的焦段大于主摄像头的焦段，长焦摄像头可以拍摄相较于主摄像头更远处的对象，能有效突出主体需要拍摄的远距离的物体。广角摄像头的焦段小于主摄像头的焦段，广角摄像头拍摄的画面范围比主摄像头及长焦摄像头拍摄画面的范围大，可以增加主摄像头的拍摄角度和内容。

多个摄像头600可以均是电子设备20的后置摄像头，比如电子设备20具有三个焦段不同的后置摄像头。多个摄像头600也可以均是电子设备20的前置摄像头，比如电子设备20具有三个焦段不同的前置摄像头。当然，电子设备20还可以是具有多个焦段不同的前置摄像头，以及多个焦段不同的后置摄像头。

每一摄像头600可以包括图像传感器和镜头，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。每一摄像头600可以采集原始图像数据诸如RAW域数据，并可以将其采集到的图像数据传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理模块进行处理。

其中，图像数据可以为静态图像数据，也可以为动态图像数据。其中静态图像数据诸如为存储于存储器中的图片的数据、摄像头600所采集到的静态图像数据。其中动态图像数据可以为预览图像的数据、视频录制的数据、视频播放的数据。

多个摄像头600中的每一摄像头可采集一路图像数据，比如多个摄像头600的个数为三个，则可以采集到三路图像数据。即多个摄像头600的个数与图像数据是一一对应的关系，一个摄像头600可以对应采集一路图像数据。多个摄像头600采集到多路图像数据后，将该多路图像数据均传输到多媒体处理芯片200。本申请实施例在需要采集图像时，可以同时启动多个摄像头600，由多个摄像头600采集多路图像数据。可以理解为多个摄像头600分别以不同的焦段来采集图像数据。

多媒体处理芯片200可以对图像数据进行处理，多媒体处理芯片200可以处理来自地皮革摄像头600所采集的多路图像数据诸如多路动态图像数据。多媒体处理芯片200可将其处理结果通过其接口模块向应用处理芯片400发送，以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。从而可以提高图像的显示质量。

其中，多媒体处理芯片200对图像数据进行处理可以称为前处理、预处理等，应用处理芯片400对经多媒体处理芯片200处理过的图像数据进行处理可以称为后处理。

请参阅图2，图2为本申请实施例提供的电子设备的第二结构示意图。电子设备20还可以包括显示屏800，显示屏800可以与应用处理芯片400电连接。显示屏800可以显示画面，诸如显示屏800可以显示预览图像、视频录制图像、视频播放图像、照片等画面。需要说明的是，虽然图1和图2未示出，本申请实施例所限定的电子设备20还可以包括其他器件，诸如电池、扬声器、受话器等器件。

多媒体处理芯片200和应用处理芯片400对图像数据处理完后可以由显示屏800显示画面。当然，多媒体处理芯片200和应用处理芯片400对图像数据处理完后还可以将图像存储于电子设备20的存储器。

需要说明的是，本申请实施例多媒体处理芯片200所处理的图像数据可以为RAW图像数据，应用处理芯片200可以先对RAW图像数据进行处理，然后将RAW图像数据的格式转换为YUV图像数据格式，最后再将YUV图像数据进行存储和显示。RAW图像数据相比其他图像数据诸如YUV图像数据，RAW图像数据保留更多细节。本申请实施例对RAW图像数据进行处理可以在更多细节上提升图像质量。

相关技术中，采用变焦的方式可以是根据变焦操作，依次启动所需要的摄像头，并通过启动后的摄像头来采集图像。然而，不同焦段的摄像头在根据不同的变焦操作而在不同时间段启动时，即摄像头切换时，电子设备所显示的画面的视场角往往跳变严重，会引起画面卡端、抖动等问题。而且需要说明的是，相关技术中，对图像融合处理的方式可以是直接采用应用处理芯片的图像信号处理模块进行处理，然而，此方式对应用处理芯片中的图像信号处理模块的配置要求较高，会额外增加应用处理芯片中的图像信号处理模块的功耗。且应用处理芯片中的图像信号处理模块对图像数据的处理能力有限，不足以有效提升画面质量。

基于此，本申请实施例在需要进行变焦采集图像时，可以提前打开多个焦段不同的摄像头，以采集多路图像数据，然后由多媒体处理芯片200对该多路图像数据进行图像超分辨率算法处理和融合处理，以将融合后的图像向应用处理芯片400发送，再由应用处理芯片400进行后处理。

从而本申请实施例可以解决在接收到变焦操作后才启动摄像头或进行摄像头的切换会导致显示画面的卡顿、抖动等问题，同时本申请实施例可以根据需求设计所需要的多媒体处理芯片，以确保多媒体处理芯片200对图像数据具有较强的处理能力，可以有效提高处理后的图像数据的质量，诸如清晰度。同时可以保证一定的处理速度。这样就可以降低应用处理芯片400功耗，且可以大大提高图像的质量。

请参阅图3，图3为本申请实施例提供的多媒体处理芯片的结构示意图。其中，多媒体处理芯片200可以包括图像信号处理模块(Image Signal Processing，ISP)210、神经网络处理模块(Neural-network Processing Unit，NPU)220、数字信号处理模块、第一接口模块201和第二接口模块202。

多媒体处理芯片200至少基于神经网络处理模块220对图像数据诸如多路图像数据进行预处理，以得到预处理结果。比如多媒体处理芯片200基于神经网络处理模块220对图像数据诸如多路图像数据进行神经网络算法处理诸如图像超分辨率算法处理。

再比如多媒体处理芯片200基于图像信号处理模块210先对图像数据诸如多路图像数据进行优化处理，后由神经网络处理模块220对经优化处理后的图像数据诸如多路图像数据进行神经网络算法处理诸如图像超分辨率算法处理。

还比如多媒体处理芯片200基于图像信号处理模块210先对图像数据诸如多路图像数据进行优化处理，后由神经网络处理模块220对经优化处理后的图像数据诸如多路图像数据进行神经网络算法处理诸如图像超分辨率算法处理。然后再由图像信号处理模块210对经图像超分辨率算法处理后的图像数据诸如多路图像数据进行位宽调整处理。

还比如多媒体处理芯片200基于图像信号处理模块210先对图像数据诸如多路图像数据进行优化处理，后由神经网络处理模块220对经优化处理后的图像数据诸如多路图像数据进行神经网络算法处理诸如图像超分辨率算法处理。然后由图像信号处理模块210对经图像超分辨率算法处理后的图像数据诸如多路图像数据进行位宽调整处理，再由图像信号处理模块210对经位宽调整处理后的图像数据诸如多路图像数据进行颜色校准处理、亮度校正处理等。

需要说明的是，本申请实施例多媒体处理芯片200对多路图像数据进行预处理的方式并不限于此，以上仅为本申请实施例对多路图像数据进行预处理的几种具体举例说明，并不构成本申请实施例对多路图像数据进行预处理的限缩。还可以理解的是，本申请实施例多媒体处理芯片200也可以仅对一路图像数据进行预处理。

其中，多媒体处理芯片200所处理的多路图像数据来自多个摄像头600所采集的多路图像数据。诸如第一接口模块201与多个摄像头600通信连接，多个摄像头600所采集到的多路图像数据诸如可以传输到第一接口模块201。第一接口模块201还与图像信号处理模块210通信连接，第一接口模块201可以将其从多个摄像头600所接收到的多路图像数据传输到图像信号处理模块210。

需要说明的是，多媒体处理芯片200还可以处理其他图像数据，诸如多媒体处理芯片200所处理的图像数据由电子设备20的存储器传输到多媒体处理芯片200。诸如采用通过高速互联总线接口模块(PeripheralComponent Interconnect Express，PCIE)和/或低速互联总线接口模块传输。

图像信号处理模块210对多路图像数据进行优化处理包括线性化处理、坏点补偿和黑电平校正等优化处理中的至少一种。图像信号处理模块210可以将其优化处理后的结果存储到存储器诸如多媒体处理芯片200的存储器中。图像信号处理模块210也可以将其优化处理的结果直接传输到神经网络处理模块220。可以理解的是，多媒体处理芯片200的存储器可以外置。

需要说明的是，图像信号处理模块210对图像数据进行处理并不限于此，诸如对图像数据裁剪处理、缩小处理等。

神经网络处理模块220可以对多路图像数据进行神经网络算法处理诸如图像超分辨率算法处理，以提升图像质量。神经网络处理模块220对多路图像数据处理的结果可以存储到存储器诸如多媒体处理芯片200的存储器中。本申请一些实施例神经网络处理模块220可以采用图像超分辨率算法，基于深度学习，对低分辨率图像进行数级提升，将其转化为高分辨率图像。同时可以通过添加噪声来生成新的细节，兼顾从宏观到微观的效果，使生成的图像更加逼真、自然。

需要说明的是，神经网络处理模块220处理多路图像数据的效率高，对图像质量的提升明显。神经网络处理模块220在处理多路图像数据过程中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理模块220处理图像超分辨率所预设的时间为33ms，从而可以保证神经网络处理模块220在快速处理多路图像数据的基础上，可以实现数据的实时传输。

神经网络处理模块220神经网络算法对图像数据进行处理并不限于此，诸如神经网络处理模块220采用的神经网络算法还可以包括语义分割算法、HDR算法、降噪算法、夜景算法、模糊算法等。

需要说明的是，本申请实施例先由图像信号处理模块210对图像数据进行优化处理，诸如坏点补偿、线性化处理等不仅可以优化图像，提升图像质量，而且可以加快神经网络处理模块220的收敛速度。从而可以降低神经网络处理模块220处理多路图像数据所需的时间，实现快速、实时处理多路图像数据的目的。

当多媒体处理芯片200所处理多路图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，本申请实施例图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理。

举例来说，本申请实施例神经网络处理模块220对多路图像数据进行处理的位宽可以为第一位宽，诸如14比特(bit)、16比特。本申请实施例应用处理芯片400对图像数据进行处理的位宽可以为第二位宽，诸如为12比特。在神经网络处理模块220所处理多路图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，可以由图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理，以将多路图像数据的位宽调整与应用处理芯片400所需处理图像数据的位宽相同。

需要说明的是，由于本申请实施例多媒体处理芯片200对多路图像数据的处理过程中，可以理解的是，神经网络处理模块220对多路图像数据诸如RAW图像数据进行处理往往会改变RAW图像数据的状态信息。在多媒体处理芯片200对多路图像数据处理完成后，由于状态信息的损坏，应用处理芯片400可能无法对多媒体处理芯片200的处理结果进行后处理诸如对焦参数的计算、白平衡处理等。

基于此，本申请实施例在神经网络处理模块220对多路图像数据处理之前，先由图像信号处理模块210对多路图像数据进行处理，以获得多路图像数据的状态信息。诸如自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。图像信号处理模块210可以从多路图像数据中获取各种状态信息，诸如直接从多路图像数据中抽取出相位对焦状态信息，采用预设算法从多路图像数据中获取自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。需要说明的是，图像信号处理模块210还可以采用预设算法从多路图像数据中获取其他自动对焦状态信息诸如反差对焦状态信息。

其中，图像信号处理模块210可以通过Datatype标志分解出相位对焦状态信息。

由此本申请实施例在神经网络处理模块220对多路图像数据进行处理之前，先由图像信号处理模块210对多路图像数据统计和/或提取，以得到多路图像数据的各种状态信息。神经网络处理模块220再对多路图像数据处理时，仍然保留有各种状态信息，即使神经网络处理模块220处理后会改变多路图像数据的状态信息。应用处理芯片400仍然可以基于图像信号处理模块210所获得的各种状态信息进行各种处理。

为了进一步减少应用处理芯片400的功耗，本申请实施例还可以由数字信号处理模块230对经图像超分辨率算法处理后的多路图像数据进行融合处理，得到融合图像。然后再将融合图像发送到应用处理芯片400，并由应用处理芯片400对融合图像进行后处理。需要说明的是，本申请实施例多媒体处理芯片200在由数字信号处理模块230对多路图像数据进行融合处理之前，可以先由图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理。

需要说明的是，神经网络处理模块220对多路图像数据进行图像超分辨率算法处理后往往会改变图像数据的特性，诸如颜色，由数字信号处理模块230对多路图像数据进行融合处理前，可以先由图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行颜色校准处理，然后由数字信号处理模块230对经颜色校准处理后的多路图像数据进行融合处理。当然，图像信号处理模块210还可以对经图像超分辨率算法处理后的多路图像数据进行亮度校准处理。其他一些实施例中，图像信号处理模块210可以先对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理，然后再对经位宽调整处理后的多路图像数据进行颜色校准处理。

本申请实施例图像信号处理模块210、神经网络处理模块220和数字信号处理模块230均与系统总线240连接，以实现数据的传输。其中，多媒体处理芯片200的存储器也与系统总线连接。多媒体处理芯片200的存储器可以存储多个摄像头600所采集的多路图像数据、图像信号处理模块210所处理过的多路图像数据、神经网络处理模块220处理过的多路图像数据、数字信号处理模块230所处理过的融合图像的数据及其他数据。可以在多媒体处理芯片200内集成一个或多个存储访问控制器诸如直接存储访问控制器(Direct MemoryAccess,DMA)来实现图像数据的搬移。

请参阅图4，图4为本申请实施例提供的电子设备的第三种结构示意图。

图像信号处理模块210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息、自动曝光状态信息和镜头阴影校正状态信息等先存储到多媒体处理芯片200的存储器，然后再通过第二接口模块202传输到应用处理芯片400的第三接口模块402。需要说明的是，图像信号处理模块210可以将其获取到的状态信息诸如自动对焦状态信息、自动白平衡状态信息、自动曝光状态信息和镜头阴影校正状态信息等不存储到多媒体处理芯片200的存储器，而直接传输到第二接口模块202，并由第二接口模块202传输到第三接口模块402。当然，多媒体处理芯片200还可以通过其他接口模块将其所获取到的状态信息传输到应用处理芯片400的其他接口模块。

应用处理芯片400可以计算该自动白平衡状态信息，以计算出自动白平衡参数，并基于该自动白平衡参数对融合图像进行白平衡处理，以提升图像质量。应用处理芯片400可以计算该镜头阴影校正状态信息，以计算出镜头阴影校正参数，并基于该镜头阴影校正参数对融合图像进行镜头阴影校正，以提升图像质量。应用处理芯片400还可以计算自动曝光状态信息，以计算出自动曝光参数，并将该自动曝光参数配置给摄像头600。摄像头600可以基于该自动曝光参数进行曝光。应用处理芯片400还可以计算自动对焦状态信息诸如相位对焦信息，以计算出自动对焦参数，并将该自动对焦参数配置给摄像头600。摄像头600可以基于该自动对焦参数进行对焦。

第一接口模块201、第二接口模块202和第三接口模块402均可以为移动产业处理模块接口模块(Mobile Industry Processor Interface，MIPI)。本申请实施例第一接口模块201可以包括N路通路，N为大于2的自然数。诸如3、4。本申请实施例多个摄像头600所采集到的多路图像数据可以通过第一接口模块201的N路通路传输到应用处理芯片200。诸如多路图像数据的一路图像数据通过第一接口模块201的一路通路传输到应用处理芯片200。

可以理解的是，第一接口模块201可以与第二接口模块202的通路个数相同，第三接口模块402可以与第二接口模块202的通路个数相同。诸如第一接口模块201、第二接口模块202和第三接口模块402的通路个数均为3个或4个。需要说明的是第一接口模块201、第二接口模块202和第三接口模块402的通路个数也可以为其他个数。

本申请实施例融合图像可以通过第二接口模块202的其中一路或两路通路传输到第三接口模块对应的通路。可以理解的是，为了节省功耗，以及防止升温过高，本申请实施例可以采用第二接口模块202中的其中一部分诸如M路通路来传输融合图像。其中，M为小于N的正整数，诸如2。

由此，本申请实施例多媒体处理芯片200在融合图像传输到应用处理芯片400的过程中，第二接口模块202的N路通路中可以空闲出至少一路(N-M)路通路。N-M诸如为1。本申请实施例可以通过第二接口模块202的一路处于空闲状态的通路将状态信息诸如相位对焦状态信息等传输到第三接口模块402对应的通路。从而就可以节省多媒体处理芯片200和应用处理芯片400之间接口模块连接的个数，节省成本。当然，本申请其他一些实施例，也可以将状态信息和融合图像采用不同的接口模块传输到应用处理芯片400的不同接口模块。本申请其他一些实施例，也可以状态信息和融合图像采用同一接口模块诸如第二接口模块202的同一通路采用分时的方式传输到第三接口模块402对应的通路。

需要说明的是，第二接口模块202处于空闲状态的通路还可以传输其他数据。

其中，应用处理芯片400可以先对RAW图像数据进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的RAW图像数据进行格式转换，诸如将RAW图像数据转换为YUV图像数据的格式。进而可以通过显示屏800显示，也可以存储到电子设备20的存储器。可以理解的是，应用处理芯片400还可以对YUV图像数据进行图像处理。

请参阅图5，图5为本申请实施例提供的电子设备的信令图，结合图1至图4。本申请实施例电子设备处理图像的过程如下：

应用处理芯片400将自动曝光参数诸如自动曝光时间配置给多个摄像头600。需要说明的是，多个摄像头600也可以根据预设的曝光参数进行曝光。

同时，应用处理芯片400将自动曝光信息发送到多媒体处理芯片200，以告知多个摄像头600的曝光信息，譬如告知多媒体处理芯片200，多个摄像头600基于该自动曝光参数进行曝光，或者说多个摄像头600是由软件配置实现曝光。以便于多媒体处理芯片200在接收到多个摄像头600所采集的多路图像数据时，来区分多路图像数据的序列。

多个摄像头600接收到自动曝光参数后，基于该自动曝光参数进行曝光，采集多路图像数据。各路图像数据的焦段不同。该多路图像数据均为RAW图像数据。

多个摄像头600将其采集到的多路图像数据传输到多媒体处理芯片200的第一接口模块202，第一接口模块202可以将多路图像数据直接传输到图像信号处理模块210，由图像信号处理模块210获取多路图像数据的状态信息。第一接口模块202也可以将多路图像数据存储到多媒体处理芯片200的存储器，由图像信号处理模块210从存储器获取该多路图像数据，并获取该多路图像数据的状态信息。

可以由图像信号处理模块210对多路图像数据进行优化处理，诸如线性化处理、坏点补偿、黑电平校正等。像信号处理模块210可以将其优化处理后的多路图像数据直接传输到神经网络处理模块220，也可以先存储到存储器中。

可以由神经网络处理模块220对经优化处理后的多路图像数据进行图像超分辨率算法处理，以提高图像分辨率。

可以由图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理。

可以由图像信号处理模块210对经位宽调整处理后的多路图像数据进行颜色校准处理，还可以对经位宽调整处理后的多路图像数据进行亮度校准处理。

可以由数字信号处理模块230对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像。

可以理解的是，相关技术中，进行融合操作的过程都是基于YUV图像数据，在融合处理后得到融合的图像的细节并不足够多。因此，本申请实施例基于RAW图像进行融合处理，合成出的融合图像仍然是RAW图像数据，合成之后的融合图像的细节足够多，可以在更多细节上提升图像的质量。

多媒体处理芯片200将状态信息和融合图像传输到应用处理芯片400。在实际传输过程中，可以通过同一接口模块诸如第二接口模块202的不同通路传输，也可以通过不同的接口模块传输。在实际传输过程中，可以同时传输状态信息和融合图像，也可以分时传输。

应用处理芯片400可以通过其第三接口模块402接收状态信息和融合图像。当然，应用处理芯片400还可以通过第三接口模块402和其他接口模块诸如PCIE接口模块接收状态信息和融合图像。应用处理芯片400可以对状态信息进行计算，诸如对自动白平衡状态信息和/或镜头阴影校正状态信息进行计算，得到自动白平衡状态参数和/或镜头阴影校正参数。应用处理芯片400基于自动白平衡状态参数可以对RAW域的融合图像进行白平衡处理，应用处理芯片400基于镜头阴影校正参数可以对RAW域的融合图像进行镜头阴影校正。需要说明的是，应用处理芯片400还可以对RAW域的融合图像进行其他处理，在此不再一一举例说明。

应用处理芯片400对RAW图像数据，或者说对RAW域的融合图像处理完成后，可以将RAW图像数据转换为YUV图像数据。

可以理解的是，应用处理芯片400还可以对YUV图像数据进行处理。在应用处理模块400对YUV图像数据处理完成后，可以将YUV格式的融合图像存储到存储器和/或显示到显示屏800。

另外，应用处理芯片400还可以计算其他状态信息，诸如自动曝光状态信息、自动对焦状态信息，以计算出自动曝光参数和自动对焦参数。

应用处理芯片400将其计算出的自动曝光参数和自动对焦参数配置给多个摄像头600，摄像头600基于应用处理芯片400所计算出的自动曝光参数进行下一次的曝光，或者说第二次曝光。摄像头600基于应用处理芯片400所计算出的自动对焦参数进行对焦。

需要说明的是，本申请实施例应用处理芯片400在获取到融合图像后可以先对融合图像进行裁剪处理，得到裁剪图像，再对裁剪图像进行其他诸如白平衡处理、镜头阴影校正处理等。

在预览图像过程中，当用户需要变焦采集图像时，用户可以触控电子设备20的显示屏800，电子设备20的显示屏800接收到触控操作后可以将该触控操作的相关信息发送给电子设备20的应用处理芯片400。可以理解的是，该触控操作可以理解为变焦操作、变焦指令。该触控操作相关的信息可以包括变焦比例信息和初始触控区域，即变焦指令可以包括变焦比例信息、初始触控区域和变焦区域。

变焦比例信息可以理解为变焦倍数。示例性的，广角摄像头的变焦倍数范围可以为0.5X-1.0X，主摄像头的变焦倍数范围可以为1.0X-2.0X，长焦摄像头变焦倍数范围可以为2.0X-30X。

可以理解的是，变焦比例信息包括变前的变焦比例信息和变焦后的变焦比例信息。

变焦前的变焦比例信息可以理解为初始变焦比例信息，比如用户启动多个摄像头时预览界面取景范围对应的变焦倍数，或者说多个摄像头在启动时预设的变焦倍数。诸如广角摄像头的初始变焦比例信息为0.5X的变焦倍数，主摄像头的初始变焦比例信息为1.0X的变焦倍数，长焦摄像头的初始变焦比例信息为2.0X的变焦倍数。

当应用处理模块410从显示屏800检测到变焦操作或者说变焦指令时，应用处理模块410获取该变焦指令相关的信息诸如变焦比例信息和初始触控区域。该应用处理模块410所获取到的变焦比例信息即为变焦后的变焦比例信息。其中，变焦后的变焦比例信息还可以是接收变焦控件的变焦操作所获取的信息。

比如：变焦操作为用户用通过点击预览界面中的任意区域对预览图像进行“放大”变焦区域或“缩小”变焦区域操作。可以理解的是，“放大”或“缩小”的变焦区域可以通过获取用户与预览界面之间至少两个触控点的距离变化实现，变焦的过程中，两个触控点的距离变化差值可以与变焦倍数一一对应，如检测到两个触控点的距离变化差值大于0，则说明用户需要“放大”对应区域的拍摄内容，即增大变焦倍数，如检测到两个触控点的距离变化差值小于0，则说明用户需要“缩小”对应区域的拍摄内容，即缩小变焦倍数。

初始触控区域可以理解为通过检测用户点击预览图像的坐标对应的区域，即用户需要变焦区域的中心位置，可以理解为用户需要放大或缩小区域的中心位置。若用户通过变焦控件触发变焦操作，变焦区域可以为主摄像头采集的图像数据中的焦点参数。

变焦区域可以理解为触控操作由初始状态至最终状态所界定的区域。诸如用户用两个手指点击预览图像的预设位置，然后从该预设位置开始在预览图像上滑动，以改变两个手指之间的间距。其中，被点击的预设位置可以理解为初始触控区域，以该初始触控区域为中心、并在滑动操作后所形成的区域可以理解为变焦区域。

应用处理芯片400可以根据该变焦指令对经融合处理后的图像进行裁剪处理。应用处理芯片400根据初始触控区域和对焦区域来确定裁剪区域，图应用处理芯片400根据该裁剪区域对图像进行裁剪，并将裁剪后的图像显示到显示屏800进行预览。从而用户可以根据对融合后的图像中的某一个区域的需求，通过应用处理芯片400对图像的裁剪以得到用户所需求的区域。

需要说明的是，电子设备20基于变焦指令对融合后的图像进行裁剪需要由应用处理芯片400进行处理。从而就会增加图像信号处理模块420的工作量和功耗。为了降低图像信号处理模块420的功耗，本申请实施例可以将对图像进行裁剪处理的工序在多媒体处理芯片200中执行。诸如当应用处理模块410接收到变焦指令时，控制多媒体处理模块200中的图像信号处理模块210对优化处理后的多路图像分别进行裁剪处理，即在图像信号处理模块210对多路图像数据进行优化处理后先由图像信号处理模块210对每一路图像数据进行裁剪，以得到裁剪后的多路图像数据。然后再由神经网络处理模块220对经裁剪后的多路图像数据进行图像超分辨率算法处理，数字信号处理模块230对经图像超分辨率算法处理后的多路图像数据进行融合处理，以将其融合后的图像传输到应用处理芯片400。

当然，还可以是在数字信号处理模块230对图像进行融合处理后由图像信号处理模块210进行裁剪处理。

可以理解的是，本申请实施例所提供的电子设备20的多媒体处理芯片200为电子设备20中专用于处理图像数据的芯片。该多媒体处理芯片200可以根据实际需要来集成不同的模块以及提升其算力，从而可以增加其对图像数据的处理能力，以及加快其对图像数据的处理速率。进而可以大大减轻应用处理芯片400中图像信号处理模块420的功耗，且可以大大提升电子设备20对图像数据的处理能力。

因此，本申请实施例基于该电子设备20所限定的多个摄像头600、多媒体处理芯片200和应用处理芯片400可以实现图像数据的融合及裁剪。下面基于该电子设备对图像数据进行融合以及裁剪的方法的角度进行描述。

请参阅图6，图6为本申请实施例提供的图像融合方法的流程示意图。结合图1至图5，图像融合方法可以包括：

6001，通过多媒体处理芯片200获取多个摄像头600的多路图像数据。在需要进行变焦预览图像时，可以通过应用处理芯片400控制多个焦段不同的摄像头来采集图像，以得到多路图像数据。多个摄像头600采集多路图像数据后可以将该多路图像数据传输到多媒体处理芯片200的第一接口模块201。

6002，通过多媒体处理芯片200获取多路图像数据的状态信息。可以通过图像信号处理模块210获取多路图像数据的状态信息。状态信息可以通过多媒体处理芯片200的接口模块诸如第二接口模块202或其他接口模块传输到应用处理芯片400。

6003，通过多媒体处理芯片200对多路图像数据进行优化处理。可以通过图像信号处理模块210对多路图像数据进行优化处理，诸如线性化处理、坏点补偿和黑电平校正等优化处理。

6004，通过多媒体处理芯片200对经优化处理后的多路图像数据进行图像超分辨率算法处理。可以通过神经网络处理模块220对经优化处理后的多路图像数据进行图像超分辨率算法处理。

6005，通过多媒体处理芯片200对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理。可以通过图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理，以确保多媒体处理芯片200处理完的数据的位宽与应用处理芯片400对所需处理图像的位宽相同。

6006，通过多媒体处理芯片200对位宽调整处理后的多路图像数据进行颜色校准处理。可以通过图像信号处理模块210对经位宽调整处理后的多路图像数据进行颜色校准处理，以保证各路颜色一致。需要说明的是，图像信号处理模块210还可以对经位宽调整处理后的多路图像数据进行亮度校准处理。

6007，通过多媒体处理芯片200的对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像。可以通过数字信号处理模块230对经颜色校准处理后的多路图像数据进行融合处理，以生成融合图像，或者说得到一张大图。融合图像可以通过多媒体处理芯片200的接口模块诸如第二接口模块202传输到应用处理芯片400的第三接口模块402。

6008，基于状态信息，通过应用处理芯片400对融合图像进行后处理。诸如白平衡处理、镜头阴影校正处理等。

请参阅图7，图7为本申请实施例提供的图像裁剪方法的流程示意图。结合图1至图5，图像裁剪方法可以包括：

7001，通过多媒体处理芯片200获取多个摄像头600的多路图像数据。在需要进行变焦预览图像时，可以通过应用处理芯片400控制多个焦段不同的摄像头来采集图像，以得到多路图像数据。多个摄像头600采集多路图像数据后可以将该多路图像数据传输到多媒体处理芯片200的第一接口模块201。

7002，通过多媒体处理芯片200获取多路图像数据的状态信息。可以通过图像信号处理模块210获取多路图像数据的状态信息。状态信息可以通过多媒体处理芯片200的接口模块诸如第二接口模块202或其他接口模块传输到应用处理芯片400。

7003，通过所述多媒体处理芯片200对多路图像数据进行优化处理。可以通过图像信号处理模块210对多路图像数据进行优化处理，诸如线性化处理、坏点补偿和黑电平校正。

7004，通过多媒体处理芯片200对经优化处理后的多路图像数据进行图像超分辨率算法处理。可以通过神经网络处理模块220对经优化处理后的多路图像数据进行图像超分辨率算法处理。

7005，通过多媒体处理芯片200对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理。可以通过图像信号处理模块210对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理，以确保多媒体处理芯片200处理完的数据的位宽与应用处理芯片400对所需处理图像的位宽相同。

7006，通过多媒体处理芯片200对经位宽调整处理后的多路图像数据进行颜色校准处理。可以通过图像信号处理模块210对经位宽调整处理后的多路图像数据进行颜色校准处理，以保证各路颜色一致。需要说明的是，图像信号处理模块210还可以对经位宽调整处理后的多路图像数据进行亮度校准处理。

7007，通过多媒体处理芯片200对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像。可以通过数字信号处理模块230对经颜色校准处理后的多路图像数据进行融合处理，以生成融合图像，或者说一张大图。融合图像可以通过多媒体处理芯片200的接口模块诸如第二接口模块202传输到应用处理芯片400的第三接口模块402。

7008，根据变焦比例信息通过应用处理芯片200对融合图像进行裁剪处理，得到裁剪图像。当触发变焦时，应用处理芯片200可以获取到变焦比较信息，并根据该变焦比例进行对融合图像进行裁剪处理，以从融合图像中裁剪出裁剪图像。

7009，基于状态信息，通过应用处理芯片200对裁剪图像进行后处理。诸如白平衡处理、镜头阴影校正处理等。

从而，本申请实施例就可以减少应用处理芯片400的功耗，同时还增加了对图像处理的能力和速度。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种多媒体处理芯片、电子设备、图像融合方法和图像裁剪方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种多媒体处理芯片，其特征在于，包括：

图像信号处理模块，被配置为获取多路图像数据的状态信息；

神经网络处理模块，被配置为对多路图像数据进行图像超分辨率算法处理；

数字信号处理模块，被配置为对经图像超分辨率算法处理后的多路图像数据进行融合处理，得到融合图像；和

接口模块，被配置为向应用处理芯片发送所述状态信息和所述融合图像。

2.根据权利要求1所述的多媒体处理芯片，其特征在于，所述图像信号处理模块还被配置为在所述神经网络处理模块对所述多路图像数据进行图像超分辨率算法处理之前，对所述多路图像数据进行优化处理；

所述神经网络处理模块还被配置为对经优化处理后的多路图像数据进行超分辨率算法处理。

3.根据权利要求2所述的多媒体处理芯片，其特征在于，所述图像信号处理模块还被配置为在所述神经网络处理模块对所述多路图像数据进行图像超分辨率算法处理之后，对所述多路图像数据进行位宽调整处理；

所述数字信号处理模块还被配置为对经位宽调整处理后的多路图像数据进行融合处理。

4.根据权利要求2所述的多媒体处理芯片，其特征在于，所述图像信号处理模块还被配置为在所述神经网络处理模块对所述多路图像数据进行图像超分辨率算法处理之后，对所述多路图像数据进行位宽调整处理，对经位宽调整处理后的多路图像数据进行颜色校准处理；

所述数字信号处理模块还被配置为对经颜色校准处理后的多路图像数据进行融合处理。

5.根据权利要求1至4任一项所述的多媒体处理芯片，其特征在于，所述多路图像数据均为RAW图像数据。

6.根据权利要求1至4任一项所述的多媒体处理芯片，其特征在于，所述状态信息包括自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息和镜头阴影校正状态信息中的至少一者。

7.根据权利要求1至4任一项所述的多媒体处理芯片，其特征在于，所述状态信息和融合图像通过一所述接口模块的不同通路向所述应用处理芯片发送；或者

所述状态信息和融合图像通过一所述接口模块的同一通路分时向所述应用处理芯片发送；或者

所述状态信息和融合图像不同接口模块向所述应用处理芯片发送。

8.一种电子设备，其特征在于，包括：

多个摄像头，被配置为以不同的焦段采集图像数据，得到多路图像数据；

多媒体处理芯片，所述多媒体处理芯片为如权利要求1至7任一项所述的多媒体处理芯片，其中所述接口模块还被配置为：接收所述多个摄像头的多路图像数据；和

应用处理芯片，被配置为基于所述状态信息对所述融合图像进行后处理。

9.根据权利要求8所述的电子设备，其特征在于，所述应用处理芯片还被配置为根据变焦比例信息以初始触控区域为中心对所述融合图像进行裁剪处理，得到裁剪图像；或者

根据变焦比例信息以所述融合图像的中心对所述融合图像进行裁剪处理，得到裁剪图像。

10.根据权利要求9所述的电子设备，其特征在于，所述状态信息包括自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息和镜头阴影校正状态信息中的至少一者；

所述应用处理芯片还被配置为：

计算自动白平衡状态信息，得到自动白平衡参数，基于自动白平衡参数对所述裁剪图像进行白平衡处理；和/或

计算镜头阴影校正状态信息，得到镜头阴影校正参数，基于镜头阴影校正参数对所述裁剪图像进行镜头阴影校正；和/或

计算自动曝光状态信息，得到自动曝光参数，将所述自动曝光参数配置给所述多个摄像头；和/或

计算自动对焦状态信息，得到自动对焦参数，将所述自动对焦参数配置给所述多个摄像头；

所述多个摄像头还被配置为：基于所述自动对焦参数进行对焦；

基于所述自动曝光参数，进行曝光。

11.根据权利要求9或10所述的电子设备，其特征在于，所述电子设备还包括显示屏，所述显示屏用于显示所述裁剪图像。

12.根据权利要求9或10所述的电子设备，其特征在于，所述多个摄像头包括第一摄像头、第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头的焦段不同；

所述接口模块至少包括第一接口模块和第二接口模块，所述多个摄像头的一路图像数据由所述第一接口模块的一路通道向所述多媒体处理芯片发送；

所述融合图像由所述第二接口模块的一路通道向应用处理芯片发送。

13.一种图像融合方法，其特征在于，包括：

通过多媒体处理芯片获取多个摄像头的多路图像数据；

通过所述多媒体处理芯片获取所述多路图像数据的状态信息；

通过所述多媒体处理芯片对所述多路图像数据进行优化处理；

通过所述多媒体处理芯片对经优化处理后的多路图像数据进行图像超分辨率算法处理；

通过所述多媒体处理芯片对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理；

通过所述多媒体处理芯片对经位宽调整处理后的多路图像数据进行颜色校准处理；

通过所述多媒体处理芯片对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像；

基于状态信息，通过应用处理芯片对所述融合图像进行后处理。

14.一种图像裁剪方法，其特征在于，包括：

通过多媒体处理芯片获取多个摄像头的多路图像数据；

通过所述多媒体处理芯片获取所述多路图像数据的状态信息；

通过所述多媒体处理芯片对所述多路图像数据进行优化处理；

通过所述多媒体处理芯片对经优化处理后的多路图像数据进行图像超分辨率算法处理；

通过所述多媒体处理芯片对经图像超分辨率算法处理后的多路图像数据进行位宽调整处理；

通过所述多媒体处理芯片对经位宽调整处理后的多路图像数据进行颜色校准处理；

通过所述多媒体处理芯片对经颜色校准处理后的多路图像数据进行融合处理，得到融合图像；

根据变焦比例信息通过应用处理芯片对所述融合图像进行裁剪处理，得到裁剪图像；

基于状态信息，通过所述应用处理芯片对所述裁剪图像进行后处理。

Images