CN113840075B - 电子设备和基于电子设备的图像融合方法 - Google Patents

Abstract

本申请实施例一种电子设备和基于电子设备的图像融合方法，电子设备包括多个焦段不同的摄像头，每一摄像头分别用于采集图像数据；多媒体处理芯片，所述多媒体处理芯片用于接收每一摄像头所采集到的图像数据，并利用图像超分辨率算法对所述图像数据进行处理；和应用处理芯片，所述应用处理芯片用于接收所述多媒体处理芯片处理过的图像数据，并对所述多媒体处理芯片处理过的图像数据进行融合处理。本申请实施例避免电子设备在显示图像时抖动。

Description

电子设备和基于电子设备的图像融合方法

技术领域

本申请涉及电子技术领域，具体涉及一种电子设备和基于电子设备的图像融合方法。

背景技术

随着用户对电子设备诸如智能手机的拍照技术的要求越来越高，电子设备上集成多个摄像头的方案也应运而生。相关技术中，电子设备基于变焦操作，可以逐个启动对应焦段的摄像头来采集图像，并由电子设备的图像信号处理器对多个摄像头所采集到的图像数据进行融合处理，以提升图像显示质量。然而多个摄像头在变焦过程中电子设备所显示的图像会出现抖动的问题。

发明内容

本申请实施例提供了一种电子设备和基于电子设备的图像融合方法，避免电子设备在显示图像时抖动。

第一方面，本申请实施例提供了一种电子设备，包括：

多个焦段不同的摄像头，每一摄像头分别用于采集图像数据；

多媒体处理芯片，所述多媒体处理芯片用于接收每一摄像头所采集到的图像数据，并利用图像超分辨率算法对所述图像数据进行处理；和

应用处理芯片，所述应用处理芯片用于接收所述多媒体处理芯片处理过的图像数据，并对所述多媒体处理芯片处理过的图像数据进行融合。

第二方面，本申请实施例提供一种基于电子设备的图像融合方法，所述电子设备为如上所述的电子设备，所述图像融合方法包括：

获取多路图像数据；

利用图像超分辨率算法对多路图像数据进行处理；

对利用图像超分辨率算法处理后的多路图像数据进行融合处理。

本申请实施例电子设备在变焦过程中无需切换摄像头，可以解决电子设备在显示画面时的抖动问题，以实现平滑变焦的目的。且本申请可以由多媒体处理芯片利用图像超分辨率算法直接对多路图像数据进行处理，再由应用处理芯片进行融合处理，可以在减少应用处理芯片的功耗的基础上，可以有效提升画面质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的电子设备的第一种结构示意图。

图2是本申请实施例提供的电子设备的第二种结构示意图。

图3是本申请实施例提供的电子设备的第三种结构示意图。

图4是本申请实施例提供的基于电子设备的图像融合方法的第一流程示意图。

图5是本申请实施例提供的基于电子设备的图像融合方法的第二流程示意图。

图6是本申请实施例提供的基于电子设备的图像融合方法的第三流程示意图。

具体实施方式

本申请实施例提供一种电子设备和基于电子设备的图像融合方法。电子设备诸如为智能手机、平板电脑等具有图像处理功能的设备，基于该电子设备可以实现多路图像数据的融合，以提升图像质量，进而提升画面显示的质量。

下面请参阅附图，从本申请实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1为本申请实施例提供的电子设备的第一种结构示意图。电子设备20可包括多个摄像头600、多媒体处理芯片200和应用处理芯片400。多个摄像头600中的每一个摄像头600与多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为无线通信连接和有线通信连接，有线通信连接可以理解为电连接。其中电连接可以理解为两个元器件通过信号线诸如导线连接，或者两个元器件直接焊接在一起。

可理解的是，多个摄像头600中的每一个摄像头600均包括镜头和图像传感器，多个摄像头600均通过其图像传感器与多媒体处理芯片通信连接诸如电连接。多个摄像头600中的每一个摄像头600均可以通过图像传感器透过镜头采集图像，以得到图像数据诸如RAW图像数据。

多个摄像头600中的全部或部分摄像头600的焦段不同。比如电子设备20包括三个焦段不同的摄像头600，比如为主摄像头、广角摄像头和长焦摄像头。主摄像头可以用来拍摄大多数场景，从主摄像头中观察的画面与人眼看见的画面十分接近，通过主摄像头拍摄出的图像比较“写实”。长焦摄像头的焦段大于主摄像头的焦段，长焦摄像头可以拍摄相较于主摄像头更远处的对象，能有效突出主体需要拍摄的远距离的物体。广角摄像头的焦段小于主摄像头的焦段，广角摄像头拍摄的画面范围比其他摄像头拍摄画面的范围大，可以增加主摄像头的拍摄角度和内容。

在一些实施例中，多个摄像头600可以包括第一摄像头、第二摄像头和第三摄像头，第一摄像头、第二摄像头和第三摄像头的焦段逐渐增加。

电子设备20的多个焦段不同的摄像头600可以均是后置摄像头，比如电子设备20具有四个焦段不同的后置摄像头。电子设备20的多个焦段不同的摄像头600也可以均是前置摄像头，比如电子设备20具有三个焦段不同的前置摄像头。当然，电子设备20还可以是具有多个焦段不同的前置摄像头，以及多个焦段不同的后置摄像头。

需要说明的是，电子设备20的摄像头600的个数并不限于此，电子设备20所包括的摄像头600的个数还可以为四个、五个或更多个。比如电子设备20还可以包括微距摄像头、普通黑白摄像头以及TFO(Timeofflight)镜头中的至少一个。

多个摄像头600中的每一摄像头600分别用于采集图像数据，诸如用于采集一路图像数据，比如多个摄像头600的个数为三个，则可以采集到三路图像数据。即多个摄像头600的个数与图像数据是一一对应的关系，一个摄像头600可以对应采集一路图像数据。多个摄像头600采集到多路图像数据后，将该多路图像数据均传输到多媒体处理芯片200。本申请实施例在需要采集图像时，可以同时启动多个摄像头600，由多个摄像头600采集多路图像数据。

多媒体处理芯片200接收到来自多个摄像头600所采集到的多路图像数据后，多媒体处理芯片200可以对该多路图像数据进行前处理，诸如采用图像超分辨率算法对多路图像数据进行处理。多媒体处理芯片200对多路图像数据处理完之后，可以将其处理过的多路图像数据传输到应用处理芯片400，应用处理芯片400接收到由多媒体处理芯片200所处理过的数据后，应用处理芯片400可以对多路图像数据进行融合处理，以得到融合后的图像。

请参阅图2，图2为本申请实施例提供的电子设备的第二结构示意图。电子设备20还可以包括显示屏800，显示屏800可以与应用处理芯片400通信连接诸如电连接。显示屏800可以显示画面，诸如显示屏800可以显示预览图像、视频录制图像、视频播放图像、照片等画面。需要说明的是，虽然图1和图2未示出，本申请实施例所限定的电子设备20还可以包括其他器件，诸如电池、扬声器、受话器等器件。

本申请实施例应用处理芯片400可以对多路图像数据进行融合处理，可以将多路图像数据融合处理后而得到的图像诸如大图存储到电子设备20的存储器中，以及显示在显示屏800上。

需要说明的是，多媒体处理芯片200所处理的图像数据可以是RAW图像数据，应用处理芯片200所处理的图像数据也可以是RAW图像数据。在显示屏800显示融合后的图像之前。应用处理芯片400需先对图像进行格式转换，诸如将RAW图像数据转换为YUV图像数据，然后再由显示屏800显示。RAW图像数据相比其他图像数据诸如YUV图像数据，RAW图像数据保留的更多细节。本申请实施例对RAW图像数据进行图像超分辨率算法处理可以在更多细节上提升图像质量。可以理解的是，在应用处理芯片400将图像数据格式转换后可以将该图像进行存储。

相关技术中，采用变焦的方式可以是根据变焦操作，依次启动所需要的摄像头，并通过启动后的摄像头来采集图像。然而，不同焦段的摄像头在根据不同的变焦操作而在不同时间段启动时，即摄像头切换时，电子设备所显示的画面的视场角往往跳变严重，会引起画面卡端、抖动等问题。而且需要说明的是，相关技术中，对图像融合处理的方式可以是直接采用应用处理芯片进行融合处理，然而，此方式对应用处理芯片的配置要求较高，会额外增加应用处理芯片的功耗。且应用处理芯片对图像数据的处理能力有限，不足以有效提升画面质量。

基于此，本申请实施例在需要进行变焦采集图像时，可以提前打开多个焦段不同的摄像头600，以采集多路图像数据，然后由多媒体处理芯片200利用图像超分辨率算法对该多路图像数据进行处理，再由应用处理芯片400对该多路图像数据进行融合处理，以将融合后的图像显示到显示屏800上。从而本申请实施例可以解决在接收到变焦操作后才启动摄像头600或进行摄像头600的切换会导致显示画面的卡顿、抖动等问题，同时本申请实施例可以根据需求设计所需要的多媒体处理芯片，以确保多媒体处理芯片对图像数据具有较强的处理能力，可以有效提高处理后的图像数据的质量，诸如清晰度。同时可以保证一定的处理速度。这样就可以降低应用处理芯片400的功耗，且可以大大提高图像的质量。

请参阅图3，图3为本申请实施例提供的电子设备的第三结构示意图。

多媒体处理芯片200可以利用图像超分辨率算法对其所获取到的图像数据诸如RAW图像数据进行处理，以提升图像质量。诸如多媒体处理芯片200包括神经网络处理器(Neural-network Processing Unit，NPU)220，由神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理，神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。神经网络处理器220在数据流中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理器220处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理器220在快速处理图像数据的基础上，可以实现数据的实时传输。

神经网络处理器220采用图像超分辨率算法对多路图像数据进行处理，可以提高多路图像数据的图像质量。在一些实施例中，神经网络处理器220采用神经网络算法，基于深度学习，可以对低分辨率图像进行数级提升，将其转化为高分辨率图像。同时可以通过添加噪声来生成新的细节，兼顾从宏观到微观的效果，使生成的图像更加逼真、自然。

多媒体处理芯片200所获取到的多路图像数据若直接由神经网络处理器220利用图像超分辨率算法对其进行处理，可能导致数据失真，图像质量变差等问题。基于此，本申请实施例多媒体处理芯片200在接收到多路图像数据后可以先由图像信号处理器210对多路图像数据进行统计处理。

图像信号处理器210对多路图像数据进行统计处理可以统计出状态信息，然后将状态信息发送到应用处理芯片400。该状态信息可以包括自动对焦状态信息(AF stats)、自动白平衡状态信息(AWB stats)和自动曝光状态信息(AE stats)，可以简称为3A状态信息。需要说明的是，状态信息并不限于此，诸如状态信息还可以包括阴影校正状态信息，可以理解为镜头阴影校正(Lens Shade Correction，LSC)状态信息。自动白平衡状态信息可以理解为白平衡处理所需的状态信息，自动曝光状态信息可以理解为曝光所需的状态信息，自动对焦状态信息可以理解为对焦所需的状态信息，镜头阴影校正状态信息可以理解为镜头阴影校正所需的状态信息。

当神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理后，应用处理芯片400可以基于该状态信息对多媒体处理芯片200所处理过的多路图像数据先进行通用算法进行预处理，然后再对预处理后的多路图像数据进行融合处理，以得到融合后的图像，诸如可以将其定义为一张大图。

在预览图像或录制视频过程中，往往需要实时传输图像数据。为了确保多媒体处理芯片200对多路图像数据的处理速率，本申请实施例可以通过图像信号处理器200先对多路图像数据进行优化处理诸如坏点补偿、黑电平校正、线性化处理等，以加快神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理的收敛速率。从而可以减少神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理的时间，以确保图像数据的实时传输，避免出现卡顿等问题。

需要说明的是，图像信号处理器210在神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理之前，图像信号处理器210对多路图像数据进行优化处理并不限于坏点补偿、黑电平校正及线性化处理。诸如图像信号处理器210对多路图像数据进行优化处理还可以包括裁剪(Crop)处理、缩小(Bayerscaler)处理。

可以理解的是，图像信号处理器210对多路图像数据进行优化诸如坏点补偿、黑电平校正及线性化处理之后，应用处理芯片400无需再对多路图像数据进行优化处理。即应用处理芯片400多媒体处理芯片200可以对图像数据进行差异化处理。需要说明的是，应用处理芯片400和多媒体处理芯片200也可以进行相同的处理，诸如多媒体处理芯片200和应用处理芯片400都对图像数据进行统计处理，都对图像数据进行降噪处理等。

神经网络处理器220利用图像超分辨率算法对多路图像数据进行处理之后，得到的多路图像数据具有一定为位宽，诸如该位宽为20bit(比特)。而应用处理芯片400对多路图像数据进行处理的位宽具有一定的要求，诸如应用处理芯片400对多路图像数据进行处理的位宽要限定在14bit。因此，在神经网络处理器220利用图像超分辨率算法对多路图像数据进行AI超分算法处理之后而得到的多路图像数据的位宽与应用处理芯片400对多路图像数据进行处理的位宽要求不同时，则可以通过图像信号处理器210对利用图像超分辨率算法处理之后的多路图像数据进行位宽调整处理，以使得位宽调整处理后的多路图像数据的位宽符合应用处理芯片400对多路图像数据进行处理的位宽。

其中神经网络处理器220和图像信号处理器210可以通过系统总线230连接。图像信号处理器210和多个摄像头600可以通过第一接口201连接，第一接口201可以具有多路通路，每一路通路可以传输一路图像数据。图像信号处理器210与第二接口202连接，第二接口202具有多路通路，每一路通路可以传输一路图像数据。第二接口202和第三接口401连接，第三接口401也具有多路通路，每一路通路可以接收一路图像数据。

其中，第一接口201、第二接口202和第三接口401均可以为移动产业处理器接口(Mobile Industry Processor Interface，MIPI)。

本申请实施例多个摄像头600所采集的多路图像数据可以通过第一接口201传输到多媒体处理芯片200，由多媒体处理芯片200对该多路图像数据处理，多媒体处理芯片200处理后的图像数据可以由第二接口202传输到第三接口401，应用处理芯片400可以对传输到第三接口401的多路图像数据进行进一步处理。

需要说明的是，多媒体处理芯片200和应用处理芯片400还可以采用其他接口连接，诸如高速互连总线接口(PeripheralComponent Interconnect Express，PCIE)或/和低速互连总线接口，PCIE也可以称为高速外围组件互连接口，外部设备互连总线接口，其是一种高速串行计算机扩展总线标准的接口。

多媒体处理芯片200可以包括有存储器，以存储多个摄像头600所采集的多路图像数据、图像信号处理器210所处理过的多路图像数据、神经网络处理器220处理过的多路图像数据及其他数据。可以在多媒体处理芯片200内集成一个或多个存储访问控制器诸如直接存储访问控制器(Direct Memory Access,DMA)来实现图像数据的搬移。其中，多媒体处理芯片200的存储器可以内置，也可以外置。

应用处理芯片400可以包括存储器，以存储多媒体处理芯片200所处理过的图像数据及其他数据。可以在应用处理芯片400内集成一个或多个存储访问控制器诸如直接存储访问控制器来实现图像数据的搬移。其中，应用处理芯片400的存储器可以内置，也可以外置。

在预览图像过程中，当用户需要变焦采集图像时，用户可以触控电子设备20的显示屏800，电子设备20的显示屏800接收到触控操作后可以将该触控操作的相关信息发送给电子设备20的应用处理芯片400。可以理解的是，该触控操作可以理解为变焦操作、变焦指令。该触控操作相关的信息可以包括变焦比例信息和初始触控区域，即变焦指令可以包括变焦比例信息、初始触控区域和变焦区域。

变焦比例信息可以理解为变焦倍数。示例性的，广角摄像头的变焦倍数范围可以为0.5X-1.0X，主摄像头的变焦倍数范围可以为1.0X-2.0X，长焦摄像头变焦倍数范围可以为2.0X-30X。

可以理解的是，变焦比例信息包括变前的变焦比例信息和变焦后的变焦比例信息。

变焦前的变焦比例信息可以理解为初始变焦比例信息，比如用户启动多个摄像头600时预览界面取景范围对应的变焦倍数，或者说多个摄像头在启动时预设的变焦倍数。诸如广角摄像头的初始变焦比例信息为0.5X的变焦倍数，主摄像头的初始变焦比例信息为1.0X的变焦倍数，长焦摄像头的初始变焦比例信息为2.0X的变焦倍数。

当应用处理芯片400从显示屏800检测到变焦操作或者说变焦指令时应用处理芯片400获取该变焦指令相关的信息诸如变焦比例信息和初始触控区域。该应用处理芯片400所获取到的变焦比例信息即为变焦后的变焦比例信息。其中，变焦后的变焦比例信息还可以是接收变焦控件的变焦操作所获取的信息。

比如：变焦操作为用户用通过点击预览界面中的任意区域对预览图像进行“放大”变焦区域或“缩小”变焦区域操作。可以理解的是，“放大”或“缩小”的变焦区域可以通过获取用户与预览界面之间至少两个触控点的距离变化实现，变焦的过程中，两个触控点的距离变化差值可以与变焦倍数一一对应，如检测到两个触控点的距离变化差值大于0，则说明用户需要“放大”对应区域的拍摄内容，即增大变焦倍数，如检测到两个触控点的距离变化差值小于0，则说明用户需要“缩小”对应区域的拍摄内容，即缩小变焦倍数。

初始触控区域可以理解为通过检测用户点击预览图像的坐标对应的区域，即用户需要变焦区域的中心位置，可以理解为用户需要放大或缩小区域的中心位置。若用户通过变焦控件触发变焦操作，变焦区域可以为主摄像头采集的图像数据中的焦点参数。

变焦区域可以理解为触控操作由初始状态至最终状态所界定的区域。诸如用户用两个手指点击预览图像的预设位置，然后从该预设位置开始在预览图像上滑动，以改变两个手指之间的间距。其中，被点击的预设位置可以理解为初始触控区域，以该初始触控区域为中心、并在滑动操作后所形成的区域可以理解为变焦区域。

应用处理芯片400可以根据该变焦指令对融合处理后的图像进行裁剪处理。应用处理芯片400根据初始触控区域和对焦区域来确定裁剪区域，应用处理芯片400根据该裁剪区域对融合后得到的图像进行裁剪，并将裁剪后的图像显示到显示屏800进行预览。从而用户可以根据对融合后的图像中的某一个区域的需求，通过应用处理芯片400对融合后的图像的裁剪以得到用户所需求的区域。

需要说明的是，应用处理芯片400还可以基于变焦比例信息以融合后的图像为中心对融合后的图像进行裁剪处理。

需要说明的是，电子设备20基于变焦指令对融合后的图像进行裁剪需要由应用处理芯片400进行处理。从而就会增加应用处理芯片400的工作量和功耗。为了降低应用处理芯片400的功耗，本申请实施例可以将对图像进行裁剪处理的工序在多媒体处理芯片200中执行。诸如当应用处理芯片400接收到变焦指令时，控制多媒体处理器200中的图像信号处理器210对优化处理后的多路图像分别进行裁剪处理，即在图像信号处理器210对多路图像数据进行优化处理后先由图像信号处理器210对每一路图像数据进行裁剪，以得到裁剪后的多路图像数据。然后再由神经网络处理器220利用图像超分辨率算法对裁剪后的多路图像数据进行处理。应用处理芯片400接收到该利用图像超分辨率算法处理后的多路图像数据后，可以由应用处理芯片400对其进行融合处理，以将其融合后的图像显示到显示屏800。

可以理解的是，本申请实施例所提供的电子设备20的多媒体处理芯片200为电子设备20中专用于处理图像数据的芯片。该多媒体处理芯片200可以根据实际需要来集成不同的模块以及提升其算力，从而可以增加其对图像数据的处理能力，以及加快其对图像数据的处理速率。进而可以大大减轻应用处理芯片400的功耗，且可以大大提升电子设备20对图像数据的处理能力。

应用处理芯片400在对图像数据进行融合处理之前，可以先基于自动对焦状态信息计算出自动对焦参数，并将自动对焦参数配置给多个摄像头600，以便于多个摄像头600进行对焦。还可以先基于自动曝光状态信息计算自动曝光参数，并将自动曝光参数配置给多个摄像头600，以便于多个摄像头600进行下一次的曝光。还可以先基于自动白平衡状态信息计算出自动白平衡参数，并基于自动白平衡参数对图像数据诸如由多媒体处理芯片200处理过的图像数据进行白平衡处理，以提升图像质量。还可以先基于镜头阴影校正状态信息计算出镜头阴影校正参数，并基于镜头阴影校正参数对图像数据诸如由多媒体处理芯片200处理过的图像数据进行校正处理，以提升图像质量。

因此，本申请实施例基于该电子设备20所限定的多个摄像头600、多媒体处理芯片200和应用处理芯片400可以实现图像数据的融合。下面基于该电子设备对图像数据进行融合的方法的角度进行描述。

请参阅图4，图4为本申请实施例提供的基于电子设备的图像融合方法的第一流程示意图。基于以上电子设备诸如电子设备20的图像融合方法可以包括：

4001，获取多路图像数据。在需要进行变焦预览图像时，可以通过应用处理芯片400控制多个焦段不同的摄像头600来采集图像，以得到多路图像数据。多个摄像头诸如多个摄像头600采集多路图像数据后可以将该多路图像数据传输到多媒体处理芯片200。

4002，利用图像超分辨率算法对多路图像数据进行处理。多媒体处理芯片200在获取到多路图像数据后，可以对该多路图像数据进行一系列的处理，诸如统计处理、优化处理、利用图像超分辨率算法处理、位宽调整处理等。多媒体处理芯片200可以将其处理过的多路图像数据均传输到应用处理芯片400。

4003，对利用图像超分辨率算法处理后的多路图像数据进行融合处理。应用处理芯片400在接收到多媒体处理芯片200所处理过的数据后，可以由应用处理芯片400对该多路图像数据一系列不同于多媒体处理芯片200进行处理的处理。诸如应用处理芯片400对该多路图像数据进行校正处理、融合处理等。

融合处理后所得到的图像可以由显示屏800显示。

请参阅图5，图5为本申请实施例提供的基于电子设备的图像融合方法的第二流程示意图。基于以上电子设备诸如电子设备20的图像融合方法可以包括：

5001，获取多路图像数据。在需要进行变焦预览图像时，可以通过应用处理芯片400控制多个焦段不同的摄像头600来采集图像，以得到多路图像数据。多个摄像头诸如多个摄像头600采集多路图像数据后可以将该多路图像数据传输到多媒体处理芯片200。

5002，利用图像超分辨率算法对多路图像数据进行处理。多媒体处理芯片200在获取到多路图像数据后，可以对该多路图像数据进行一系列的处理，诸如统计处理、优化处理、利用图像超分辨率算法处理、位宽调整处理等。多媒体处理芯片200可以将其处理过的多路图像数据均传输到应用处理芯片400。

5003，对利用图像超分辨率算法处理后的多路图像数据进行融合处理。应用处理芯片400在接收到多媒体处理芯片200所处理过的数据后，可以由应用处理芯片400对该多路图像数据一系列不同于多媒体处理芯片200进行处理的处理。诸如应用处理芯片400对该多路图像数据进行校正处理、融合处理等。

5004，根据对焦指令对融合处理后的图像进行裁剪处理。该对焦指令可以是基于显示屏800，而从显示屏800检测到的对焦操作。基于对焦指令对融合后的图像进行裁剪的具体过程可以参阅以上内容，在此不再赘述。

裁剪处理后所得到的图像可以由显示屏800显示。

请参阅图6，图6为本申请实施例提供的基于电子设备的图像融合方法的第三流程示意图。基于以上电子设备诸如电子设备20的图像融合方法可以包括：

6001，获取多路图像数据。在需要进行变焦预览图像时，可以通过应用处理芯片400控制多个焦段不同的摄像头600来采集图像，以得到多路图像数据。多个摄像头诸如多个摄像头600采集多路图像数据后可以将该多路图像数据传输到多媒体处理芯片200。

6002，根据对焦指令对多路图像数据进行裁剪处理。多媒体处理芯片200在获取到多路图像数据后可以先由图像信号处理器210对多路图像数据进行统计处理和优化处理，然后再由图像信号处理器210根据对焦指令对优化处理后的多路图像数据进行裁剪处理。基于对焦指令对优化处理后的图像进行裁剪的具体过程可以参阅以上内容，在此不再赘述。

6003，利用图像超分辨率算法对裁剪处理后的多路图像数据进行处理。图像信号处理器210对多路图像数据进行裁剪处理后，可以由神经网络处理器220利用图像超分辨率算法对裁剪处理后的多路图像数据分别进行处理，然后再由图像信号处理器210对多路图像数据进行位宽调整处理。多媒体处理芯片200可以将其处理过的多路图像数据均传输到应用处理芯片400。

6004，对利用图像超分辨率算法处理后的多路图像数据进行融合处理。应用处理芯片400在接收到多媒体处理芯片200所处理过的数据后，可以由应用处理芯片400对该多路图像数据一系列不同于多媒体处理芯片200进行处理的处理。诸如应用处理芯片400对该多路图像数据进行校正处理、融合处理等。

融合处理后所得到的图像可以由显示屏800显示。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种电子设备和基于电子设备的图像融合方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种电子设备，其特征在于，包括：

多个焦段不同的摄像头，每一摄像头分别用于采集图像数据，其中，当需要进行变焦采集图像时，提前打开多个所述焦段不同的摄像头，以采集多路图像数据；

多媒体处理芯片，所述多媒体处理芯片用于接收每一摄像头所采集到的图像数据，并利用图像超分辨率算法对所述图像数据进行处理，所述多媒体处理芯片用于对RAW图像数据进行处理；和

应用处理芯片，所述应用处理芯片用于接收所述多媒体处理芯片处理过的图像数据，并对所述多媒体处理芯片处理过的图像数据进行融合处理，所述应用处理芯片用于对RAW图像数据进行融合处理，所述应用处理芯片还用于将融合处理后的图像的格式转换成YUV图像数据。

2.根据权利要求1所述的电子设备，其特征在于，所述多媒体处理芯片包括：

图像信号处理器，用于对所述图像数据进行统计处理，以得到状态信息；

神经网络处理器，用于利用图像超分辨率算法对所述图像数据进行处理；

所述应用处理芯片还用于根据所述状态信息对所述多媒体处理芯片处理过的图像数据进行校正处理；

所述应用处理芯片还用于对校正处理后的图像数据进行融合处理。

3.根据权利要求2所述的电子设备，其特征在于，所述状态信息包括：自动对焦状态信息、自动曝光状态信息、自动白平衡状态信息和镜头阴影校正状态信息中的至少一者；

所述应用处理芯片还被配置为：

计算自动白平衡状态信息，得到自动白平衡参数，基于自动白平衡参数对图像数据进行白平衡处理；和/或

计算镜头阴影校正状态信息，得到镜头阴影校正参数，基于镜头阴影校正参数对图像数据进行镜头阴影校正；和/或

计算自动曝光状态信息，得到自动曝光参数，将所述自动曝光参数配置给所述多个摄像头；和/或

计算自动对焦状态信息，得到自动对焦参数，将所述自动对焦参数配置给所述多个摄像头；

所述多个摄像头还被配置为：基于所述自动对焦参数进行对焦；

基于所述自动曝光参数，进行曝光。

4.根据权利要求2所述的电子设备，其特征在于，所述图像信号处理器还用于在所述神经网络处理器利用图像超分辨率算法对所述图像数据进行处理之前，对所述图像数据进行优化处理；

所述神经网络处理器还用于利用图像超分辨率算法对优化处理后的图像数据进行处理。

5.根据权利要求4所述的电子设备，其特征在于，所述图像信号处理器还用于在所述神经网络处理器利用图像超分辨率算法对所述图像数据进行处理之后，对所述图像数据进行位宽调整处理。

6.根据权利要求4所述的电子设备，其特征在于，所述图像信号处理器还用于对优化处理后的图像数据进行裁剪处理；

所述神经网络处理器还用于利用图像超分辨率算法对裁剪处理后的图像数据进行处理。

7.根据权利要求1至5任一项所述的电子设备，其特征在于，所述应用处理芯片还用于：根据变焦比例信息以初始触控区域为中心对融合后的图像进行裁剪处理；或

根据变焦比例信息以融合后的图像为中心对融合后的图像进行裁剪处理。

8.根据权利要求1至6任一项所述的电子设备，其特征在于，所述多媒体处理芯片还包括：具有多路通道的第一接口和第二接口，每一摄像头所采集到的图像数据通过所述第一接口的一路通道传输到所述多媒体处理芯片；

所述多媒体处理芯片处理后的一路图像数据由所述第二接口的一路通道传输到应用处理芯片。

9.根据权利要求1至6任一项所述的电子设备，其特征在于，所述多个焦段不同的摄像头包括第一摄像头、第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头的焦段逐渐增加。

10.一种基于电子设备的图像融合方法，其特征在于，所述电子设备为如权利要求1至9任一项所述的电子设备，所述图像融合方法包括：

获取多路图像数据；

利用图像超分辨率算法对多路图像数据进行处理；

对利用图像超分辨率算法处理后的多路图像数据进行融合处理。

Images