CN113873141A - 电子设备 - Google Patents

Abstract

本申请实施例公开了一种电子设备，包括相互连接的多媒体处理芯片和应用处理芯片，在拍照模式下，多媒体芯片对多帧第一图像进行优化处理，并将优化处理后的多帧第一图像发送至应用处理芯片；应用处理芯片从优化处理后的多帧第一图像中选取至少一帧第一图像作为拍照输入图像，并将拍照输入图像发送至多媒体处理芯片；多媒体处理芯片对拍照输入图像进行处理得到第二图像，并将第二图像发送至应用处理芯片；应用处理芯片接收第二图像，第二图像进行处理。通过将未被修改的第一图像发送至应用处理芯片，应用处理芯片可以得到更多的第一图像的图像信息，从而在后续处理得到的照片中保留更多的图像信息。

Description

电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种电子设备。

背景技术

在拍照过程中，摄像头获取现实场景中的图像数据，图像处理器再对摄像头获取的图像数据进行处理，然后将处理后的图像数据进行软件优化处理，最终根据软件处理后的图像数据生成对应的图像。但是在软件算法处理图像数据的过程中，由于软件算法处理的图像数据是经过图像处理器处理过的，会导致损失部分图像信息。

发明内容

本申请实施例提供一种电子设备，该电子设备包括相互连接的多媒体处理芯片和应用处理芯片；

在拍照模式下，所述多媒体芯片对多帧第一图像进行优化处理，并将优化处理后的所述多帧第一图像发送至所述应用处理芯片；

所述应用处理芯片接收所述优化处理后的多帧第一图像，从所述优化处理后的多帧第一图像中选取至少一帧所述第一图像作为拍照输入图像，并将所述拍照输入图像发送至所述多媒体处理芯片；

所述多媒体处理芯片接收所述拍照输入图像，对所述拍照输入图像进行处理得到第二图像，并将所述第二图像发送至所述应用处理芯片；

所述应用处理芯片接收所述第二图像，对所述第二图像进行处理；

在预览模式下，所述多媒体处理芯片对第三图像进行优化处理，并对所述优化后的第三图像进行第二次处理得到第四图像；

所述多媒体处理芯片将所述第四图像发送至所述应用处理芯片；

所述应用处理芯片接收所述第四图像，对所述第四图像进行处理。

本申请实施例中，多媒体处理芯片在拍照模式下，可以对输入的多帧第一图像进行优化处理，然后将优化处理有的图像发送至应用处理芯片，应用处理芯片可以在输入的多帧第一图像中选取至少一帧第一图像作为拍照输入图像，将拍照输入图像发送至多媒体处理芯片，多媒体处理芯片对拍照输入图像进行处理得到第二图像并将第二图像发送至应用处理芯片，应用处理芯片对第二图像进行处理得到拍照的照片。通过将未被修改的第一图像发送至应用处理芯片，应用处理芯片可以得到更多的第一图像的图像信息，从而在后续处理得到的照片中保留更多的图像信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理装置的结构示意图。

图2是本申请实施例提供的图1所示图像处理装置的第一应用场景示意图。

图3是本申请实施例提供的电子设备的第一结构示意图。

图4是本申请实施例提供的电子设备的第二结构示意图。

图5是本申请实施例提供的电子设备的第三结构示意图。

图6是本申请实施例提供的电子设备的第四结构示意图。

图7是本申请实施例提供的软件处理装置的结构示意图。

图8是本申请实施例提供的软件处理的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，摄像头在采集到当前环境的图像数据之后，会将图像数据发送至图像处理器进行处理得到修改后的图像数据，后续对修改后的图像数据进行软件算法处理，从而得到最终需要的照片。

但是，在图像处理器处理图像数据时，会对图像数据进行很多处理，在后续的软件算法过程中并不得知图像处理器对图像数据具体做了哪些处理，后续软件算法处理的图像数据是经过修改的，导致软件算法处理的图像数据丢失了很多图像信息，最终经过软件算法处理得到的照片丢失较多的细节。

基于上述问题考虑，本申请实施例提供了一种电子设备，能够在拍照时保留更多的图像信息。以下将进行详细说明。

请参阅图1，图1是本申请实施例提供的图像处理装置的结构示意图，图像处理装置110可以对其获取到的数据诸如RAW数据进行处理，以便于其他图像处理器对图像数据进行进一步处理，以提升图像质量。

图像处理装置110可以对静态图像数据进行处理，图像处理装置110还可以对动态图像数据进行处理。其中静态图像数据可以理解为静态图像的数据，静态图像可以是零延时拍照模式所获取的一帧图像，即从多帧预览图像中选取出一帧图像。静态图像还可以是非零延时拍照模式所获取的一帧图像。静态图像还可以理解为打开相册所显示的图像。动态图像数据可以理解为动态图像的数据，动态图像可以包括预览图像、录制视频的图像、播放视频的图像。需要说明的是，动态图像可以理解为视频图像，即视频图像可以包括预览图像、录制视频的图像、播放视频的图像。

具体的，图像处理装置110中的统计模块112对原始的视频图像数据进行统计，以从原始数据中得到基准数据。可以理解的是，该基准数据为平台端的ISP进行图像数据处理所需要的数据，即平台端的ISP基于该基准数据可以对per-ISP对视频图像数据的预处理结果进行进一步的处理。诸如该基准数据包括3A(AF stats、AWB stats、AE stats)数据、相位对焦数据等。从而可以提高视频图像的质量。基准数据还可以理解为基准信息。

图像处理装置110中的优化模块114对原始的图像数据进行优化处理，以使得解决原始图像数据所存在的坏点等问题。优化模块114对原始的图像数据进行优化处理可以包括坏点补偿(Bad Pixel Correction，BPC)、线性化(Linearization)处理、黑电平校正(Black Level Correction，BLC)中的至少一个。在具体的实施过程中，可以采用对应的算法进行处理，例如黑电平校正算法、坏点补偿算法和线性化处理算法。

需要说明的是，优化模块114对原始的图像数据进行优化处理并不限于此，诸如优化模块114对原始图像数据进行优化处理还可以包括图像裁剪(Crop)处理、图像缩小(Bayerscaler)处理中的至少一个。具体可以采用图像裁剪算法、图像缩小算法等。

在图像处理装置110对图像数据进行处理之后，可以将处理之后的图像数据发送至多媒体处理芯片和应用处理芯片，以进行后续的图像数据处理。

在一些实施例中，无论是静态图像数据还是动态图像数据都可以由电子设备的芯片平台来处理，在芯片平台内包含图像信号处理器(Image Signal Processing，ISP)，能够对图像数据进行处理，从而得到最终需要的图像数据。但是，平台端的图像处理器往往对图像数据的处理能力有限。随着用户对图像质量的要求越来越高，仅通过平台端的ISP对图像数据进行处理往往并不能够满足用户需求。

为了提升图像质量，可以理解为图像显示时的质量。本申请一些实施例可以提供一前图像处理器(pre-ISP)诸如神经网络处理器(Neural-network Processing Unit，NPU)先对图像进行预处理，并将预处理的结果传输到平台端的ISP。平台端的ISP基于pre-ISP的处理结果作为输入数据，并进行进一步的处理。从而可以提升图像质量。

图像处理装置110对图像数据进行处理之后，既可以传入前图像处理器，也可以传入平台端的图像信号处理器。

具体的请参阅图2，为图1所示图像处理装置的应用场景示意图。图像处理装置110可以与一个或多个图像传感器120进行连接，以从图像传感器120获取图像传感器120所采集的图像数据。还可以理解为图像处理装置110与图像传感器120连接，可以接收图像传感器120发送给图像处理装置110的图像数据。图像数据可以分为两路，一路可以传输给统计模块112，另一路可以传输给优化模块114。

可以理解的是，本申请实施例所限定的两个器件之间的电连接，可以理解为两个器件通过信号诸如导线连接，可以实现信号的传输。当然，还可以理解为两个器件连接在一起，诸如通过焊接点焊接在一起。需要说明的是，本申请实施例所限定的信号线可以理解为导线。

统计模块112在接收到原始的图像数据后，可以基于该图像数据统计其中的一些信息，在此可以定义为基准数据，诸如3A信息、相位对焦信息等。待统计模块112统计信息完成，即统计模块112统计出基准数据时，可以将该基准数据直接发送到第一图像处理器130。该第一图像处理器130可以为平台端的ISP。

优化模块114在接收到原始的图像数据后可以对图像数据进行一次或多次优化处理，诸如坏点补偿、线性化处理等。待优化模块114对图像数据的优化处理完成后，可以将优化处理后的图像数据传输给第二图像处理器140。第二图像处理器140可以理解为pre-ISP，诸如神经网络处理器。

在一些实施例中，为了避免拍照时图像数据由pre-ISP诸如神经网络处理器预处理后会使得图像数据的原始数据被破坏，诸如图像色彩、图像亮度、对焦等。图像处理装置110可以将处理的图像数据直接发送至平台端的ISP，平台端的ISP在获取到图像处理装置110处理的图像数据之后，在后续对图像数据进行处理的过程中，能够保留更多的图像信息。

其中，优化模块114和统计模块112在实际产品中可以理解为是图像信号处理器。

请参阅图3，图3是本申请实施例提供的电子设备的第一结构示意图。其中，该电子设备包括图像传感器100、多媒体芯片200和应用处理芯片300。

其中图像传感器100在获取到当前环境的原始图像数据之后，将原始图像数据传输至多媒体处理芯片200。具体的，图像传感器100将原始图像数据发送到了图像信号处理器210。图像信号处理器210设置在多媒体处理芯片200上。

需要说明的是，图像传感器100发送给图像信号处理器210的原始图像数据可以为RAW图像数据格式的图像数据，多媒体处理芯片200可以对其所获取到的图像数据诸如RAW数据进行处理，以提升图像质量。

图像信号处理器210可以原始图像数据进行处理，对原始图像处理有得到的图像数据也可以是RAW格式的图像数据。图像信号处理器210可以将处理后的图像数据直接发送到应用处理芯片300，应用处理芯片300可以获取到图像信号处理器210对原始图像处理的信息，比如3A(AF stats、AWB stats、AE stats)数据、相位对焦数据等，以及坏点补偿处理、线性化处理、黑电平校正处理等处理信息。

需要说明的是，由于图像信号处理器210仅仅是对原始图像数据进行简单的优化处理，对于原始图像的图像信息并未作出较大的更改，图像信号处理器210处理后输出的图像数据也是全尺寸的RAW格式的图像数据。因此，应用处理芯片获取到的图像数据是具备完整的图像信息的，在后续算法处理的该图像数据的过程中，能够保留更多的图像信息，最终生成的照片也具有更丰富的细节，比如边缘虚化细节、毛发细节、画面深度细节等等。

请继续参阅图4，图4是本申请实施例提供的电子设备的第二结构示意图。图像信号处理器210和系统总线240连接，神经网络处理器220和系统总线240连接，存储器230和系统总线240连接。

多媒体处理芯片200可以包括神经网络处理器(Neural-network ProcessingUnit，NPU)220，神经网络处理器220可以对多媒体处理芯片200所获取到的图像数据进行增强处理，神经网络处理器220可以运行人工智能训练网络处理图像算法对图像数据进行增强处理。神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。

本申请一些实施例中，神经网络处理器220可以为用来处理图像的专用处理器，可以简称为专用处理器。可以在电路排布、编程等硬件配置过程中来进行硬化实现，从而可以保证神经网络处理器220在处理图像数据过程中的稳定性，以及降低神经网络处理器220处理图像数据所需的功耗和时间。可以理解的是，当神经网络处理器220为专用处理器时，其功能为用来处理图像数据，且其不能够处理其他一些数据诸如文本信息。

神经网络处理器220处理图像数据的方式可以是按照行的方式读取数据块，并按照行的方式对数据块进行处理。诸如神经网络处理器220按照多行的方式读取数据块，并按照多行的方式对数据块进行处理。可以理解的是，一帧图像可以具有多行数据块，即神经网络处理器220可以对一帧图像的一部分诸如(1/n)帧进行处理，其中n为正整数，诸如2、4、5等。当神经网络处理器220对一帧图像未全部处理完，则神经网络处理器220可以内置缓存(全称，OCM)来存储神经网络处理器220在处理一帧图像过程中所处理多行数据块的数据。等待神经网络处理器220对一帧图像处理完成，则神经网络处理器220可以将处理过的数据写入到一存储器诸如多媒体处理芯片200的存储器230。其中，该存储器230可以内置于多媒体处理芯片200内，也可以外置。可以采用存储控制器实现数据的传输。

需要说明的是，神经网络处理器220在数据流的管线(Pipeline)中，可以按照预设时间处理完成。预设时间诸如为30fps＝33ms(毫秒)。或者说神经网络处理器220处理一帧图像所预设的时间为33ms，从而可以保证神经网络处理器220在快速处理图像数据的基础上，可以实现数据的实时传输。

可以理解的是，若神经网络处理器220为通用处理器，即该神经网络处理器220不仅可以处理图像数据，还可以处理其他数据诸如文本数据。当神经网络处理器220为通用处理器，处理图像方式为：从一存储有图像数据的存储器加载一帧图像，并对该帧图像做相应的算法处理。其中，在该通用神经网络处理器在处理过程中该通用神经网络处理器的卷积层所计算的临时数据往往需要保存到该存储器中。在该通用神经网络处理器处理完成后，将数据存储到该存储器中。由此可见，相对于通用神经网络处理器，本申请一些实施例所限定的神经网络处理器220为专用神经网络处理器，可以加快图像数据的处理速度，保证在预设时间内完成一帧图像的处理。

神经网络处理器220可以对静态图像数据进行处理，神经网络处理器220可以包括处理静态图像数据的算法，诸如静态图像HDR算法、静态图像夜景算法、静态图像虚化算法等。神经网络处理器220也可以对动态图像数据进行处理。

本申请实施例所限定的神经网络处理器220既可以处理静态图像数据，又可以处理动态图像数据，从而使得多媒体处理芯片200可以应用于不同的场景，诸如拍照场景、录制视频场景、播放视频场景、相册查看场景等。

在一些实施例中，电子设备在拍照时有预览模式和拍照模式，预览模式往往是需要通过多媒体处理芯片200和应用处理芯片300对图像处理之后得到预览图像。而拍照模式下，如果原始图像经过硬件处理，譬如神经网络处理器220或者是应用处理芯片300内的图像处理器对原始图像进行处理，在后续对图像数据进行软件算法处理时，往往是不知道硬件处理过程中到底做了哪些处理，更改了哪些信息，导致最终软件算法处理的图像拥有较差的图像细节。

基于此，本申请中为了解决上述问题，以下将详细说明在拍照模式下，电子设备是如何对原始图像数据处理的。

在一些实施例中，在拍照模式下，图像传感器100将获取的第一图像通过第三接口203传输至多媒体处理芯片200。

图像信号处理器210通过第三接口203获取到第一图像对应的图像数据。并对第一图像进行优化处理，例如坏点补偿处理、线性化处理、黑电平校正处理等优化处理，但是并不会对第一图像的图像数据进行损坏，也不会导致部分图像信息丢失，经过优化处理后的第一图像仍然是输入的RAW格式的图像数据。

其中，第三接口203可以为移动产业处理器接口(Mobile Industry ProcessorInterface，MI PI)。第三接口203可以接收图像数据诸如RAW数据，第三接口203所接收到的图像数据为未经过处理加工的图像数据，具体可以将原始图像数据理解为未经过图像处理器处理的图像数据。

第三接口203所接收到的第一图像的图像数据可以分为至少两路进行传输，比如一路数据传输到图像信号处理器210的统计模块212，另一路数据存储到存储器230。或者另一路数据由优化模块214进行处理。

图像处理器210对多帧第一图像进行优化处理之后，将多帧优化后的第一图像通过第一接口201发送至应用处理芯片300，应用处理芯片300可以对多帧优化后的第一图像进行保存。在用户输入拍照指令时，应用处理芯片300可以在多帧优化后的第一图像中选取至少一帧优化后的第一图像来做为拍照输入图像，并通过多媒体处理芯片200的第一接口201将拍照输入图像发送到多媒体处理芯片200。

多媒体处理芯片200将第一接口201接收的拍照输入图像传输至神经网络处理器220中，神经网络处理器220采用对应的神经网络算法对拍照输入图像进行处理，例如，神经网络处理器220可以使用降噪算法、夜景算法等算法对拍照输入图像进行处理。神经网络处理器220对拍照输入图像处理完成之后得到第二图像，并将第二图像通过第一接口201发送到应用处理芯片300。

应用处理芯片300在接收到第二图像之后，可以对第二图像进行算法后处理，例如对第二图像进行美颜处理、滤镜处理、虚化处理、水印处理等，最终得到电子设备拍摄的照片。

需要说明的是，多媒体处理芯片200和应用处理芯片300之间可以通过PCIE(peripheral component interconnect express)总线连接，也可以理解为多媒体处理芯片200和应用处理芯片300之间通过高速互连总线接口连接，PCIE总线只是高速互连总线中的一种。PCIE总线拥有较高的传输速度，在单位时间内能够传输更多的数据量，在拍照时，能够快速传输数据，使得多媒体处理芯片200和应用处理芯片300能够更加快速的处理图像数据。最终使得电子设备在拍照模式下能够减少拍照延迟，从而提升拍照的速度。

以多媒体处理芯片200和应用处理芯片300之间通过PCIE总线连接为例，在多媒体处理芯片200的第一接口201可以为PCIE的EP(endpoint device)侧，EP侧是具有PCIe接口的网卡，SATA控制器等。图像信号处理器210优化处理的第一图像，以及多媒体处理芯片200处理的拍照输入图像得到的第二图像都可以通过第一接口201传输至应用处理芯片300。

在一些实施例中，当多媒体处理芯片200接收到拍照输入图像之后，可以通过系统总线240将拍照输入图像存储在多媒体处理芯片200的存储器230中，神经网络处理器220可以通过系统总线240获取拍照输入图像，对拍照输入图像进行神经网络算法处理，比如拍照输入图像的深度算法处理、虚化算法处理等等。神经网络处理器220对拍照输入图像处理完成之后得到第二图像，神经网络处理器220将第二图像存储在存储器230中，存储器230中存储的第二图像可以通过第一接口201被发送至应用处理芯片300，应用处理芯片300对第二图像进行处理得到最终需要的拍照的照片。

其中，存储器230的个数可以为一个、两个、三个、甚至更多个。存储器230的类型可以为静态存储器，也可以为动态存储器，诸如DDR(Double Data Rate SDRAM)。

在一些实施例中，在多媒体处理芯片200通过第一接口201接收到拍照输入图像之后，第一接口201可以通过系统总线240直接将拍照输入图像传输至神经网络处理器220，神经网络处理器220对拍照输入图像进行处理得到第二图像，并将第二图像通过系统总线传输至第一接口201，多媒体处理器芯片200通过第一接口201将第二图像传输至应用处理芯片300。

需要说明的是，多媒体处理芯片200获取的多帧第一图像可以是包含全部图像信息的RAW数据格式的图像，在多媒体处理芯片200优化处理后的第一图像可以是包含全部图像信息的RAW数据格式的图像。在神经网络处理器200对拍照输入图像处理完成后得到的第二图像，也可以是包含全部图像信息的RAW数据格式的图像。

在应用处理芯片300接收到RAW图像数据格式的第二图像，需要将RAW图像数据格式的第二图像转换为YUV图像数据格式的第二图像，然后继续对YUV图像数据格式的第二图像进行算法后处理得到拍照的照片。

由于整个图像数据处理过程中，图像数据中的图像信息并未丢失，在应用处理芯片对图像数据进行算法后处理时，能够保留更多的图像信息，生成的照片上能够保留更多的细节。

请继续参阅图5，图5是本申请实施例提供的电子设备的第三结构示意图。其中应用处理芯片300包括存储器310、应用处理器320(Application Processor，AP)、图像处理器330、系统总线340，

其中，应用处理器320可以作为电子设备的控制中心。

其中，存储器310可以存储各种数据诸如图像数据、系统数据等。

其中，第四接口301可以为PCIE接口，第四接口301与第一接口201电连接连接，可以接收由多媒体处理芯片200所处理过的数据。

其中，第五接口302可以为移动产业处理器接口，第五接口302与第二接口202电连接连接，可以接收由多媒体处理芯片200所处理过的数据。

其中，图像处理器330可以对图像数据进行处理，诸如，图像处理器330可以对多媒体处理芯片200处理过的数据进行进一步的处理。

当然，图像信号处理器330还可以对图像传感器100所采集的原始图像数据进行处理，比如，图像传感器100接收到的第三图像，可以通过第三接口203传输至第二接口202，第二接口202将第三图像直接传输至应用处理芯片的第五接口302，图像处理器330通过第五接口302获取到第三图像进行处理。

需要说明的是，第三图像可以是包含全部图像信息的RAW数据格式的图像。

在一些实施例中，在预览模式下，多媒体处理芯片200通过第三接口203获取到第三图像之后，图像信号处理器210对第三图像进行优化处理，例如优化模块114对第三图像进行优化处理可以包括坏点补偿、线性化处理、黑电平校正中的至少一个。在具体的实施过程中，可以采用对应的算法进行处理，例如黑电平校正算法、坏点补偿算法和线性化处理算法。

优化模块114对第三图像数据进行优化处理并不限于此，诸如优化模块114对第三图像进行优化处理还可以包括图像裁剪处理、图像缩小处理中的至少一个。具体可以采用图像裁剪算法、图像缩小算法等。图像信号处理器210第三图像的图像尺寸进行缩减之后，能够减少后续神经网络处理器220对第三图像处理的运算量。

多媒体处理芯片200对优化处理后的第三图像保存在存储器230中，多媒体处理芯片对优化后的第三图像进行第二次处理。例如，神经网络处理器220可以调用存储器230中存储的优化后的第三图像，并对第三图像进行处理得到第四图像，并通过第二接口202将第四图像发送至应用处理芯片300。具体的，神经网络处理器220可以对优化后的第三图像执行美颜处理、HDR处理、滤镜处理等多种处理方式，从而得到第四图像。

应用处理芯片300通过第五接口302接收到第四图像，并将第四图像输入值图像处理器330中，图像处理器330对第四图像进行处理得到第五图像，应用处理器320可以对第五图像进行算法后处理得到预览的图像。

需要说明的是，神经网络处理器220对优化后的第三图像进行处理后，可以得到YUV图像数据格式的第四图像，应用处理芯片300的图像处理器330对YUV图像数据格式的第四图像进行处理，得到YUV图像数据格式的第五图像，应用处理器320可以对YUV图像数据格式的第五图像进行后算法处理得到最终预览的图像。

通过多媒体处理芯片处理和应用处理芯片处理的预览图像，拥有更好的图像展示效果，比如，预览图像的焦距比较精准、画面比较清晰、色彩亮度比较正常等等。

在一些实施例中，在用户对图片进行自动美化的场景中，应用处理芯片300可以将需要美化处理的图片传输至多媒体处理芯片200，并保存在多媒体处理芯片200的存储器230中，神经网络处理器220获取存储器230中需要美化的图片进行处理，例如通过神经网络算法处理，然后将处理后的图片通过第二接口202发送到应用处理芯片300，应用处理芯片300中的图像处理器330可以继续对该处理后的图片进行处理，从而得到美化后的图片。其中第二接口202可以为移动产业处理器接口。

请继续参阅图6，图6是本申请实施例提供的电子设备的第四结构示意图。多媒体处理芯片200还包括存储访问控制器250、主控处理器260、数字信号处理器270，存储访问控制器250、主控处理器260以及数字信号处理器270均可以通过系统总线240访问多媒体处理芯片200的其他器件。

存储访问控制器250可以为直接存储访问控制器(Direct Memory Access,DMA)，其可以搬移数据的效率高，且可以搬移大数据。直接存储访问控制器250可将数据从一个地址空间搬移到另一个地址空间。诸如直接存储访问控制器250可以将存储于存储器230内的数据搬移到神经网络处理器220。

直接存储访问控制器250可以包括AHB(Advanced High performance Bus)直接存储访问控制器，也可以包括AXI(Advanced eXtensible Interface)直接存储访问控制器。

主控处理器260用来控制多媒体处理芯片200的系统的运行，诸如外设参数配置、控制中断响应等。

数字信号处理器270可以用来协助图像信号处理器210和神经网络处理器220。然而，数字信号处理器270也可以对计算量较小的图像数据进行处理。

数字信号处理器270采用一些通用算法对图像数据进行处理，诸如数字信号处理器270可以采用预设算法诸如图像质量检测算法从多帧图像中选择出一帧图像。需要说明的是，在一些情况下，神经网络处理器220无法支持一些算法，诸如对于超广角的摄像头，如果需要畸形校正处理，神经网络处理器220可能无法实现，则可以采用数字信号处理器270来进行处理。

由此可见，本申请实施例数字信号处理器270主要用来处理一些数据量较小的图像数据，神经网络处理器220主要用来处理一些数据量较大的图像数据。诸如数字信号处理器270可以用来处理静态图像，神经网络处理器220用来处理视频图像。或者说数字信号处理器270用来在拍照模式下处理图像数据，神经网络处理器220用来在预览图像模式、录制视频模式、播放视频模式下处理图像数据。数字信号处理器270还用来处理神经网络处理器220无法完成的一些算法。从而，本申请实施例采用数字信号处理器270和神经网络处理器220相结合的方式，能够实现更好的、更全面的图像处理优化，以使得多媒体处理芯片200处理过的图像数据的质量更好，显示的效果更佳。

为了更加详细的说明算法后处理对图像数据的处理过程，本申请实施例提供了软件处理装置的结构示意图，具体如图7所示。

软件处理装置400包括硬件抽象模块410、应用程序模块420和算法后处理模块430。硬件抽象模块410用于传输图像数据，硬件抽象模块410与应用程序模块420连接，可以将图像数据传输至应用程序模块420。

与应用程序模块420连接的还有算法后处理模块430，硬件抽象模块410可以通过应用程序模块420将图像数据传输至算法后处理模块430。

硬件抽象模块410可以用于传输图像数据，例如，在本申请实施例提供的多媒体处理芯片200输出的第一图像、第二图像、第四图像均可以传输至硬件抽象模块410。硬件抽象模块410可以通过应用程序模块将第二图像、第四图像传输至算法后处理模块430。算法后处理模块430可以对第二图像、第四图像进行图像算法处理，例如美颜处理算法、滤镜处理算法、水印处理算法、虚化处理算法、HDR处理算法等等。

算法后处理模块430对图像数据处理完成之后，可以将图像数据传输至应用程序模块420，应用程序模块420可以对生成的图像进行展示。

请一并参阅图8，图8是本申请实施例提供的软件处理的流程示意图。该软件处理流程是在电子设备处于拍照模式下的软件处理流程。

510、获取第二图像。

由上述实施例可知，在用户打开相机时，多媒体处理芯片对图像传感器输入的多帧第一图像进行优化处理，再将优化处理后的多帧第一图像输入至硬件抽象模块410。

在应用程序模块420接收到拍照指令时，会通知硬件抽象模块410选定至少一帧优化后的第一图像为拍照输入图像，并将拍照输入至多媒体处理芯片，多媒体处理芯片对拍照输入图像进行处理得到第二图像，软件处理装置400对第二图像进行获取。

520、将第二图像的图像数据格式转换为YUV图像数据格式。

软件处理装置400可以对接收到的RAW图像数据格式的第二图像进行数据格式转换，转换为YUV图像数据格式的第二图像。具体的，硬件抽象模块410可以对RAW图像数据格式的第二图像转变为YUV图像数据格式的第二图像。

530、对YUV图像数据格式的第二图像进行后期算法处理得到YUV图像数据格式的照片数据。

硬件抽象模块410通过应用程序模块420将YUV图像数据格式的第二图像传输至算法后处理模块430，算法后处理模块430采用图像处理算法对第二图像进行处理，得到YUV图像数据格式的照片数据。

540、YUV图像数据格式的照片数据转变为JPG图像数据格式的照片。

算法后处理模块430可以将YUV图像数据格式的照片数据传输至硬件抽象模块410，硬件抽象模块410将YUV图像数据格式的照片数据转变为JPG图像数据格式的照片。

由上述可知，在整个拍照的过程中，硬件处理的图像数据全部是RAW图像数据，从而保留了更多的图像信息，使得在算法后处理时，能够保留更多的图像信息，使得最终生成的照片能够拥有更丰富的细节和图像质量。

以上对本申请实施例所提供的电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种电子设备，其特征在于，所述电子设备包括相互连接的多媒体处理芯片和应用处理芯片；

在拍照模式下，所述多媒体芯片对多帧第一图像进行优化处理，并将优化处理后的所述多帧第一图像发送至所述应用处理芯片；

所述应用处理芯片接收所述优化处理后的多帧第一图像，从所述优化处理后的多帧第一图像中选取至少一帧所述第一图像作为拍照输入图像，并将所述拍照输入图像发送至所述多媒体处理芯片；

所述多媒体处理芯片接收所述拍照输入图像，对所述拍照输入图像进行处理得到第二图像，并将所述第二图像发送至所述应用处理芯片；

所述应用处理芯片接收所述第二图像，对所述第二图像进行处理；

在预览模式下，所述多媒体处理芯片对第三图像进行优化处理，并对所述优化后的第三图像进行第二次处理得到第四图像；

所述多媒体处理芯片将所述第四图像发送至所述应用处理芯片；

所述应用处理芯片接收所述第四图像，对所述第四图像进行处理。

2.根据权利要求1所述的电子设备，其特征在于，所述电子设备还包括第一接口和第二接口；

在所述拍照模式下，所述第一接口用于向所述应用处理芯片发送所述第一图像和所述第二图像，所述第一接口还用于接收所述应用处理芯片发送的所述拍照输入图像；

在所述预览模式下，所述第二接口用于向所述应用处理芯片发送所述第四图像。

3.根据权利要求1所述的电子设备，其特征在于，所述多媒体处理芯片包括图像信号处理器和神经网络处理器；

所述图像信号处理器被配置为：

对所述第一图像和所述第三图像进行优化处理，所述优化处理包括线性化、坏点补偿、黑电平校正中的至少一者；

所述神经网络处理器被配置为：

对所述拍照输入图像进行神经网络算法处理得到所述第二图像；

对所述第二次处理的所述优化后的第三图像进行神经网络算法处理得到所述第四图像。

4.根据权利要求1所述的电子设备，其特征在于，在所述多媒体处理芯片对第三图像进行优化处理的过程中，所述多媒体处理芯片对所述第三图像的图像尺寸进行缩减。

5.根据权利要求1-4任一项所述的电子设备，其特征在于，所述应用处理芯片对所述第二图像数据处理的方式与所述应用处理芯片对所述第四图像数据处理的方式不同。

6.根据权利要求5任一项所述的电子设备，其特征在于，所述第一图像、第二图像及第三图像均为RAW图像数据格式。

7.根据权利要求6所述的电子设备，其特征在于，在所述拍照模式下，所述应用处理芯片接收到所述第二图像时，将所述第二图像的RAW图像数据格式转变为YUV图像数据格式。

8.根据权利要求7所述的电子设备，其特征在于，在所述拍照模式下，所述应用处理芯片对YUV图像数据格式的所述第二图像进行算法后处理得到拍摄的照片。

9.根据权利要求5所述的电子设备，其特征在于，所述应用处理芯片还包括图像处理器，所述图像处理器用于对所述多媒体处理芯片发送的所述第四图像进行优化处理得到第五图像。

10.根据权利要求9所述的电子设备，其特征在于，所述应用处理器对所述第五图像进行算法后处理得到预览的图像。

Images