CN114071007A - 图像处理方法、多媒体处理芯片以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、多媒体处理芯片以及电子设备，其中，本申请实施例接收传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳；获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点；根据第一系统时间戳，从存储的传感器数据中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标传感器数据；对原始图像数据进行前处理，得到前处理图像数据；将前处理图像数据、目标传感器数据发送至应用处理芯片，使得拍摄得到的原始图像数据在输出前的整个处理过程中使用的传感器数据始终都是与之同步的，提高了输出的图像的质量。

Description

图像处理方法、多媒体处理芯片以及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、多媒体处理芯片以及电子设备。

背景技术

随着电子设备的发展，拍摄功能的好坏已经成为衡量如智能手机、平板电脑等电子设备性能的关键。例如，利用电子设备的传感器采集的传感器数据对图像进行处理，以提升拍摄得到的图像或者视频的质量，但是当电子设备通过多个芯片对图像进行多次处理时，使得图像与传感器数据之间存在延迟，导致拍摄得到的图像质量低下。

发明内容

本申请实施例提供一种图像处理方法、多媒体处理芯片以及电子设备，能够提高图像质量。

第一方面，本申请实施例提供一种图像处理方法，所述方法应用于多媒体处理芯片，所述方法包括：

接收传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；

获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；

根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

对所述原始图像数据进行前处理，得到前处理图像数据；

将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

第二方面，本申请实施例提供一种多媒体处理芯片，包括：

中央处理器，用于获取传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；用于获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；以及，根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

图像处理器，用于对所述原始图像数据进行前处理，得到前处理图像数据；

所述中央处理器，还用于将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

第三方面，本申请实施例提供一种电子设备，该电子设备包括本申请任一实施例提供的多媒体处理芯片，所述电子设备还包括：

传感器，用于获取传感器数据并发送至所述多媒体处理芯片；

应用处理芯片，用于当接收到所述多媒体处理芯片发送的所述前处理图像数据和所述目标传感器数据时，根据所述目标传感器数据对所述前处理图像数据进行后处理，得到后处理图像数据。

本申请实施例提供的方案，获取传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳。获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点。然后，根据第一系统时间戳，从存储的传感器数据中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标传感器数据；对原始图像数据进行前处理，在处理完成后，多媒体处理芯片将前处理图像数据、目标传感器数据发送至应用处理芯片。通过这种方式，不仅多媒体处理芯片可以获取到与原始图像数据同步的传感器数据，对图像进行前处理，并且在处理完成后，可以将同步的传感器数据和前处理图像数据打包发送给应用处理芯片，使得应用处理芯片在对前处理图像数据进行处理时，也可以使用与多媒体处理芯片同步的传感器数据，保证了拍摄得到的原始图像数据在输出前的整个处理过程中使用的传感器数据始终都是与之同步的，提高了输出的图像的质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的第一种流程示意图。

图2为本申请实施例提供的图像处理方法中曝光起始时间点和曝光结束时间点的示意图。

图3为本申请实施例提供的多媒体处理芯片的第一种结构示意图。

图4为本申请实施例提供的多媒体处理芯片的第二种结构示意图。

图5为本申请实施例提供的电子设备的第一种结构示意图。

图6为本申请实施例提供的电子设备的第二种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的多媒体处理芯片，或者具有该多媒体处理芯片的电子设备。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。

以具有该多媒体处理芯片的电子设备为例，该电子设备包括应用处理芯片、多媒体处理芯片和传感器。电子设备还包括摄像头，摄像头在完成曝光后，输出原始图像数据，多媒体处理芯片先获取到原始图像数据，对原始图像数据进行前处理，得到前处理图像数据，再将前处理图像数据传输至应用处理芯片，由应用处理芯片对该前处理图像数据进行后处理，得到后处理图像数据，并输出后处理图像数据，例如，基于该后处理图像数据进行图像拍摄预览、图像拍摄输出、视频拍摄预览或者视频拍摄输出等。

其中，在一些实施例中，该多媒体处理芯片包括中央处理器、第一存储器和图像处理器，第一存储器上存储有计算机程序，中央处理器和图像处理器通过调用第一存储器上存储的计算机程序，执行本申请实施例提出的方法。

其中，在一些实施例中，图像处理器可以包括前图像信号处理器 (Pre-ImageSignal Processing，Pre-ISP)。相对于应用处理芯片上的图像信号处理(Image SignalProcessing，ISP)，该前图像信号处理器可以用于进行一些不同的图像处理逻辑，例如，对摄像头输出的原始图像数据做坏点校准、线性化等处理，或者还可以进行RAW(RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像数据编码数据”或更形象的称为“数字底片”) 域的逆光拍照，HDR(High-Dynamic Range，高动态范围)拍照等图像处理。

请参阅图1，图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下：

在101中，接收传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳。

本申请实施例中，电子设备上设置有传感器，传感器包括但不限于以下多个传感器中的任意一个或多个：陀螺仪、加速度传感器、重力传感器等。

此外，在一实施例中，接收传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳，包括：当接收到传感器发送的传感器数据时，获取多媒体处理芯片的第一系统时间戳，并将获取的第一系统时间戳与传感器数据关联存储。

该实施例中，多媒体处理芯片包括第一通信模块，例如，该第一通信模块为I2C(Inter－Integrated Circuit，两线式串行总线)模块或SPI(Serial PeripheralInterface，串行外设接口)模块，多媒体处理芯片可以通过该第一通信模块接收传感器传输的传感器数据。该实施例中，多媒体处理芯片可以和其他硬件(比如应用处理芯片)分时复用传感器数据，包括多媒体处理芯片在内的多个硬件直接从传感器获取数据。

以下内容中以传感器为陀螺仪(Gyroscope，简称为GYRO)为例，对本申请实施例的方案进行说明。在电子设备的运行过程中，陀螺仪按照恒定频率输出陀螺仪数据(GYRO信息)，多媒体处理芯片通过I2C模块或SPI模块接收陀螺仪传输的GYRO信息。

每当多媒体处理芯片通过I2C模块或SPI模块接收到GYRO信息时，向中央处理器发送中断，中央处理器接收到该中断时，获取多媒体处理芯片的第一系统时间戳，将该第一系统时间戳与GYRO信息关联存储至第一存储器。

或者，在另一实施例中，接收传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳，包括：当接收到外部模块发送的传感器数据以及与传感器数据对应的第二系统时间戳时，根据多媒体处理芯片的第一时间获取频率和外部模块的第二时间获取频率，对第二系统时间戳进行校正，得到与传感器数据对应的第一系统时间戳，将第一系统时间戳与传感器数据关联存储。

该实施例中，多媒体处理芯片可以与其他硬件，比如应用处理芯片，采用并行模式获取传感器数据。例如，并行模式下，从电子设备的多个硬件中确定一个DSP(DigitalSignal Processing，数字信号处理器)从传感器获取传感器数据，再由该DSP将获取的传感器数据分发到其他硬件。比如，作为一种实施方式，由应用处理芯片的DSP从传感器获取传感器数据，再将该传感器数据分发至其他的硬件，如多媒体处理芯片、Camera HAL(CameraHardware Abstraction Layer，摄像头硬件抽象层)等。

基于此，上文中的外部模块是指直接从传感器获取传感器数据的硬件，比如应用处理芯片。应用处理芯片在获取传感器数据时，记录的是应用处理芯片的第二系统时间戳。其中，电子设备的不同硬件虽然都是从同一个来源处获取系统时间，但是由于获取时间的频率并不相同，因此，应用处理芯片记录的第二系统时间戳，相对于多媒体处理芯片的系统时间来说并不完全同步。因此，多媒体处理芯片在接收到外部模块发送的GYRO信息以及与GYRO信息对应的第二系统时间戳时，需要先根据多媒体处理芯片的第一时间获取频率和外部模块的第二时间获取频率，对第二系统时间戳进行校正，得到与GYRO信息对应的第一系统时间戳，再将第一系统时间戳和GYRO信息关联后存储至第一存储器。

在102中，获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点。

本申请实施例中，多媒体处理芯片还包括第二通信模块，例如，该第二通信模块为MIPI(Mobile Industry Processor Interface，移动产业处理器接口)模块，该MIPI模块可以包括第一接口和第二接口，第一接口可接收摄像头传输的原始图像数据，第二接口可以将处理得到的前处理图像数据发送至应用处理芯片。

其中，电子设备的摄像头进行曝光并输出图像，多媒体处理芯片通过第一接口接收到摄像头输出的原始图像数据，将该原始图像数据存储至第一存储器。

在一实施例中，获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点，包括：当接收到摄像头发送的原始图像数据，并将原始图像数据的开始曝光的时间点记录为曝光起始时间点，将原始图像数据最后一行像素点读取完成的时间点记录为曝光结束时间点。

请参阅图2，图2为本申请实施例提供的图像处理方法中曝光起始时间点和曝光结束时间点的示意图。其中，摄像头在曝光成像时，是从像素阵列中逐行取图像数据的。因此，在图像进行前处理或者后处理时，需要获取从图像开始曝光至读取完成最后一行像素点之间的传感器数据。因此，多媒体处理芯片通过第一接口开始接收数据帧，即曝光开始时，记录曝光起始时间作为曝光起始时间点(Start Of Frame，SOF)，在将原始图像数据最后一行像素点读取完成时，记录读取完成的时间点作为曝光结束时间点(End Of Frame，EOF)。

在103中，根据第一系统时间戳，从传感器数据中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标传感器数据。

继续参阅图2，多媒体处理芯片获取到的连续GYRO信息中的每一个 GYRO数据都有对应的第一系统时间戳，因此，可以根据GYRO数据对应的第一系统时间戳，从GYRO信息中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标GYRO信息，目标GYRO信息是与原始图像数据对应的 GYRO信息。该GYRO信息可以作为对原始图像数据进行处理的依据。

在104中，对原始图像数据进行前处理，得到前处理图像数据。

多媒体处理芯片可以从第一存储器中获取存储的原始图像数据，对该原始图像数据进行前处理，得到前处理图像数据。

其中，多媒体处理芯片在对原始图像数据进行前处理时可以不使用目标 GYRO信息。当多媒体处理芯片对原始图像数据进行前处理时，如果不使用目标GYRO信息，则103与104并不必然具有先后顺序，也可以同时执行。

多媒体处理芯片在对原始图像数据进行前处理时，也可以使用目标GYRO 信息。例如，图像处理器还可以包括神经网络处理器(Neural-network Processing Unit，NPU)，神经网络处理器在对原始图像数据进行前处理时，可以使用目标GYRO信息预估图像的偏移或者旋转等，来加快图像前处理效率。

在105中，将前处理图像数据、目标传感器数据发送至应用处理芯片。

在完成图像的前处理，并且得到目标GYRO信息后，将前处理图像数据和目标GYRO信息打包发送至应用处理芯片。

其中，应用处理芯片在接收到前处理图像数据和目标GYRO信息后，可以根据目标GYRO信息对前处理图像数据进行后处理，得到后处理图像数据。由于多媒体处理芯片获取的目标GYRO信息是与原始图像数据的曝光时间完全匹配的，能够反映该原始图像数据在拍摄成像的过程中电子设备的运动状态，不会因为多媒体处理芯片对原始图像数据处理后再传输至应用处理芯片而存在延迟，原始图像数据在输出前的整个处理过程中，多个芯片对其处理时，均使用同样的目标GYRO信息对其处理，因此，也就不存在图像与GYRO信息之间的延迟，提高了拍摄输出的图像的质量。

或者，在一些实施例中，多媒体处理芯片在将前处理图像数据和目标传感器数据发送至应用处理芯片的同时，也将第一系统时间戳发送至应用处理芯片，应用处理芯片也可以根据第一系统时间戳、前处理图像数据和目标传感器数对前处理图像数据进行处理。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提出的图像处理方法，获取传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳。获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点。然后，根据第一系统时间戳，从存储的传感器数据中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标传感器数据；对原始图像数据进行前处理，在处理完成后，多媒体处理芯片将前处理图像数据、目标传感器数据发送至应用处理芯片。通过这种方式，不仅多媒体处理芯片可以获取到与原始图像数据同步的传感器数据，对图像进行前处理，并且在处理完成后，可以将同步的传感器数据和前处理图像数据打包发送给应用处理芯片，使得应用处理芯片在对前处理图像数据进行处理时，也可以使用与多媒体处理芯片同步的传感器数据，保证了拍摄得到的原始图像数据在输出前的整个处理过程中使用的传感器数据始终都是与之同步的，提高了输出的图像的质量。

本申请实施例还提供一种多媒体处理芯片401，请参阅图3，图3为本申请实施例提供的多媒体处理芯片401的第一种结构示意图。多媒体处理芯片401 包括：

中央处理器4011，用于获取所述传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；用于获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；以及，根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

图像处理器4012，用于对所述原始图像数据进行前处理，得到前处理图像数据；

中央处理器4011，还用于将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

在一些实施例中，中央处理器4011，还用于当接收到传感器传输的传感器数据时，获取所述多媒体处理芯片的第一系统时间戳，并将获取的第一系统时间戳与所述传感器数据关联存储。

在一些实施例中，中央处理器4011，还用于当接收到外部模块发送的传感器数据以及与所述传感器数据对应的第二系统时间戳时，根据所述多媒体处理芯片的第一时间获取频率和所述外部模块的第二时间获取频率，对所述第二系统时间戳进行校正，得到与所述传感器数据对应的第一系统时间戳，将所述第一系统时间戳与所述传感器数据关联存储。

在一些实施例中，所述外部模块为所述应用处理芯片。

在一些实施例中，中央处理器4011，还用于当接收到摄像头发送的原始图像数据时，将所述原始图像数据的开始曝光的时间点记录为曝光起始时间点，将所述原始图像数据最后一行像素点读取完成的时间点记录为曝光结束时间点。

请参阅图4，图4为本申请实施例提供的多媒体处理芯片401的第二种结构示意图。在一些实施例中，多媒体处理芯片401还包括第一存储器4013，该第一存储器4013，用于关联存储所述传感器数据和所述第一系统时间戳；以及，存储所述原始图像数据和所述前处理图像数据。

在一些实施例中，图像处理器4012，还用于根据所述目标传感器数据和预设算法对所述原始图像数据进行前处理，得到前处理图像数据。

应当说明的是，本申请实施例提供的多媒体处理芯片与上文实施例中的图像处理方法属于同一构思，通过该多媒体处理芯片可以实现图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。

本申请实施例提出的多媒体处理芯片401，中央处理器4011获取传感器采集的传感器数据以及与传感器数据对应的第一系统时间戳。获取摄像头输出的原始图像数据，并记录原始图像数据的曝光起始时间点和曝光结束时间点。然后，根据第一系统时间戳，从存储的传感器数据中截取曝光起始时间点至曝光结束时间点之间的传感器数据，作为目标传感器数据；图像处理器4012对原始图像数据进行前处理，在处理完成后，中央处理器4011将前处理图像数据、目标传感器数据发送至应用处理芯片。通过这种方式，不仅多媒体处理芯片可以获取到与原始图像数据同步的传感器数据，对图像进行前处理，并且在处理完成后，可以将同步的传感器数据和前处理图像数据打包发送给应用处理芯片，使得应用处理芯片在对前处理图像数据进行处理时，也可以使用与多媒体处理芯片同步的传感器数据，保证了拍摄得到的原始图像数据在输出前的整个处理过程中使用的传感器数据始终都是与之同步的，提高了输出的图像的质量。

本申请实施例还提供一种电子设备，该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图5，图5为本申请实施例提供的电子设备的第一种结构示意图。

电子设备400包括上述实施例提出的多媒体处理芯片401、应用处理芯片 402和传感器403。其中，应用处理芯片402包括应用处理器4021和第二存储器 4022。

其中，多媒体处理芯片401和应用处理芯片402通过互连总线连接，例如 PCIE(peripheral component interconnect express)总线，PCIE总线具备点对点双通道高带宽传输的特点。多媒体处理芯片401还可以通过MIPI(Mobile Industry ProcessorInterface，移动产业处理器接口)线连接到应用处理芯片402。多媒体处理芯片401还可以根据SPI(Serial Peripheral Interface，串行外设接口) 总线连接，SPI的通信原理通常有一个主设备和多个从设备，即主设备可以为应用处理芯片402，从设备可以为多媒体处理芯片401。

另外应用处理芯片402和多媒体处理芯片401之间的消息可以通过通用输入/输出口(GPIO，General-purpose input/output)中断的形式来触发。

本申请实施例的多媒体处理芯片401可以先对图像进行预处理，并将预处理的结果传输到平台端(即应用处理芯片402)的ISP。平台端的ISP基于多媒体处理芯片401的处理结果作为输入数据，并进行进一步的处理。从而可以提升图像质量。

本申请实施例的多媒体处理芯片401可以对其获取到的原始图像数据诸如 RAW图像进行处理，以便于其他图像处理器对图像数据进行进一步处理，以提升图像质量。

多媒体处理芯片401可以对静态图像数据进行处理，诸如用户在拍照模式下所获取到的静态图像数据。多媒体处理芯片401还可以对动态图像数据进行处理，诸如用户在预览模式或录制视频模式所获取到的动态图像数据。

可以理解的是，静态图像数据和动态图像数据均可以由平台端 (System-on-a-Chip，SoC芯片)的处理器进行处理。平台端还可以理解为应用处理芯片，平台端的处理器可以理解为图像信号处理器(Image Signal Processing，ISP)和应用处理器(AP，Application Processor)。然而，平台端往往对图像数据的处理能力有限。随着用户对图像质量的要求越来越高，仅通过平台端对图像数据进行处理往往并不能够满足用户需求。

为了提升图像质量，可以理解为图像显示时的质量。本申请实施例的多媒体处理芯片401的图像处理器先对图像进行前处理，并将前处理的结果传输到平台端。平台端基于前处理结果作为输入数据，并进行后处理。从而可以提升图像质量。

例如，在一些实施例中，多媒体处理芯片401接收传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；对所述原始图像数据进行前处理，得到前处理图像数据；将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片402。

请继续参阅图6，图6是本申请实施例提供的电子设备的第二结构示意图。其中电子设备400包括多媒体处理芯片401和应用处理芯片402、传感器403、显示单元404、电源405、输入单元406。多媒体处理芯片401包括中央处理器4011、图像处理器4012和第一存储器4013；应用处理芯片402包括应用处理器4021和第二存储器4022。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在一实施例中，多媒体处理芯片401包括中央处理器4011、第一存储器4013 和图像处理器4012，具体如下：

中央处理器4011，用于当接收到所述传感器发送的传感器数据时，获取所述多媒体处理芯片的第一系统时间戳，并将获取的第一系统时间戳与所述传感器数据关联存储。

第一存储器4013，用于关联存储所述传感器数据和所述第一系统时间戳。

以下内容中以传感器为陀螺仪(Gyroscope，简称为GYRO)为例，对本申请实施例的方案进行说明。在电子设备的运行过程中，陀螺仪按照恒定频率输出陀螺仪数据(GYRO信息)，多媒体处理芯片401通过I2C模块或SPI模块接收陀螺仪传输的GYRO信息。

每当多媒体处理芯片401通过I2C模块或SPI模块接收到GYRO信息时，向中央处理器发送中断，中央处理器接收到该中断时，获取多媒体处理芯片401 的第一系统时间戳，将该第一系统时间戳与GYRO信息关联存储至第一存储器 4013。

或者，在另一实施例中，当接收到外部模块发送的传感器数据以及与所述传感器数据对应的第二系统时间戳时，根据所述多媒体处理芯片的第一时间获取频率和所述外部模块的第二时间获取频率，对所述第二系统时间戳进行校正，得到与所述传感器数据对应的第一系统时间戳，将所述第一系统时间戳与所述传感器数据关联存储。其中，外部模块是指直接从传感器获取传感器数据的硬件，比如应用处理芯片402。

中央处理器4011，还用于获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点，并将所述原始图像数据存储至所述第一存储器。

电子设备的摄像头进行曝光并输出图像，多媒体处理芯片401通过第一接口接收到摄像头输出的原始图像数据，将该原始图像数据存储至第一存储器 4013。其中，摄像头在曝光成像时，是从像素阵列中逐行取图像数据的。因此，在图像进行前处理或者后处理时，需要获取从图像开始曝光至读取完成最后一行像素点之间的传感器数据。因此，多媒体处理芯片401通过第一接口开始接收数据帧，即曝光开始时，记录曝光起始时间作为曝光起始时间点，在将原始图像数据最后一行像素点读取完成时，记录读取完成的时间点作为曝光结束时间点。

图像处理器4012，用于对所述原始图像数据进行前处理，得到前处理图像数据。

多媒体处理芯片可以从第一存储器中获取存储的原始图像数据，对该原始图像数据进行前处理，得到前处理图像数据。

中央处理器4011，还用于将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

在完成图像的前处理，并且得到目标GYRO信息后，将前处理图像数据和目标GYRO信息打包发送至应用处理芯片，此处的应用处理芯片可以理解为电子设备的应用处理芯片。其中，应用处理芯片402和多媒体处理芯片401的说明请参照上文，在此不再赘述。

电子设备的传感器403，可以包括陀螺仪、光传感器、运动传感器、图像传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元404可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。

第二存储器4022可用于存储软件程序以及模块，应用处理器4021通过运行存储在第二存储器4022的软件程序以及模块，从而执行各种功能应用以及数据处理。第二存储器4022可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，第二存储器4022可以包括高速随机存取第一存储器，还可以包括非易失性第一存储器，例如至少一个磁盘第一存储器件、闪存器件、或其他易失性固态第一存储器件。相应地，第二存储器4022还可以包括第一存储器控制器，以提供多媒体处理芯片401、应用处理器4021和输入单元406对第一存储器4013的访问。

第一存储器4013可用于存储软件程序以及模块，中央处理器4011通过运行存储在第一存储器4013的软件程序以及模块，从而执行各种功能应用以及数据处理。第一存储器4013可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，第一存储器4013可以包括高速随机存取第一存储器，还可以包括非易失性第一存储器，例如至少一个磁盘第一存储器件、闪存器件、或其他易失性固态第一存储器件。相应地，第一存储器4013还可以包括第一存储器控制器，以提供中央处理器4011和输入单元406对第一存储器 407的访问。

应用处理器4021是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第二存储器4022内的软件程序和/或模块，以及调用存储在第二存储器4022内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。

电子设备还包括给各个部件供电的电源405(比如电池)，优选的，电源可以通过电源管理系统与应用处理芯片402和多媒体处理芯片401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源405还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

输入单元406可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。在一实施例中，输入单元406可包括触敏表面以及其他输入设备。输入单元将输入的数据传送给应用处理器4021，并能接收应用处理器4021发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元406还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。在一实施例中，电子设备中的多媒体处理芯片401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到第一存储器4013中，并由应用处理器4021来运行存储在第一存储器4013中的应用程序，从而实现各种功能：

接收传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；

获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；

根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

对所述原始图像数据进行前处理，得到前处理图像数据；

将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的图像处理方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上对本申请实施例所提供的图像处理方法、多媒体处理芯片以及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种多媒体处理芯片，其特征在于，包括：

中央处理器，用于获取传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；用于获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；以及，根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

图像处理器，用于对所述原始图像数据进行前处理，得到前处理图像数据；

所述中央处理器，还用于将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

2.如权利要求1所述的多媒体处理芯片，其特征在于，所述中央处理器，还用于当接收到所述传感器发送的传感器数据时，获取所述多媒体处理芯片的第一系统时间戳，并将获取的第一系统时间戳与所述传感器数据关联存储。

3.如权利要求1所述的多媒体处理芯片，其特征在于，所述中央处理器，还用于当接收到外部模块发送的传感器数据以及与所述传感器数据对应的第二系统时间戳时，根据所述多媒体处理芯片的第一时间获取频率和所述外部模块的第二时间获取频率，对所述第二系统时间戳进行校正，得到与所述传感器数据对应的第一系统时间戳，将所述第一系统时间戳与所述传感器数据关联存储。

4.如权利要求3所述的多媒体处理芯片，其特征在于，所述外部模块为所述应用处理芯片。

5.如权利要求1至4任一项所述的多媒体处理芯片，其特征在于，所述中央处理器，还用于当接收到摄像头发送的原始图像数据时，将所述原始图像数据的开始曝光的时间点记录为曝光起始时间点，将所述原始图像数据最后一行像素点读取完成的时间点记录为曝光结束时间点。

6.如权利要求5所述的多媒体处理芯片，其特征在于，还包括：

第一存储器，用于关联存储所述传感器数据和所述第一系统时间戳；

以及，存储所述原始图像数据和所述前处理图像数据。

7.如权利要求1至4任一项所述的多媒体处理芯片，其特征在于，所述图像处理器，还用于根据所述目标传感器数据和预设算法对所述原始图像数据进行前处理，得到前处理图像数据。

8.一种电子设备，其特征在于，所述电子设备包括如权利要求1至7任一项所述的多媒体处理芯片；所述电子设备还包括：

传感器，用于获取传感器数据并发送至所述多媒体处理芯片；

应用处理芯片，用于当接收到所述多媒体处理芯片发送的所述前处理图像数据和所述目标传感器数据时，根据所述目标传感器数据对所述前处理图像数据进行后处理，得到后处理图像数据。

9.如权利要求8所述的电子设备，其特征在于，所述应用处理芯片，还用于根据所述目标传感器数据对所述前处理图像数据进行处理，得到后处理图像数据。

10.如权利要求8所述的电子设备，其特征在于，所述传感器为陀螺仪。

11.一种图像处理方法，其特征在于，所述方法应用于多媒体处理芯片，所述方法包括：

接收传感器采集的传感器数据以及与所述传感器数据对应的第一系统时间戳；

获取摄像头输出的原始图像数据，并记录所述原始图像数据的曝光起始时间点和曝光结束时间点；

根据所述第一系统时间戳，从所述传感器数据中截取所述曝光起始时间点至所述曝光结束时间点之间的传感器数据，作为目标传感器数据；

对所述原始图像数据进行前处理，得到前处理图像数据；

将所述前处理图像数据、所述目标传感器数据发送至应用处理芯片。

Images