CN115835011A - 图像处理芯片、应用处理芯片、电子设备和图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理芯片、应用处理芯片、电子设备和图像处理方法，图像处理芯片包括：第一图像信号处理器，用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；图像处理芯片还用于将融合图像数据发送给应用处理芯片。该图像处理芯片可减小数据传输量，降低数据传输过程中对带宽的要求，并且还具有降低功耗的作用。

Description

图像处理芯片、应用处理芯片、电子设备和图像处理方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像处理芯片、应用处理芯片、电子设备和图像处理方法。

背景技术

摄像头已成为各种数码产品必备的设备，例如：手机、平板电脑等，均设置了摄像头。为保证图像采集效果，摄像头的数量也从一个变成多个，且需将摄像头下图像传感器获取的多路原始RAW数据传输给应用处理芯片进行处理。由此，会造成传输的数据量较大，对带宽要求较高，功耗也较高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种图像处理芯片。

本发明的第二个目的在于提出一种应用处理芯片。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种图像处理方法。

为达到上述目的，本发明第一方面实施例提出了一种图像处理芯片，所述图像处理芯片包括：第一图像信号处理器，用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；所述图像处理芯片还用于将所述融合图像数据发送给应用处理芯片。

为达到上述目的，本发明第二方面实施例提出了一种应用处理芯片，所述应用处理芯片用于从图像处理芯片处获得N路融合图像数据，所述应用处理芯片包括：第二图像信号处理器，用于对所述N路融合图像数据进行校准处理；其中，所述N路融合图像是对M路原始图像数据进行融合处理而得到，其中M和N均为正整数，且M>N。

为达到上述目的，本发明第三方面实施例提出了一种电子设备，所述电子设备包括图像处理芯片，用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；应用处理芯片，用于从所述图像处理芯片处获得N路融合图像数据，并对所述N路融合图像数据进行校准处理。

为达到上述目的，本发明第四方面实施例提出了一种图像处理方法，所述方法包括：获取M路原始图像数据；对所述M路原始图像数据进行融合处理，以得到N路融合图像数据；对所述N路融合图像数据进行校准处理。

根据本发明实施例的图像处理芯片、应用处理芯片、电子设备和图像处理方法，通过对M路原始图像进行融合处理得到N路融合图像，进而再将N路融合图像数据进行传输，大大减小了数据传输量，降低了数据传输过程中对带宽的要求，并且还具有降低功耗的作用。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的图像数据处理的结构示意图；

图2是本发明实施例的图像处理芯片的结构示意图；

图3是本发明一个具体实施例的图像处理芯片的结构示意图；

图4是本发明一个具体实施例的融合处理前后图像大小对比示意图；

图5是本发明一个具体实施例的色调映射处理前后图像大小对比示意图；

图6是本发明一个实施例的应用处理芯片的结构示意图

图7是本发明一个具体实施例的应用处理芯片的结构示意图；

图8是本发明一个具体实施例的校准处理的流程示意图；

图9是本发明一个实施例的电子设备的结构示意图；

图10是本发明另一个实施例的电子设备的结构示意图；

图11是本发明实施例的图像处理方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的一个实施例中，如图1所示，当可采集多路原始图像数据的电子设备进行图像采集时，需要不停地将摄像头下图像传感器获取的多路原始RAW数据依次传输给图像处理芯片和应用处理芯片进行处理。若将多路原始图像数据传输到应用处理芯片进行处理，会造成传输的数据量较大，对带宽要求较高，功耗也较高。并且，参见图1，若采用MIPI(Mobile Industry Processor Interface，移动行业处理器接口)进行数据传输，则受限于硬件和成本，难以实现太多路的数据传输。

具体地，作为一个示例，电子设备在平滑变焦等模式下拍摄图像时，多个摄像头同时拍摄，需依次向图像处理芯片和向应用处理芯片传输多张原始图像数据，以及每一张原始图像的3A统计信息(3A stats)，其中，3A统计信息包括自动曝光统计信息、自动白平衡统计信息和自动对焦统计信息，数据传输量较大，对传输带宽的要求高，传输数据的功耗高。

作为另一个示例，电子设备在DOL(Digital overlap，数字重叠)模式下拍摄图像时，需依次向图像处理芯片和向应用处理芯片传输摄像头的图像传感器输出的多路曝光图像，以及每路曝光图像的3A统计信息和PD。以两个摄像头为例，需要统计3路*2颗*3A，至少需要使用和传输18种类别的统计数据，加上(3路Raw图像+3路PD)*2(颗)数据，一共有30路数据，受限于硬件和成本，MIPI(Mobile Industry Processor Interface，移动行业处理器接口)硬件的数据通路数量不能满足需求，其中，PD为Phase Data(相位信息)，PD用于对焦。

为此，本发明提出一种图像处理芯片、应用处理芯片、电子设备和图像处理方法，旨在解决数据量大，MIPI硬件的数据通路数量少，不能满足数据传输需求的问题。下面将结合说明书附图2-11以及具体的实施方式对本发明实施例的图像处理芯片、应用处理芯片、电子设备和图像处理方法进行详细地说明。

图2是本发明实施例的图像处理芯片的结构示意图。

图2所示，图像处理芯片2包括第一图像信号处理器21。其中，第一图像信号处理器21用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；图像处理芯片2还用于将融合图像数据发送给应用处理芯片3。

具体地，参见图2，M路原始图像数据可以是一个或多个图像传感器获得的，例如，M路原始图像数据可以是图像传感器通过在数字重叠DOL模式下获得的，若图像传感器的数量为2两个，则可得到M＝2*3＝6路原始图像数据。第一图像信号处理器21将M路(如6路)原始图像数据融合处理成N(N＜M，如M＝6时，N＝2)路融合图像数据后，图像处理芯片2将N路融合图像数据传输给应用处理芯片3。由此，可降低图像处理芯片2向应用处理芯片3回传数据时对传输带宽的要求，降低回传数据时功耗。

其中，图像传感器可采用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(Charge-coupled Device，感光元件或者电荷耦合元件)等感光元件。

在该实施例中，原始图像数据，为图像传感器采集得到的未经加工的图像数据，是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(Charge-coupled Device，感光元件或者电荷耦合元件)等感光元件将捕捉到的光源信号转化为数字信号的原始数据。原始图像数据记录有图像传感器的原始信息，同时还记录由摄像头拍摄所产生的一些元数据，如ISO的设置、快门速度、光圈值、白平衡等。若图像传感器可工作在数字重叠DOL模式下，则每个图像传感器获得的原始图像数据包括多张曝光图像。例如，当在3DOL模式下获取原始图像数据时，获取的原始图像数据会包括3路曝光图像，如长曝光图像、中间曝光图像和短曝光图像。

在本发明的实施例中，图像传感器的数量可为一个或多个(大于等于两个)，用于获取M路原始图像数据。当图像传感器在DOL模式下获取原始图像数据时，每个图像传感器获取到的多路原始图像数据为多路曝光图像数据。

作为一个可行的实施方式，图像处理芯片2可用在具有摄像头的电子设备中，为更好的支持ZSL(Zero Shutter Lang，零延时拍照)拍照，需不停地将摄像头的图像传感器采集的M路原始图像数据输入至图像处理芯片2，通过第一图像信号处理器21将M路原始图像数据融合处理成N(N＜M)路融合图像数据后，图像处理芯片2将N路融合图像数据传输给应用处理芯片3。由此，可降低图像处理芯片2向应用处理芯片3回传数据时对传输带宽的要求，降低回传数据时功耗，有利于零延迟拍照技术在低端平台落地。

在本发明的一个实施例中，第一图像信号处理器21具体用于将M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像数据中第i路原始图像数据的像素值，k_i表示m路原始图像数据的曝光时间中的最长曝光时间与第i路原始图像数据的曝光时间的比值，i为整数，且1＜i≤m。

作为一具体的实施例，参见图3，第一图像信号处理器21可包括第一ISP(Image Signal Processing，图像信号处理)模块、融合模块，其中，第一ISP模块、融合模块的数量可以是一个，也可以是N个，若是N个，则第一ISP模块、融合模块与每组中的m路原始图像数据一一对应，此时m路原始图像数据依次输入至对应的第一ISP模块、融合模块进行处理；若是一个，则第一ISP模块和融合模块可对N组原始图像数据进行并行处理。由此，可保证图像处理效率。参见图3，图像处理芯片2还可包括神经网络处理器，记为NPU(Neural-networkProcessing Unit，神经网络处理单元)模块。

在该实施例中，N个第一ISP模块用于接收M路原始图像数据，并对接收到的原始图像数据进行预处理，获取该路的预览图像。

具体地，第一ISP模块处理图像传感器传输过来的原始图像数据，以匹配不同型号的图像传感器。同时，第一ISP模块通过一系列数字图像处理算法完成对原始图像数据的效果处理，主要可包括3A(自动白平衡、自动对焦、自动曝光)、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理，得到预览图像。

NPU模块用于利用AI算法分别对各预览图像进行处理。

具体地，NPU模块利用AI算法完成对各预览图像的Demosaic(反马赛克)差值算法、自动白平衡、色彩校正、降噪、HDR(High-Dynamic Range，高动态范围图像)、超分辨率等处理。

融合模块用于对经AI算法处理后的对应的预览图像进行融合处理，得到N路融合图像。

具体地，图像传感器传输的原始图像数据，虽然经过第一ISP模块和NPU模块处理，但是其数据量并没有减小。通过融合模块对经过第一ISP模块和NPU模块处理后的图像进行融合处理，将M路原始图像数据转为成N路融合图像，可降低数据传输带宽，节省功耗。

作为一个具体实施例，参见图4，当在3DOL模式下获取原始图像数据时，每个图像传感器获取的原始图像数据包括3路曝光图像(长曝光图像、中间曝光图像和短曝光图像)，因此在对长曝光图像、中间曝光图像和短曝光图像进行融合处理时，可根据如下公式对原始图像进行融合处理：

Pixel_Value_Fusioned＝Pixel_Value_长+Pixel_Value_中*4+Pixel_Value_短*16，

其中，Pixel_Value_Fusioned表示融合图像的像素值，Pixel_Value_长表示长曝光图像的像素值，Pixel_Value_中表示中间曝光图像的像素值，Pixel_Value_短表示短曝光图像的像素值。

在该实施例中，长曝光图像的曝光时间t_长、中间曝光图像的曝光时间t_中和短曝光图像的曝光时间t_短呈四倍关系：t_长＝4*t_中＝16*t_短。

在该实施例中，融合模块在对预览图像中的曝光图像进行处理时，会对曝光图像进行重排。作为一个示例，如图4所示，融合模块可将3张10bits的曝光图像融合成一路30bits的融合图像。

在本发明的实施例中，第一图像信号处理器21还用于对各路融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数；其中，图像处理芯片2还用于将N路色调映射处理后的融合图像数据及其对应的色调映射处理参数发送给应用处理芯片3。

作为一具体的实施例，第一图像信号处理器21可包括色调映射模块。色调映射模块可与第一ISP模块、融合模块一一对应，即色调映射模块的数量与第一ISP模块的数量、融合模块的数量相同，第一ISP模块的数量、融合模块的数量均为N时，色调映射模块的数量也是N，第一ISP模块的数量、融合模块的数量均为1时，色调映射模块的数量也是1，以实现经第一ISP模块、融合模块处理后的融合图像，可传输至对应的色调映射模块进行处理，保证数据处理的可靠性。色调映射模块用于对融合图像进行色调映射处理，得到色调映射处理后的融合图像和色调映射处理参数。具体地，色调映射模块可采用色调映射算法(tonemapping)，对融合处理得到的高位宽融合图像进行色调映射处理。如图5所示，融合处理后得到的30bits的融合图像，经过色调映射处理后，可以得到10bits的图像。

在本发明的实施例中，第一图像信号处理器21在对融合图像数据进行色调映射处理时，具体用于：确定融合图像数据的感兴趣区域；基于感兴趣区域进行直方图均衡化处理，得到直方图均衡化映射关系，其中，直方图均衡化映射关系为色调映射处理参数；将直方图均衡化映射关系映射到融合图像数据的全图。

具体地，确定融合图像的感兴趣区域，以针对性地对图像中的某一部分进行增强，对于划定感兴趣区域的方法可以为用户输入的方式。对于划定的感兴趣图像的个数，可以为一个或多个。对于获取的感兴趣图像的形状可以为多边形、椭圆形等。直方图均衡化就是将图像进行非线性的拉伸，重新将图像的像素值进行分配，以达到一定灰度范围内的像素数量大致相同，使得给定的直方图分布变换为一种均匀的直方图分布，从而获得最大的对比度。基于感兴趣区域进行直方图均衡化处理时，记录直方图均衡化映射关系。基于该直方图均衡化映射关系，映射到融合图像的全图，以对融合图像的全图进行直方图均衡化处理，保证ROI区域的信息保真度最高。

作为一个示例，在得到ROI区域后，可进一步得到扩展区域，该扩展区域的尺寸可以是(ROI区域的宽高*1.25)，如ROI区域为矩形区域，扩展区域特为矩形区域，且扩展区域的长为ROI区域长*1.5，扩展区域的宽为ROI区域宽*1.5，两区域的中心重合。基于扩展区域进行直方图均衡化处理，得到直方图均衡化映射关系。

需要说明的是，直方图均衡化对于背景和前景都过亮或者过暗的图像都非常有用，能更好地显示曝光过度或者曝光不足照片中的细节。这种方法的一个主要优势在于其相当直观且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方图，并且计算量不大。

在本发明的实施例中，第一图像信号处理器21还用于统计得到M路原始图像数据的3A统计信息，其中，3A统计信息包括自动曝光统计信息、自动白平衡统计信息和自动对焦统计信息；其中，图像处理芯片2还用于将3A统计信息发送给应用处理芯片3。

具体地，第一图像信号处理器21可利用第一ISP模块统计得到M路原始图像数据的3A统计信息。其中，3A统计信息包括自动曝光统计信息(AE，Auto Exposure)、自动白平衡统计信息(AWB，Auto White Balance)和自动对焦统计信息(AF，Auto Focus)。

在本发明的实施例中，图像处理芯片2还用于对3A统计信息、色调映射处理后的融合图像数据、色调映射处理参数和PD数据进行编码，以得到编码信息，并将编码信息发送给应用处理芯片3。

作为一具体的实施例，参见图3，图像处理芯片2可包括MIPI-TX编码子模块，其中，MIPI-TX编码子模块可与上述的色调映射模块一一对应，即MIPI-TX编码子模块数量与色调映射模块的数量相同，可以是一个，也可以是N个。MIPI-TX编码子模块接收原始图像数据的3A统计信息、色调映射处理后的融合图像、色调映射处理参数和PD数据进行编码，以对原始图像数据的3A统计信息、色调映射处理后的融合图像、色调映射处理参数和PD数据进行编码，并将编码后的信息通过MIPI协议传输给应用处理芯片3。

本发明提供的图像处理芯片，对M路原始图像数据进行融合处理，得到N路融合图像数据，并对N路融合图像数据进行色调映射处理，大大减小了数据传输量，降低了数据传输过程中对带宽的要求，并且还具有降低功耗的作用，有助于零延迟拍照技术在低端平台应用。

本发明提供了一种应用处理芯片。

图6是本发明实施例的应用处理芯片的结构示意图。在本发明的实施例中，参见图2、图6，应用处理芯片3用于从图像处理芯片2处获得N路融合图像数据。

如图6所示，应用处理芯片3包括第二图像信号处理器31。其中，第二图像信号处理器31用于对N路融合图像数据进行校准处理；其中，N路融合图像是对M路原始图像数据进行融合处理而得到，其中M和N均为正整数，且M>N。

具体地，原始图像数据在经过图像处理芯片2融合或者融合且色调映射处理后，数据量大大减小。但是，图像处理芯片2在对融合图像进行色调映射处理后，影响了图像的3A准确性，因此需要对色调映射处理后的融合图像进行校准处理。作为一个示例，可获取色调映射处理后的融合图像，以及3A统计信息、色调映射处理参数和PD数据，以对融合图像数据进行校准处理进行校准，获得目标图像。

作为一个可行的实施方式，参见图7，应用处理芯片3可包括MIPI-RX解码子模块，第二图像信号处理器31可包括第二ISP模块。其中，MIPI-RX解码子模块、第二ISP模块的数量可以是一个，也可以是N个，具体可与图像处理芯片2中的MIPI-TX编码子模块的数量相同。

在该实施例中，MIPI-RX解码子模块用于接收对应MIPI-TX编码子模块的编码信息，并对编码信息进行解码，得到3A统计信息、色调映射处理后的融合图像、色调映射处理参数和PD数据，进而将色调映射处理后的融合图像传送给第二ISP模块。第二ISP模块用于在接收到对应的色调映射处理后的融合图像后，利用数字图像处理算法对色调映射处理后的融合图像进行预处理。第二ISP模块对色调映射处理后的融合图像进行的预处理与第一ISP模块进行的预处理相同，在此不在赘述。

在本发明的实施例中，参见图6、图7，应用处理芯片3还包括第二中央处理器32，第二中央处理器32的数量可以是一个，也可以是N个，具体可与MIPI-RX解码子模块、第二ISP模块的数量相同。第二中央处理器32用于利用3A算法根据M路原始图像数据的3A统计信息、N路融合图像数据的色调映射处理参数，得到N路融合图像数据的AWB校准参数和CCM参数，并根据色调映射处理参数对AWB增益参数进行校准；其中，第二图像信号处理器31具体用于利用校准后的AWB增益参数和CCM参数对M路融合图像数据进行自动白平衡校准和色彩校准。

具体地，第二中央处理器32用于在接收到对应的3A统计信息、色调映射处理参数和PD数据后，利用3A算法根据3A统计信息、色调映射处理参数和PD数据得到AWB校准参数和CCM(Color Correct Matrix，色彩校正)参数，并根据色调映射处理参数对AWB增益参数进行校准。

作为一个示例，参见图8，第二中央处理器32可利用图像融合压缩前的3A统计信息和图像融压缩后的3A统计信息进行对比，以对应用处理芯片3端接收到的RAW图像颜色进行校准，通过融合压缩前后RGB统计对比得到比值系数，使用该比值在应用处理芯片端对AWB算法的结果(RGB Gain)进行校正，使用校正之后的3A算法结果对应用处理芯片3的Raw图进行颜色校准。

在本发明的实施例中，第二中央处理器32在根据色调映射处理参数对AWB增益参数进行校准时，具体可用于：

对色调映射处理后的融合图像数据进行反向色调映射处理；

根据如下公式计算AWB增益校准参数：

RGain校准＝RGain/Cr/Cg；

BGain校准＝BGain/Cb/Cg；

其中，RGain校准为校准后的R增益，BGain校准为校准后的B增益，RGain为校准前的R增益，Cr/Cg为R的相对G增益，Cb/Cg为B的相对G增益，Cr＝Rsum/Rsum_untonemapping，Cg＝Gsum/Gsum_untonemapping，Cb＝Bsum/Bsum_untonemapping，Rsum、Gsum、Bsum分别为色调映射处理后的融合图像的R、G、B分量总值，Rsum_untonemapping、Gsum_untonemapping、Bsum_untonemapping分别为反向色调映射处理后的融合图像的R、G、B分量总值。

进一步地，利用校准后的AWB增益参数和CCM参数对色调映射处理后的融合图像进行自动白平衡校准和色彩校准。

综上，本发明实施例的应用处理芯片，通过对由M路原始图像数据融合得到的N路融合图像数据进行校准处理，可保证图像的显示效果。

本发明还提供了一种电子设备。

参见图9和图10，电子设备10包括图像处理芯片2和应用处理芯片3。

在该实施例中，图像处理芯片2用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N。

具体地，图像处理芯片2具体用于：将M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像数据中第i路原始图像数据的像素值，k_i表示m路原始图像数据的曝光时间中的最长曝光时间与第i路原始图像数据的曝光时间的比值，i为整数，且1＜i≤m。

在本发明的一个实施例中，图像处理芯片2还用于：对各路融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数，并将N路色调映射处理后的融合图像数据及其对应的色调映射处理参数发送给应用处理芯片3。

应用处理芯片3用于从图像处理芯片处获得N路融合图像数据，并对N路融合图像数据进行校准处理。

本发明实施例的电子设备可以是移动终端，如智能手机、平板电脑等。

需要说明的是，本发明实施例的电子设备10中的图像处理芯片2和应用处理芯片3的其他具体实施方式可参见本发明上述实施例的图像处理芯片2和应用处理芯片3的具体实施方式。

另外，参见图9，图像处理芯片2还可包括CPU、存储器、计算机视觉引擎，其中，CPU可负责图像处理芯片2的控制，如上下电、固件加载，运行时控制等；存储器可用于存储图像数据处理过程中需存储的数据；计算机视觉引擎可以被配置来处理场景，产生表征所观察活动的信息流，并将信息流通过系统总线传输给其他模块，以学习相应场景的对象行为。应用处理器芯片3还可包括存储器，用以存储图像数据处理过程中需存储的数据。

本发明实施例提供的电子设备，通过图像处理芯片将图像传感器传输过来的原始图像进行融合或融合且色调映射处理，并将压缩的融合图像发送给应用处理芯片，大大减小了数据传输量，降低了数据传输过程中对带宽的要求，并且还具有降低功耗的作用。本发明实施例提供的电子设备可应用到多摄像头(如两摄像头，分别为主副摄像头)场景中，主副摄像头同步使用该方法降低带宽，对主副摄对融合时的色调映射的参数进行同步和综合，使色调映射更准确。

本发明还提供了一种图像处理方法。

图11是本发明实施例的图像处理方法的流程示意图。如图11所示，图像处理方法包括：

S1，获取M路原始图像数据。

具体地，可利用图像传感器获取M路原始图像数据，其中，原始图像为在数字重叠DOL模式下获得。其中，图像传感器为一种感光元件，是利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可采用CMOS、CCD等感光元件。

具体而言，CMOS图像传感器本质是一块芯片，主要包括：感光区阵列(Bayer阵列)、时序控制、模拟信号处理以及模数转换等模块。主要作用把光信号转化成电信号，然后通过ADC(Analog-to-digital converter，模拟数字转换器)转化成数字信号。

S2，对M路原始图像数据进行融合处理，以得到N路融合图像数据。

作为一可行地实施方式，对M路原始图像数据进行融合处理，可包括：

将M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；

根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像数据中第i路原始图像数据的像素值，k_i表示m路原始图像数据的曝光时间中的最长曝光时间与第i路原始图像数据的曝光时间的比值，i为整数，且1＜i≤m。

在本发明的实施例中，图像处理方法还包括：对各路融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数。

S3，对N路融合图像数据进行校准处理。

需要说明的是，本发明实施例的图像处理方法的其他具体实施方式可参见本发明上述实施例的图像处理芯片和应用处理芯片的具体实施方式。

本发明实施例提供的图像处理方法，对M路原始图像进行融合或融合且色调映射处理，并对色调映射处理后融合图像进行校正，大大减小了数据传输量，降低了数据传输过程中对带宽的要求，并且还具有降低功耗的作用。另外，本发明实施例提供的图像处理方法可应用到多摄像头(如两摄像头，分别为主副摄像头)场景中，主副摄像头同步使用该方法降低带宽，对主副摄对融合时的色调映射的参数进行同步和综合，使色调映射更准确。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理芯片，其特征在于，所述图像处理芯片包括：

第一图像信号处理器，用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；

所述图像处理芯片还用于将所述融合图像数据发送给应用处理芯片。

2.根据权利要求1所述的图像处理芯片，其特征在于，所述第一图像信号处理器具体用于：

将所述M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；

根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示所述N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像中第i路原始图像的像素值，k_i表示所述m路原始图像的曝光时间中的最长曝光时间与第i路原始图像的曝光时间的比值，i为整数，且1＜i≤m。

3.根据权利要求1或2所述的图像处理芯片，其特征在于，所述第一图像信号处理器还用于：

对各路所述融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数；

其中，所述图像处理芯片还用于将N路色调映射处理后的融合图像数据及其对应的色调映射处理参数发送给所述应用处理芯片。

4.根据权利要求1所述的图像处理芯片，其特征在于，所述第一图像信号处理器在对所述融合图像数据进行色调映射处理时，具体用于：

确定所述融合图像数据的感兴趣区域；

基于所述感兴趣区域进行直方图均衡化处理，得到直方图均衡化映射关系，其中，所述直方图均衡化映射关系为所述色调映射处理参数；

将所述直方图均衡化映射关系映射到所述融合图像数据的全图。

5.根据权利要求3所述的图像处理芯片，其特征在于，所述第一图像信号处理器还用于：

统计得到所述M路原始图像数据的3A统计信息，其中，所述3A统计信息包括自动曝光统计信息、自动白平衡统计信息和自动对焦统计信息；

其中，所述图像处理芯片还用于将所述3A统计信息发送给所述应用处理芯片。

6.根据权利要求5所述的图像处理芯片，其特征在于，所述图像处理芯片还用于：

对所述3A统计信息、所述色调映射处理后的融合图像数据和所述色调映射处理参数进行编码，以得到编码信息，并将所述编码信息发送给所述应用处理芯片。

7.一种应用处理芯片，其特征在于，所述应用处理芯片用于从图像处理芯片处获得N路融合图像数据，所述应用处理芯片包括：

第二图像信号处理器，用于对所述N路融合图像数据进行校准处理；

其中，所述N路融合图像是对M路原始图像数据进行融合处理而得到，其中M和N均为正整数，且M>N。

8.根据权利要求7所述的应用处理芯片，其特征在于，所述应用处理芯片还包括：

第二中央处理器，用于利用3A算法根据所述M路原始图像数据的3A统计信息、所述N路融合图像数据的色调映射处理参数，得到所述N路融合图像数据的AWB校准参数和CCM参数，并根据所述色调映射处理参数对所述AWB增益参数进行校准；

其中，所述第二图像信号处理器具体用于利用校准后的AWB增益参数和所述CCM参数对所述M路融合图像数据进行自动白平衡校准和色彩校准。

9.根据权利要求8所述的应用处理芯片，其特征在于，所述第二中央处理器在根据所述色调映射处理参数对所述AWB增益参数进行校准时，具体用于：

对所述色调映射处理后的融合图像数据进行反向色调映射处理；

根据如下公式计算所述AWB增益校准参数：

R Gain校准＝R Gain/Cr/Cg；

B Gain校准＝B Gain/Cb/Cg；

其中，R Gain校准为校准后的R增益，B Gain校准为校准后的B增益，R Gain为校准前的R增益，Cr/Cg为R的相对G增益，Cb/Cg为B的相对G增益，Cr＝Rsum/Rsum_untonemapping，Cg＝Gsum/Gsum_untonemapping，Cb＝Bsum/Bsum_untonemapping，Rsum、Gsum、Bsum分别为所述色调映射处理后的融合图像的R、G、B分量总值，Rsum_untonemapping、Gsum_untonemapping、Bsum_untonemapping分别为反向色调映射处理后的融合图像的R、G、B分量总值。

10.一种电子设备，其特征在于，包括：

图像处理芯片，用于对M路原始图像数据进行融合处理，以得到N路融合图像数据，其中，M、N均为正整数，且M＞N；

应用处理芯片，用于从所述图像处理芯片处获得N路融合图像数据，并对所述N路融合图像数据进行校准处理。

11.如权利要求10所述的电子设备，其特征在于，所述图像处理芯片具体用于：

将所述M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；

根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示所述N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像中第i路原始图像的像素值，k_i表示所述m路原始图像的曝光时间中的最长曝光时间与第i路原始图像的曝光时间的比值，i为整数，且1＜i≤m。

12.根据权利要求10或11所述的电子设备，其特征在于，所述图像处理芯片还用于：

对各路所述融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数，并将N路色调映射处理后的融合图像数据及其对应的色调映射处理参数发送给所述应用处理芯片。

13.一种图像处理方法，其特征在于，所述方法包括：

获取M路原始图像数据；

对所述M路原始图像数据进行融合处理，以得到N路融合图像数据；

对所述N路融合图像数据进行校准处理。

14.根据权利要求13所述的图像处理方法，其特征在于，所述对所述M路原始图像数据进行融合处理，包括：

将所述M路原始图像数据划分为N组，其中，每组包括m路原始图像数据，m为整数，且2≤m≤M；

根据如下公式对各组中的m路原始图像数据进行融合处理：

其中，Pixel_Value_j_Fusioned表示所述N路融合图像中第j路融合图像的像素值，Pixel_Value_i表示m路原始图像中第i路原始图像的像素值，k_i表示所述m路原始图像的曝光时间中的最长曝光时间与第i路原始图像的曝光时间的比值，i为整数，且1＜i≤m。

15.根据权利要求13所述的图像处理方法，其特征在于，所述方法还包括：

对各路所述融合图像数据进行色调映射处理，以得到色调映射处理后的融合图像数据和色调映射处理参数。

Images