CN115714898A - 图像处理芯片、方法、应用处理芯片及电子设备 - Google Patents

Abstract

本申请提供一种图像处理芯片、方法、应用处理芯片及电子设备，图像处理芯片包括数据打包单元，通过数据打包单元获取到N帧RAW图像，并根据应用处理芯片的图像处理需求信息，对获取到的N帧RAW图像进行重组，得到M个数据块，以及将M个数据块封装为L个数据包，再将封装得到L个数据包传输至应用处理芯片。其中，N、M为大于1的正整数，L为小于N的正整数。以此，通过将N帧RAW图像封装为小于N的L个数据包进行传输，至多需要占用应用处理芯片的L个数据传输通道，相较于相关技术占用N个数据传输通道来实现N帧RAW图像的传输方式，本申请能够降低图像数据对应用处理芯片的数据传输通道的占用，从而降低图像数据对其它类型数据传输和处理的影响。

Description

图像处理芯片、方法、应用处理芯片及电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理芯片、方法、应用处理芯片及电子设备。

背景技术

目前，用户通常利用具有摄像头的电子设备(如数码相机、智能手机等)拍摄图像，从而随时随地的记录身边发生的事情，看到的景物等。相关技术中，为了提高拍摄图像的质量，电子设备通常会对拍摄的原始图像进行特定的图像处理。比如，可以拍摄得到多帧图像，对多帧图像进行高动态合成处理得到高动态合成图像，或者对多帧图像进行多帧合成降噪处理得到降噪合成图像等。当需要对多帧图像进行处理时，摄像头中的图像传感器需要占用应用处理芯片的多个数据传输通道以将拍摄的多帧图像传输至应用处理芯片进行图像处理，但是，应用处理芯片的数据传输通道的数量是有限的，当数据传输通道被图像数据过多的占用时，将影响其它类型数据的传输和处理。

发明内容

本申请提供一种图像处理芯片、应用处理芯片、电子设备及图像处理方法，能够降低图像数据对应用处理芯片的数据传输通道的占用，从而降低图像数据对其它类型数据传输和处理的影响。

本申请公开一种图像处理芯片，包括：

数据打包单元，用于获取N帧RAW图像，N为大于1的正整数；以及根据应用处理芯片的图像处理需求信息，将获取的N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；以及将M个数据块封装为L个数据包，L为小于N的正整数；

图像处理芯片用于将L个数据包传输至应用处理芯片。

本申请还公开一种应用处理芯片，用于传输图像处理需求信息至图像处理芯片，以及从图像处理芯片获取对应图像处理需求信息的L个数据包，包括：

图像处理单元，用于生成图像处理需求信息；

数据解包单元，用于将L个数据包拆分为M个数据块后进行并行解析后得到图像数据，L个数据包由N帧RAW图像中的图像数据重组为M个数据块后封装得到，N、M为大于1的正整数，L为小于N的正整数；

图像处理单元还用于对解析得到的图像数据进行图像处理。

本申请公开一种电子设备，包括图像处理芯片和应用处理芯片，其中，

应用处理芯片用于生成图像处理需求信息，并将图像处理需求信息传输至图像处理芯片；

图像处理芯片用于获取N帧RAW图像，N为大于1的正整数；以及根据图像处理需求信息将N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；以及将M个数据块封装为L个数据包后传输至应用处理芯片，L为小于N的正整数；

应用处理芯片还用于将L个数据包拆分为M个数据块后进行并行解析得到图像数据，并对解析到的图像数据进行图像处理。

本申请公开一种图像处理方法，应用于图像处理芯片，包括：

获取N帧RAW图像，N为大于1的正整数；

根据应用处理芯片的图像处理需求信息，将N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；

将M个数据块封装为L个数据包，L为小于N的正整数；

将L个数据包传输至应用处理芯片。

本申请公开一种图像处理方法，应用于应用处理芯片，包括：

生成图像处理需求信息，并将图像处理需求信息传输至图像处理芯片；

从图像处理芯片获取对应图像处理需求信息的L个数据包；

将L个数据包拆分为M个数据块后进行并行解析得到图像数据，L个数据包由N帧RAW图像中的图像数据重组为M个数据块后封装得到，N、M为大于1的正整数，L为小于N的正整数；

对解析得到的图像数据进行图像处理。

将本申请提供的图像处理芯片应用于电子设备时，通过图像处理芯片将N帧RAW图像封装为小于N的L个数据包进行传输，至多需要占用应用处理芯片的L个数据传输通道，相较于相关技术占用N个数据传输通道来实现N帧RAW图像的传输方式，本申请能够降低图像数据对应用处理芯片的数据传输通道的占用，从而降低图像数据对其它类型数据传输和处理的影响。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的图像处理芯片的一结构示意图。

图2为本申请实施例中数据打包单元将3帧RAW图像重组为2个数据块的示例图。

图3为本申请实施例中数据打包单元将2帧RAW图像重组为2个数据块的示例图。

图4为本申请实施例提供的打包传输方式和相关技术的对比示意图。

图5为本申请实施例中应用处理芯平对图像处理芯片传输的数据包进行拆包、解析以及图像处理的示例图。

图6为本申请实施例中一拍摄场景的感兴趣区域的示例图。

图7为本申请实施例中数据打包单元将图像数据重组至数据块的示例图。

图8为本申请实施例中对一RAW图像中一行图像数据的区块划分示意图。

图9为本申请实施例中将重组得到的数据块封装为数据包的示例图。

图10为本申请实施例提供的应用处理芯片的结构示意图。

图11为本申请实施例提供的电子设备的结构示意图。

图12为本申请实施例通过的图像处理方法一流程示意图。

图13为本申请实施例提供的图像处理方法的另一流程示意图。

具体实施方式

需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。

本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。

请参照图1，图1为本申请实施例提供的图像处理芯片100的结构示意图，如图1所示，该图像处理芯片100包括第一数据接口单元110、数据打包单元120和第二数据接口单元130。

应当说明的是，本申请所提供的图像处理芯片100可以配置在具备图像传感器和应用处理芯片(可以集成有中央处理器、调制解调器以及图像信号处理器等)的电子设备中，用于根据应用处理芯片的图像处理需求信息，将来源于图像传感器的N(为大于1的正整数)帧RAW图像中的图像数据重组为M(为大于1的正整数)个数据块，并将这M个数据块封装为L(为小于N的正整数)个数据包后传输至应用处理芯片，供应用处理芯片按需进行图像处理。以此，通过将N帧RAW图像封装为小于N的L个数据包，本申请至多需要占用L个数据传输通道实现N帧RAW图像的传输，相较于相关技术需要占用N个数据传输通道来实现N帧RAW图像的传输方式，本申请能够减少实现N帧RAW图像传输所需的数据传输通道的数量。其中，电子设备的实体类型可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备，本申请对此不作具体限制。

本实施例中，第一数据接口单元110用于提供图像传感器和图像处理芯片100之间的数据传输通道，以实现图像传感器和图像处理芯片100之间的数据传输。此处对第一数据接口单元110的本申请实施例中对于数据接口单元110的实体类型不做具体限制，包括但不限于移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、PCI-E接口等。比如，本申请中第一数据接口单元110的实体类型为移动产业处理器接口。图像处理芯片100可以通过第一数据接口单元110从图像传感器获取到图像传感器采集的N帧未经处理的原始的RAW图像，N为大于1的正整数。

在一可选地实施例中，图像处理芯片100还可以包括图像预处理单元，图像预处理单元被配置为对图像处理芯片100从图像传感器获取的N帧RAW图像进行图像预处理，得到预处理后的N帧RAW图像。

应当说明的是，图像预处理单元所进行的图像预处理可以理解为在应用处理芯片进行图像处理之前所进行的图像处理，以区别于应用处理芯片进行的图像处理为约束，可以是任一类型的图像处理，具体可由本领域技术人员根据实际需要进行配置。

比如，图像预处理单元可以包括两个图像处理子单元，分别为进行传统图像处理的第一图像处理子单元，和进行基于人工智能的图像处理的第二图像处理子单元，可以根据实际需要配置第一图像处理子单元所需进行的图像处理(包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等图像处理方式)，以及配置第二图像处理子单元所需进行的图像处理(包括但不限于基于人工智能的超分辨率处理、降噪处理等图像处理方式)。

应当说明的是，图像处理芯片100可按需通过图像预处理单元对来自于图像传感器的N帧RAW图像进行图像预处理，或者不对来自于图像传感器的N帧RAW图像进行图像预处理。

数据打包单元120被配置为获取N帧RAW图像，并根据应用处理芯片的图像处理需求信息，以及将获取到的N帧RAW图像重组为M个数据块，将M个数据块封装为L个数据包。

其中，图像处理需求信息用于描述应用处理芯片的图像处理需求，包括但不限于进行何种类型的图像处理，以及如何进行图像处理等。

本实施例中，数据打包单元120获取的N帧RAW图像可以是图像处理芯片100直接从图像传感器获取的未经处理的N帧RAW图像，也可以是图像预处理单元预处理后的N帧RAW图像。针对获取到的N帧RAW图像，数据打包单元120根据应用处理芯片的图像处理需求信息，将N帧RAW图像中的图像数据进行重组，相应得到与应用处理芯片的图像处理需求所匹配的M个数据块，每一数据块中的图像数据可独立用于应用处理芯片的图像处理中。针对重组得到M个数据块，数据打包单元120进一步根据配置的数据封装策略，将M个数据块封装为L个数据包。此处对数据封装策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置，其中，以L小于N为约束，L可以动态取值为任何正整数，比如可以取值为1。

比如，图像处理需求信息可以描述：

应用处理芯片需要利用同一拍摄场景的3帧RAW图像进行高动态范围合成处理，且需要先对拍摄场景的感兴趣区域(Region of Interest，ROI)进行高动态范围合成处理，再对拍摄场景的非感兴趣区域进行高动态范围合成处理。

相应的，图像传感器可以采集前述拍摄场景的3帧曝光参数不同的RAW图像，分别为长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。相应的，图像处理芯片100通过第一数据接口单元110从图像传感器获取到长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。

请参照图2，数据打包单元120根据以上图像处理需求信息，将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中感兴趣区域的图像数据重组为一个数据块(即数据块1)，将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中非感兴趣区域的图像数据重组为另一数据块(即数据块2)。以此，3帧RAW图像中的图像数据被重组为2个数据块，且每一数据块均包括应用处理芯片进行高动态范围合成处理所需的全部图像数据。

又比如，图像处理需求信息可以描述：

应用处理芯片需要利用同一拍摄场景的2帧RAW图像进行合成降噪处理，且需要对拍摄场景的对焦区域和非对焦区域进行不同程度的合成降噪处理。

相应的，图像传感器可以采集前述拍摄场景的2帧RAW图像，分别为RAW图像1和RAW图像2。相应的，图像处理芯片100通过第一数据接口单元110从图像传感器获取到RAW图像1和RAW图像2。

请参照图3，数据打包单元120根据以上图像处理需求信息，将RAW图像1和RAW图像2中对焦区域的图像数据重组为一个数据块(即数据块3)，将RAW图像1和RAW图像2中非对焦区域的图像数据重组为另一数据块(即数据块4)。以此，2帧RAW图像中的图像数据被重组为2个数据块，且每一数据块均包括应用处理芯片进行合成降噪处理所需的全部图像数据。

第二数据接口单元130用于提供应用处理芯片和图像处理芯片100之间的数据传输通道，以实现应用处理芯片和图像处理芯片100之间的数据传输。此处对第二数据接口单元130的实体类型不做具体限制，包括但不限于移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)、PCI-E接口等。比如，本申请实施例中第二数据接口单元130的实体类型为移动产业处理器接口。

本实施例中，图像处理芯片100通过第二数据接口单元130将数据打包单元120封装得到的L个数据包传输至应用处理芯片，供应用处理芯片进行图像处理。可以理解的是，由于N帧RAW图像被封装为L个数据包，只需至多占用应用处理芯片的L个数据传输通道进行传输。比如，请参照图4(其中，箭头代表数据传输通道)，当图像传感器直接传输N帧RAW图像至应用处理芯片时，需要占用应用处理芯片的N个数据传输通道以实现对N帧RAW图像传输，而当采用本申请提供的图像处理芯片100将图像传感器采集的N帧RAW图像封装为L个数据包传输至应用处理芯片时，若N帧RAW图像被数据打包单元120封装为1个数据包，则只需要占用应用处理芯片的1个数据传输通道。

另外，还需要说明的是，在本申请实施例中，数据打包单元120并非直接将N帧RAW图像封装为数据包，而是将N帧RAW图像中的图像数据重组为M个数据块，且这M个数据块是与应用处理芯片所需进行的图像处理所匹配的，再将这M个数据块封装为L个数据包。相应的，应用处理芯片在接收到图像处理芯片100通过第二数据接口单元130所传输的数据包之后，可以将数据包拆分为M个数据块后进行并行解析，并对M个数据块解析得到的图像数据进行图像处理。

比如，请结合参照图2和图5，一方面，图像处理芯片100按照图2所示重组方式，通过数据打包单元120将3帧RAW图像重组为2个数据块，并将2个数据块封装为1个数据包，以及通过第二数据接口单元130将封装得到的1个数据包传输至应用处理芯片。

另一方面，应用处理芯片在接收到该数据包之后，将该数据包拆分为2个数据块，即数据块1和数据块2，再对数据块1和数据块2进行并行解析，从数据块1中解析得到长曝光RAW图像中感兴趣区域的图像数据(图5中由A表示)、中曝光RAW图像中感兴趣区域的图像数据(图5中由B表示)和短曝光RAW图像中感兴趣区域的图像数据(图5中由C表示)，从数据块2中解析得到长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中非感兴趣区域的图像数据。之后，应用处理芯片对数据块1解析得到的图像数据进行高动态范围合成处理，得到高动态范围的感兴趣区域图像数据(图5中由D表示)，以及对数据块2解析得到图像数据进行高动态范围合成处理，得到高动态范围的非感兴趣区域图像数据。最后，应用处理芯片拼接高动态范围的感兴趣区域图像数据和非感兴趣区域图像数据，即得到高动态范围合成图像。

由上可知，本申请提供的图像处理芯片100包括数据打包单元120，通过数据打包单元120获取到N帧RAW图像，并根据应用处理芯片的图像处理需求信息，对获取到的N帧RAW图像进行重组，得到M个数据块，以及将M个数据块封装为L个数据包后传输至应用处理芯片。其中，N、M为大于1的正整数，L为小于N的正整数。以此，通过将N帧RAW图像封装为小于N的L个数据包，图像处理芯片100至多需要占用应用处理芯片的L个数据传输通道来实现N帧RAW图像的传输，相较于相关技术需要占用N个数据传输通道来实现N帧RAW图像的传输方式，本申请能够降低图像数据对应用处理芯片的数据传输通道的占用，从而降低图像数据对其它类型数据传输和处理的影响。另外，重组后的M个数据块可由应用处理芯片进行并行解析，还能够降低解析所需的时间。

在一可选地实施例中，数据打包单元120被配置为根据图像处理需求信息，为每一RAW图像中不同位置的图像数据分配优先级；以及将N帧RAW图像中相同优先级的图像数据重组为数据块，得到M个数据块。

本实施例中，图像处理需求信息除了描述应用处理芯片进行何种类型的图像处理，以及如何进行图像处理之外，还可以描述应用处理芯片对图像传感器的拍摄场景中不同区域定义的重要程度信息。相应的，数据打包单元120在进行优先级的分配时，可以根据图像数据的重要程度进行分配。其中，当图像处理需求信息描述应用处理芯片需要利用不同RAW图像中同一位置的图像数据进行图像处理时，为与应用处理芯片的图像处理需求所匹配，不同RAW图像中同一位置的图像数据将被数据打包单元120分配相同的优先级。

比如，请参照图6，对于一拍摄场景，应用处理芯片识别出两个感兴趣区域，分别为感兴趣区域1(图6中由ROI1表示)和感兴趣区域2(图6中由ROI2表示)，且定义感兴趣区域1的重要程度大于感兴趣区域2的重要程度，且感兴趣区域2的重要程度大于非感兴趣区域(即图6中除感兴趣区域1和感兴趣区域2之外的区域)的重要程度。

图像处理需求信息可以描述：

应用处理芯片需要利用同一拍摄场景的3帧RAW图像进行高动态范围合成处理，拍摄场景中感兴趣区域1的重要程度大于感兴趣区域2的重要程度，感兴趣区域2的重要程度大于非感兴趣区域，且需要对拍摄场景中的感兴趣区域1进行高程度的高动态范围合成处理，对拍摄场景中的感兴趣区域2进行中等程度的高动态范围合成处理，对拍摄场景中的非感兴趣区域进行低程度的高动态范围合成处理。

相应的，图像传感器可以采集前述拍摄场景的3帧曝光参数不同的RAW图像，分别为长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。相应的，图像处理芯片100通过第一数据接口单元110从图像传感器获取到长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。并通过图像预处理单元对获取到的长曝光RAW图像、中曝光RAW图像和短曝光RAW图像进行图像预处理。

数据打包单元120获取到预处理后的长曝光RAW图像、中曝光RAW图像和短曝光RAW图像，并根据以上图像处理需求信息，为预处理后的长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应感兴趣区域1的图像数据分配优先级“高”，为长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应感兴趣区域2的图像数据分配优先级“中”，为长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应非感兴趣区域的图像数据分配优先级“低”。然后，数据打包单元120将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中优先级为“高”的图像数据重组为一个数据块，将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中优先级为“中”的图像数据重组为一个数据块，以及将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中优先级为“低”的图像数据重组为一个数据块，共得到3个数据块，这3个数据块分别包括了长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应感兴趣区域1的图像数据，长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应感兴趣区域2的图像数据，以及长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中对应非感兴趣区域的图像数据。

应当说明的是，在其他实施例中，数据打包单元120在进行优先级的分配时，还可以根据图像数据的重要程度之外的其他属性信息进行分配，比如，数据打包单元120还可以根据图像数据的曝光程度进行优先级的分配等。

在一可选地实施例中，数据块包括多个数据行，数据行包括行头部分和行体部分，数据打包单元120被配置为将N帧RAW图像中相同优先级的图像数据依次写入同一数据块的不同数据行的行体部分；以及获取每一数据行中行体部分写入的图像数据的第一描述信息，将对应每一数据行的第一描述信息写入每一数据行的行头部分。

应当说明的是，其中第一描述信息至少包括用于描述数据打包单元如何对图像数据进行重组的描述信息，比如，第一描述信息可以包括数据行中行体部分写入的图像数据的来源RAW图像信息(用于描述该图像数据来源于哪一RAW图像)、在来源RAW图像中的位置信息、数据大小信息以及优先级信息等。

其中，在进行图像数据重组时，数据打包单元120可以交替的将N帧RAW图像中相同优先级的图像数据依次写入同一数据块的不同数据行的行体部分。也即是说，同一数据块中，所有数据行中行体部分所写入的图像数据的优先级相同，但是相邻两数据行的行体部分所写入的图像数据来源于不同的RAW图像。

比如，按照图6所示感兴趣区域对应的优先级分配方式(具体请参照以上实施例中的相关描述)，以对长曝光RAW图像、中曝光RAW图像以及短曝光RAW图像中优先级“高”的图像数据的重组为例进行说明。

请参照图7，其中O的取值取决于待写入的图像数据的数据大小。数据打包单元120识别短曝光RAW图像中第一行图像数据中是否存在优先级“高”的图像数据，若存在，则将其中优先级“高”的图像数据写入数据行1中的行体部分，若不存在，则继续识别下一行图像数据中是否存在优先级“高”的图像数据，直至识别到优先级“高”的图像数据写入数据行1中的行体部分；然后，数据打包单元120识别中曝光RAW图像中第一行图像数据中是否存在优先级“高”的图像数据，若存在，则将其中优先级“高”的图像数据写入数据行2中的行体部分，若不存在，则继续识别下一行图像数据中是否存在优先级“高”的图像数据，直至识别到优先级“高”的图像数据写入数据行2中的行体部分；再然后，数据打包单元120识别长曝光RAW图像中第一行图像数据中是否存在优先级“高”的图像数据，若存在，则将其中优先级“高”的图像数据写入数据行3中的行体部分，若不存在，则继续识别下一行图像数据中是否存在优先级“高”的图像数据，直至识别到优先级“高”的图像数据写入数据行3中的行体部分。如此，数据打包单元120按照短曝光RAW图像、中曝光RAW图像至长曝光RAW图像的顺序，交替的逐行将短曝光RAW图像、中曝光RAW图像以及长曝光RAW图像中优先级“高”的图像数据依次写入同一数据块的不同数据行的行体部分。此外，针对每一数据行，数据打包单元120还获取每一数据行中行体部分写入的图像数据的第一描述信息，将对应每一数据行的所述第一描述信息写入每一数据行的行头部分。比如，此时获取的第一描述信息可以包括：来源RAW图像信息(此处用于描述写入的图像数据来源于短曝光RAW图像、中曝光RAW图像或者长曝光RAW图像)、在来源RAW图像中的位置信息(用于描述写入的图像数据位于整个来源RAW图像中的行数)、数据大小信息、优先级信息(用于描述写入的图像数据的优先级为高、中或者低)、是否属于感兴趣区域的标记信息、区块个数(描述写入的图像数据包括了来源RAW图像中一行图像数据的多少个区块)、感兴趣区域的起始横坐标、以及感兴趣区域的结束横坐标等。

请继续参照图8，以长曝光RAW图像中一行图像数据的重组为例对区块的个数进行说明。该行图像数据可以划分为5个区块，分别为区块1、区块2、区块3、区块4以及区块5，其中区块1、区块3以及区块5属于非感兴趣区域，区块2属于感兴趣区域1，区块4属于感兴趣区域2。相应的，区块1、区块3以及区块5将被数据打包单元120重组至同一数据块的同一数据行中，对于该数据行，其第一描述信息中的区块个数为3；区块2将被数据打包单元120重组至一数据块的一数据行中，对于该数据行，其第一描述信息中的区块个数为1；区块2将被数据打包单元120重组至一数据块的一数据行中，对于该数据行，其第一描述信息中的区块个数为1。

在一可选地实施例中，数据包包括包头部分和包体部分，在M大于或等于N时，L等于1，数据打包单元120被配置为根据M个数据块各自对应的优先级，将M个数据块依次写入同一数据包的包体部分，以及获取M个数据块的第二描述信息，并将第二描述信息写入同一数据包的包头部分，得到1个数据包；或者，

在M小于N时，L等于M，数据打包单元120被配置为将M个数据块分别写入M个数据包的包体部分，以及获取每一数据包中包体部分写入的数据块的第三描述信息，将每一数据包对应的第三描述信息写入每一数据包的包头部分，得到M个数据包。

其中，第二描述信息包括包体部分写入的数据块的个数信息(即M的取值)、各数据块的优先级信息、位置信息(用于描述数据块在整个数据包中的位置)以及数据大小信息中的至少一种，第三描述信息包括包体部分写入的数据块的序号信息(用于描述写入的数据块为M个数据块中的第几个数据块)、优先级信息、数据大小信息中的至少一种。

比如，请参照图9，数据打包单元120将第一数据接口单元110获取到的N帧RAW图像重组为M(3)个数据块，分别为数据块1、数据块2和数据块3，并为数据块1分配优先级“高”，为数据块2分配优先级“中”，为数据块3分配优先级“低”，相应的，由于此时M等于N，数据打包单元120依次将数据块1、数据块2以及数据块3写入同一数据包的包体部分，然后，数据打包单元120获取到这三个数据块的第二描述信息写入包头部分，其中包括写入的数据块的个数信息“3”，数据块1的位置信息、优先级信息以及数据大小信息，数据块2的位置信息、优先级信息以及数据大小信息和数据块3的位置信息、优先级信息以及数据大小信息。

在一可选地实施例中，图像处理芯片100被配置为将数据包的包头部分发送至应用处理芯片；以及按照数据包的包体部分中M个数据块各自对应的优先级，将包体部分中的M个数据块依次发送至应用处理芯片。

比如，第二数据接口单元130先将数据包的包头部分发送至应用处理芯片，然后再根据包体部分部分写入的M个数据块的优先级，按照优先级由高至低的顺序，依次将包体部分中的M个数据块发送至应用处理芯片。

本实施例中，应用处理芯片可以在接收到完整的数据包之后再对M个数据块进行并行解析以及图像处理，也可以在每次接收到一个数据块之后，即对接收到的数据块进行解析和图像处理。

在一可选地实施例中，图像处理芯片100被配置为将M个数据包并行地发送至应用处理芯片。

比如，假设数据打包单元120封装得到3个数据包，则图像处理芯片100相应通过第二数据接口单元130提供的3个数据传输通道，将封装得到的3个数据包并行地发送至应用处理芯片，供应用处理芯片进行图像处理。

在一可选地实施例中，数据打包单元120被配置为在应用处理芯片空闲的数据传输通道的数量小于N时，获取N帧RAW图像，并根据应用处理芯片的图像处理需求信息，将N帧RAW图像中的图像数据重组为M个数据块后封装为L个数据包。

本实施例中，图像处理芯片100并不始终对来源于图像传感器的N帧图像进行打包传输。其中，数据打包单元120实时识别应用处理芯片空闲的数据传输通道的数量，并在应用处理芯片空闲的数据传输通道的数量小于N时，获取N帧RAW图像，并根据应用处理芯片的图像处理需求信息，将N帧RAW图像中的图像数据重组为M个数据块后封装为L个数据包，具体请参照以上实施例中的相关描述，此处不再赘述。

本实施例中，第二数据接口单元130被配置为通过应用处理芯片空闲的数据传输通道将数据包传输至应用处理芯片。

比如，当应用处理芯片芯片空闲的数据传输通道唯一时，图像处理芯片100可以通过第二数据接口单元130提供的该唯一的数据传输通道将数据包传输至应用处理芯片；

又比如，当应用处理芯片空闲的数据传输通道不唯一时，图像处理芯片100可以通过第二数据接口单元130提供的任一空闲数据传输通道将数据包传输至应用处理芯片，还可以根据空闲数据传输通道的数量将数据包拆分为相同数量的子数据包，将拆分得到的子数据包均衡到每一空闲的数据传输通道传输至应用处理芯片。

在其他实施例中，在应用处理芯片空闲的数据通道的数量大于或等于N时，图像处理芯片100被配置为将N帧RAW图像并行地传输至应用处理芯片。

请参照图10，本申请还提供一种应用处理芯片200，如图10所示，该应用处理芯片200包括第三数据接口单元210、数据解包单元220和图像处理单元230。

应当说明的是，本申请所提供的应用处理芯片200可以配置在具备图像传感器以及本申请所提供的图像处理芯片的电子设备中，用于实现图像处理。其中，电子设备的实体类型可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备，本申请对此不作具体限制

本实施例中，第三数据接口单元210用于提供应用处理芯片200和图像处理芯片之间的数据传输通道，以实现应用处理芯片200和图像处理芯片之间的数据传输。此处对第三数据接口单元210的实体类型不做具体限制，包括但不限于移动产业处理器接口(MobileIndustry Processor Interface，MIPI)、PCI-E接口等。比如，本申请实施例中第三数据接口单元210的实体类型为移动产业处理器接口。

图像处理单元220被配置为生成图像处理需求信息，该图像处理需求信息用于描述图像处理单元230的图像处理需求，包括但不限于进行何种类型的图像处理，以及如何进行图像处理等。

应用处理芯片200被配置为通过第三数据接口单元210将图像处理单元230的图像处理需求信息传输至图像处理芯片，供图像处理芯片根据图像处理需求信息，将获取的N帧RAW图像中的图像数据重组为M个数据块后封装为L数据包，N、M为大于1的正整数，L为小于N的正整数。具体说明请参照以上图像处理芯片实施例中的相关描述，此处不再赘述。另外，应用处理芯片200还被配置为从图像处理芯片获取对应图像处理需求信息的L个数据包。其中，应用处理芯片200可以通过第三数据接口单元210接收图像处理芯片发送的L个数据包。

数据解包单元220被配置为将L个数据包拆分为M个数据块后进行并行解析得到图像数据。其中，数据解包单元220在应用处理芯片200获取到对应图像处理需求信息的L个数据包之后，将这L个数据包逆向解析为M个数据块，并对M个数据块进行并行解析，得到对应的图像数据。

图像处理单元230被配置为对M个数据块解析得到的图像数据进行图像处理。

比如，图像处理需求信息可以描述：

图像处理单元230需要利用同一拍摄场景的3帧RAW图像进行高动态范围合成处理，且需要先对拍摄场景的感兴趣区域(Region of Interest，ROI)进行高动态范围合成处理，再对拍摄场景的非感兴趣区域进行高动态范围合成处理。

相应的，图像传感器可以采集前述拍摄场景的3帧曝光参数不同的RAW图像，分别为长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。相应的，图像处理芯片从图像传感器获取到长曝光RAW图像、中曝光RAW图像和短曝光RAW图像。并根据以上图像处理需求信息，将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中感兴趣区域的图像数据重组为一个数据块，将长曝光RAW图像、中曝光RAW图像和短曝光RAW图像中非感兴趣区域的图像数据重组为另一数据块。以此，3帧RAW图像中的图像数据被重组为2个数据块，且每一数据块均包括图像处理单元230进行高动态范围合成处理所需的全部图像数据。之后，图像处理芯片将重组得到2个数据块打包为2个数据包传输至应用处理芯片200。另一方面，应用处理芯片200将通过第三数据接口单元210接收到图像处理芯片传输的2个数据包。

之后，数据解包单元220将2个数据包拆分为2个数据块，再对2个数据块进行并行解析，从其中一数据块解析得到长曝光RAW图像、中曝光RAW图像以及短曝光RAW图像中感兴趣区域的图像数据，从另一数据快解析得到长曝光RAW图像、中曝光RAW图像以及短曝光RAW图像中非感兴趣区域的图像数据。

之后，图像处理单元230对长曝光RAW图像、中曝光RAW图像以及短曝光RAW图像中感兴趣区域的图像数据进行高动态范围合成处理，得到高动态范围的感兴趣区域图像数据，对长曝光RAW图像、中曝光RAW图像以及短曝光RAW图像中非感兴趣区域的图像数据进行高动态范围合成处理，得到高动态范围的非感兴趣区域图像数据。最后，图像处理单元230拼接高动态范围的感兴趣区域图像数据和非感兴趣区域图像数据，即得到高动态范围合成图像。

在一可选地实施例中，数据解包单元220被配置为从预设的线程池中调用M个空闲的解析线程对M个数据块进行并行解析。

其中，线程池包括多种不同类型的线程，经由预先构建得到。

比如，假设图像处理芯片将获取的3帧RAW图像重组为2个数据块，则数据解包单元220可以从预设的线程池中调用2个空闲的解析线程对2个数据块进行并行解析。

在一可选地实施例中，数据解包单元220还被配置为在线程池中空闲的解析线程的数量小于M时，按照每一数据块对应的优先级，调用线程池中空闲的解析线程依次对M个数据块进行解析。

本实施例中，数据解包单元220在空闲的解析线程不足以对拆分得到的数据块进行并行解析时，将按照数据块的优先级依次进行解析。

比如，当空闲的解析线程唯一时，数据解包单元220可以按照优先级由高至低的顺序，调用该唯一空闲的解析线程依次对数据包拆分得到的M个数据块进行解析；

又比如，当空闲的解析线程为K(K为大于1，且小于M的正整数)个时，数据解包单元220可以按照优先级由高至低的顺序，调用K个空闲的解析线程先对优先级最高的K个数据块进行并行解析；若剩余的未解析数据块大于K个，则可再次调用K个空闲的解析线程剩余的优先级最高的K个数据块进行并行解析，直至剩余的未解析数据块小于K个；此时，则可以根据剩余的未解析数据块的个数，调用相应个数空闲的解析线程对剩余的未解析数据块进行解析，其中，若剩余1个未解析数据块，则调用1个空闲的解析线程对剩余的1个未解析数据块进行解析，若剩余多个未解析数据块，则调用相应个数空闲的解析线程对剩余的未解析数据块进行并行解析。

在一可选地实施例中，图像处理单元230还被配置为在数据解包单元220每次完成对M个数据块中一数据块的解析时，对解析得到的图像数据进行图像处理。

应当说明的是，不同数据块的数据大小不同，数据解包单元220在对数据块进行解析时，有的数据块将被先解析完成，有的数据块将被后解析完成。由于各数据块中的图像数据能够独立地用于图像处理，为提升图像处理效率，图像处理单元230可以在数据解包单元220每次完成对M个数据块中一数据块的解析时，即对解析得到的图像数据进行图像处理。

请参照图11，本申请还提供一种电子设备10，包括图像处理芯片100和应用处理芯片200，其中，

应用处理芯片200被配置为生成图像处理需求信息，并将图像处理需求信息传输至图像处理芯片100；

图像处理芯片100被配置为获取N帧RAW图像，N为大于1的正整数；以及根据图像处理需求信息将N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；以及将M个数据块封装为L个数据包后传输至应用处理芯片200；

应用处理芯片200还被配置为将L个数据包拆分为M个数据块后进行并行解析得到图像数据，并对解析到的图像数据进行图像处理。

具体说明请参照以上相关实施例，此处不再赘述。

请参照图12，本申请还提供一种图像处理方法，该图像处理方法应用于图像处理芯片，包括：

在410中，获取N帧RAW图像，N为大于1的正整数。

在420中，根据应用处理芯片的图像处理需求信息，将N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数。

在430中，将M个数据块封装为L个数据包，L为小于N的正整数。

在440中，将L个数据包传输至应用处理芯片。

在一可选地实施例中，根据应用处理芯片的图像处理需求信息，为每一RAW图像中不同位置的图像数据分配优先级；以及将N帧RAW图像中相同优先级的图像数据重组为数据块，得到M个数据块。

在一可选地实施例中，数据块包括多个数据行，数据行包括行头部分和行体部分，将N帧RAW图像中相同优先级的图像数据依次写入同一数据块的不同数据行的行体部分；获取每一数据行中行体部分写入的图像数据的第一描述信息，将对应每一数据行的第一描述信息写入每一数据行的行头部分。

在一可选地实施例中，第一描述信息包括数据行中行体部分写入的图像数据的来源RAW图像信息、在来源RAW图像中的位置信息、数据大小信息以及优先级信息中的至少一种。

在一可选地实施例中，数据包包括包头部分和包体部分，在M大于或等于N时，L等于1，根据M个数据块各自对应的优先级，将M个数据块依次写入至包体部分；获取M个数据块的第二描述信息，并将第二描述信息写入包头部分。

在一可选地实施例中，将包头部分发送至应用处理芯片；以及按照M个数据块各自对应的优先级，将包体部分中的M个数据块依次发送至应用处理芯片。

在一可选地实施例中，在M小于N时，L等于M，将M个数据块分别写入M个数据包的包体部分，以及获取每一数据包中包体部分写入的数据块的第三描述信息，将对应每一数据包的第三描述信息写入每一数据包的包头部分。

在一可选地实施例中，第二描述信息包括包体部分写入的数据块的个数信息、每一数据块的优先级信息、位置信息以及数据大小信息中的至少一种；和/或，第三描述信息包括包体部分写入的数据块的序号信息、优先级信息和数据大小信息中的至少一种。

应当说明的是，本申请实施例所提供的图像处理方法与以上的图像处理芯片属于同一构思，详细说明请参照以上实施例中对于图像处理芯片的相关说明，在此不再赘述。

请参照图13，本申请还提供一种图像处理方法，该图像处理方法应用于应用处理芯片，包括：

在510中，生成图像处理需求信息，并将图像处理需求信息传输至图像处理芯片。

在520中，从图像处理芯片获取对应图像处理需求信息的L个数据包。

在530中，将L个数据包拆分为M个数据块后进行并行解析得到图像数据，L个数据包由N帧RAW图像中的图像数据重组为M个数据块后封装得到，N、M为大于1的正整数，L为小于N的正整数。

在540中，对解析得到的图像数据进行图像处理。

在一可选地实施例中，从预设的线程池中调用M个空闲的解析线程对M个数据块进行并行解析。

在一可选地实施例中，在线程池中空闲的解析线程的数量小于M时，按照每一数据块对应的优先级，调用线程池中空闲的解析线程依次对M个数据块进行解析。

在一可选地实施例中，在每次完成对M个数据块中一数据块的解析时，对解析得到的图像数据进行图像处理。

应当说明的是，本申请实施例所提供的图像处理方法与以上提供的应用处理芯片属于同一构思，详细说明请参照以上实施例中对于应用处理芯片的相关说明，在此不再赘述。

以上对本申请实施例提供的图像处理芯片、应用处理芯片、电子设备及图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像处理芯片，其特征在于，包括：

数据打包单元，用于获取N帧RAW图像，N为大于1的正整数；以及根据应用处理芯片的图像处理需求信息，将所述N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；以及将所述M个数据块封装为L个数据包，L为小于N的正整数；

所述图像处理芯片用于将所述L个数据包传输至所述应用处理芯片。

2.根据权利要求1所述的图像处理芯片，其特征在于，所述数据打包单元用于根据所述图像处理需求信息，为每一RAW图像中不同位置的图像数据分配优先级；以及将所述N帧RAW图像中相同优先级的图像数据重组为数据块，得到所述M个数据块。

3.根据权利要求2所述的图像处理芯片，其特征在于，所述数据块包括多个数据行，所述数据行包括行头部分和行体部分，所述数据打包单元用于将所述N帧RAW图像中相同优先级的图像数据依次写入同一数据块的不同数据行的行体部分；以及获取每一数据行中行体部分写入的图像数据的第一描述信息，将对应每一数据行的所述第一描述信息写入每一数据行的行头部分。

4.根据权利要求3所述的图像处理芯片，其特征在于，所述第一描述信息包括数据行中行体部分写入的图像数据的来源RAW图像信息、在来源RAW图像中的位置信息、数据大小信息以及优先级信息中的至少一种。

5.根据权利要求2所述的图像处理芯片，其特征在于，所述数据包包括包头部分和包体部分，在M大于或等于N时，L等于1，所述数据打包单元用于根据所述M个数据块各自对应的优先级，将所述M个数据块依次写入所述包体部分；以及获取所述M个数据块的第二描述信息，并将所述第二描述信息写入所述包头部分。

6.根据权利要求5所述的图像处理芯片，其特征在于，所述图像处理芯片用于将所述包头部分发送至所述应用处理芯片；以及按照所述M个数据块各自对应的优先级，将所述包体部分中的所述M个数据块依次发送至所述应用处理芯片。

7.根据权利要求5所述的图像处理芯片，其特征在于，在M小于N时，L等于M，所述数据打包单元用于将所述M个数据块分别写入M个数据包的包体部分，以及获取每一数据包中包体部分写入的数据块的第三描述信息，将对应每一数据包的所述第三描述信息写入每一数据包的包头部分。

8.根据权利要求7所述的图像处理芯片，其特征在于，所述第二描述信息包括包体部分写入的数据块的个数信息、每一数据块的优先级信息、位置信息以及数据大小信息中的至少一种；和/或

所述第三描述信息包括包体部分写入的数据块的序号信息、优先级信息和数据大小信息中的至少一种。

9.一种应用处理芯片，其特征在于，所述应用处理芯片用于传输图像处理需求信息至图像处理芯片，以及从所述图像处理芯片获取对应所述图像处理需求信息的L个数据包，包括：

图像处理单元，用于生成所述图像处理需求信息；

数据解包单元，用于将所述L个数据包拆分为M个数据块后进行并行解析后得到图像数据，所述L个数据包由N帧RAW图像中的图像数据重组为M个数据块后封装得到，N、M为大于1的正整数，L为小于N的正整数；

所述图像处理单元还用于对解析得到的图像数据进行图像处理。

10.根据权利要求9所述的应用处理芯片，其特征在于，所述数据解包单元用于从预设的线程池中调用M个空闲的解析线程对所述M个数据块进行并行解析。

11.根据权利要求10所述的应用处理芯片，其特征在于，所述数据解包单元还用于在所述线程池中空闲的解析线程的数量小于M时，按照每一数据块对应的优先级，调用所述线程池中空闲的解析线程依次对所述M个数据块进行解析。

12.根据权利要求11所述的应用处理芯片，其特征在于，所述图像处理单元还用于在所述数据解包单元每次完成对所述M个数据块中一数据块的解析时，对解析得到的图像数据进行图像处理。

13.一种电子设备，其特征在于，包括图像处理芯片和应用处理芯片，其中，

所述应用处理芯片用于生成图像处理需求信息，并将所述图像处理需求信息传输至所述图像处理芯片；

所述图像处理芯片用于获取N帧RAW图像，N为大于1的正整数；以及根据所述图像处理需求信息将所述N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；以及将所述M个数据块封装为L个数据包后传输至所述应用处理芯片，L为小于N的正整数；

所述应用处理芯片还用于将所述L个数据包拆分为所述M个数据块后进行并行解析得到图像数据，并对解析到的图像数据进行图像处理。

14.一种图像处理方法，应用于图像处理芯片，其特征在于，包括：

获取N帧RAW图像，N为大于1的正整数；

根据应用处理芯片的图像处理需求信息，将所述N帧RAW图像中的图像数据重组为M个数据块，M为大于1的正整数；

将所述M个数据块封装为L个数据包，L为小于N的正整数；

将所述L个数据包传输至所述应用处理芯片。

15.一种图像处理方法，应用于应用处理芯片，其特征在于，包括：

生成图像处理需求信息，并将所述图像处理需求信息传输至图像处理芯片；

从所述图像处理芯片获取对应所述图像处理需求信息的L个数据包；

将所述L个数据包拆分为M个数据块后进行并行解析得到图像数据，所述L个数据包由N帧RAW图像中的图像数据重组为M个数据块后封装得到，N、M为大于1的正整数，L为小于N的正整数；

对解析得到的图像数据进行图像处理。

Images