CN117768774A - 图像处理器、图像处理方法、拍摄装置和电子设备 - Google Patents

Abstract

本申请涉及一种图像处理器、图像处理方法、拍摄装置和电子设备。所述图像处理器，包括多个尺寸预处理模块，以及依次连接的图像矫正模块、数据选择模块和图像处理模块，通过将预览模式、拍照模式两种处理模式与多帧高动态范围HDR算法深度结合，根据多帧高动态范围HDR算法的特点深度硬件化HDR算法流程，降低当前算法功耗，通过多个尺寸预处理模块实现切块流水处理，加速图像处理的同时保证图像处理结果性能，节省硬件资源开销。

Description

图像处理器、图像处理方法、拍摄装置和电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理器、图像处理方法、拍摄装置和电子设备。

背景技术

手机等电子设备中可以设置有摄像头以实现拍照功能，目前对于拍照中的图像处理，电子设备采用多帧等曝或包围曝光的方式处理高动态范围场景的成像问题，然而，传统图像处理在高动态范围场景表现不佳，当计算复杂度较高时会存在功耗、性能等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低功耗以及保证性能的图像处理器、图像处理方法、拍摄装置和电子设备。

第一方面，本申请提供了一种图像处理器，包括：

多个尺寸预处理模块，用于在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

图像矫正模块，连接各尺寸预处理模块，用于在预览模式下对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在拍照模式下对多路第二分块数据进行像素级矫正得到多路第二图像块数据；

数据选择模块，连接图像矫正模块，用于在预览模式下对多路第一图像块数据进行选择输出单帧图像，以及在拍照模式下对多路第二图像块数据进行图像对齐处理，输出图像序列；

图像处理模块，与数据选择模块连接，用于在预览模式下处理单帧图像以得到预览图像，以及在拍照模式下处理图像序列以得到拍照图像。

在其中一个实施例中，多路原始图像为多个摄像头输出的全尺寸原始图像；各尺寸预处理模块用于分别与各摄像头一一连接；

尺寸预处理模块用于在预览模式下，对摄像头输入的全尺寸原始图像进行下采样处理，得到下采样图像，以及对下采样图像依次进行有效区域裁切及切块处理，得到第一分块数据。

在其中一个实施例中，图像处理器还包括存储模块；存储模块用于存储来自摄像头的全尺寸原始图像；

尺寸预处理模块用于在拍照模式下，通过对从存储模块读取的全尺寸原始图像依次进行有效区域裁切及切块处理，得到第二分块数据。

在其中一个实施例中，图像矫正模块包括多个拜耳域处理单元，分别与各尺寸预处理模块一一连接；

像素级矫正包括黑电平矫正、坏点矫正、阴影矫正、3A统计以及去噪中的至少一种。

在其中一个实施例中，

数据选择模块用于在预览模式下，基于多路第一图像块数据挑选出满足清晰度条件的单帧图像，以及在拍照模式下基于多路第二图像块数据进行参考帧对齐，得到图像序列；

图像处理器还包括格式转换模块，与数据选择模块连接，用于在预览模式下，对单帧图像进行去马赛克处理得到RGB单帧图像，以及在拍照模式下对图像序列进行去马赛克处理得到RGB图像序列。

在其中一个实施例中，图像处理模块包括：

视觉处理单元，连接数据选择模块，用于在拍照模式下对读取到的当前完成参考帧对齐的第二图像块数据进行视觉处理；视觉处理包括以下至少一种：特征点计算、位移矢量计算和图像插值。

在其中一个实施例中，图像处理模块包括：

图像融合单元，与格式转换模块连接，用于在拍照模式下对RGB图像序列进行多帧融合处理，输出高动态范围图像；

其中，多帧融合处理包括基于运动信息对曝光信息的融合权重进行归一化得到目标融合权重，根据目标融合权重对RGB图像序列进行图像融合获得高动态范围图像。

在其中一个实施例中，图像处理模块还包括：

RGB域处理单元，连接格式转换模块、图像融合单元，用于在预览模式下对RGB单帧图像执行RGB域处理以生成第一RGB图像数据，以及在拍照模式下对高动态范围图像进行执行RGB域处理以生成第二RGB图像数据；其中，RGB域处理包括以下至少一种：颜色校正、伽马校正、色调映射和颜色空间转换；

YUV域处理单元，连接RGB域处理单元，用于在预览模式下对第一RGB图像数据执行第一YUV域处理以生成第一YUV图像数据，以及在拍照模式下对第二RGB图像数据执行第二YUV域处理以生成第二YUV图像数据；其中，第一YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作、尺寸缩放操作和人脸检测操作；第二YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作和尺寸缩放操作；

编解码单元，连接YUV域处理单元，用于在预览模式下将第一YUV图像数据转换为预览图像以进行输出显示，以及在拍照模式下将第二YUV图像数据转换为拍照图像。

在其中一个实施例中，图像处理模块还包括：

统计单元，分别连接格式转换模块，用于在预览模式下处理RGB单帧图像以获得统计数据；统计数据提供给RGB域处理单元以进行RGB域处理，以及提供给YUV域处理单元以进行第一YUV域处理、第二YUV域处理；

神经网络单元，连接格式转换模块，用于在预览模式下处理述RGB单帧图像以获得语义分割数据；语义分割数据提供给RGB域处理单元以进行RGB域处理，以及提供给YUV域处理单元以进行第一YUV域处理、第二YUV域处理。

在其中一个实施例中，图像处理模块还包括存储单元；存储单元用于存储语义分割数据；

神经网络单元用于在拍照模式下，通过从存储单元读取的语义分割信息，对图像序列中当前完成去马赛克算法处理的图像块数据进行处理。

第二方面，本申请还提供了一种图像处理方法，包括：

在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

在预览模式下对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在拍照模式下对多路第二分块数据进行像素级矫正得到多路第二图像块数据；

在预览模式下对多路第一图像块数据进行选择输出单帧图像，以及在拍照模式下对多路第二图像块数据进行图像对齐处理，输出图像序列；

在预览模式下处理单帧图像以得到预览图像，以及在拍照模式下处理图像序列以得到拍照图像。

第三方面，本申请还提供了一种拍摄装置，拍摄装置包括：

上述的图像处理器；及

多个摄像头，各摄像头与图像处理器连接。

在其中一个实施例中，摄像头包括深度传感器、图像传感器及光谱传感器中的一种或多种。

在其中一个实施例中，摄像头包括高动态范围HDR传感器。

第四方面，本申请还提供了一种电子设备，电子设备包括上述的拍摄装置及壳体，拍摄装置与壳体结合。

上述图像处理器、图像处理方法、拍摄装置和电子设备，图像处理器包括多个尺寸预处理模块，以及图像矫正模块、数据选择模块和图像处理模块，其中，多个尺寸预处理模块在预览模式、拍照模式下分别对多路原始图像进行处理，得到多路分块数据，图像矫正模块可以在预览模式、拍照模式下分别对多路分块数据进行像素级矫正，进而由数据选择模块在预览模式下输出单帧图像、在拍照模式下输出图像序列，以使图像处理模块处理得到预览图像、拍照图像。本申请将预览模式、拍照模式两种处理模式与多帧高动态范围HDR算法深度结合，根据多帧高动态范围HDR算法的特点深度硬件化HDR算法流程，降低当前算法功耗，通过多个尺寸预处理模块实现切块流水处理，加速图像处理的同时保证图像处理结果性能，节省硬件资源开销。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理器的应用环境图；

图2为一个实施例中图像处理器的结构示意图；

图3为一个实施例中图像矫正模块的架构示意图；

图4为另一个实施例中图像处理器的结构示意图；

图5为一个实施例中拍照模式下硬件数据流向示意图；

图6为一个实施例中多帧融合数据流向示意图；

图7为一个实施例中预览模式下硬件数据流向示意图；

图8为一个实施例中像处理器的硬件数据流向示意图；

图9为一个实施例中图像处理方法的流程示意图；

图10为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

可以理解的是，本申请中诸如“第一”、“第二”等术语仅用于区分类似的对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，可以理解，如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。

可以理解，“至少一个”是指一个或多个，“多个”是指两个或两个以上。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。

目前，传统方案均会采用多帧等曝或包围曝光的方式处理高动态范围（HighDynamic Range，HDR）场景的成像问题。对于多帧处理模式，大部分算法采用离线计算方式。该方式需要利用多种处理单元，如CPU（Central Processing Unit，中央处理器），GPU（Graphics Processing Unit，图像处理器），DSP（Digital Signal Processing，数字信号处理）等硬件处理器，通过软件控制处理流程，采用硬件多处理单元协同并行加速处理整个算法流程中的各个算法模块，具有灵活性，可以利用现有平台所提供的硬件处理单元可以较好的实现现有算法的处理性能。

然而，传统方案都是通过利用平台通用处理单元使用软件方式实现，通常需要进行较为复杂的软件控制流程才能实现高效的并行处理。当计算复杂度较高时会存在功耗，性能等问题。目前大多数手机图像处理在高动态范围场景表现不佳，尽管近期涌现很多高动态处理算法，但多数为软件实现方案，缺乏能够与ISP（Image Signal Processing，图像信号处理器）硬件深度结合的方案。

本申请实施例提供的图像处理器、图像处理方法和拍摄装置，可以应用于如图1所示的应用环境中。其中，电子设备10包括摄像头100和显示屏200，摄像头100设置于壳体，摄像头100可用于执行拍摄功能，从而获取图像数据。例如，在一些实施方式中，摄像头100能够执行前置摄像头的功能，用户可以通过摄像头100进行自拍、视频通话等操作。在另一些实施方式中，摄像头100能够执行后置摄像头的功能，用户可以通过摄像头100进行微距拍摄、视频录制等操作。

在一些实施例中，电子设备10在拍照时有预览模式和拍照模式，预览模式下，摄像头100将获取的原始图像发送至图像处理器，原始图像经过硬件处理，譬如图像处理器可以对原始图像进行处理得到预览图像，再将预览图像发送至显示屏200中进行显示。拍照模式下，原始图像经过硬件处理，譬如图像处理器对原始图像进行处理得到拍照图像，进而对拍照图像进行存储。其中，图像处理器可以利用硬件和/或软件组件实现，可包括定义ISP管线的各种处理单元。可选地，对于预览模式和拍照模式，无论是静态图像数据还是动态图像数据都可以由电子设备的芯片平台来处理，在芯片平台内包含图像信号处理器（ISP），能够对图像数据进行处理，从而得到最终需要的图像数据。

示例性地，电子设备10可以采用多个摄像头的架构，例如电子设备10可以具有多个前端传感器（比如3个图像传感器）。可选地，前端传感器获取外部信息的方式包括但不局限于图像传感器，还可以是距离深度传感器，颜色光谱传感器等。此外，本申请实施例的硬件架构支持多路处理，可以采用多种高动态范围HDR传感器（Sensor）相结合使用，进而最大程度提高高动态范围HDR算法性能的上限。

在一些实施方式中，电子设备10可以为智能手机。在另一些实施方式中，电子设备10还可以是平板电脑、笔记本电脑、穿戴式设备等。穿戴式设备可为智能手表、VR（VirtualReality，虚拟现实）设备、AR（Augmented Reality，增强现实）设备等。

如图2所示，一实施例的图像处理器，包括：

多个尺寸预处理模块102，用于在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

图像矫正模块104，连接各尺寸预处理模块102，用于在预览模式下对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在拍照模式下对多路第二分块数据进行像素级矫正得到多路第二图像块数据；

数据选择模块106，连接图像矫正模块104，用于在预览模式下对多路第一图像块数据进行选择输出单帧图像，以及在拍照模式下对多路第二图像块数据进行图像对齐处理，输出图像序列；

图像处理模块108，与数据选择模块106连接，用于在预览模式下处理单帧图像以得到预览图像，以及在拍照模式下处理图像序列以得到拍照图像。

具体而言，本申请实施例可以包括两种处理模式：在线处理模式和离线处理模式，其中，在线处理模式应用于电子设备工作于预览模式的情况，离线处理模式应用于电子设备工作于拍照模式的情况。

如图2所示，以多个前端传感器为例（N个传感器，N为正整数，示例性地，N=3），前端传感器（简称传感器）可以获取外部图像数据，即多路原始图像，进而多个尺寸预处理模块102可以在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，多个尺寸预处理模块102也可以在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据。其中，多个尺寸预处理模块102与多个前端传感器分别一一对应。

本申请实施例中，当电子设备工作于预览模式，尺寸预处理模块102可以对输入的原始图像先进行尺寸缩小（例如下采样）处理，然后进行分块处理，得到低尺寸的切块处理数据（第一分块数据）。当电子设备工作于拍照模式，尺寸预处理模块102则不再进行尺寸修改，而是对输入的原始图像进行分块处理，即以全尺寸原始图像进行分块处理，得到切块处理数据（第二分块数据）。其中，低尺寸的尺度与电子设备的硬件处理能力相关，例如480P、720P、1080p等低分辨率。

本申请实施例的图像处理器，将ISP两种处理模式与HDR算法深度结合，通过多个尺寸预处理模块在预览模式下对多路原始图像进行尺寸修改及分块处理，实现在线模式小图处理，并在处理流程中利用ISP的块处理模式进行流水处理，能够降低当前算法功耗，节省硬件资源开销。

在一个示例性的实施例中，多路原始图像为多个摄像头输出的全尺寸原始图像；各尺寸预处理模块用于分别与各摄像头一一连接；

尺寸预处理模块102用于在预览模式下，对摄像头输入的全尺寸原始图像进行下采样处理，得到下采样图像，以及对下采样图像依次进行有效区域裁切及切块处理，得到第一分块数据。

具体地，以摄像头为前端传感器为例，全尺寸原始图像可以指传感器获取外部图像数据，进而输入给尺寸预处理模块102的相关图像原尺寸数据。当电子设备工作于预览模式下，尺寸预处理模块102对输入的全尺寸原始图像依次进行下采样、有效区域裁剪及切块处理，进而实现以在线处理模式获得第一分块数据。

在一个示例性的实施例中，如图2所示，图像处理器还可以包括存储模块；存储模块用于存储来自摄像头的全尺寸原始图像；

尺寸预处理模块用于在拍照模式下，通过对从存储模块读取的全尺寸原始图像依次进行有效区域裁切及切块处理，得到第二分块数据。

具体而言，传感器获取外部图像数据，进而将相关图像原尺寸数据输入给尺寸预处理模块102，此时可以同时复制同样的原尺寸数据缓存至存储模块。

当电子设备工作于拍照模式下，尺寸预处理模块102从存储模块中读取相关图像原尺寸数据，进而对数据进行有效区域裁剪和切块处理，实现以离线处理模式获得第二分块数据。示例性地，存储模块可以采用DDR（Double Data Rate，双倍速率同步动态随机存储器）等存储形式；可选地，存储模块也可以称之为存储单元，本申请实施例对此并无限定。

可以理解，上述尺寸域处理模块还可以采用其他形式，而不限于上述实施例已经提到的形式，只要其能够达到完成下采样、有效区域裁剪和/或切块处理的功能即可。

本申请实施例通过多个尺寸预处理模块，在处理流程中利用ISP的块处理模式进行流水处理；通过采用切块流水处理，加速图像处理的同时保证图像处理结果性能，节省硬件资源开销。

进一步地，针对与各尺寸预处理模块102相连接的图像矫正模块104，当电子设备工作在预览模式下，图像矫正模块104对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及当电子设备工作在拍照模式下，图像矫正模块104对多路第二分块数据进行像素级矫正得到多路第二图像块数据。

其中，在获得每一个切块处理数据（第一分块数据/第二分块数据）的情况下，尺寸预处理模块102可以将每个切块编号及计算每个切块在全图上映射坐标后逐块输入至图像矫正模块104。示例性地，图像矫正模块104进行的像素级矫正可以指拜耳Bayer域的像素级处理，进而本申请实施例基于图像矫正模块能够简化图像处理，提高图像传输速度，并保证图像质量。

在一个示例性的实施例中，如图3所示，图像矫正模块包括多个拜耳域处理单元，分别与各尺寸预处理模块一一连接；

像素级矫正包括黑电平矫正、坏点矫正、阴影矫正、3A（Auto exposure，Autofocus，Auto white balance）统计以及去噪中的至少一种。

具体而言，图像矫正模块可以包括分别与各尺寸预处理模块一一连接的多个拜耳域处理单元（简称Bayer域单元），进而每个拜耳域处理单元可以对尺寸域处理模块输入的分块图像数据进行Bayer域上像素级处理。

示例性地，电子设备工作在预览模式下，将尺寸预处理模块的输出数据融入Bayer域单元，进而Bayer域单元以在线处理模式对第一分块数据可以执行包括但不限于：黑电平矫正、坏点矫正、阴影（Shading）矫正、3A统计以及去噪等操作。其中，图像处理器还可以包括连接Bayer域单元的3A处理单元，用于在预览模式下执行3A统计。

可选地，电子设备工作在拍照模式下，将尺寸预处理模块的输出数据融入Bayer域单元，进而Bayer域单元以离线处理模式对第二分块数据可以执行包括但不限于：黑电平矫正、坏点矫正、阴影（Shading）矫正、3A统计以及去噪等操作。

本申请实施例通过多个拜耳域处理单元对分块图像数据进行Bayer域上像素级处理，能够节省存储空间、提高图像传输速度，且减少处理的复杂性，提高图像质量，进而在加速图像处理的同时保证图像处理结果性能，节省硬件资源开销；此外，通过拜耳域处理单元使得本申请方案能够适用于前端传感器，可以更有效地捕捉和存储图像信息。

可以理解，上述图像矫正模块还可以采用其他形式，而不限于上述实施例已经提到的形式，只要其能够达到对多路分块图像数据完成像素级矫正的功能即可。

进一步地，图像处理器包括连接图像矫正模块104的数据选择模块106，当电子设备工作于预览模式，数据选择模块106以在线处理模式对多路第一图像块数据进行选择输出单帧图像；当电子设备工作于拍照模式，数据选择模块106以离线处理模式对多路第二图像块数据进行图像对齐处理，输出图像序列。

其中，数据选择模块106可以采用数据选择器，当Bayer域单元将处理完成的Bayer数据（多路第一图像块数据/多路第二图像块数据）输入数据选择模块106，若电子设备工作于预览模式，则数据选择模块106进行对应数据选择（例如在预览模式下挑选多路数据中效果最优帧），以获得单帧数据；若电子设备工作于拍照模式，则数据选择模块106进行图像对齐（例如对齐参考帧），得到对齐后的图像序列。

在一个示例性的实施例中，数据选择模块106用于在预览模式下，基于多路第一图像块数据挑选出满足清晰度条件的单帧图像，以及在拍照模式下基于多路第二图像块数据进行参考帧对齐，得到图像序列；

具体而言，满足清晰度条件的单帧图像可以指清晰度最高的图像帧；参考帧对齐可以指进行对齐参考帧计算以获得对齐后的图像序列。

以数据选择模块106为数据选择器为例，当电子设备工作于预览模式，拜耳域处理单元处理完成的Bayer数据（多路第一图像块数据）送入数据选择器进行对应数据选择，在预览模式下数据选择器可以挑选多路数据中效果最优帧，比如清晰度最好帧。当电子设备工作于拍照模式，拜耳域处理单元处理完成的Bayer数据（多路第二图像块数据）送入数据选择器进行对齐参考帧计算，以获得对齐后的图像序列。

可以理解，上述数据选择模块还可以采用其他形式，而不限于上述实施例已经提到的形式，只要其能够达到对多路数据进行最优帧挑选/对齐参考帧计算的功能即可。

进一步地，如图4所示，图像处理器还可以包括格式转换模块110，与数据选择模块106连接，用于在预览模式下，对单帧图像进行去马赛克处理得到RGB单帧图像，以及在拍照模式下对图像序列进行去马赛克处理得到RGB图像序列。

具体地，格式转换模块110可以执行去马赛克处理，以将拜耳Bayer数据转换为RGB数据。示例性地，格式转换模块110可以采用去马赛克模块，去马赛克模块可以将拜耳图像插值成为RGB图像，其中，RGB图像可以是三帧，即分别为插值后得到的R图像、G图像和B图像，使得颜色校正后的图像的色彩饱和度更加明显，更加符合人眼感官。通过格式转换模块，使得图像处理器能够深度硬件化HDR算法流程，降低当前算法功耗。

可以理解，上述格式转换模块还可以采用其他形式，而不限于上述实施例已经提到的形式，只要其能够达到执行去马赛克处理的功能即可。

进一步地，图像处理器中与数据选择模块106相连接的图像处理模块108，可以用于在预览模式下处理单帧图像以得到预览图像，以及在拍照模式下处理图像序列以得到拍照图像。

其中，图像处理模块108可以配合尺寸预处理模块、拜耳域处理单元、数据选择模块等执行高动态范围图像处理，使得本申请实施例图像处理器利用ISP硬件支持多个摄像头处理的模式，将其应用至多帧图像处理算法中。利用其硬件处理优势，对多个图像传感器获取的多帧数据进行HDR多帧算法融合。并在处理流程中利用ISP的块处理模式进行流水处理，不仅深度硬件化HDR算法流程，降低当前算法功耗，而且加速图像处理的同时保证图像处理结果性能，节省硬件资源开销。

在一个示例性的实施例中，如图5所示，图像处理模块包括：

视觉处理单元，连接数据选择模块，用于在拍照模式下对读取到的当前完成参考帧对齐的第二图像块数据进行视觉处理；视觉处理包括以下至少一种：特征点计算、位移矢量计算和图像插值。

具体而言，当电子设备工作于拍照模式，数据选择器可以将图像块数据（完成参考帧对齐的第二图像块数据）缓存至存储单元，同时，视觉处理单元可以读取存储单元中已经完成处理的图像块数据进行视觉类的处理过程，其中，视觉类的处理可以包括但不限于特征点计算、位移矢量计算和图像插值等处理，在深度硬件化HDR算法流程的情况下，保证图像处理结果性能。

在一个示例性的实施例中，如图5所示，图像处理模块可以包括：

图像融合单元，与格式转换模块连接，用于在拍照模式下对RGB图像序列进行多帧融合处理，输出高动态范围图像；

具体地，图像融合单元可以对RGB图像序列进行多帧到单帧的处理，进而得到具有HDR效果的图像，在深度硬件化HDR算法流程降低当前算法功耗的同时，保证图像处理结果性能。

其中，如图6所示，多帧融合处理包括基于运动信息对曝光信息的融合权重进行归一化得到目标融合权重，根据目标融合权重对RGB图像序列进行图像融合获得高动态范围图像。

具体而言，图像融合单元可以获取运动信息以及多个曝光帧（曝光帧0~N）的曝光信息，进而对曝光信息的融合权重进行归一化得到帧0,1...N 融合结果，得到高动态单帧数据。

在一个示例性的实施例中，如图5、图7所示，图像处理模块还包括：

RGB域处理单元，连接格式转换模块、图像融合单元，用于在预览模式下对RGB单帧图像执行RGB域处理以生成第一RGB图像数据，以及在拍照模式下对高动态范围图像进行执行RGB域处理以生成第二RGB图像数据；其中，RGB域处理包括以下至少一种：颜色校正、伽马校正、色调映射和颜色空间转换；

YUV域处理单元，连接RGB域处理单元，用于在预览模式下对第一RGB图像数据执行第一YUV域处理以生成第一YUV图像数据，以及在拍照模式下对第二RGB图像数据执行第二YUV域处理以生成第二YUV图像数据；其中，第一YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作、尺寸缩放操作和人脸检测操作；第二YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作和尺寸缩放操作；

编解码单元，连接YUV域处理单元，用于在预览模式下将第一YUV图像数据转换为预览图像以进行输出显示，以及在拍照模式下将第二YUV图像数据转换为拍照图像。

具体而言，图像处理模块可以包括依次连接的RGB域处理单元、YUV域处理单元以及编解码单元，以格式转换模块为去马赛克模块为例，对于去马赛克模块输出的RGB数据（RGB单帧图像/RGB图像序列），RGB域处理单元可以进行在RGB域的一系列处理，然后数据接着送入YUV域处理单元进行亮度与色度的处理，最后数据被送入编解码单元。

其中，RGB域处理包括但不限于颜色校正CCM（Color Correction Matrix），伽马Gamma校正，色调映射TMC（Tone mapping curve，色调映射曲线）以及颜色空间转换（Colorconversion）；本申请实施例通过预览模式下的RGB域处理，可以控制预览界面实时显示预览图像，使用户能够在预览界面看到具有HDR效果的图像，方便用户捕捉自己喜欢的画面。通过拍照模式下的RGB域处理（例如伽玛校正）可使得图像看起来更符合人眼的特性，在对多个前端传感器获取的多帧数据进行HDR多帧算法融合的过程中，深度硬件化HDR算法流程，降低当前算法功耗。

示例性地，预览模式下的YUV域处理包括但不限于图像去噪操作（例如Y去噪、Uv去噪），颜色增强操作、锐化操作、尺寸缩放操作和人脸检测操作。拍照模式下的YUV域处理包括但不限于图像去噪操作（例如Y去噪、Uv去噪），颜色增强操作、锐化操作和尺寸缩放操作。

可选地，编解码单元，在预览模式下将第一YUV图像数据转换为预览图像以进行输出显示，以及在拍照模式下将第二YUV图像数据转换为拍照图像；例如，在拍照模式下以JPG等图像格式输出数据到存储单元。

在一个示例性的实施例中，如图7所示，图像处理模块还包括：

统计单元，分别连接格式转换模块，用于在预览模式下处理RGB单帧图像以获得统计数据；统计数据提供给RGB域处理单元以进行RGB域处理，以及提供给YUV域处理单元以进行第一YUV域处理、第二YUV域处理；

神经网络单元，连接格式转换模块，用于在预览模式下处理述RGB单帧图像以获得语义分割数据；语义分割数据提供给RGB域处理单元以进行RGB域处理，以及提供给YUV域处理单元以进行第一YUV域处理、第二YUV域处理。

具体地，以格式转换模块为去马赛克模块为例，在预览模式下，对于去马赛克模块输出的RGB数据（RGB单帧图像），可以将该数据分为两路，一路输入统计单元，供统计单元、神经网络单元进行全局信息处理，比如统计信息、语义分割等。另一路输入RGB域处理单元。

其中，通过神经网络单元使得图像处理器能够与神经网络深度结合，配合统计单元，使得本申请实施例可以于在线模式提供图像信息和语义分割处理结果，提供给RGB域处理单元、YUV域处理单元，例如人像，人脸，天空，绿植等有效目标区域，提高优化效果，突出影像处理优势。

需要说明的是，本申请实施例中采用的多种语义分割信息以及需要全图计算的信息，可以提供给包括但不仅仅局限于RGB域处理单元中用于执行色调映射TMC的模块，还可以包括YUV域处理单元中用于执行如颜色增强，去噪等相关模块。再或者拜耳Bayer域单元中一系列需要区分目标区域处理的模块使用。

在一个示例性的实施例中，如图5所示，图像处理模块还包括存储单元；存储单元用于存储语义分割数据；

神经网络单元用于在拍照模式下，通过从存储单元读取的语义分割信息，对图像序列中当前完成去马赛克算法处理的图像块数据进行处理。

具体而言，基于存储语义分割数据的存储单元，本申请实施例通过将ISP两种处理模式与HDR算法深度结合，在预览模式下采用在线模式小图处理，并将相关模块所需的全图信息或者语义分割信息等缓存至储存单元中，以便拍照模式下全尺寸图像处理时提取使用，进而避免了软件算法实现过程中因为需要全图信息而中断分块处理流程。

为了进一步阐释本申请实施例的方案，下面结合一个具体示例予以说明，如图8所示，以3个图像传感器为例，具体数据流程可以包括两种处理模式：

模式1-在线处理模式；多个图像传感器00,01,02（以3个图像传感器为例）获取外部图像信号数据。多路数据将全尺寸数据一路缓存至存储模块DDR等存储中。另一路送入尺寸预处理单元中进行下采样，有效区域裁切以及切块等处理。然后获取低尺寸下的切块处理数据。将每个切块编号以及计算每个块在全图上映射坐标后逐块输入Bayer域单元，该单元可以进行Bayer域上像素级处理。处理完成的Bayer数据输入数据选择器进行对应数据选择。在预览模式下可以挑选多路数据中效果最优帧，比如清晰度最好帧。将该帧数据输入去马赛克模块进行Bayer数据和RGB数据的转换。然后数据可以分为两路，一路输入统计单元以供相关模块进行全局信息处理比如统计信息、语义分割等。另一路输入RGB域处理单元，进行图像在RGB域的一系列处理。然后数据可以输入YUV域处理单元进行亮度与色度的处理。最后数据输入编解码单元，最终输出数据到显示。

模式2-离线处理模式。模式1中与预览帧ID对应缓存在存储模块中的全尺寸图像数据从存储模块中读入尺寸预处理单元，尺寸预处理单元对全尺寸图像数据不再进行下采样处理，而是以全尺寸图像数据进行有效区域裁切以及切块等处理，以获取每一个切块处理数据。对每个切块计算全图上映射坐标后逐块输入Bayer域单元，以进行Bayer域上像素级处理。处理完成的Bayer数据输入数据选择器进行对齐参考帧计算。将图像块数据缓存至对应的存储单元的同时，视觉处理单元可以读取存储单元中已经完成处理的图像块数据进行视觉类的处理过程，例如特征点计算、位移矢量计算及图像插值等处理。最后将对齐后的图像序列输入去马赛克模块进行Bayer数据和RGB数据的转换。其中，可以通过神经网络单元采用神经网络处理方法，将前一步模块处理完成的块数据输入对应的存储单元，神经网络单元从中读取分块数据后进行当前块处理，并将处理完成的块数据返回给存储单元，以便输入图像融合单元进行多帧融合，以完成多帧到单帧的处理。数据在RGB域处理单元和YUV域处理单元中的处理流程与模式1中类似，输出YUV数据至编解码单元，最终以JPG等图像格式输出数据（拍照图像）到存储单元。

其中，模式1通过采用在线模式小图处理，可以将相关模块所需的全图信息或者语义分割信息等，缓存至储存单元中以便全尺寸图像处理时提取使用。避免了软件算法实现过程中因为需要全图信息而中断分块处理流程。需要说明的是图8中的t-1帧DS RGB指的是第t-1帧下采样（DownSampling）RGB图像数据。

基于同样的发明构思，本申请实施例还提供了一种应用于上述所涉及的图像处理器的图像处理方法。该方法所提供的解决问题的实现方案与上述图像处理器中所记载的实现方案相似，故下面所提供的一个或多个图像处理方法实施例中的具体限定可以参见上文中对于图像处理器的限定，在此不再赘述。

在一个示例性的实施例中，如图9所示，提供了一种图像处理方法，以该方法应用于上述的图像处理器为例进行说明，包括以下步骤202至步骤206。其中：

步骤202，在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

步骤204，在预览模式下对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在拍照模式下对多路第二分块数据进行像素级矫正得到多路第二图像块数据；

步骤206，在预览模式下对多路第一图像块数据进行选择输出单帧图像，以及在拍照模式下对多路第二图像块数据进行图像对齐处理，输出图像序列；

步骤208，在预览模式下处理单帧图像以得到预览图像，以及在拍照模式处理图像序列以得到拍照图像。

上述图像处理方法，基于图像处理器中的各模块/单元的硬件架构，将预览模式、拍照模式两种处理模式与多帧高动态范围HDR算法深度结合，根据多帧高动态范围HDR算法的特点深度硬件化HDR算法流程，降低当前算法功耗，通过多个尺寸预处理模块实现切块流水处理，加速图像处理的同时保证图像处理结果性能，节省硬件资源开销。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。

在一个示例性的实施例中，提供了一种图像处理装置，包括：

分块处理模块，用于在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

像素级矫正模块，用于在预览模式下对多路第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在拍照模式下对多路第二分块数据进行像素级矫正得到多路第二图像块数据；

第一处理模块，用于在预览模式下对多路第一图像块数据进行选择输出单帧图像，以及在拍照模式下对多路第二图像块数据进行图像对齐处理，输出图像序列；

第二处理模块，用于在预览模式下处理单帧图像以得到预览图像，以及在拍照模式下处理图像序列以得到拍照图像。

上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种拍摄装置，拍摄装置包括：

上述的图像处理器；及

多个摄像头，各摄像头与图像处理器连接。

在一个示例性的实施例中，摄像头可以包括深度传感器、图像传感器及光谱传感器中的一种或多种。

在一个示例性的实施例中，摄像头可以包括高动态范围HDR传感器。

在一个示例性的实施例中，提供了一种电子设备，电子设备包括上述的拍摄装置及壳体，拍摄装置与壳体结合。

在一个示例性的实施例中，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理方法的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理器，其特征在于，所述图像处理器包括：

多个尺寸预处理模块，用于在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

图像矫正模块，连接各所述尺寸预处理模块，用于在所述预览模式下对多路所述第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在所述拍照模式下对多路所述第二分块数据进行像素级矫正得到多路第二图像块数据；

数据选择模块，连接所述图像矫正模块，用于在所述预览模式下对多路所述第一图像块数据进行选择输出单帧图像，以及在所述拍照模式下对多路所述第二图像块数据进行图像对齐处理，输出图像序列；

图像处理模块，与所述数据选择模块连接，用于在所述预览模式下处理所述单帧图像以得到预览图像，以及在所述拍照模式下处理所述图像序列以得到拍照图像。

2.根据权利要求1所述的图像处理器，其特征在于，所述多路原始图像为多个摄像头输出的全尺寸原始图像；各所述尺寸预处理模块用于分别与各所述摄像头一一连接；

所述尺寸预处理模块用于在所述预览模式下，对所述摄像头输入的所述全尺寸原始图像进行下采样处理，得到下采样图像，以及对所述下采样图像依次进行有效区域裁切及切块处理，得到所述第一分块数据。

3.根据权利要求2所述的图像处理器，其特征在于，所述图像处理器还包括存储模块；所述存储模块用于存储来自所述摄像头的所述全尺寸原始图像；

所述尺寸预处理模块用于在所述拍照模式下，通过对从所述存储模块读取的所述全尺寸原始图像依次进行有效区域裁切及切块处理，得到所述第二分块数据。

4.根据权利要求1所述的图像处理器，其特征在于，所述图像矫正模块包括多个拜耳域处理单元，分别与各所述尺寸预处理模块一一连接；

所述像素级矫正包括黑电平矫正、坏点矫正、阴影矫正、3A统计以及去噪中的至少一种。

5.根据权利要求1至4任一项所述的图像处理器，其特征在于，

所述数据选择模块用于在所述预览模式下，基于多路所述第一图像块数据挑选出满足清晰度条件的所述单帧图像，以及在所述拍照模式下基于多路所述第二图像块数据进行参考帧对齐，得到所述图像序列；

所述图像处理器还包括格式转换模块，与所述数据选择模块连接，用于在所述预览模式下，对所述单帧图像进行去马赛克处理得到RGB单帧图像，以及在所述拍照模式下对所述图像序列进行去马赛克处理得到RGB图像序列。

6.根据权利要求5所述的图像处理器，其特征在于，所述图像处理模块包括：

视觉处理单元，连接所述数据选择模块，用于在所述拍照模式下对读取到的当前完成参考帧对齐的所述第二图像块数据进行视觉处理；所述视觉处理包括以下至少一种：特征点计算、位移矢量计算和图像插值。

7.根据权利要求5所述的图像处理器，其特征在于，所述图像处理模块包括：

图像融合单元，与所述格式转换模块连接，用于在所述拍照模式下对所述RGB图像序列进行多帧融合处理，输出高动态范围图像；

其中，所述多帧融合处理包括基于运动信息对曝光信息的融合权重进行归一化得到目标融合权重，根据所述目标融合权重对所述RGB图像序列进行图像融合获得所述高动态范围图像。

8.根据权利要求7所述的图像处理器，其特征在于，所述图像处理模块还包括：

RGB域处理单元，连接所述格式转换模块、所述图像融合单元，用于在所述预览模式下对所述RGB单帧图像执行RGB域处理以生成第一RGB图像数据，以及在所述拍照模式下对所述高动态范围图像进行执行RGB域处理以生成第二RGB图像数据；其中，所述RGB域处理包括以下至少一种：颜色校正、伽马校正、色调映射和颜色空间转换；

YUV域处理单元，连接所述RGB域处理单元，用于在所述预览模式下对所述第一RGB图像数据执行第一YUV域处理以生成第一YUV图像数据，以及在所述拍照模式下对所述第二RGB图像数据执行第二YUV域处理以生成第二YUV图像数据；其中，所述第一YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作、尺寸缩放操作和人脸检测操作；所述第二YUV域处理包括以下至少一种：图像去噪操作、颜色增强操作、锐化操作和尺寸缩放操作；

编解码单元，连接所述YUV域处理单元，用于在所述预览模式下将所述第一YUV图像数据转换为所述预览图像以进行输出显示，以及在所述拍照模式下将所述第二YUV图像数据转换为所述拍照图像。

9.根据权利要求8所述的图像处理器，其特征在于，所述图像处理模块还包括：

统计单元，分别连接所述格式转换模块，用于在所述预览模式下处理所述RGB单帧图像以获得统计数据；所述统计数据提供给所述RGB域处理单元以进行所述RGB域处理，以及提供给所述YUV域处理单元以进行所述第一YUV域处理、所述第二YUV域处理；

神经网络单元，连接所述格式转换模块，用于在所述预览模式下处理述RGB单帧图像以获得语义分割数据；所述语义分割数据提供给所述RGB域处理单元以进行所述RGB域处理，以及提供给所述YUV域处理单元以进行所述第一YUV域处理、所述第二YUV域处理。

10.根据权利要求9所述的图像处理器，其特征在于，所述图像处理模块还包括存储单元；所述存储单元用于存储所述语义分割数据；

所述神经网络单元用于在所述拍照模式下，通过从所述存储单元读取的所述语义分割信息，对所述图像序列中当前完成去马赛克算法处理的图像块数据进行处理。

11.一种图像处理方法，其特征在于，所述图像处理方法包括：

在预览模式下分别对多路原始图像进行尺寸修改及分块处理，得到多路第一分块数据，以及在拍照模式下分别对多路原始图像进行分块处理，得到多路第二分块数据；

在所述预览模式下对多路所述第一分块数据进行像素级矫正，得到多路第一图像块数据，以及在所述拍照模式下对多路所述第二分块数据进行像素级矫正得到多路第二图像块数据；

在所述预览模式下对多路所述第一图像块数据进行选择输出单帧图像，以及在所述拍照模式下对多路所述第二图像块数据进行图像对齐处理，输出图像序列；

在所述预览模式下处理所述单帧图像以得到预览图像，以及在所述拍照模式下处理所述图像序列以得到拍照图像。

12.一种拍摄装置，其特征在于，所述拍摄装置包括：

权利要求1至10中任意一项所述的图像处理器；及

多个摄像头，各所述摄像头与所述图像处理器连接。

13.根据权利要求12所述的拍摄装置，其特征在于，所述摄像头包括深度传感器、图像传感器及光谱传感器中的一种或多种。

14.根据权利要求12所述的拍摄装置，其特征在于，所述摄像头包括高动态范围HDR传感器。

15.一种电子设备，其特征在于，所述电子设备包括权利要求12至14任一项所述的拍摄装置及壳体，所述拍摄装置与所述壳体结合。