CN113766142B - 图像处理装置、图像信号前处理模块、设备和处理方法 - Google Patents

Abstract

本申请实施例提供一种图像处理装置、图像信号前处理模块、电子设备和图像处理方法，其中，额外增加了图像信号前处理模块，先通过图像传感模块按照配置的曝光参数采集外部图像，然后通过图像信号前处理模块对图像传感模块采集的原始图像进行前处理，相应得到前处理图像，再由应用处理模块对前处理图像进行后处理，得到后处理图像。由此，利用图像信号前处理模块协同应用处理模块进行图像处理，能够提升电子设备的图像处理能力。并且，本申请利用图像信号前处理模块更新图像传感模块的曝光参数，还能够稳定的对图像传感模块进行曝光控制。

Description

图像处理装置、图像信号前处理模块、设备和处理方法

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理装置、图像信号前处理模块、电子设备和图像处理方法。

背景技术

目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键。而电子设备拍摄质量的好坏与电子设备的图像处理能力息息相关，当务之急是如何提高电子设备的图像处理能力。

发明内容

本申请实施例提供一种图像处理装置、图像信号前处理模块、电子设备和图像处理方法，可以提升电子设备的图像处理能力。

本申请公开一种图像处理装置，包括：

图像传感模块，用于按照配置的曝光参数采集外部图像；

图像信号前处理模块，用于对所述图像传感模块采集的外部图像进行前处理，得到前处理图像；

应用处理模块，用于对所述前处理图像进行后处理，得到后处理图像；

其中，所述图像信号前处理模块还用于根据所述图像传感模块传输所述外部图像的传输进度，更新所述图像传感模块的曝光参数。

本申请公开一种图像信号前处理模块，用于：

接收图像传感模块传输的外部图像，并根据所述图像传感模块传输所述外部图像的传输进度，更新所述图像传感模块的曝光参数；

对所述外部图像进行前处理，得到前处理图像；以及

将所述前处理图像传输至应用处理模块，以使得所述应用处理模块对所述前处理图像进行后处理，得到后处理图像。

本申请还公开一种电子设备，用于图像处理，包括本申请提供的图像处理装置，或者包括本申请提供的图像信号前处理模块。

本申请还公开一种图像处理方法，适用于图像处理装置，所述图像处理装置包括图像传感模块、图像信号前处理模块以及应用处理模块，所述图像处理方法包括：

图像传感模块按照配置的曝光参数采集外部图像；

图像信号前处理模块对所述外部图像进行前处理，得到前处理图像；

应用处理模块对所述前处理图像进行后处理，得到后处理图像；

其中，所述图像信号前处理模块根据所述图像传感模块传输所述外部图像的传输进度，更新所述图像传感模块的曝光参数。

本申请还公开一种图像处理方法，适用于图像信号前处理模块，所述图像处理方法包括：

接收图像传感模块传输的外部图像，并根据所述图像传感模块传输所述外部图像的传输进度，更新所述图像传感模块的曝光参数；

对所述外部图像进行前处理，得到前处理图像；以及

将所述前处理图像传输至应用处理模块，以使得所述应用处理模块对所述前处理图像进行后处理，得到后处理图像。

本申请实施例中，额外增加了图像信号前处理模块，先通过图像传感模块按照配置的曝光参数采集外部图像，然后通过图像信号前处理模块对图像传感模块采集的原始图像进行前处理，相应得到前处理图像，再由应用处理模块对前处理图像进行后处理，得到后处理图像。由此，利用图像信号前处理模块协同应用处理模块进行图像处理，能够提升电子设备的图像处理能力。并且，本申请利用图像信号前处理模块更新图像传感模块的曝光参数，还能够稳定的对图像传感模块进行曝光控制。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的图像处理装置的第一种结构示意图。

图2为图1中应用处理模块的结构示意图。

图3为图1中图像信号前处理模块的一结构示意图。

图4为本申请实施例提供的图像处理装置的第二种结构示意图。

图5为图1中图像信号前处理模块的另一结构示意图。

图6为本申请实施例中对后处理图像增强得到增强图像的示例图。

图7为本申请实施例提供的图像处理方法的一流程示意图。

图8为本申请实施例提供的图像处理方法的另一流程示意图。

具体实施方式

本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。

请参照图1，图1为本申请实施例提供的图像处理装置100的第一种结构示意图。该图像处理装置100可包括图像传感模块110、图像信号前处理模块120以及应用处理模块130。

图像传感模块110可以为图像传感器(或称感光元件)，是一种将光信号转换成电信号的器件，与光敏二极管、光敏三极管等“点”光源的光敏元件相比，图像传感模块110将其感受到的光像分成多个小单元，进而转换为可用的电信号，得到原始的外部图像。应当说明的是，本申请实施例中对图像传感模块110的类型不做限制，可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器，也可以为电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。

应用处理模块130可以为通用的处理器，比如ARM架构的处理器，为电子设备的处理核心，相当于人的大脑。

可选地，请参照图2，应用处理模块130包括应用处理单元1301和第一图像信号处理单元1302，应用处理单元1301为应用处理器模块130的处理核心，用于一般的数据处理，图像信号处理单元1302可用于对图像传感模块110采集的外部图像进行处理，比如背光补偿、色彩增强等，以提升外部图像的质量。

图像信号前处理模块120相较于应用处理模块130，其在应用处理模块130对外部图像进行处理之前进行一些差异化处理，可以看做是应用处理模块130进行处理之前的预处理。

在本申请实施例中，图像传感模块110用于按照配置的曝光参数采集外部图像。比如，在自动曝光时，应用处理模块130根据统计到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感模块110，使得图像传感模块110按照该曝光参数采集外部图像。

图像信号前处理模块120与图像传感模块110连接，用于接收图像传感模块110传输的其采集到的外部图像，并对该外部图像进行前处理，相应得到前处理图像。应当说明的是，本申请实施例中对图像信号前处理模块120和图像传感模块110的连接方式不做具体限定，比如，图像信号前处理模块120与图像传感模块110之间通过MIPI(Mobile IndustryProcessor Interface，移动行业处理器接口)连接。此外，本申请实施例中对于图像信号前处理模块120所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理模块120，可以对图像传感模块110采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

可选地，请参照图3，图像信号前处理模块120包括：

第二图像信号处理单元1201，用于对外部图像进行第一次前处理；

神经网络处理单元1202，用于对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。

其中，第二图像信号处理单元1201与图像传感模块110连接，用于按照配置的前处理策略，对前述外部图像进行第一次前处理。应当说明的是，本申请实施例中对于第二图像信号处理单元1201所进行的第一次前处理不做具体限制，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元1202用于对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。其中，神经网络处理单元1202固化有多种神经网络算法(比如，通过神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第二图像信号处理单元1201完成对外部图像的第一前处理之后，神经网络处理单元1202按照配置的前处理策略，调用对应的神经网络算法对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。

通俗的说，第二图像信号处理单元1201采用非AI的图像优化方式对外部图像进行初步的优化处理，然后再由神经网络处理单元1202采用AI的图像优化方式对初步优化后的外部图像进一步优化。

应用处理模块130与图像信号前处理模块120连接，用于对图像信号前处理模块120进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理模块130与图像信号前处理模块120的连接方式不做具体限定，比如，应用处理模块130与图像信号前处理模块120之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理模块130所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理模块130在出厂时缺省配置，比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。。

应用处理模块130在得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

另外，在本申请实施例中，图像信号前处理模块120还用于根据图像传感模块110传输前述外部图像的传输进度，更新图像传感模块110的曝光参数。

可选地，在一实施例中，在图像信号前处理模块120完成对图像传感模块110曝光参数的当次更新后，图像传感模块110将采用更新后的曝光参数进行外部图像的采集，相应的，图像信号前处理模块120根据新采集的外部图像再次对图像传感模块110的曝光参数进行更新。如此，通过不断更新图像传感模块110的曝光参数，直至曝光参数收敛。

相比于相关技术，本申请额外增加了图像信号前处理模块120，先通过图像传感模块110按照配置的曝光参数采集外部图像，然后通过图像信号前处理模块120对图像传感模块110采集的原始图像进行前处理，相应得到前处理图像，再由应用处理模块130对前处理图像进行后处理，得到后处理图像。由此，利用图像信号前处理模块120协同应用处理模块130进行图像处理，能够提升电子设备的图像处理能力。并且，本申请利用图像信号前处理模块120更新图像传感模块110的曝光参数，还能够稳定的对图像传感模块110进行曝光控制。

可选地，在一实施例中，图像信号前处理模块120用于发送指示信息至应用处理模块130，指示应用处理模块130更新图像传感模块110的曝光参数。

本申请实施例中，由图像信号前处理模块120来指示应用处理模块130更新图像传感模块110的曝光参数，实现图像传感模块110曝光参数的更新。

其中，应用处理模块130还与图像传感模块110连接，图像信号前处理模块120用于根据图像传感模块110传输外部图像的传输进度，发送指示信息至应用处理模块130，通过该指示信息指示应用处理模块130更新图像传感模块110的曝光参数。应当说明的是，本申请实施例中对指示信息的类型不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，本申请实施例中，图像信号前处理模块120采用中断信号的方式向应用处理模块130发送指示信息。

此外，应用处理模块130还通过其与图像传感模块110之间的连接，控制图像传感模块110开始采集外部图像和结束采集外部图像。

可选地，在一实施例中，图像信号前处理模块120与应用处理模块130通过GPIO(General-purpose input/output，通用输入/输出)接口直接连接。

本申请实施例中，图像信号前处理模块120与应用处理模块130之间采用GPIO接口直接连接，相应的，图像信号处理器120在发送指示信息至应用处理模块130时，通过其与应用处理模块130之间的GPIO接口发送指示信息至应用处理模块130。

请参照图4，图4为本申请实施例提供的图像处理装置100的第二种结构示意图，与图1所示图像处理装置100的区别在于，本申请实施例中的图像处理装置100还包括寄存模块140。其中，寄存模块140与图像信号前处理模块120和应用处理模块130连接。

本申请实施例中，图像信号前处理模块120的指示信息并不是直接传输至应用处理模块130，而是利用第三方器件“寄存模块140”间接传输，相应的，在发送指示信息至应用处理模块130时，图像信号前处理模块120用于：

将寄存模块140的预设标志位写为对应前述指示信息的预设值，使得应用处理模块130根据寄存模块140的预设标识位所写入的预设值获取到前述指示信息，相应对图像传感模块110的曝光参数进行更新。

其中，本申请实施例对于选用寄存模块140的哪一个标志位作为预设标志位来指示信息的传递不做具体限定，可由本领域普通技术人员根据实际需要进行选择。应当说明的是，针对寄存模块140中的预设标志位，本申请中预先建立预设值与指示信息的对应关系。其中，对于采用哪一个值来表征指示信息，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，对于寄存模块140的预设标志位，本申请实施例中采用“1”来表征前述指示信息，相应的，图像信号前处理模块120在需要向应用处理模块130发送前述指示信息时，

比如，图像信号前处理模块120在需要向应用处理模块130发送前述指示信息时，将寄存模块140中预设标志位的值写为“1”，使得寄存模块140发送中断信号到应用处理模块130，告知应用处理模块130当前有数据写入，应用处理模块130相应读取寄存模块140中预设标志位的值，此时为“1”，从而获取到前述指示信息，对图像传感模块110的曝光参数进行更新。

应当说明的是，本申请实施例中可由本领域普通技术人员根据实际需要选取寄存模块140的类型，比如，本申请实施例中采用PCIE寄存模块实现指示信息的传输。

可选地，在一实施例中，在根据图像传感模块110传输外部图像的传输进度，发送指示信息至应用处理模块130时，图像信号前处理模块120用于：

当图像传感模块110开始传输一帧外部图像时，发送前述指示信息至应用处理模块130；或者

当图像传感模块110传输完成一帧外部图像时，发送前述指示信息至应用处理模块130。

本申请实施例中，图像传感模块110在采集到外部图像之后，会将采集到的外部图像传输至图像信号前处理模块120，由图像信号前处理模块120对外部图像进行前处理。

其中，对于一帧完整的外部图像，图像传感模块110并不是将一帧完整的外部图像直接传输至图像信号前处理模块120，而是以行为单位，逐行的将外部图像传输至图像信号前处理模块120。示例性的，图像传感模块110在曝光得到外部图像的第一行外部图像之后，即将曝光得到第一行外部图像传输至图像信号前处理模块120，与此同时，曝光外部图像的下一行外部图像，并再次传输/曝光，如此循环，直至曝光得到外部图像的最后一行外部图像，将最后一行外部图像传输至图像信号处理器120，从而完成外部图像的传输。

如上所述，外部图像的传输存在多个进度节点，本申请实施例中，为了能够确保稳定的对图像传感模块110进行曝光控制，采用图像传感模块110开始传输一帧外部图像这一进度节点或者传输完成一帧外部图像这一进度节点作为指示信息的发送节点。相应的，在根据图像传感模块110传输外部图像的传输进度，发送指示信息至应用处理模块130时，可以当图像传感模块110开始传输一帧外部图像时，采用SOF(Start of Frame，帧起始)中断信号作为指示信息发送至应用处理模块130；或者当图像传感模块110传输完成一帧外部图像时，采用EOF(End of Frame，帧结束)中断信号作为指示信息发送至应用处理模块130。

应当说明的是，本申请实施例中在自动曝光控制过程中，仅采用SOF中断信号和EOF中断信号二者之一作为指示信息发送，而不是SOF中断信号和EOF中断信号混用。

请参照图5，图像信号前处理模块120还包括自动曝光控制单元1203，本申请实施例中，将自动曝光控制算法固化为一个专用硬件，记为自动曝光控制单元1203，并将该自动曝光控制单元1203内置到图像信号前处理模块120中，如图5所示。

其中，自动曝光控制单元1203用于根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数。

示例性的，对于一帧完整的外部图像，图像传感模块110并不是将一帧完整的外部图像直接传输至图像信号前处理模块120，而是以行为单位，逐行的将外部图像传输至图像信号前处理模块120。示例性的，图像传感模块110在曝光得到外部图像的第一行外部图像之后，即将曝光得到第一行外部图像传输至图像信号前处理模块120，与此同时，曝光外部图像的下一行外部图像，并再次传输/曝光，如此循环，直至曝光得到外部图像的最后一行外部图像，将最后一行外部图像传输至图像信号处理器120，从而完成外部图像的传输。

如上所述，外部图像的传输存在多个进度节点，本申请实施例中，为了能够确保稳定的对图像传感模块110进行曝光控制，采用图像传感模块110开始传输一帧外部图像这一进度节点或者传输完成一帧外部图像这一进度节点作为曝光参数的更新节点。相应的，在根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数时，自动曝光控制单元1203可以当图像传感模块110开始传输一帧外部图像时，更新图像传感模块110的曝光参数；或者当图像传感模块110传输完成一帧外部图像时，更新图像传感模块110的曝光参数。

应当说明的是，本申请实施例中在自动曝光控制过程中，仅采用开始传输外部图像和传输完成一帧外部图像这二者进度节点之一作为更新节点，而不是二者混用。

可选地，在一实施例中，在自动曝光控制单元1203完成对图像传感模块110曝光参数的当次更新后，图像传感模块110将采用更新后的曝光参数进行外部图像的采集，相应的，自动曝光控制单元1203将根据新采集的外部图像再次对图像传感模块110的曝光参数进行更新。如此，通过不断更新图像传感模块110的曝光参数，直至曝光参数收敛。

可选地，在一实施例中，应用处理模块130还用于调用预训练的图像增强模型对后处理图像进行图像增强处理，得到增强图像。

应当说明的是，图像增强是指对需要增强的图像数据进行数据变换，有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征，使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中，样本对包括输入对象和期望的输出。在本申请实施例中，输入对象为样本对中的训练图像，期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练，以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置，例如可以是深度卷积神经网络模型或者残差卷积网络模型等。模型训练的目标是得到更好的模型参数，以提高图像增强的效果。在进行训练时，将训练图像输入到初始图像增强模型中，得到输出的模型增强图像，然后根据模型增强图像与配对的目标图像的差异调整模型参数，使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像，比如采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整，直至收敛，得到图像增强模型。

本申请实施例中，应用处理模块130在处理得到后处理图像之后，调用预训练的图像增强模型对后处理图像进行图像增强处理，得到增强图像，对于增强图像，应用处理模块130可以对其进行预览和/或存储。

比如，请参照图6，图6左侧所示为应用处理模块130处理得到的后处理图像，应用处理模块130调用预先训练的图像增强模型对前述后处理图像的亮度和清晰度进行增强，得到右侧所示增强后的增强图像，可以看出，经过图像增强处理，得到的增强图像相较于原始的后处理图像的亮度和清晰度得以明显提升，由此，将本申请实施例提供的图像处理装置应用于电子设备，能够使得电子设备在低照度环境下也能够拍摄得到明亮清晰的图像。

本申请还提供一种图像信号前处理模块，用于：

接收图像传感模块传输的外部图像，并根据图像传感模块传输外部图像的传输进度，更新图像传感模块的曝光参数；

对外部图像进行前处理，得到前处理图像；以及

将前处理图像传输至应用处理模块，以使得应用处理模块对前处理图像进行后处理，得到后处理图像。

在本申请实施例中，图像传感模块按照配置的曝光参数采集外部图像。比如，在自动曝光时，应用处理模块根据统计到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感模块，使得图像传感模块按照该曝光参数采集外部图像。

图像信号前处理模块与图像传感模块连接，接收图像传感模块传输的其采集到的外部图像，并对该外部图像进行前处理，相应得到前处理图像。应当说明的是，本申请实施例中对图像信号前处理模块和图像传感模块的连接方式不做具体限定，比如，图像信号前处理模块与图像传感模块之间通过MIPI(Mobile Industry Processor Interface，移动行业处理器接口)连接。此外，本申请实施例中对于图像信号前处理模块所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理模块，可以对图像传感模块采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

示例性的，图像信号前处理模块包括第二图像信号处理单元和神经网络处理单元。

其中，第二图像信号处理单元与图像传感模块连接，按照配置的前处理策略，对前述外部图像进行第一次前处理。应当说明的是，本申请实施例中对于第二图像信号处理单元所进行的第一次前处理不做具体限制，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。其中，神经网络处理单元固化有多种神经网络算法(比如，通过神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第二图像信号处理单元完成对外部图像的第一前处理之后，神经网络处理单元按照配置的前处理策略，调用对应的神经网络算法对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。

通俗的说，第二图像信号处理单元采用非AI的图像优化方式对外部图像进行初步的优化处理，然后再由神经网络处理单元采用AI的图像优化方式对初步优化后的外部图像进一步优化。

应用处理模块与图像信号前处理模块连接，对图像信号前处理模块进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理模块与图像信号前处理模块的连接方式不做具体限定，比如，应用处理模块与图像信号前处理模块之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理模块所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理模块在出厂时缺省配置，比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

应用处理模块在得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

另外，在本申请实施例中，图像信号前处理模块还根据图像传感模块传输前述外部图像的传输进度，更新图像传感模块的曝光参数。

比如，图像信号前处理模块可以在图像传感器模块开始传输一帧外部图像时，更新图像传感模块的曝光参数，或者在图像传感模块完成一帧外部图像的传输时，更新图像传感模块的曝光参数。

本申请还提供一种电子设备，用于处理图像数据，该电子设备包括本申请所提供的图像处理装置。

本申请还提供一种图像处理方法，请参照图7，该图像处理方法适用于图像处理装置，其流程可以为：

在201中，图像传感模块按照配置的曝光参数采集外部图像；

在202中，图像信号前处理模块对外部图像进行前处理，得到前处理图像，其中，图像信号前处理模块根据图像传感模块传输外部图像的传输进度，更新图像传感模块的曝光参数；

在203中，应用处理模块对前处理图像进行后处理，得到后处理图像。

以本申请提供的图像处理方法适用于图1所示的图像处理装置100为例。

在本申请实施例中，图像传感模块110按照配置的曝光参数采集外部图像。比如，在自动曝光时，应用处理模块130根据统计到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感模块110，使得图像传感模块110按照该曝光参数采集外部图像。

图像信号前处理模块120与图像传感模块110连接，接收图像传感模块110传输的其采集到的外部图像，并对该外部图像进行前处理，相应得到前处理图像。应当说明的是，本申请实施例中对图像信号前处理模块120和图像传感模块110的连接方式不做具体限定，比如，图像信号前处理模块120与图像传感模块110之间通过MIPI(Mobile IndustryProcessor Interface，移动行业处理器接口)连接。此外，本申请实施例中对于图像信号前处理模块120所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理模块120，可以对图像传感模块110采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

可选地，请参照图3，图像信号前处理模块120包括第二图像信号处理单元1201和神经网络处理单元1202。

其中，第二图像信号处理单元1201与图像传感模块110连接，按照配置的前处理策略，对前述外部图像进行第一次前处理。应当说明的是，本申请实施例中对于第二图像信号处理单元1201所进行的第一次前处理不做具体限制，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元1202对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。其中，神经网络处理单元1202固化有多种神经网络算法(比如，通过神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第二图像信号处理单元1201完成对外部图像的第一前处理之后，神经网络处理单元1202按照配置的前处理策略，调用对应的神经网络算法对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。

通俗的说，第二图像信号处理单元1201采用非AI的图像优化方式对外部图像进行初步的优化处理，然后再由神经网络处理单元1202采用AI的图像优化方式对初步优化后的外部图像进一步优化。

应用处理模块130与图像信号前处理模块120连接，对图像信号前处理模块120进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理模块130与图像信号前处理模块120的连接方式不做具体限定，比如，应用处理模块130与图像信号前处理模块120之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理模块130所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理模块130在出厂时缺省配置，比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

应用处理模块130在得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

另外，在本申请实施例中，图像信号前处理模块120还根据图像传感模块110传输前述外部图像的传输进度，更新图像传感模块110的曝光参数。

可选地，在一实施例中，在图像信号前处理模块120完成对图像传感模块110曝光参数的当次更新后，图像传感模块110将采用更新后的曝光参数进行外部图像的采集，相应的，图像信号前处理模块120根据新采集的外部图像再次对图像传感模块110的曝光参数进行更新。如此，通过不断更新图像传感模块110的曝光参数，直至曝光参数收敛。

可选地，在一实施例中，图像信号前处理模块120根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数，包括：

图像信号前处理模块120发送指示信息至应用处理模块130，指示应用处理模块130更新图像传感模块110的曝光参数。

本申请实施例中，由图像信号前处理模块120来指示应用处理模块130更新图像传感模块110的曝光参数，实现图像传感模块110曝光参数的更新。

其中，应用处理模块130还与图像传感模块110连接，图像信号前处理模块120用于根据图像传感模块110传输外部图像的传输进度，发送指示信息至应用处理模块130，通过该指示信息指示应用处理模块130更新图像传感模块110的曝光参数。应当说明的是，本申请实施例中对指示信息的类型不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，本申请实施例中，图像信号前处理模块120采用中断信号的方式向应用处理模块130发送指示信息。

此外，应用处理模块130还通过其与图像传感模块110之间的连接，控制图像传感模块110开始采集外部图像和结束采集外部图像。

可选地，在一实施例中，图像信号前处理模块120与应用处理模块130通过GPIO(General-purpose input/output，通用输入/输出)接口直接连接。

本申请实施例中，图像信号前处理模块120与应用处理模块130之间采用GPIO接口直接连接，相应的，图像信号处理器120在发送指示信息至应用处理模块130时，通过其与应用处理模块130之间的GPIO接口发送指示信息至应用处理模块130。

可选地，请参照图4，在一实施例中，图像处理装置100还包括寄存模块140，图像信号前处理模块120发送指示信息至应用处理模块130包括：

图像信号前处理模块120将寄存模块140的预设标志位写为对应指示信息的预设值，使得应用处理模块130根据预设值获取到指示信息。

本申请实施例中，图像信号前处理模块120的指示信息并不是直接传输至应用处理模块130，而是利用第三方器件“寄存模块140”间接传输，其中，图像信号前处理模块120将寄存模块140的预设标志位写为对应前述指示信息的预设值，使得应用处理模块130根据寄存模块140的预设标识位所写入的预设值获取到前述指示信息，相应对图像传感模块110的曝光参数进行更新。

其中，本申请实施例对于选用寄存模块140的哪一个标志位作为预设标志位来指示信息的传递不做具体限定，可由本领域普通技术人员根据实际需要进行选择。应当说明的是，针对寄存模块140中的预设标志位，本申请中预先建立预设值与指示信息的对应关系。其中，对于采用哪一个值来表征指示信息，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，对于寄存模块140的预设标志位，本申请实施例中采用“1”来表征前述指示信息，相应的，图像信号前处理模块120在需要向应用处理模块130发送前述指示信息时，

比如，图像信号前处理模块120在需要向应用处理模块130发送前述指示信息时，将寄存模块140中预设标志位的值写为“1”，使得寄存模块140发送中断信号到应用处理模块130，告知应用处理模块130当前有数据写入，应用处理模块130相应读取寄存模块140中预设标志位的值，此时为“1”，从而获取到前述指示信息，对图像传感模块110的曝光参数进行更新。

应当说明的是，本申请实施例中可由本领域普通技术人员根据实际需要选取寄存模块140的类型，比如，本申请实施例中采用PCIE寄存模块实现指示信息的传输。

可选地，在一实施例中，图像信号前处理模块120发送指示信息至应用处理模块130包括：

当图像传感模块110开始传输一帧外部图像时，发送指示信息至应用处理模块130；或者

当图像传感模块110传输完成一帧外部图像时，发送指示信息至应用处理模块130。

本申请实施例中，图像传感模块110在采集到外部图像之后，会将采集到的外部图像传输至图像信号前处理模块120，由图像信号前处理模块120对外部图像进行前处理。

其中，对于一帧完整的外部图像，图像传感模块110并不是将一帧完整的外部图像直接传输至图像信号前处理模块120，而是以行为单位，逐行的将外部图像传输至图像信号前处理模块120。示例性的，图像传感模块110在曝光得到外部图像的第一行外部图像之后，即将曝光得到第一行外部图像传输至图像信号前处理模块120，与此同时，曝光外部图像的下一行外部图像，并再次传输/曝光，如此循环，直至曝光得到外部图像的最后一行外部图像，将最后一行外部图像传输至图像信号处理器120，从而完成外部图像的传输。

如上所述，外部图像的传输存在多个进度节点，本申请实施例中，为了能够确保稳定的对图像传感模块110进行曝光控制，采用图像传感模块110开始传输一帧外部图像这一进度节点或者传输完成一帧外部图像这一进度节点作为指示信息的发送节点。相应的，在根据图像传感模块110传输外部图像的传输进度，发送指示信息至应用处理模块130时，可以当图像传感模块110开始传输一帧外部图像时，采用SOF(Start of Frame，帧起始)中断信号作为指示信息发送至应用处理模块130；或者当图像传感模块110传输完成一帧外部图像时，采用EOF(End of Frame，帧结束)中断信号作为指示信息发送至应用处理模块130。

应当说明的是，本申请实施例中在自动曝光控制过程中，仅采用SOF中断信号和EOF中断信号二者之一作为指示信息发送，而不是SOF中断信号和EOF中断信号混用。

可选地，请参照图5，在一实施例中，图像信号前处理模块120内置自动曝光控制单元1203，图像信号前处理模块120根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数，包括：

自动曝光控制单元1203根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数。

示例性的，对于一帧完整的外部图像，图像传感模块110并不是将一帧完整的外部图像直接传输至图像信号前处理模块120，而是以行为单位，逐行的将外部图像传输至图像信号前处理模块120。示例性的，图像传感模块110在曝光得到外部图像的第一行外部图像之后，即将曝光得到第一行外部图像传输至图像信号前处理模块120，与此同时，曝光外部图像的下一行外部图像，并再次传输/曝光，如此循环，直至曝光得到外部图像的最后一行外部图像，将最后一行外部图像传输至图像信号处理器120，从而完成外部图像的传输。

如上所述，外部图像的传输存在多个进度节点，本申请实施例中，为了能够确保稳定的对图像传感模块110进行曝光控制，采用图像传感模块110开始传输一帧外部图像这一进度节点或者传输完成一帧外部图像这一进度节点作为曝光参数的更新节点。相应的，在根据图像传感模块110传输外部图像的传输进度，更新图像传感模块110的曝光参数时，自动曝光控制单元1203可以当图像传感模块110开始传输一帧外部图像时，更新图像传感模块110的曝光参数；或者当图像传感模块110传输完成一帧外部图像时，更新图像传感模块110的曝光参数。

应当说明的是，本申请实施例中在自动曝光控制过程中，仅采用开始传输外部图像和传输完成一帧外部图像这二者进度节点之一作为更新节点，而不是二者混用。

可选地，在自动曝光控制单元1203完成对图像传感模块110曝光参数的当次更新后，图像传感模块110将采用更新后的曝光参数进行外部图像的采集，相应的，自动曝光控制单元1203将根据新采集的外部图像再次对图像传感模块110的曝光参数进行更新。如此，通过不断更新图像传感模块110的曝光参数，直至曝光参数收敛。

可选地，在一实施例中，本申请提供的图像处理方法还包括：

应用处理模块130调用预训练的图像增强模型对后处理图像进行图像增强处理，得到增强图像。

本申请实施例中，应用处理模块130在处理得到后处理图像之后，调用预训练的图像增强模型对后处理图像进行图像增强处理，得到增强图像，对于增强图像，应用处理模块130可以对其进行预览和/或存储。

比如，请参照图6，图6左侧所示为应用处理模块130处理得到的后处理图像，应用处理模块130调用预先训练的图像增强模型对前述后处理图像的亮度和清晰度进行增强，得到右侧所示增强后的增强图像，可以看出，经过图像增强处理，得到的增强图像相较于原始的后处理图像的亮度和清晰度得以明显提升，由此，将本申请实施例提供的图像处理装置应用于电子设备，能够使得电子设备在低照度环境下也能够拍摄得到明亮清晰的图像。

本申请还提供一种图像处理方法，请参照图8，该图像处理方法适用于图像信号前处理模块，其流程可以为：

在301中，接收图像传感模块传输的外部图像，并根据图像传感模块传输外部图像的传输进度，更新图像传感模块的曝光参数；

在302中，对外部图像进行前处理，得到前处理图像；

在303中，将前处理图像传输至应用处理模块，以使得应用处理模块对前处理图像进行后处理，得到后处理图像。

在本申请实施例中，图像传感模块按照配置的曝光参数采集外部图像。比如，在自动曝光时，应用处理模块根据统计到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感模块，使得图像传感模块按照该曝光参数采集外部图像。

图像信号前处理模块与图像传感模块连接，接收图像传感模块传输的其采集到的外部图像，并对该外部图像进行前处理，相应得到前处理图像。应当说明的是，本申请实施例中对图像信号前处理模块和图像传感模块的连接方式不做具体限定，比如，图像信号前处理模块与图像传感模块之间通过MIPI(Mobile Industry Processor Interface，移动行业处理器接口)连接。此外，本申请实施例中对于图像信号前处理模块所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理模块，可以对图像传感模块采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

示例性的，图像信号前处理模块包括第二图像信号处理单元和神经网络处理单元。

其中，第二图像信号处理单元与图像传感模块连接，按照配置的前处理策略，对前述外部图像进行第一次前处理。应当说明的是，本申请实施例中对于第二图像信号处理单元所进行的第一次前处理不做具体限制，包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。其中，神经网络处理单元固化有多种神经网络算法(比如，通过神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第二图像信号处理单元完成对外部图像的第一前处理之后，神经网络处理单元按照配置的前处理策略，调用对应的神经网络算法对第一次前处理后的外部图像进行第二次前处理，得到前处理图像。

通俗的说，第二图像信号处理单元采用非AI的图像优化方式对外部图像进行初步的优化处理，然后再由神经网络处理单元采用AI的图像优化方式对初步优化后的外部图像进一步优化。

应用处理模块与图像信号前处理模块连接，对图像信号前处理模块进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理模块与图像信号前处理模块的连接方式不做具体限定，比如，应用处理模块与图像信号前处理模块之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理模块所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理模块在出厂时缺省配置，比如强光抑制、背光补偿、色彩增强、镜头阴影校正等优化处理方式，当然，还可以包括本申请所未列出的优化处理方式。

应用处理模块在得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

另外，在本申请实施例中，图像信号前处理模块还根据图像传感模块传输前述外部图像的传输进度，更新图像传感模块的曝光参数。

比如，图像信号前处理模块可以在图像传感器模块开始传输一帧外部图像时，更新图像传感模块的曝光参数，或者在图像传感模块完成一帧外部图像的传输时，更新图像传感模块的曝光参数。

以上对本申请实施例提供的图像处理装置、图像信号前处理模块、电子设备和图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种图像处理装置，其特征在于，包括：

寄存模块；

图像传感模块，用于按照配置的曝光参数采集外部图像；

图像信号前处理模块，用于对所述图像传感模块采集的外部图像进行前处理，得到前处理图像；

应用处理模块，用于对所述前处理图像进行后处理，得到后处理图像；

其中，所述图像信号前处理模块还用于根据所述图像传感模块传输所述外部图像的传输进度，发送指示信息至所述应用处理模块，指示所述应用处理模块更新所述图像传感模块的曝光参数，所述指示信息通过将寄存模块的预设标志位写为对应所述指示信息的预设值发送。

2.根据权利要求1所述的图像处理装置，其特征在于，所述图像信号前处理模块用于：

当所述图像传感模块开始传输一帧外部图像时，发送所述指示信息至所述应用处理模块；或者

当所述图像传感模块传输完成一帧外部图像时，发送所述指示信息至所述应用处理模块。

3.根据权利要求1或2所述的图像处理装置，其特征在于，所述应用处理模块还用于调用预训练的图像增强模型对所述后处理图像进行图像增强处理，得到增强图像。

4.一种图像信号前处理模块，其特征在于，所述图像信号前处理模块用于：

接收图像传感模块传输的外部图像，并根据所述图像传感模块传输所述外部图像的传输进度，发送指示信息至应用处理模块，指示所述应用处理模块更新所述图像传感模块的曝光参数，所述指示信息通过将寄存模块的预设标志位写为对应所述指示信息的预设值发送；

对所述外部图像进行前处理，得到前处理图像；以及

将所述前处理图像传输至所述应用处理模块，以使得所述应用处理模块对所述前处理图像进行后处理，得到后处理图像。

5.一种电子设备，用于处理外部图像，其特征在于，所述电子设备包括如权利要求1-3任一项所述的图像处理装置，或者包括如权利要求4所述的图像信号前处理模块。

6.一种图像处理方法，适用于图像处理装置，其特征在于，所述图像处理装置包括寄存模块、图像传感模块、图像信号前处理模块以及应用处理模块，所述图像处理方法包括：

图像传感模块按照配置的曝光参数采集外部图像；

图像信号前处理模块对所述外部图像进行前处理，得到前处理图像；

应用处理模块对所述前处理图像进行后处理，得到后处理图像；

其中，所述图像信号前处理模块根据所述图像传感模块传输所述外部图像的传输进度，发送指示信息至所述应用处理模块，指示所述应用处理模块更新所述图像传感模块的曝光参数，所述指示信息通过将所述寄存模块的预设标志位写为对应所述指示信息的预设值发送。

7.一种图像处理方法，适用于图像信号前处理模块，其特征在于，所述图像处理方法包括：

接收图像传感模块传输的外部图像，并根据所述图像传感模块传输所述外部图像的传输进度，发送指示信息至应用处理模块，指示所述应用处理模块更新所述图像传感模块的曝光参数，所述指示信息通过将寄存模块的预设标志位写为对应所述指示信息的预设值发送；

对所述外部图像进行前处理，得到前处理图像；以及

将所述前处理图像传输至应用处理模块，以使得所述应用处理模块对所述前处理图像进行后处理，得到后处理图像。