CN113784015A - 图像处理电路、电子设备和图像处理方法 - Google Patents

Abstract

本申请实施例提供一种图像处理电路、电子设备和图像处理方法，其中，本申请在图像信号处理器之外额外增加了图像信号前处理器，将图像信号处理器的部分工作分担至图像信号前处理器，由图像信号前处理器提前获取到待处理图像及其对应的深度信息，使得图像信号处理器可以直接接收待处理图像的深度信息，相应利用该深度信息对待处理图像进行处理。由此，能够降低图像信号处理器的处理负担，高效的获取深度信息并进行相应处理。

Description

图像处理电路、电子设备和图像处理方法

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理电路、电子设备和图像处理方法。

背景技术

目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键，用户可以通过电子设备随时随地地拍摄想要拍摄的场景。为了丰富拍摄功能，电子设备在拍摄时还可以获取到场景的深度信息，并利用该深度信息对拍摄的图像进行相应处理，以提升图像效果。因此，如何高效的获取深度信息并进行相应处理，变得尤为重要。

发明内容

本申请实施例提供一种图像处理电路、电子设备和图像处理方法，能够高效的获取深度信息并进行相应处理。

本申请公开一种图像处理电路，包括相互连接的图像信号前处理器和图像信号处理器，其中，

所述图像信号前处理器用于获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

所述图像信号处理器用于根据所述深度信息对所述待处理图像进行后处理，得到后处理图像。

本申请还公开一种电子设备，包括图像信号前处理器、图像信号处理器以及应用处理器，其中，

所述应用处理器与所述图像信号处理器连接，用于接收输入的虚化请求，并将所述虚化请求提供给所述图像信号处理器；

所述图像信号处理器与所述图像信号前处理器连接，用于根据所述虚化请求生成图像获取请求，并将所述图像获取请求提供给所述图像信号前处理器；

所述图像信号前处理器用于根据所述图像获取请求获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

所述图像信号处理器还用于根据所述深度信息对所述待处理图像进行虚化处理，并将虚化得到的虚化图像提供给应用处理器。

本申请实施例还公开一种图像处理方法，适用于图像处理电路，所述图像处理电路包括图像信号前处理器和图像信号处理器，所述图像处理方法，包括：

图像信号前处理器获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

图像信号处理器根据所述深度信息对所述待处理图像进行后处理，得到后处理图像。

本申请实施例中，在图像信号处理器之外额外增加了图像信号前处理器，将图像信号处理器的部分工作分担至图像信号前处理器，由图像信号前处理器提前获取到待处理图像及其对应的深度信息，使得图像信号处理器可以直接接收待处理图像的深度信息，相应利用该深度信息对待处理图像进行处理。由此，能够降低图像信号处理器的处理负担，高效的获取深度信息并进行相应处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的图像处理电路的第一种结构示意图。

图2为本申请实施例进行虚化处理的示意图。

图3为本申请实施例提供的图像处理电路的第二种结构示意图。

图4为本申请实施例提供的图像处理电路的第三种结构示意图。

图5为本申请实施例提供的图像处理电路的第四种结构示意图。

图6为本申请实施例提供的图像处理电路的第五种结构示意图。

图7为本申请实施例中的电子设备的一结构示意图。

图8为本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。

请参照图1，图1为本申请实施例提供的图像处理电路100的第一种结构示意图。该图像处理电路100可包括相互连接的图像信号前处理器110和图像信号处理器120。

其中，图像信号处理器120能够对图像数据进行处理，提升图像数据的质量。比如，图像信号处理器120能够对图像数据做坏点校正处理，消除图像数据中的坏点。

图像信号前处理器110相较于图像信号处理器120，其在图像信号处理器120对图像数据进行处理之前进行一些差异化处理，可以看做是图像信号处理器120进行处理之前的预处理。

本申请实施例中，图像信号前处理器110用于获取待处理图像，其中，待处理图像可以为静态图像或动态图像，静态图像比如实时拍摄的单帧图像，预存的单帧图像(比如，历史拍摄的，或者网络下载的等)，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像，或者预存的视频(视频的实质为图像序列)中的一帧图像。应当说明的是，本申请实施例中对于图像信号前处理器110获取的待处理图像的类型不做限制，具体根据实际情况进行选择。

比如，将本申请提供的图像处理电路100应用于拍照场景时，图像信号前处理器110将获取拍摄得到的一帧静态图像作为待处理图像；

将本申请提供的图像处理电路100应用于预览场景时，图像信号前处理器110将获取拍摄得到的预览图像序列中一帧动态图像作为待处理图像；

将本申请提供的图像处理电路应用于录像场景时，图像信号前处理器110将获取到拍摄得到的视频图像序列中一帧动态图像作为待处理图像。

应当说明的是，在本申请实施例中，图像信号前处理器110中还固化有深度运算算法，用于进行深度运算。其中，本申请对深度运算算法不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

相应的，图像信号前处理器110在获取到待处理图像之后，进一步利用其固化的深度运算算法对待处理图像进行深度运算，得到待处理图像的深度信息。

在获取得到待处理图像的深度信息之后，图像信号前处理器110将待处理图像及其对应的深度信息提供给图像信号处理器120，由图像信号处理器120利用深度信息对待处理图像做进一步处理。

比如，图像信号前处理器110可以直接利用其与图像信号处理器120之间的理解，将获取到的待处理图像及其对应的深度信息提供给图像信号处理器120

还应当说明的是，本申请实施例中对图像信号前处理器110和图像信号处理器120的连接方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号前处理器110与图像信号处理器120之间通过MIPI(Mobile Industry ProcessorInterface，移动行业处理器接口)直接连接。

图像信号处理器120在获取到图像信号前处理器110提供的待处理图像以及深度信息之后，即按照预先配置的处理方式，根据前述深度信息对前述待处理图像进行处理，得到后处理图像。

应当说明的是，本申请实施例中对图像信号处理器120进行的后处理不做具体限制，可由本领域普通技术人员根据实际需要进行配置，也可由图像信号处理器120在出厂时缺省配置。比如，本申请实施例中，图像信号处理器120可以根据待处理图像的深度信息对待处理图像做虚化处理，根据待处理图像图像的深度信息对待处理图像做场景替换处理等。

示例性的，当后处理被配置为场景替换处理时，图像信号处理器120根据待处理图像的深度信息，识别出待处理图像的背景区域，将背景区域的图像内容替换为选定的背景图像内容，由此来实现场景的替换，得到场景替换图像，即后处理图像。其中，选定的背景图像内容可以是缺省选定的背景图像内容，也可以是用户选定的背景图像内容。比如，用户实际在办公室拍摄，选定草原内容作为背景图像内容，而图像信号处理器120根据图像信号前处理器110获取到的待处理图像以及深度信息进行场景替换处理，得到草原拍摄的图像效果。

示例性的，当后处理被配置为虚化处理时，图像信号处理器120根据待处理图像的深度信息，在待处理图像中确定需要进行虚化处理的目标区域，比如根据待处理图像的深度信息将待处理图像的背景区域确定为需要进行虚化处理的目标区域；在确定需要进行虚化处理的目标区域之后，图像信号处理器120即可对待处理图像的目标区域进行虚化处理(比如，可以采用高斯模糊的方式对目标区域进行虚化处理)，得到虚化图像，即后处理图像。

其中，深度信息包括深度值，在对待处理图像的目标区域进行虚化处理时，图像信号处理器120用于：

将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域；

根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度；

按照各子目标区域对应的虚化强度，分别对各子目标区域进行虚化处理。

其中，在进行虚化处理时，首先将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域。比如，设置一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为一个子目标区域；设置另一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为另一个子目标区域，如此类推，得到对应不同深度值的多个子目标区域。

在划分得到多个子目标区域之后，根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度。在确定个子目标区域的虚化程度之后，即可按照各子目标区域的虚化程度，分别对各子目标区域进行虚化处理。

其中，对于前述对应关系的设置不做具体限制，可由本领域技术人员根据实际需要进行设置，比如，可以设置虚化强度和深度值成正比关系，也即是深度值越大，虚化程度越大。这样，在背景区域中，距离越近，将越清晰，而距离越远，将越模糊，由此实现层次化的虚化效果。

比如，请参照图2，左侧所示为虚化处理前的待处理图像，其中，人像位于前景区域，不需要进行虚化处理，3团植物位于背景区域，且深度值均不相同，右下至上的顺序呈递增趋势；右侧所示为虚化处理后的待处理图像，可见，3团植物均被虚化，但虚化程度同样由下至上的顺序呈递增趋势，下侧植物的虚化程度较低，相应比较清晰，上侧植物的虚化程度较高，相应比较模糊，中间植物的虚化程度居中，介于之前二者之间。

由上可知，相较于相关技术，本申请在图像信号处理器120之外额外增加了图像信号前处理器110，将图像信号处理器120的部分工作分担至图像信号前处理器110，由图像信号前处理器110提前获取到待处理图像及其对应的深度信息，使得图像信号处理器120可以直接接收待处理图像的深度信息，相应利用该深度信息对待处理图像进行处理。由此，能够降低图像信号处理器120的处理负担，高效的获取深度信息并进行相应处理。

请参照图3，图3为本申请提供的图像处理电路100的第二种结构示意图。本申请实施例中，图像处理电路100包括图像信号前处理器110、图像信号处理器120、第一图像传感器130和第二图像传感器140。其中，图像信号前处理器110和图像信号处理器120可以相应参照图1中的图像信号前处理器110和图像信号处理器120，此处不再赘述。此外，第一图像传感器130和第二图像传感器140分别与图像信号前处理器110连接。应当说明的是，本申请实施例中对第一图像传感器130和第二图像传感器140和图像信号前处理器110的连接方式具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，第一图像传感器130和第二图像传感器140均通过MIPI与图像信号前处理器110直接连接。

图像传感器或称感光元件，是一种将光信号转换成电信号的器件，与光敏二极管、光敏三极管等“点”光源的光敏元件相比，图像传感器将其感受到的光像分成多个小单元，进而转换为可用的电信号，得到原始的图像数据。应当说明的是，本申请实施例中对第一图像传感器130和第二图像传感器140的类型不做限制，可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器，也可以为电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。

本申请实施例中，第一图像传感器130和第二图像传感器140同步对待拍摄场景进行拍摄，并将第一图像传感器130拍摄得到的图像记为第一图像，将第二图像传感器140拍摄得到的图像记为第二图像。

而在获取待处理图像时，图像信号前处理器110用于选择第一图像或第二图像作为待处理图像。

作为一种可选的实施方式，图像信号前处理器110可以按照预设的图像质量评估算法对第一图像和第二图像进行质量评估，相应得到第一图像的第一质量评分，得到第二图像的第二质量评分。其中，若第一质量评分大于第二质量评分，则图像信号前处理器110选择第一图像作为待处理图像，若第二质量评分大于第一质量评分，则图像信号前处理器110选择第二图像作为待处理图像。

作为另一种可选的实施方式，可由本领域普通技术人员预先将第一图像传感器130和第二图像传感器140之一配置为主图像传感器，将另一者相应配置为副图像传感器。其中，若第一图像传感器130被配置为主图像传感器，则图像信号前处理器110相应选择第一图像作为待处理图像，若第二图像传感器140被配置为主图像传感器，则图像信号前处理器110相应选择第二图像作为待处理图像。

可以理解的是，还可以按照本申请中为例出的其它方式来从第一图像和第二图像中选出待处理图像。

请参照图4，图4为本申请提供的图像处理电路100的第三种结构示意图。本申请实施例中，图像处理电路100包括图像信号前处理器110、图像信号处理器120、第一图像传感器130和第二图像传感器140。其中，图像信号前处理器110包括图像信号处理单元1101和神经网络处理单元1102。此外，图像信号处理器120、第一图像传感器130和第二图像传感器140可以相应参照图3中的图像信号处理器120、第一图像传感器130和第二图像传感器140，此处不再赘述。

在获取待处理图像的深度信息时，图像信号处理单元1101用于将第一图像与第二图像对齐。其中，若第一图像被选择为待处理图像，则图像信号处理单元1101以第一图像为基准，将第二图像对齐到第一图像，若第二图像被选择为待处理图像，则图像信号处理单元1101以第二图像为基准，将第一图像对齐到第二图像。应当说明的是，本申请实施例中对于图像信号处理单元1101采用的对齐方式不做限定，可由本领域普通技术人员根据实际需要进行配置。

在图像信号处理单元1101将第一图像和第二图像对齐之后，神经网络处理单元进一步用于根据对齐后的第一图像和第二图像进行深度运算，运算得到的深度信息即作为待处理图像的深度信息。比如，神经网络处理单元可以调用预训练的深度运算模型，将对齐后的第一图像和第二图像输入到前述深度运算模型进行深度运算，得到深度信息。

相应的，在本申请实施例中，可由图像信号处理单元1101选择第一图像或第二图像作为待处理图像。

相应的，在本申请实施例中，可由图像信号处理单元1101将选择的待处理图像以及神经网络处理单元1102运算得到的深度信息提供给图像信号处理器120。

可选地，在一实施例中，为了进一步提升图像处理质量，图像处理器单元1101还用于：

对第一图像和第二图像进行优化处理。

本申请实施例中，图像信号处理单元1101选择第一图像或第二图像作为待处理图像之前，还可以按照预先配置的优化策略对第一图像和第二图像进行优化处理。其中，图像信号处理单元1101进行的优化处理包括坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理中的至少一种。

可选地，在一实施例中，在根据对齐后的第一图像和第二图像进行深度运算，得到深度信息时，神经网络处理单元1102用于：

当第一图像和第二图像为动态图像时，调用预训练的第一深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息；或者，

当第一图像和第二图像为静态图像时，调用预训练的第二深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息；

其中，第二深度运算模型的运算准确度大于第一深度运算模型的运算准确度，但第一深度运算模型占用的运算资源小于第二深度运算模型占用的运算资源。

应当说明的是，本申请实施例中预先在神经网络处理单元1102中固化有至少两个预训练的深度运算模型，分别为第一深度运算模型和第二深度运算模型，其中第二深度运算模型的运算准确度大于第一深度运算模型的运算准确度，但是第一深度运算模型占用的运算资源小于第二深度运算模型占用的运算资源。本申请实施例中，神经网络处理单元1102根据第一图像和第二图像的图像类型选择第一深度运算模型或第二深度运算模型来进行深度运算。

其中，当第一图像和第二图像为动态图像时，神经网络处理单元1102调用预训练的第一深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息。由于动态图像需要考虑处理的实时性，可以选用第一深度运算模型来进行深度运算，从而更快速的获得深度信息。

当第一图像和第二图像为静态图像时，神经网络处理单元1102调用预训练的第二深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息。由于静态图像并不需要考虑处理的实时性，可以选用第二深度运算模型来进行深度运算，从而获得较高准确度的深度信息。

请参照图5，图5为本申请提供的图像处理电路100的第四种结构示意图。本申请实施例中，图像处理电路100包括图像信号前处理器110、图像信号处理器120、第一图像传感器130和第二图像传感器140。其中，图像信号前处理器110包括图像信号处理单元1101、神经网络处理单元1102以及存储器1103。此外，图像信号处理器120、第一图像传感器130、第二图像传感器140、图像信号处理单元1101以及神经网络处理单元1102可以相应参照图4中的图像信号处理器120、第一图像传感器130、第二图像传感器140、图像信号处理单元1101以及神经网络处理单元1102，此处不再赘述。

应当说明的是，本申请实施例中对存储器1103的类型不做限制，可由本领域普通技术人员根据实际需要进行选择，可以为静态存储器，也可以为动态存储器。比如，本申请实施例中，存储器1103为DDR(Double Data Rate，双倍速率)类型的动态存储器。

本申请实施例中，图像信号处理单元1101根据待处理图像的图像类型采用不同的传输方式将待处理图像及其对应的深度信息提供给图像信号处理器120。

其中，当待处理图像为动态图像时，图像信号处理单元1101用于从神经网络处理单元1102获取到深度信息，并将待处理图像和前述深度信息直接传输至图像信号处理器120。由于动态图像需要考虑处理的实时性，可由图像信号处理单元1101基于其与图像信号处理器120之间的直接连接(比如MIPI连接)，将待处理图像和前述深度信息直接传输至图像信号处理器120。

当待处理图像为静态图像时，图像信号处理单元1101用于从神经网络处理单元1102获取到深度信息，并将待处理图像和前述深度信息写入到存储器1103中，由图像信号处理器120从存储器1103中提取前述待处理图像及其对应的深度信息。

请参照图6，图6为本申请提供的图像处理电路100的第五种结构示意图。本申请实施例中，图像处理电路100包括图像信号前处理器110、图像信号处理器120、第一图像传感器130、第二图像传感器140和应用处理器150。其中，图像信号前处理器110包括图像信号处理单元1101和神经网络处理单元1102。此外，图像信号处理器120、第一图像传感器130、第二图像传感器140、图像信号处理单元1101以及神经网络处理单元1102可以相应参照图4中的图像信号处理器120、第一图像传感器130、第二图像传感器140、图像信号处理单元1101以及神经网络处理单元1102，此处不再赘述。

应用处理器150与图像信号处理器120连接，为通用的处理器，比如ARM架构的处理器，相当于人的大脑。

本申请实施例中，在图像信号处理器120完成对待处理图像的后处理，并相应得到后处理图像之后，应用处理器150用于从图像信号处理器120获取到前述后处理图像，并根据后处理图像的类型执行相应的操作。应当说明的是，本申请实施例中，对待处理图像进行的后处理并不改变待处理图像的类型，比如，待处理图像为动态图像，相应后处理得到的后处理图像也为动态图像。

其中，当后处理图像为动态图像时，应用处理器150可以预览前述后处理图像或者根据前述后处理图像进行视频编码。比如，当待处理图像为预览图像序列中一帧动态图像时，相应后处理得到后处理图像之后，应用处理器150将预览前述后处理图像；当待处理图像为视频图像序列中一帧动态图像时，相应处理得到后处理图像之后，应用处理器150将根据前述后处理图像进行视频编码。

当后处理图像为静态图像时，应用处理器150根据前述后处理图像进行图像编码，得到编码图像。比如，待处理图像为RAW格式图像，相应后处理得到后处理图像也为RAW格式图像，应用处理器150可以根据前述后处理图像进行JPEG图像编码，得到JPEG格式的编码图像。

本申请还提供一种电路板，其上集成有以上任一实施例的图像处理电路。

本申请实施例提供的图像处理电路可以应用到电子设备中。

示例性的，请参照图7，图7为本申请实施例提供的电子设备的一结构示意图。电子设备10包括图像处理电路100，图像处理电路100包括图像信号前处理器110、图像信号处理器120以及应用处理器150。

其中，应用处理器150与图像信号处理器120连接，用于接收输入的虚化请求，并将虚化请求提供给图像信号处理器120。应当说明的是，本申请实施例中对于应用处理器150和图像信号处理器120的连接方式不做具体限定，可由本领域普通技术人员根据实际需要进行设置。比如，应用处理器150提供有虚化控件，并利用该该虚化控件接收输入的虚化请求。

图像信号处理器120与图像信号前处理器110连接，用于根据虚化请求生成图像获取请求，并将图像获取请求提供给图像信号前处理器110。其中，图像信号处理器120接收到来自应用处理器150的虚化请求之后，相应生成图像获取请求发送至图像信号前处理器110，该图像获取请求用于指示图像信号前处理器110返回待处理图像及其对应的深度信息。

图像信号前处理器110在获取到来自图像信号处理器120的图像获取请求之后，相应根据前述图像获取请求获取待处理图像，以及获取待处理图像的深度信息。其中，待处理图像可以为静态图像或动态图像，静态图像比如实时拍摄的单帧图像，预存的单帧图像(比如，历史拍摄的，或者网络下载的等)，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像，或者预存的视频(视频的实质为图像序列)中的一帧图像。应当说明的是，本申请实施例中对于图像信号前处理器110获取的待处理图像的类型不做限制，具体根据实际情况进行选择。

比如，将本申请提供的电子设备10应用于拍照场景时，图像信号前处理器110将获取拍摄得到的一帧静态图像作为待处理图像；

将本申请提供的电子设备10应用于预览场景时，图像信号前处理器110将获取拍摄得到的预览图像序列中一帧动态图像作为待处理图像；

将本申请提供的电子设备10应用于录像场景时，图像信号前处理器110将获取到拍摄得到的视频图像序列中一帧动态图像作为待处理图像。

应当说明的是，在本申请实施例中，图像信号前处理器110中还固化有深度运算算法，用于进行深度运算。其中，本申请对深度运算算法不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

相应的，图像信号前处理器110在获取到待处理图像之后，进一步利用其固化的深度运算算法对待处理图像进行深度运算，得到待处理图像的深度信息。

在获取得到待处理图像的深度信息之后，图像信号前处理器110将待处理图像及其对应的深度信息提供给图像信号处理器120。

图像信号处理器120在获取到来自图像信号前处理器的待处理图像及其对应的深度信息之后，还用于根据深度信息对待处理图像进行虚化处理，并将虚化得到的虚化图像提供给应用处理器150。

图像信号处理器120根据待处理图像的深度信息，在待处理图像中确定需要进行虚化处理的目标区域，比如根据待处理图像的深度信息将待处理图像的背景区域确定为需要进行虚化处理的目标区域；在确定需要进行虚化处理的目标区域之后，图像信号处理器120即可对待处理图像的目标区域进行虚化处理(比如，可以采用高斯模糊的方式对目标区域进行虚化处理)，得到虚化图像，即后处理图像。

其中，深度信息包括深度值，在对待处理图像的目标区域进行虚化处理时，图像信号处理器120用于：

将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域；

根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度；

按照各子目标区域对应的虚化强度，分别对各子目标区域进行虚化处理。

其中，在进行虚化处理时，首先将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域。比如，设置一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为一个子目标区域；设置另一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为另一个子目标区域，如此类推，得到对应不同深度值的多个子目标区域。

在划分得到多个子目标区域之后，根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度。在确定个子目标区域的虚化程度之后，即可按照各子目标区域的虚化程度，分别对各子目标区域进行虚化处理。

其中，对于前述对应关系的设置不做具体限制，可由本领域技术人员根据实际需要进行设置，比如，可以设置虚化强度和深度值成正比关系，也即是深度值越大，虚化程度越大。这样，在背景区域中，距离越近，将越清晰，而距离越远，将越模糊，由此实现层次化的虚化效果。

比如，请参照图2，左侧所示为虚化处理前的待处理图像，其中，人像位于前景区域，不需要进行虚化处理，3团植物位于背景区域，且深度值均不相同，右下至上的顺序呈递增趋势；右侧所示为虚化处理后的待处理图像，可见，3团植物均被虚化，但虚化程度同样由下至上的顺序呈递增趋势，下侧植物的虚化程度较低，相应比较清晰，上侧植物的虚化程度较高，相应比较模糊，中间植物的虚化程度居中，介于之前二者之间。

本申请实施例中，图像信号处理器120在完成对待处理图像的虚化处理，并相应得到虚化图像之后，还将该虚化图像提供给应用处理器150。

其中，应用处理器150在获取到来自图像信号处理器120的虚化图像之后，可以根据虚化图像的类型执行相应的操作。

应用处理器150还用于从图像信号处理器120获取虚化图像。应当说明的是，本申请实施例中，对待处理图像进行的虚化处理并不改变待处理图像的类型，比如，待处理图像为动态图像，相应虚化处理得到的虚化图像也为动态图像。

其中，当虚化图像为动态图像时，应用处理器150可以预览前述虚化图像或者根据前述虚化图像进行视频编码。比如，当待处理图像为预览图像序列中一帧动态图像时，相应虚化处理得到虚化图像之后，应用处理器150将预览前述虚化图像；当待处理图像为视频图像序列中一帧动态图像时，相应处理得到虚化图像之后，应用处理器150将根据前述虚化图像进行视频编码。

当虚化图像为静态图像时，应用处理器150根据前述虚化图像进行图像编码，得到编码图像。比如，待处理图像为RAW格式图像，相应虚化处理得到虚化图像也为RAW格式图像，应用处理器150可以根据前述虚化图像进行JPEG图像编码，得到JPEG格式的编码图像。

本申请还提供一种图像处理方法，应用于本申请提供的图像处理电路，请参照图8，该图像处理方法的流程可以为：

在201中，图像信号前处理器获取待处理图像，并获取待处理图像的深度信息，将待处理图像以及深度信息提供给图像信号处理器；

在202中，图像信号处理器根据深度信息对待处理图像进行后处理，得到后处理图像。

请参照图1，以本申请提供的图像处理方法适用于图1所示的图像处理电路为例。

图像信号前处理器110用于获取待处理图像，其中，待处理图像可以为静态图像或动态图像，静态图像比如实时拍摄的单帧图像，预存的单帧图像(比如，历史拍摄的，或者网络下载的等)，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像，或者预存的视频(视频的实质为图像序列)中的一帧图像。应当说明的是，本申请实施例中对于图像信号前处理器110获取的待处理图像的类型不做限制，具体根据实际情况进行选择。

比如，将本申请提供的图像处理电路100应用于拍照场景时，图像信号前处理器110将获取拍摄得到的一帧静态图像作为待处理图像；

将本申请提供的图像处理电路100应用于预览场景时，图像信号前处理器110将获取拍摄得到的预览图像序列中一帧动态图像作为待处理图像；

将本申请提供的图像处理电路应用于录像场景时，图像信号前处理器110将获取到拍摄得到的视频图像序列中一帧动态图像作为待处理图像。

应当说明的是，在本申请实施例中，图像信号前处理器110中还固化有深度运算算法，用于进行深度运算。其中，本申请对深度运算算法不做具体限制，可由本领域普通技术人员根据实际需要进行配置。

相应的，图像信号前处理器110在获取到待处理图像之后，进一步利用其固化的深度运算算法对待处理图像进行深度运算，得到待处理图像的深度信息。

在获取得到待处理图像的深度信息之后，图像信号前处理器110将待处理图像及其对应的深度信息提供给图像信号处理器120，由图像信号处理器120利用深度信息对待处理图像做进一步处理。

比如，图像信号前处理器110可以直接利用其与图像信号处理器120之间的理解，将获取到的待处理图像及其对应的深度信息提供给图像信号处理器120

还应当说明的是，本申请实施例中对图像信号前处理器110和图像信号处理器120的连接方式不做具体限定，可由本领域普通技术人员根据实际需要进行配置。比如，图像信号前处理器110与图像信号处理器120之间通过MIPI(Mobile Industry ProcessorInterface，移动行业处理器接口)直接连接。

图像信号处理器120在获取到图像信号前处理器110提供的待处理图像以及深度信息之后，即按照预先配置的处理方式，根据前述深度信息对前述待处理图像进行处理，得到后处理图像。

应当说明的是，本申请实施例中对图像信号处理器120进行的后处理不做具体限制，可由本领域普通技术人员根据实际需要进行配置，也可由图像信号处理器120在出厂时缺省配置。比如，本申请实施例中，图像信号处理器120可以根据待处理图像的深度信息对待处理图像做虚化处理，根据待处理图像图像的深度信息对待处理图像做场景替换处理等。

示例性的，当后处理被配置为场景替换处理时，图像信号处理器120根据待处理图像的深度信息，识别出待处理图像的背景区域，将背景区域的图像内容替换为选定的背景图像内容，由此来实现场景的替换，得到场景替换图像，即后处理图像。其中，选定的背景图像内容可以是缺省选定的背景图像内容，也可以是用户选定的背景图像内容。比如，用户实际在办公室拍摄，选定草原内容作为背景图像内容，而图像信号处理器120根据图像信号前处理器110获取到的待处理图像以及深度信息进行场景替换处理，得到草原拍摄的图像效果。

示例性的，当后处理被配置为虚化处理时，图像信号处理器120根据待处理图像的深度信息，在待处理图像中确定需要进行虚化处理的目标区域，比如根据待处理图像的深度信息将待处理图像的背景区域确定为需要进行虚化处理的目标区域；在确定需要进行虚化处理的目标区域之后，图像信号处理器120即可对待处理图像的目标区域进行虚化处理(比如，可以采用高斯模糊的方式对目标区域进行虚化处理)，得到虚化图像，即后处理图像。

其中，深度信息包括深度值，在对待处理图像的目标区域进行虚化处理时，图像信号处理器120用于：

将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域；

根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度；

按照各子目标区域对应的虚化强度，分别对各子目标区域进行虚化处理。

其中，在进行虚化处理时，首先将待处理图像中的目标区域划分为对应不同深度值的多个子目标区域。比如，设置一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为一个子目标区域；设置另一深度值，对该深度值加减相同的变化值得到对应该深度值的深度值区间，将深度值位于前述深度值区间内的多个像素点聚合为另一个子目标区域，如此类推，得到对应不同深度值的多个子目标区域。

在划分得到多个子目标区域之后，根据各子目标区域对应的深度值，以及预设的深度值和虚化强度的对应关系，确定各子目标区域对应的虚化强度。在确定个子目标区域的虚化程度之后，即可按照各子目标区域的虚化程度，分别对各子目标区域进行虚化处理。

其中，对于前述对应关系的设置不做具体限制，可由本领域技术人员根据实际需要进行设置，比如，可以设置虚化强度和深度值成正比关系，也即是深度值越大，虚化程度越大。这样，在背景区域中，距离越近，将越清晰，而距离越远，将越模糊，由此实现层次化的虚化效果。

比如，请参照图2，左侧所示为虚化处理前的待处理图像，其中，人像位于前景区域，不需要进行虚化处理，3团植物位于背景区域，且深度值均不相同，右下至上的顺序呈递增趋势；右侧所示为虚化处理后的待处理图像，可见，3团植物均被虚化，但虚化程度同样由下至上的顺序呈递增趋势，下侧植物的虚化程度较低，相应比较清晰，上侧植物的虚化程度较高，相应比较模糊，中间植物的虚化程度居中，介于之前二者之间。

在一实施例中，请参照图3，图像处理电路100还包括第一图像传感器130和第二图像传感器140，本申请提供的图像处理方法，还包括：

第一图像传感器130对拍摄场景进行拍摄，得到第一图像；

第二图像传感器140同步对拍摄场景进行拍摄，得到第二图像；

图像信号前处理器110获取待处理图像，包括：

图像信号前处理器110选择第一图像或第二图像作为待处理图像。

在一实施例中，请参照图4，图像信号前处理器110包括图像信号处理单元1101和神经网络处理单元1102，获取待处理图像的深度信息，包括：

图像信号处理单元1101将第一图像与第二图像对齐；

神经网络处理单元1102根据对齐后的第一图像和第二图像进行深度运算，得到深度信息。

在一实施例中，本申请提供的图像处理方法，还包括：

图像信号处理单元1101对第一图像和第二图像进行优化处理。

在一实施例中，根据对齐后的第一图像和第二图像进行深度运算，得到深度信息，包括：

当第一图像和第二图像为动态图像时，神经网络处理单元1102调用预训练的第一深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息；或者，

当第一图像和第二图像为静态图像时，神经网络处理单元1102调用预训练的第二深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到深度信息；

其中，第二深度运算模型的运算准确度大于第一深度运算模型的运算准确度，但第一深度运算模型占用的运算资源小于第二深度运算模型占用的运算资源。

在一实施例中，请参照图5，图像信号前处理器110还包括存储器1103，存储器1103与图像信号处理单元1101和图像信号处理器120连接，将待处理图像以及深度信息提供给图像信号处理器120包括：

当待处理图像为动态图像时，图像信号处理单元1101将待处理图像以及深度图像直接传输至图像信号处理器；或者

当待处理图像为静态图像时，图像信号处理单元1101将待处理图像以及深度信息写入存储器1103，由图像信号处理器120从存储器1103中提取待处理图像以及深度信息。

在一实施例中，请参照图6，图像处理电路100还包括应用处理器150，应用处理器150与图像信号处理器120连接，本申请提供的图像处理方法，还包括：

应用处理器150从图像信号处理器120获取后处理图像；

当后处理图像为动态图像时，应用处理器150预览后处理图像或者根据后处理图像进行视频编码；或者，

当后处理图像为静态图像时，应用处理器150根据后处理图像进行图像编码。

以上对本申请实施例提供的图像处理电路、电路板、电子设备和图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理电路，其特征在于，包括相互连接的图像信号前处理器和图像信号处理器，其中，

所述图像信号前处理器用于获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

所述图像信号处理器用于根据所述深度信息对所述待处理图像进行后处理，得到后处理图像。

2.根据权利要求1所述的图像处理电路，其特征在于，所述图像处理电路还包括第一图像传感器和第二图像传感器；

所述第一图像传感器用于对拍摄场景进行拍摄，得到第一图像；

所述第二图像传感器用于同步对所述拍摄场景进行拍摄，得到第二图像；

所述图像信号前处理器用于：

选择所述第一图像或所述第二图像作为所述待处理图像。

3.根据权利要求2所述的图像处理电路，其特征在于，所述图像信号前处理器包括图像信号处理单元和神经网络处理单元，其中，

所述图像信号处理单元用于将所述第一图像与所述第二图像对齐；

所述神经网络处理单元用于根据对齐后的第一图像和第二图像进行深度运算，得到所述深度信息。

4.根据权利要求3所述的图像处理电路，其特征在于，所述图像信号处理单元还用于：

对所述第一图像和所述第二图像进行优化处理。

5.根据权利要求3所述的图像处理电路，其特征在于，所述神经网络处理单元用于：

当所述第一图像和所述第二图像为动态图像时，调用预训练的第一深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到所述深度信息；或者，

当所述第一图像和所述第二图像为静态图像时，调用预训练的第二深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到所述深度信息；

其中，所述第二深度运算模型的运算准确度大于所述第一深度运算模型的运算准确度，但所述第一深度运算模型占用的运算资源小于所述第二深度运算模型占用的运算资源。

6.根据权利要求5所述的图像处理电路，其特征在于，所述图像信号前处理器还包括存储器，所述存储器与所述图像信号处理单元和所述图像信号处理器连接，所述图像信号处理单元用于：

当所述待处理图像为动态图像时，将所述待处理图像以及所述深度图像直接传输至所述图像信号处理器；

当所述待处理图像为静态图像时，将所述待处理图像以及所述深度信息写入所述存储器，由所述图像信号处理器从所述存储器中提取所述待处理图像以及所述深度信息。

7.根据权利要求5所述的图像处理电路，其特征在于，所述图像处理电路还包括应用处理器，所述应用处理器与所述图像信号处理器连接，用于：

从所述图像信号处理器获取所述后处理图像；

当所述后处理图像为动态图像时，预览所述后处理图像或者根据所述后处理图像进行视频编码；或者，

当所述后处理图像为静态图像时，根据所述后处理图像进行图像编码。

8.一种电子设备，其特征在于，包括图像信号前处理器、图像信号处理器以及应用处理器，其中，

所述应用处理器与所述图像信号处理器连接，用于接收输入的虚化请求，并将所述虚化请求提供给所述图像信号处理器；

所述图像信号处理器与所述图像信号前处理器连接，用于根据所述虚化请求生成图像获取请求，并将所述图像获取请求提供给所述图像信号前处理器；

所述图像信号前处理器用于根据所述图像获取请求获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

所述图像信号处理器还用于根据所述深度信息对所述待处理图像进行虚化处理，并将虚化得到的虚化图像提供给应用处理器。

9.根据权利要求8所述的电子设备，其特征在于，所述图像处理电路还包括第一图像传感器和第二图像传感器，所述图像信号前处理器包括图像信号处理单元和神经网络处理单元，其中，

所述第一图像传感器用于对拍摄场景进行拍摄，得到第一图像；

所述第二图像传感器用于同步对所述拍摄场景进行拍摄，得到第二图像；

所述图像信号处理单元用于对所述第一图像和所述第二图像进行优化处理，并选择所述第一图像或所述第二图像作为所述待处理图像；

所述图像信号处理单元还用于将所述第一图像与所述第二图像对齐；

所述神经网络处理单元用于：

当所述第一图像和所述第二图像为动态图像时，调用预训练的第一深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到所述深度信息；或者，

当所述第一图像和所述第二图像为静态图像时，调用预训练的第二深度运算模型根据对齐后的第一图像和第二图像进行深度运算，得到所述深度信息；

其中，所述第二深度运算模型的运算准确度大于所述第一深度运算模型的运算准确度，但所述第一深度运算模型占用的运算资源小于所述第二深度运算模型占用的运算资源。

10.一种图像处理方法，适用于图像处理电路，其特征在于，所述图像处理电路包括图像信号前处理器和图像信号处理器，所述图像处理方法包括：

图像信号前处理器获取待处理图像，并获取所述待处理图像的深度信息，将所述待处理图像以及所述深度信息提供给所述图像信号处理器；

图像信号处理器根据所述深度信息对所述待处理图像进行后处理，得到后处理图像。

Images