CN111669492A - 一种终端对拍摄的数字图像进行处理的方法及终端 - Google Patents

Abstract

本发明公开了一种终端对拍摄的数字图像进行处理的方法及终端，该方法包括：获取摄像头拍摄的图片；通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片分割；检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。本发明在只采用单个摄像头的情况下，对拍摄的照片按照对象所在区域进行划分，对主体目标区域外的对象按照距离主体目标区域的远近进行有差异的虚化处理，从而突出拍摄主体，获得更有艺术感的拍照效果。

Description

一种终端对拍摄的数字图像进行处理的方法及终端

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种终端对拍摄的数字图像进行处理的方法及终端。

背景技术

随着手机硬件性能的提高，成本下降，手机摄像头的分辨率、清晰度、色彩效果等性能也获得了极大的提高，手机拍照功能成为消费者使用频次较高的功能。其中背景虚化技术由于模拟了单反相机的人像拍照效果，可以使拍摄主体更加突出，隐蔽杂乱背景，获得了消费者的喜爱。

由于手机摄像头受成本和体积尺寸的限制，不可能像专业的单反相机那样配置大光圈的光学镜头，一般有着较大景深，因此原始拍摄图像是没有背景虚化效果的。手机拍照的背景虚化效果一般都需要通过数字图像处理的方式实现。实现手机拍照的背景虚化技术主要的采用两种方案：双摄像头方案和单摄像头方案。

双摄像头方案采用主副两个摄像头同时拍摄，由于两个摄像头相距一定距离，即基线长度T，所拍摄的主副图像存在一定视差，采用图像匹配算法，可以对主副图像每个像素建立对应关系，从而计算出视差大小d。该像素处的目标与摄像头的距离Z就可以计算得到：Z＝f*T/d(f为摄像头的焦距)。从而得到拍摄场景下的深度图。对目标拍摄主体对焦后拍摄的图像按照一定的景深阈值进行分割，与目标拍摄主体距离超过该阈值的认为是背景，进行虚化处理，虚化的程度按照距离远近进行不同的虚化参数处理，越远虚化程度越高，从而得到近似单反相机的背景虚化效果。这种方案可以获得较好的虚化效果，但是存在成本高，功耗高的问题。

单摄像头方案与双摄像头方案不同，由于单摄像头无法获取双目摄像头方案中的距离信息，也就无法按照与目标拍摄主体的距离远近进行虚化处理。一般单摄像头的虚化是采用人像抠图算法，把被拍摄主体的目标区域从图像中分割出来，剩余的区域即被认为全部是背景区域，进行单一参数的虚化处理，因此只能满足简单的背景虚化需求。

发明内容

本发明提供一种终端对拍摄的数字图像进行处理的方法及装置，解决了单摄像头背景虚化时虚化程度单一的问题。

为了解决上述的技术问题，本发明提供了一种终端对拍摄的数字图像进行处理的方法及装置，具体包括：

第一方面，本发明实施例提供了一种终端对拍摄的数字图像进行处理的方法包括：

获取摄像头拍摄的图片；

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片；

检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。

上述方法，在只采用单个摄像头的情况下，通过语义分割，对拍摄的照片按照对象所在区域进行划分，分别检测所有对象所在区域距离主体目标区域远近的相位差，对主体目标区域外的对象按照相位差的大小进行有差异的虚化处理，从而突出拍摄主体，获得更有艺术感的拍照效果。

在一种可能的实现方式中，通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象类型进行图片分割得到分割后的图片，包括：通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；将属于同一对象的所有像素点划分为所属对象所在的区域。

在一种可能的实现方式中，预先建立图像语义分割模型，包括：预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

在一种可能的实现方式中，检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差，包括：

针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；

检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

在一种可能的实现方式中，检测所述分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差，包括：针对分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

在一种可能的实现方式中，根据各个相位差确定对应的对象所在区域的背景虚化程度，包括：根据检测的各子区域距离主体目标区域的相位差，确定各子区域的背景虚化程度。

在一种可能的实现方式中，根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

在一种可能的实现方式中，所述分割后的图片的主体目标区域通过如下方式确定：

根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或

根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

在一种可能的实现方式中，根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域，包括：根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

第二方面，本发明实施例提供一种终端对拍摄的数字图像进行处理的装置，该装置包括：

图片获取单元，用于获取摄像头拍摄的图片；

图像语义分割单元，用于通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片分割；

相位差检测单元，用于检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

背景虚化单元，用于根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。

上述装置，在只采用单个摄像头的情况下，通过语义分割，对拍摄的照片按照对象所在区域进行划分，分别检测所有对象所在区域距离主体目标区域远近的相位差，对主体目标区域外的对象按照相位差的大小进行有差异的虚化处理，从而突出拍摄主体，获得更有艺术感的拍照效果。

在一种可能的实现方式中，图像语义分割单元具体用于：通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；将属于同一对象的所有像素点划分为所属对象所在的区域。

在一种可能的实现方式中，图像语义分割单元具体用于预先建立图像语义分割模型，包括：预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。在一种可能的实现方式中，相位差检测单元具体用于：针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

在一种可能的实现方式中，相位差检测单元具体用于：将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

在一种可能的实现方式中，背景虚化单元具体用于：根据检测的各子区域距离主体目标区域远近的相位差，确定各子区域的背景虚化程度。

在一种可能的实现方式中，背景虚化单元具体用于：根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

在一种可能的实现方式中，相位差检测单元具体用于：根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或，根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

在一种可能的实现方式中，相位差检测单元具体用于：根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

第三方面，本发明实施例还提供一种终端对拍摄的数字图像进行处理的终端，该终端包括摄像头、存储器和处理器所述存储器用于存储所述处理器可执行的程序，所述处理器用于：

获取摄像头拍摄的图片；

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象类型进行图片分割；

检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行对应的背景虚化。

上述终端，在只采用单个摄像头的情况下，通过语义分割，对拍摄的照片按照对象所在区域进行划分，分别检测所有对象所在区域距离主体目标区域远近的相位差，对主体目标区域外的对象按照相位差的大小进行有差异的虚化处理，从而突出拍摄主体，获得更有艺术感的拍照效果。

在一种可能的实现方式中，所述处理器具体用于：通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；

将属于同一对象的所有像素点划分为所属对象所在的区域。

在一种可能的实现方式中，所述处理器具体用于：预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

在一种可能的实现方式中，所述处理器具体用于：

针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；

检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

在一种可能的实现方式中，所述处理器具体用于：将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

在一种可能的实现方式中，所述处理器具体用于：根据检测的各子区域距离主体目标区域的相位差，确定各子区域的背景虚化程度。

在一种可能的实现方式中，所述处理器具体用于：根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

在一种可能的实现方式中，所述处理器具体用于：

根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或

根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

在一种可能的实现方式中，所述处理器具体用于：

根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；

若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；

若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

本发明提供的一种终端对拍摄的数字图像进行处理的方法及终端与现有技术相比，具有如下优点和有益效果：

在只采用单个摄像头的情况下，通过语义分割，对拍摄的照片按照对象所在区域进行划分，分别检测所有对象所在区域距离主体目标区域远近的相位差，对主体目标区域外的对象按照相位差的大小进行有差异的虚化处理，从而突出拍摄主体，获得更有艺术感的拍照效果。

附图说明

图1为实施例提供的一种终端对拍摄的数字图像进行处理的方法的流程示意图；

图2a为实施例提供的一种红绿蓝RGB图片示意图；

图2b为实施例提供的一种语义分割分割后的图片示意图；

图3a为实施例提供的一种主体目标区域示意图；

图3b为实施例提供的一种主体目标区域示意图；

图3c为实施例提供的一种主体目标区域示意图；

图4为实施例提供的一种对象距离终端的距离与相位差大小关系示意图；

图5为实施例提供的一种子区域划分示意图；

图6为实施例提供的一种一次读取多个检测子区域相位差的流程示意图；

图7为实施例提供的一种终端对拍摄的数字图像进行处理的装置示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种数字图像处理的方法，如图1所示，包括：

步骤101，获取摄像头拍摄的图片；

步骤102，通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象类型进行图片分割得到分割后的图片；

读取拍摄模块所拍摄的图片并进行语义分割处理，语义分割算法识别所拍摄图像中的预设对象类型，可识别的预设对象类型包括但不限于以下类型：人像、猫、狗、汽车、飞机、植物、道路、建筑物、椅子、桌子、天空、山、大海等常见的类型。

语义分割算法采用深度学习CNN网络模型，采集训练样本进行训练。将原始被拍摄红绿蓝RGB图像，如图2a所示，语义识别并分割得到带有对象标识的分割图像，分割图像将输入图像每个像素进行分类，从而可以将整幅图像划分为所识别的对象所占像素区域的语义分割图像，如图2b所示。

步骤103，检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

所述主体目标区域为用户拍摄图片时想要对焦的对焦区域。

步骤104，根据所述相位差确定所有对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。

根据相位差值的绝对值大小决定对象的虚化程度。设背景虚化程度f(xi)∈[0,1],xi为各对象，f(xi)＝di/max(di)，di为xi对应的相位差。

所述对象所在区域距离所述分割后的图片的主体目标区域远近的相位差的绝对值越大，所述对象所在区域的背景虚化程度越高。

对原始图像按虚化程度不同采用不同大小的核进行卷积运算。该卷积运算可以是高斯滤波，也可以是均值运算。核的形状可以是正方形，矩形，椭圆形，圆形，八边形等。采用不同的核形状可以取得不同虚化效果，在用户界面上可由用户自行选择。在做虚化处理时，由前所述只对那些属于背景对象的像素进行虚化处理，属于主体目标区域的对象则不进行虚化处理。

作为一种可选的实施例，获取拍摄头拍摄的图片。

所述拍摄模块用于捕获数字图像，将用户希望拍摄的目标主体及场景转换为数字图像。拍摄模块组具有数字图像传感器，数字图像传感器具有用于对焦的相位检测自动对焦PDAF数字电路及处理器模块。在实施中，可选择互补金属氧化物半导体CMOS传感器，此处不对数字图像传感器的选择做限定。

可选的，通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；

将属于同一对象的所有像素点划分为所属对象所在的区域。

可选的，预先以带有预识别对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

所采用的深度学习CNN网络模型可以是全卷积FCN网络，金字塔场景解析网络PSPnet，DeepLab等，此处不对选择的深度学习CNN网络模型做限定。网络模型权值及参数通过预先训练获得。其训练过程为：首先获取包含欲识别对象(如人物、宠物、道路、建筑等)的图片，然后对图片进行精确的标注，即精确分割每张图片中各个对象所包含的像素区域范围。将整个标注后的图片作为训练样本，对CNN网络进行训练，获得网络模型。拍照程序启动时，在初始化阶段要加载网络模型。在实施中，可对图片根据需要，可以进行缩放、填充、均值减除等预处理。

在实施中，对图片进行CNN前向推理计算，得到分割后的图片。

由于CNN网络有较大的计算量并存在大量的矩阵运算，较优的可以将CNN网络推理计算部分在图像处理器GPU部分进行并行处理，或者在数字信号处理DSP部分进行，或者专门的神经网络处理单元NPU进行，从而节省大量的计算时间。为了提高语义分割的精度，CNN网络的输出可以进行后处理，如全连接条件随机场算法CRF。

可选的，根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或者，根据预设的预设对象类型主体目标权重值，确定所述分割后的图片的主体目标区域。

可选的，拍摄所述图片前，获取预览图片上指示对焦区域的触控点，确定拍摄所述图片所用的对焦区域；或者

根据用户选择的拍摄模式，确定所述拍摄模式对应的对焦区域为拍摄模块拍摄所述图片所用的对焦区域。

可选的，根据拍摄所述图片前，预览图片上的指示主体目标区域的对焦点，确定所述对焦点是否位于对象所在区域；

若是，选取所述分割后的图片上对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；

若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

可选的，为预设对象类型设置对应的主体目标权重，确定对应的权重值高的对象所在的区域，为所述分割后的图片的主体目标区域。

在实施中，预先为预设对象类型设置不同的主体目标权重值，例如把人，宠物，花草，山水的主体目标权重值设置为人>宠物>花草>山水。当用户未在预览图片上指示主体目标区域，也未选择拍摄模式时，可以将通过语义识别识别图片中权重值最高的对象所在的区域，为所述分割后的图片的主体目标区域，此时，对焦区域可能与主体目标区域重合也可能不重合。此处不对主体目标权重值的设置做限定。

在实施中，将拍摄对象分为两类：拍摄主体目标对象和背景对象，背景对象就是要虚化的对象。区别拍摄主体目标对象和背景对象可以通过用户选取的在主体目标区域中的对象为主体目标对象，其余的拍摄对象即为背景对象。

在实施中，以用户触控点坐标为参考点，选取拍摄主体目标对象区域范围内的内接矩形框为对焦区域。内接矩形框的大小可以是最大内接矩形框如图3a所示，也可以是特定大小的矩形框如图3b所示。当用户触控点坐标位于拍摄主体目标对象区域外时，该内接矩形框是与触控点几何距离最近的对象所在的区域的矩形框，如图3c所示。采用本发明的对焦方式，可以更精确的对焦于拍摄主体目标对象，避免传统方法在对焦时取对焦框内的平均值，造成当拍摄目标主体与背景存在较多交叉区域时对焦不准的问题。

在实施中，根据用户手指触控的坐标位置，判断该坐标处于几个对象的交叉间隙时，此时，较优的可以在用户显示界面上列出坐标相邻接范围内的几个对象选项，供用户进一步明确选取的是哪个对象。另外一种可选的实施方法是：对距离坐标位置几何距离最近的对象区域范围进行高亮显示、或加轮廓线显示，以提示用户所选取的对焦区域的主体目标对象，若非用户所属意的拍摄的对焦区域，则由用户另行精确选取。

用户选取对焦区域的过程也可以是自动进行的过程。如用户选择当前拍摄模式为人像模式，则自动选择图片经语义分割模块分割识别出的人像对象作为拍摄主体目标对象。以此主体目标对象所在的区域为主体目标区域。与此类似，若用户选择的是宠物模式，则自动选择猫狗等对象作为拍摄主体目标对象，以此主体目标对象所在的区域为主体目标区域。可选的，通过相位对焦PDAF技术，检测所述分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域远近的相位差。

可选的，针对所述分割后的图片中每个对象所在区域，按照预设方式选择所述对象的感兴趣区ROI，检测所述分割后的图片中所有ROI距离主体目标区域远近的相位差。

提取每个对象轮廓内的一定区域作为ROI，可选的，采用对象轮廓内的最大内接矩形作为ROI。通过相位对焦PDFA技术计算输出该ROI的相位差值。设拍摄模块到拍摄主体目标对象距离为L，当拍摄模块正确合焦于拍摄主体目标对象时，与拍摄模块距离为L的对象，其相位差值应约等于零。相位差的绝对值随背景对象与拍摄模块的距离与L的差值增大而增大，如图4所示。

可选的，将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为N个子区域，分别检测N个子区域距离主体目标区域远近的相位差。

对每一个对象进一步进行细分，按最小PDAF检测区域(像素面积计算)或设定的检测区域大小，可以将该对象的感兴趣区细分为N个子区域，分别检测N个子区域的相位差，并计算N个子区域的背景虚化程度。也可以先将该对象所在的区域细分为N个子区域，分别从N个子区域中选择感兴趣区，分别检测N个子区域中感兴趣区的相位差，即为N个子区域的相位差，并计算N个子区域的背景虚化程度如图5所示，对背景对象中的道路对象，将其划分了3个PDAF检测子区域，分别检测其相位差，获得其背景虚化程度，也可以根据需要划分更细的子区域。

在实施中，可以每次读取一个PDAF检测子区域的相位差，较优的也可以一次读取多个PDAF检测子区域的相位差，一次可读取的数量受限于PDAF检测模块的能力。如图6所示，具体的检测步骤为：

步骤601，根据分割后的图片，创建PDAF相位差检测子区域的列表，所述列表包括待检测子区域信息及总待检测子区域数N1，所述待检测子区域信息包括待检测子区域的左上角坐标值，宽度和高度值；

步骤602，配置PDAF检测模式，获取所述PDAF检测模式下可同时检测的检测子区域上限值N2；

步骤603，从待检测子区域列表中读取N个待检测子区域的信息，若N1>＝N2,则N＝N2,否则，N＝N1，启动一次相位差检测；

步骤604，读取并记录相位查检测结果，同时N1＝N1-N；

步骤605，判断N1是否为0,若是，则执行步骤606，若否，则执行步骤603。

步骤606，根据相位差，计算背景虚化程度。

根据检测的N个子区域距离主体目标区域远近的相位差，确定每个子区域的背景虚化程度。

在各个相邻的区域交接地带可以采用线性插值的方法，平滑背景虚化程度，以避免出现背景虚化明显的断层现象。

作为另一种可选的实施方式，可以让用户选择多个拍摄主体目标，或通过UI设置界面自动进行选择多个拍摄主体目标，如多人模式，多宠物模式，或多花朵模式等。根据用户选取的多个拍摄主体目标对象，启动对焦过程，使得拍摄模组通过PDAF方式分别以每个拍摄主体目标对象为主体目标区域，并拍摄得到对应的多个图片；根据预先建立的深度学习CNN网络模型对每一个图片进行前向推理运算，对应的多个分割后的图片；创建拍摄的主体目标对象列表；从拍摄主体目标对象列表中读取一个对象，启动针对每个对象的PDAF相位差检测程序，并根据相位差计算每个对象的背景虚化程度；存储拍摄主体目标对象及相应的背景虚化程度值列表为综合文件；用户从综合文件中选择拍摄主体目标对象，并以此拍摄主体目标对象所在的区域为主体目标区域；从综合文件中提取与用户选择的拍摄主体目标对象对应的背景虚化程度列表，进行背景虚化处理。从而实现一种先拍照后对焦的效果。

本发明实施例还提供一种终端对拍摄的数字图像进行处理的装置，如图7所示，该装置包括：

图片获取单元701，用于获取摄像头拍摄的图片；

图像语义分割单元702，用于通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片分割得到分割后的图片；

相位差检测单元703，用于检测所述分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

背景虚化单元704，用于根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。

可选的，图像语义分割单元702具体用于：通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；将属于同一对象的所有像素点划分为所属对象所在的区域。

可选的，图像语义分割单元702具体用于预先建立图像语义分割模型，包括：图像语义分割单元具体用于预先建立图像语义分割模型，包括：预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

可选的，相位差检测单元703具体用于：针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

可选的，相位差检测单元703具体用于：将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

可选的，相位差检测单元703具体用于：根据检测的各子区域距离主体目标区域远近的相位差，确定各子区域的背景虚化程度。

可选的，背景虚化单元704具体用于：根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

可选的，相位差检测单元703具体用于：根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或，根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

可选的，相位差检测单元703具体用于：

根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

本发明实施例还提供一种终端对拍摄的数字图像进行处理的终端，该终端包括摄像头、存储器和处理器所述存储器用于存储所述处理器可执行的程序，所述处理器用于：

获取摄像头拍摄的图片；

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象类型进行图片分割；

检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行对应的背景虚化。

可选的，所述处理器具体用于：通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；

将属于同一对象的所有像素点划分为所属对象所在的区域。

可选的，所述处理器具体用于：预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

可选的，所述处理器具体用于：针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；

检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

可选的，所述处理器具体用于：将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

可选的，所述处理器具体用于：根据检测的各子区域距离主体目标区域的相位差，确定各子区域的背景虚化程度。

可选的，所述处理器具体用于：根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

可选的，所述处理器具体用于：根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或，根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

可选的，所述处理器具体用于：

根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；

若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；

若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

本发明实施例还提供一种计算机存储介质，上述计算机存储介质存储有计算机程序，该计算机程序被执行时实现上述实施例的内容。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种终端对拍摄的数字图像进行处理的方法，其特征在于，包括：

获取摄像头拍摄的图片；

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片分割；

检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行背景虚化。

2.根据权利要求1所述的方法，其特征在于，通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象进行图片分割，包括：

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的每个像素点所属的对象；

将属于同一对象的所有像素点划分为所属对象所在的区域。

3.根据权利要求1所述的方法，其特征在于，预先建立图像语义分割模型，包括：

预先以带有预设类型对象所在区域的对象标识的多个图片作为训练样本，对深度学习卷积神经网络进行训练，建立图像语义分割模型。

4.根据权利要求1所述的方法，其特征在于，检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差，包括：

针对所述分割后的图片中每个对象所在区域，利用设定几何形状勾勒出的所述对象所在的感兴趣区ROI；

检测所述分割后的图片中所有对象的ROI距离主体目标区域的相位差。

5.根据权利要求1所述的方法，其特征在于，检测所述分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差，包括：

将所述分割后的图片中每个对象所在区域，按照预设的检测区域大小划分为多个子区域，检测各子区域距离主体目标区域的相位差。

6.根据权利要求5所述的方法，其特征在于，根据各个相位差确定对应的对象所在区域的背景虚化程度，包括：

根据检测的各子区域距离主体目标区域的相位差，确定各子区域的背景虚化程度。

7.根据权利要求1所述的方法，其特征在于，根据各个相位差确定对应的对象所在区域的背景虚化程度时，相位差的绝对值越大，所述相位差对应的对象所在区域的背景虚化程度越高。

8.根据权利要求1所述的方法，其特征在于，所述分割后的图片的主体目标区域通过如下方式确定：

根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域；或

根据拍摄模式对应的主体目标类型的对象所在的区域，确定所述分割后的图片的主体目标区域。

9.根据权利要求8所述的方法，其特征在于，根据拍摄所述图片所用的对焦区域，确定所述分割后的图片的主体目标区域，包括：

根据拍摄所述图片前，预览图片上的指示对焦区域的对焦点，确定所述对焦点是否位于对象所在区域；

若是，选取所述对焦点所在的对象所在的区域，为所述分割后的图片的主体目标区域；

若否，选取所述分割后的图片上距离对焦点最近的对象所在的区域，为所述分割后的图片的主体目标区域。

10.一种终端对拍摄的数字图像进行处理的终端，其特征在于，该终端包括摄像头、存储器和处理器所述存储器用于存储所述处理器可执行的程序，所述处理器用于：

获取摄像头拍摄的图片；

通过预先建立的图像语义分割模型，采用语义识别方式识别所述图片中的预设类型的对象，并按照识别出的对象类型进行图片分割；

检测分割后的图片中所有对象所在区域，距离所述分割后的图片的主体目标区域的相位差；

根据各个相位差确定对应的对象所在区域的背景虚化程度，并按照确定的背景虚化程度进行对应的背景虚化。

Images