CN110910304A - 图像处理方法、装置、电子设备及介质 - Google Patents
图像处理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN110910304A CN110910304A CN201911090043.2A CN201911090043A CN110910304A CN 110910304 A CN110910304 A CN 110910304A CN 201911090043 A CN201911090043 A CN 201911090043A CN 110910304 A CN110910304 A CN 110910304A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- neural network
- network model
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000009191 jumping Effects 0.000 claims abstract description 6
- 239000011800 void material Substances 0.000 claims abstract description 3
- 238000003062 neural network model Methods 0.000 claims description 171
- 230000006870 function Effects 0.000 claims description 77
- 238000005070 sampling Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及介质，涉及计算机技术领域，可以提高图像虚化效果的真实性。本公开实施例包括：获取包含对象区域的待处理图像；然后将待处理图像输入图像识别模型，得到待处理图像中各像素点的深度值以及对象区域，并将对象区域作为待处理图像的前景区域，图像识别模型包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，第一输出层用于输出各像素点的深度值，第二输出层用于输出对象区域。对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理，待虚化像素点为待处理图像的背景区域包括的像素点。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及图像处理方法、装置、电子设备及介质。
背景技术
在利用单反相机拍照时，确定对焦点后，基于小孔成像原理，对焦区域会在成像面形成清晰的影像；非对焦区域由于像差，其成像光束不会汇聚于一点，从而在成像面上形成一个扩散的圆形投影，称为弥散圆。弥散圆的大小取决于相机镜头孔径和点光源偏离程度，弥散圆的大小决定了非对焦区域在成像面形成的影像的模糊程度。所以单反相机拍摄的照片可以达到背景虚化的效果。
但是在手机拍照时，由于硬件设备的限制，使得手机拍摄的照片难以实现单反相机实现的虚化效果。相关技术中，对手机拍摄的照片实现虚化效果的方法为：利用分类器将图像包括的各像素点分为前景类和背景类，对背景类的像素点进行高斯模糊，达到背景虚化的效果。
可见，这种方法对背景的虚化只能实现一种模糊程度，导致图像的虚化效果不真实。
发明内容
本公开提供一种图像处理方法、装置、电子设备及介质，以至少解决相关技术中对图像的虚化效果不真实的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取包含对象区域的待处理图像；
将所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，并将所述对象区域作为所述待处理图像的前景区域，所述图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，所述第一输出层用于输出各像素点的深度值，所述第二输出层用于输出对象区域；
对于所述待处理图像包括的每个待虚化像素点，根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，所述待虚化像素点为所述待处理图像的背景区域包括的像素点。
可选的，所述图像识别模型的网络层还包括多个卷积层和多个反卷积层，所述将所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，包括：
将所述待处理图像输入所述图像识别模型，通过各卷积层对所述待处理图像进行下采样，通过每个反卷积层对连接或跳跃连接的卷积层的下采样结果与上一个反卷积层的上采样结果进行拼接并上采样，得到所述第一输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中各像素点的深度值，并得到所述第二输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中的对象区域。
可选的，通过以下步骤得到所述图像识别模型：
利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，并将训练完成的神经网络模型作为所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域。
可选的，通过以下步骤得到所述图像识别模型：
利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，获得训练过程中各阶段的神经网络模型，并从各阶段的神经网络模型中选取所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域，各阶段的神经网络模型中包括训练完成的神经网络模型，所述训练完成的神经网络模型的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，每个阶段的神经网络模型为训练过程中根据该阶段的神经网络模型的损失函数调整模型参数后得到的模型。
可选的，所述从各阶段的神经网络模型中选取所述图像识别模型，包括：
对于每个阶段的神经网络模型，根据样本图像中各像素点的实际深度值，以及该阶段的神经网络模型识别的样本图像中各像素点的深度值，利用第一预设评价算法，获取该阶段的神经网络模型识别像素点深度值的第一准确度；
对于每个阶段的神经网络模型，根据样本图像的实际对象区域，以及该阶段的神经网络模型识别的样本图像的对象区域，利用第二预设评价算法，获取该阶段的神经网络模型识别对象区域的第二准确度；
将第一准确度和第二准确度满足预设条件的阶段的神经网络模型，确定为所述图像识别模型。
可选的，所述利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，包括：
获取样本集合，所述样本集合包括多个样本图像以及每个样本图像对应的标准识别结果；
将所述样本集合中的样本图像输入神经网络模型，得到神经网络模型输出的识别结果；
基于输入的样本图像对应的标准识别结果和神经网络模型输出的识别结果，计算损失函数值；
根据所述损失函数值判断神经网络模型是否收敛，如果神经网络模型收敛，则得到训练完成的神经网络模型；如果神经网络模型未收敛，则采用随机梯度下降的方式，根据所述损失函数值调整神经网络模型的模型参数，得到该阶段的神经网络模型，并进行下一次训练。
可选的，所述获取样本集合，包括：
根据各图像集对应的权重，分别选择所述样本集合包括的每个样本图像，每个图像集包括属于同一种类别的多个图像，每个图像集对应的权重为各图像集包括的图像总数量与该图像集包括的图像数量的比值。
可选的，所述损失函数值包括第一损失函数值和第二损失函数值，所述基于输入的样本图像对应的标准识别结果和神经网络模型输出的识别结果，计算损失函数值，包括：
分别利用每个第一损失函数，计算输入的样本图像中各像素点的实际深度值与神经网络模型识别的样本图像中各像素点的深度值之间的第一损失值，并将各个第一损失值的平均值作为第一损失函数值；
分别利用每个第二损失函数，计算输入的样本图像的实际对象区域与神经网络模型识别的样本图像的对象区域之间的第二损失值，并将各个第二损失值的平均值作为第二损失函数值。
可选的，所述根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，包括：
计算所述前景区域包括的各像素点的深度值的平均值；
根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围；
若检测到未预先设置指定光斑形状，则将所述待虚化像素点的颜色值更改为所述虚化范围包括的各像素点的颜色值的加权和，所述指定光斑形状为光线在图像中形成的亮斑的形状。
可选的，在所述根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围之后，所述方法还包括：
若检测到预先设置有所述指定光斑形状，则确定所述背景区域中的各光斑区域，所述光斑区域为以目标像素点为中心的虚化范围内所述指定光斑形状的区域，所述目标像素点的灰度值大于以所述目标像素点为中心的预设范围内的像素点的灰度值的平均值；
若所述待虚化像素点位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围与所述光斑区域的交集区域包括的像素点的颜色值的加权和；
若所述待虚化像素点不位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围内各像素点的颜色值的加权和。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为获取包含对象区域的待处理图像；
输入模块，被配置为将所述获取模块获取的所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，并将所述对象区域作为所述待处理图像的前景区域，所述图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，所述第一输出层用于输出各像素点的深度值，所述第二输出层用于输出对象区域；
虚化模块，被配置为对于所述待处理图像包括的每个待虚化像素点，根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，所述待虚化像素点为所述待处理图像的背景区域包括的像素点。
可选的，所述图像识别模型的网络层还包括多个卷积层和多个反卷积层，所述输入模块，具体用于：
将所述待处理图像输入所述图像识别模型，通过各卷积层对所述待处理图像进行下采样，通过每个反卷积层对连接或跳跃连接的卷积层的下采样结果与上一个反卷积层的上采样结果进行拼接并上采样，得到所述第一输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中各像素点的深度值，并得到所述第二输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中的对象区域。
可选的，所述装置还包括：获得模块；
所述获得模块，被配置为利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，并将训练完成的神经网络模型作为所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域。
可选的，所述装置还包括：获得模块；
所述获得模块，被配置为利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，获得训练过程中各阶段的神经网络模型，并从各阶段的神经网络模型中选取所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域，各阶段的神经网络模型中包括训练完成的神经网络模型，所述训练完成的神经网络模型的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，每个阶段的神经网络模型为训练过程中根据该阶段的神经网络模型的损失函数调整模型参数后得到的模型。
可选的，所述获得模块，具体被配置为：
对于每个阶段的神经网络模型，根据样本图像中各像素点的实际深度值，以及该阶段的神经网络模型识别的样本图像中各像素点的深度值，利用第一预设评价算法，获取该阶段的神经网络模型识别像素点深度值的第一准确度；
对于每个阶段的神经网络模型，根据样本图像的实际对象区域，以及该阶段的神经网络模型识别的样本图像的对象区域，利用第二预设评价算法，获取该阶段的神经网络模型识别对象区域的第二准确度；
将第一准确度和第二准确度满足预设条件的阶段的神经网络模型，确定为所述图像识别模型。
可选的，所述获得模块，具体被配置为：
获取样本集合，所述样本集合包括多个样本图像以及每个样本图像对应的标准识别结果；
将所述样本集合中的样本图像输入神经网络模型，得到神经网络模型输出的识别结果；
基于输入的样本图像对应的标准识别结果和神经网络模型输出的识别结果，计算损失函数值；
根据所述损失函数值判断神经网络模型是否收敛，如果神经网络模型收敛，则得到训练完成的神经网络模型；如果神经网络模型未收敛，则采用随机梯度下降的方式，根据所述损失函数值调整神经网络模型的模型参数，得到该阶段的神经网络模型，并进行下一次训练。
可选的，所述获得模块，具体被配置为：
根据各图像集对应的权重，分别选择所述样本集合包括的每个样本图像，每个图像集包括属于同一种类别的多个图像，每个图像集对应的权重为各图像集包括的图像总数量与该图像集包括的图像数量的比值。
可选的，所述损失函数值包括第一损失函数值和第二损失函数值，所述获得模块，具体被配置为：
分别利用每个第一损失函数，计算输入的样本图像中各像素点的实际深度值与神经网络模型识别的样本图像中各像素点的深度值之间的第一损失值，并将各个第一损失值的平均值作为第一损失函数值；
分别利用每个第二损失函数，计算输入的样本图像的实际对象区域与神经网络模型识别的样本图像的对象区域之间的第二损失值，并将各个第二损失值的平均值作为第二损失函数值。
可选的，虚化模块，具体被配置为：
计算所述前景区域包括的各像素点的深度值的平均值；
根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围；
若检测到未预先设置指定光斑形状，则将所述待虚化像素点的颜色值更改为所述虚化范围包括的各像素点的颜色值的加权和，所述指定光斑形状为光线在图像中形成的亮斑的形状。
可选的，所述装置还包括：确定模块和更改模块；
所述确定模块，被配置为在所述根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围之后，若检测到预先设置有所述指定光斑形状，则确定所述背景区域中的各光斑区域，所述光斑区域为以目标像素点为中心的虚化范围内所述指定光斑形状的区域，所述目标像素点的灰度值大于以所述目标像素点为中心的预设范围内的像素点的灰度值的平均值；
所述更改模块，被配置为若所述待虚化像素点位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围与所述光斑区域的交集区域包括的像素点的颜色值的加权和；
所述更改模块，还被配置为若所述待虚化像素点不位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围内各像素点的颜色值的加权和。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行所述存储器上所存放的指令时，实现如上第一方面所述的图像处理方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上第一方面所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上第一方面所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：本公开实施例可以通过图像识别模型得到待处理图像中各像素点的深度值以及对象区域，并将对象区域作为前景区域，然后对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理，其中，待虚化像素点为待处理图像的背景区域包括的像素点。当背景区域中各被摄对象与镜头之间的距离不同时，背景区域包括的各像素点的深度值不同，而本公开的实施例可以根据背景区域包括的像素点的深度值对背景区域进行虚化处理，所以本公开实现了针对不同的深度值达到不同的虚化效果，所以本公开的实施例可以提高图像虚化效果的真实性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的一种图像识别模型结构示意图；
图3是根据一示例性实施例示出的另一种图像处理方法的流程图；
图4是根据一示例性实施例示出的另一种图像处理方法的流程图；
图5是根据一示例性实施例示出的另一种图像处理方法的流程图；
图6是根据一示例性实施例示出的一种光斑区域和虚化范围的示例性示意图；
图7是根据一示例性实施例示出的一种图像处理装置的框图；
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法用于电子设备中，电子设备可以为：手机、平板电脑或计算机等设备，该方法包括以下步骤。
在步骤S11中，获取包含对象区域的待处理图像。
可选的，待处理图像可以为室内场景的图像、室外场景的图像、近景图像或者远景图像等。对象区域可以是满足预设条件的人像区域或物品区域等。其中，预设条件可以为对象区域的尺寸达到预设尺寸。
在步骤S12中，将待处理图像输入图像识别模型，得到待处理图像中各像素点的深度值以及对象区域，并将对象区域作为待处理图像的前景区域。
其中，图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，第一输出层用于输出各像素点的深度值，第二输出层用于输出对象区域。每个像素点的深度值表示该像素点对应的被摄对象与镜头之间的距离。
在步骤S13中，对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理。
其中，待虚化像素点为待处理图像的背景区域包括的像素点。
例如，若背景区域包括的像素点1的深度值为5，前景区域包括的各像素点的深度值的平均值为3，则根据5-3＝2，对象素点1进行虚化处理。
本公开的实施例提供的技术方案至少带来以下有益效果：本公开实施例可以通过图像识别模型得到待处理图像中各像素点的深度值以及对象区域，并将对象区域作为前景区域，然后对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理，其中，待虚化像素点为待处理图像的背景区域包括的像素点。当背景区域中各被摄对象与镜头之间的距离不同时，背景区域包括的各像素点的深度值不同，而本公开的实施例可以根据背景区域包括的像素点的深度值对背景区域进行虚化处理，所以本公开实现了针对不同的深度值达到不同的虚化效果，所以本公开的实施例可以提高图像虚化效果的真实性。
可选的，图像识别模型的网络层还包括多个卷积层和多个反卷积层，上述步骤S12中获得待处理图像中各像素点的深度值以及对象区域的方式包括：将待处理图像输入图像识别模型，通过各卷积层对待处理图像进行下采样，通过每个反卷积层对连接或跳跃连接的卷积层的下采样结果与上一个反卷积层的上采样结果进行拼接并上采样，得到第一输出层对最后一个反卷积层的采样结果进行上采样并输出的待识别图像中各像素点的深度值，并得到第二输出层对最后一个反卷积层的采样结果进行上采样并输出的待识别图像中的对象区域。
例如，图像识别模型如图2所示，图2中的c0-c4以及p1-p4表示特征图的尺寸，方框表示卷积块，卷积块中的数据表示卷积核的大小，虚线箭头表示跳跃连接，图像识别模型的跳跃连接中可以设置ASPP(图2中的ASPP设置在倒数第二个跳跃连接(Skip connection)，在本公开的实施例中ASPP还可以设置在其他跳跃连接)，图像识别模型的左边部分为下采样过程，右边部分为上采样过程。ASPP可以对输入图像以多个不同的采样率的空洞卷积并行采样，能够以多个比例同时捕捉输入图像的上下文，提高了图像识别模型识别各像素点深度值以及对象区域的准确度。
可见，图2中的图像识别模型是对输入图像进行连续的下采样后，再进行连续的上采样的过程，连续的下采样可以对待处理图像进行从底层到高层的特征处理，获取高级语义特征。连续的上采样可以恢复待处理图像的细节，并融合下采样识别到的特征，生成高分辨率的图像特征。
图2中的输出结果包括两个分支，分别为深度预测分支和对象分割分支。其中，深度预测分支利用连续的上采样获得的特征，计算待处理目标图像中各像素点的深度值。对象分割分支利用连续的上采样获得的特征，确定待处理图像包括的各像素点是否属于对象区域，然后输出分割后的对象区域。
本公开实施例还可以包括以下有益效果：本公开实施例可以通过图像识别模型同时获得输入图像中各像素点的深度值以及对象区域，提高了图像处理效率，而且图像识别模型中设置有ASPP层，提高了图像识别模型识别的准确度。
可选的，可以通过以下两种方式获得上述步骤S21中的图像识别模型。
获得图像识别模型的方式一：利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，并将训练完成的神经网络模型作为图像识别模型。其中，标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域。
本公开实施例还可以包括以下有益效果：由于图像识别模型是通过多个样本图像以及每个样本图像对应的标准识别结果训练的，使得训练完成的图像识别模型识别的结果与标准结果之间的误差较小，识别的准确度较高。
获得图像识别模型的方式二：利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，获得训练过程中各阶段的神经网络模型，并从各阶段的神经网络模型中选取图像识别模型。
其中，标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域，各阶段的神经网络模型中包括训练完成的神经网络模型，训练完成的神经网络模型的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，每个阶段的神经网络模型为训练过程中根据该阶段的神经网络模型的损失函数调整模型参数后得到的模型。
可以理解的，在当前计算的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，说明损失函数值变化较小，此时神经网络模型收敛，但当前神经网络模型的损失函数值不一定是各阶段的神经网络模型计算的损失函数值的最小值，为提高图像识别模型识别的准确度，可以从各阶段的神经网络模型中选择损失函数值最小的阶段的神经网络模型，作为图像识别模型。
可选的，参见图3，从各阶段的神经网络模型中选取图像识别模型的方式包括以下步骤。
在步骤S31中，对于每个阶段的神经网络模型，根据样本图像中各像素点的实际深度值，以及该阶段的神经网络模型识别的样本图像中各像素点的深度值，利用第一预设评价算法，获取该阶段的神经网络模型识别像素点深度值的第一准确度。
一种实施方式中，可以利用第一预设评价算法，计算神经网络模型识别的各像素点的深度值和各像素点的实际深度值之间的误差，并基于该误差，确定第一准确度。
例如，可以预先设置误差范围与第一准确度的对应关系，由此在利用第一预设评价算法计算误差后，可以获取计算的误差所处的误差范围对应的第一准确度。
示例性的，第一预设评价算法可以为平均相对误差(mean Relative Error)算法、均方根误差中误差(Root Mean Squared Error)算法、平均交际与并集的比值(meanIntersection over Union)算法。
在步骤S32中，对于每个阶段的神经网络模型，根据样本图像的实际对象区域，以及该阶段的神经网络模型识别的样本图像的对象区域，利用第二预设评价算法，获取该阶段的神经网络模型识别对象区域的第二准确度。
一种实施方式中，可以利用第二预设评价算法，计算神经网络模型识别的对象区域和实际对象区域之间的误差，并基于该误差，确定第二准确度。
例如，可以预先设置误差范围与第二准确度的对应关系，由此在利用第二预设评价算法计算误差后，可以获取计算的误差所处的误差范围对应的第二准确度。
示例性的，第二预设评价算法可以为平均相对误差(mean Relative Error)算法、均方根误差中误差(Root Mean Squared Error)算法、平均交际与并集的比值(meanIntersection over Union)算法。
需要说明的是，在本公开的实施例中可以先执行步骤S31再执行步骤S32，也可以先执行步骤S32在执行步骤S31，也可以同时执行步骤S31和步骤S32，本公开的实施例对步骤S31和步骤S32的执行顺序不作具体限定。
在步骤S33中，将第一准确度和第二准确度满足预设条件的阶段的神经网络模型，确定为图像识别模型。
一种实施方式中，可以计算第一准确度和第二准确度的平均值，然后将平均值最大的阶段的神经网络模型，确定为图像识别模型。或者，还可以将第一准确度大于第一准确度阈值，且第二准确度大于第二准确度阈值的阶段的神经网络模型，确定为图像识别模型。
本公开实施例还可以包括以下有益效果：由于可以利用第一预设评价算法以及第二预设评价算法，确定神经网络模型的识别准确度，并基于各阶段的神经网络模型的识别准确度，选取图像识别模型，使得本公开实施例确定的图像识别模型识别的准确度更高。
可选的，参见图4，上述图像识别模型的训练过程可以包括以下步骤：
在步骤S41中，获取样本集合。
其中，样本集合包括多个样本图像以及每个样本图像对应的标准识别结果。
一种实施方式中，可以根据各图像集对应的权重，分别选择样本集合包括的每个样本图像。其中，每个图像集包括属于同一种类别的多个图像，每个图像集对应的权重为各图像集包括的图像总数量与该图像集包括的图像数量的比值。
例如，需要从3个图像集中获取6个样本图像，图像集1包括10张图像，图像集2包括20张图像，图像集3包括10张图像。图像集1对应的权重为(10+20+10)/10＝4，图像集2对应的权重为(10+20+10)/20＝2，图像集3对应的权重为(10+20+10)/10＝4。对于每个样本图像，该样本图像为图像集1中的图像的概率为4/(4+2+4)，为图像集2中的图像的概率为2/(4+2+4)，为图像集3中的图像的概率为4/(4+2+4)。
可以理解的，由于各图像集包括的图像数目不同，且各图像集包括不同类别的图像，不同类别的图像的特征差异较大，如果随机从各图像集中获取样本图像，容易使得获取的各类别的样本图像数量不均衡，导致对神经网络模型训练不准确。而本公开的实施例中，图像集包括的图像数量越多，该图像集对应的权重越小，图像集包括的图像数量越少，该图像集对应的权重越大。使得从各图像集中获得的样本图像数量较为均衡，通过本公开实施例获得的样本图像训练的神经网络模型更准确。
在步骤S42中，将样本集合中的样本图像输入神经网络模型，得到神经网络模型输出的识别结果。
其中，识别结果包括样本图像中各像素点的深度值和样本图像的对象区域。
在步骤S43中，基于输入的样本图像对应的标准识别结果和神经网络模型输出的识别结果，计算损失函数值。
可以理解的，由于本公开实施例中的神经网络模型包括两个分支，所以可以针对每个分支分别计算该分支对应的损失函数值，得到第一损失函数值和第二损失函数值。计算每个分支对应的损失函数值时，可以利用一个或多个损失函数计算。
一种实施方式中，当每个分支利用多个损失函数计算损失函数值时，可以分别利用每个第一损失函数，计算输入的样本图像中各像素点的实际深度值与神经网络模型识别的样本图像中各像素点的深度值之间的第一损失值，并将各个第一损失值的平均值作为第一损失函数值。并分别利用每个第二损失函数，计算输入的样本图像的实际对象区域与神经网络模型识别的样本图像的对象区域之间的第二损失值，并将各个第二损失值的平均值作为第二损失函数值。
例如，可以对于神经网络模型的深度预测分支采用的第一损失函数可以为反向胡贝尔、深度x方向、y方向梯度和法向量损失函数。对于神经网络模型的对象分割分支采用的第二损失函数可以为交叉熵损失函数。
在步骤S44中，根据损失函数值判断神经网络模型是否收敛。如果神经网络模型未收敛，则执行步骤S45；如果神经网络模型收敛，则执行步骤S46。
一种实施方式中，若损失函数值有多个，则可以计算多个损失函数值的平均值，然后判断该平均值与上一次计算的损失函数值平均值的差值是否大于预设差值，若该差值不大于预设差值，则确定神经网络模型收敛；若该差值大于预设差值，则确定神经网络模型未收敛。
或者还可以分别判断各损失函数值与上一次计算的相应的损失函数值的差值是否大于相应的预设差值，若各差均不大于相应的预设差值，则确定神经网络模型收敛；若存在任一差值大于相应的预设差值，则确定神经网络未收敛。
另一种实施方式中，若损失函数值为一个，则可以计算该损失函数值与上一次计算的损失函数值的差值是否大于预设差值，若该差值不大于预设差值，则确定神经网络模型收敛；若该差值大于预设差值，则确定神经网络模型未收敛。
在步骤S45中，采用随机梯度下降的方式，根据损失函数值调整神经网络模型的模型参数，得到该阶段的神经网络模型，并进行下一次训练。
可以理解的，在调整神经网络模型的模型参数之后，可以重新执行步骤S41至步骤S44，直至得到训练完成的神经网络模型。
可以理解的，神经网络模型未收敛，说明神经网络模型识别结果的准确度不稳定，所以需要继续训练当前的神经网络模型。
在步骤S46中，得到训练完成的神经网络模型。
可以理解的，神经网络模型收敛，说明神经网络模型识别结果的准确度稳定，此时神经网络模型识别的准确度较高，当前的神经网络模型训练完成。
本公开实施例还可以包括以下有益效果：由于本公开实施例在训练神经网络模型时，可以利用两个分支对应的损失函数值分别调整模型参数，使得图像识别模型识别的深度值和对象区域更准确。
可选的，参见图5，上述步骤S13对背景区域包括的每个像素点进行虚化的步骤包括：
在步骤S51中，计算前景区域包括的各像素点的深度值的平均值。
在步骤S52中，根据待虚化像素点的深度值与平均值的差值，确定以待虚化像素点为中心的虚化范围。若检测到未预先设置指定光斑形状，则执行步骤S53；若检测到预先设置有指定光斑形状，则执行步骤S54。
其中，指定光斑形状为光线在图像中形成的亮斑的形状。可选的，指定光斑形状可以为用户选择的光斑形状，或者还可以是预设的默认光斑形状。示例性的，指定光斑形状可以为：圆形、爱心形、五角星形等形状。
一种实施方式中，可以根据待虚化像素点的深度值与平均值的差，计算待虚化像素点的弥散半径(circle of confusion)，若弥散半径为R，则虚化范围为(2R+1)，即以该像素点为中心，长/宽均为(2R+1)的范围为待虚化像素点对应的虚化范围。
可见，弥散半径可以表示待虚化像素点的虚化程度，弥散半径越大，待虚化像素点越模糊，弥散半径越小，待虚化像素点越清晰。
在步骤S53中，将待虚化像素点的颜色值更改为虚化范围内包括的各像素点的颜色值的加权和。
例如，颜色值可以为红黄蓝(red green blue，RGB)值。
在步骤S54中，确定背景区域中的各光斑区域。
其中，光斑区域为以目标像素点为中心的虚化范围内指定光斑形状的区域，目标像素点的灰度值大于以目标像素点为中心的预设范围内的像素点灰度值的平均值。
例如，如图6所示，图6中的像素点A为目标像素点，以像素点A为中心的正方形为像素点A对应的虚化范围，圆形为以像素点A为中心的光斑区域。
在步骤S55中，若待虚化像素点位于光斑区域，则将待虚化像素点的颜色值更改为以待虚化像素点为中心的虚化范围与光斑区域的交集区域包括的像素点的颜色值的加权和。
例如，参见图6，圆形为以像素点A为中心的光斑区域，像素点B位于光斑区域，以像素点B为中心的正方形为像素点B对应的虚化范围，可以将像素点B的颜色值更改为以像素点B为中心的虚化范围与圆形区域的交集区域包括的各像素点的颜色值的加权和。
在步骤S56中，若待虚化像素点不位于光斑区域，则将待虚化像素点的颜色值更改为以待虚化像素点为中心的虚化范围内各像素点的颜色值的加权和。
可选的，在对背景区域进行虚化处理之后，还可以在虚化处理之前的待处理图像的基础上，基于指定的弥散半径进一步对背景区域进行虚化处理。其中，当检测到用户对电子设备执行更改模糊程度的操作时，可以将用户选择的模糊程度对应的弥散半径作为指定的弥散半径。
可见，本公开的实施例还可以包括以下有益效果：本公开的实施例在对待处理图像进行虚化处理的基础上，还可以在待处理图像中生成光斑效果，使得虚化后的图像更美观。
可选的，在上述步骤S13对背景区域包括的像素点进行虚化处理之后，还可以进一步对待处理图像进行虚化处理，包括以下步骤：
步骤一、判断是否接收到用户触发的指定指令。
其中，指定指令用于指示将待处理图像中指定的区域作为指定前景区域，指定指令中包括用户选择的指定像素点。
例如，判断是否接收到用户在待处理图像中的各区域的点击操作。
步骤二、若接收到指定指令，则将指定前景像素点组成的区域确定为指定前景区域。其中，指定前景像素点的深度值与指定像素点的深度值的差值属于指定差值范围。
可以理解的，同一个对象中不同的部分到镜头之间的距离不同，使得同一个对象在图像中的深度值不同。例如，从正面拍摄坐在椅子上的人员，获得的图像中该人员腿部的深度值小于该人员脸部的深度值。
为了减小确定指定前景区域的误差，可以将深度值与指定像素点的深度值的差值属于指定差值范围的像素点作为指定前景像素点。
步骤三、对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与指定前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理。其中，待虚化像素点为待处理图像中除指定前景区域以外的其他区域包括的像素点。
可选的，在接收到指定指令之后，可以在步骤S13进行虚化处理前的待处理图像中各像素点颜色值的基础上，对各待虚化像素点进行虚化处理。
本公开的实施例还可以包括以下有益效果：本公开实施例还能够根据用户的选择，对待处理图像进行虚化处理，使得本公开实施例的应用范围更广。
对应于上述方法实施例，本公开实施例还提供了一种图像处理装置，如图7所示，该装置包括：获取模块701、输入模块702和虚化模块703。
获取模块701，被配置为获取包含对象区域的待处理图像；
输入模块702，被配置为将获取模块701获取的待处理图像输入图像识别模型，得到待处理图像中各像素点的深度值以及对象区域，并将对象区域作为待处理图像的前景区域，图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，第一输出层用于输出各像素点的深度值，第二输出层用于输出对象区域；
虚化模块703，被配置为对于待处理图像包括的每个待虚化像素点，根据待虚化像素点的深度值与前景区域包括的各像素点深度值平均值的差值，对待虚化像素点进行虚化处理，待虚化像素点为待处理图像的背景区域包括的像素点。
可选的，图像识别模型的网络层还包括多个卷积层和多个反卷积层，输入模块702，可以具体用于：
将待处理图像输入图像识别模型，通过各卷积层对待处理图像进行下采样，通过每个反卷积层对连接或跳跃连接的卷积层的下采样结果与上一个反卷积层的上采样结果进行拼接并上采样，得到第一输出层对最后一个反卷积层的采样结果进行上采样并输出的待识别图像中各像素点的深度值，并得到第二输出层对最后一个反卷积层的采样结果进行上采样并输出的待识别图像中的对象区域。
可选的，该装置还可以包括：获得模块；
获得模块，被配置为利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，并将训练完成的神经网络模型作为图像识别模型，标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域。
可选的，该装置还可以包括：获得模块；
获得模块，被配置为利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，获得训练过程中各阶段的神经网络模型，并从各阶段的神经网络模型中选取图像识别模型，标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域，各阶段的神经网络模型中包括训练完成的神经网络模型，训练完成的神经网络模型的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，每个阶段的神经网络模型为训练过程中根据该阶段的神经网络模型的损失函数调整模型参数后得到的模型。
可选的，获得模块，可以具体被配置为：
对于每个阶段的神经网络模型，根据样本图像中各像素点的实际深度值，以及该阶段的神经网络模型识别的样本图像中各像素点的深度值，利用第一预设评价算法，获取该阶段的神经网络模型识别像素点深度值的第一准确度；
对于每个阶段的神经网络模型，根据样本图像的实际对象区域，以及该阶段的神经网络模型识别的样本图像的对象区域，利用第二预设评价算法，获取该阶段的神经网络模型识别对象区域的第二准确度；
将第一准确度和第二准确度满足预设条件的阶段的神经网络模型，确定为图像识别模型。
可选的，获得模块，可以具体被配置为：
获取样本集合，样本集合包括多个样本图像以及每个样本图像对应的标准识别结果；
将样本集合中的样本图像输入神经网络模型，得到神经网络模型输出的识别结果；
基于输入的样本图像对应的标准识别结果和神经网络模型输出的识别结果，计算损失函数值；
根据损失函数值判断神经网络模型是否收敛，如果神经网络模型收敛，则得到训练完成的神经网络模型；如果神经网络模型未收敛，则采用随机梯度下降的方式，根据损失函数值调整神经网络模型的模型参数，得到该阶段的神经网络模型，并进行下一次训练。
可选的，获得模块，可以具体被配置为：
根据各图像集对应的权重，分别选择样本集合包括的每个样本图像，每个图像集包括属于同一种类别的多个图像，每个图像集对应的权重为各图像集包括的图像总数量与该图像集包括的图像数量的比值。
可选的，损失函数值包括第一损失函数值和第二损失函数值，获得模块，可以具体被配置为：
分别利用每个第一损失函数，计算输入的样本图像中各像素点的实际深度值与神经网络模型识别的样本图像中各像素点的深度值之间的第一损失值，并将各个第一损失值的平均值作为第一损失函数值；
分别利用每个第二损失函数，计算输入的样本图像的实际对象区域与神经网络模型识别的样本图像的对象区域之间的第二损失值，并将各个第二损失值的平均值作为第二损失函数值。
可选的，虚化模块703，可以具体被配置为：
计算前景区域包括的各像素点的深度值的平均值；
根据待虚化像素点的深度值与平均值的差值，确定以待虚化像素点为中心的虚化范围；
若检测到未预先设置指定光斑形状，则将待虚化像素点的颜色值更改为虚化范围包括的各像素点的颜色值的加权和，指定光斑形状为光线在图像中形成的亮斑的形状。
可选的，装置还可以包括：确定模块和更改模块；
确定模块，被配置为在根据待虚化像素点的深度值与平均值的差值，确定以待虚化像素点为中心的虚化范围之后，若检测到预先设置有指定光斑形状，则确定背景区域中的各光斑区域，光斑区域为以目标像素点为中心的虚化范围内指定光斑形状的区域，目标像素点的灰度值大于以目标像素点为中心的预设范围内的像素点的灰度值的平均值；
更改模块，被配置为若待虚化像素点位于光斑区域，则将待虚化像素点的颜色值更改为以待虚化像素点为中心的虚化范围与光斑区域的交集区域包括的像素点的颜色值的加权和；
更改模块，还被配置为若待虚化像素点不位于光斑区域，则将待虚化像素点的颜色值更改为以待虚化像素点为中心的虚化范围内各像素点的颜色值的加权和。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。例如，电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，电子设备可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件814还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器804，上述指令可由电子设备的处理器820执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备执行上述实施例中任一图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取包含对象区域的待处理图像；
将所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，并将所述对象区域作为所述待处理图像的前景区域，所述图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，所述第一输出层用于输出各像素点的深度值，所述第二输出层用于输出对象区域；
对于所述待处理图像包括的每个待虚化像素点，根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，所述待虚化像素点为所述待处理图像的背景区域包括的像素点。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像识别模型的网络层还包括多个卷积层和多个反卷积层，所述将所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，包括：
将所述待处理图像输入所述图像识别模型，通过各卷积层对所述待处理图像进行下采样，通过每个反卷积层对连接或跳跃连接的卷积层的下采样结果与上一个反卷积层的上采样结果进行拼接并上采样，得到所述第一输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中各像素点的深度值，并得到所述第二输出层对最后一个反卷积层的采样结果进行上采样并输出的所述待识别图像中的对象区域。
3.根据权利要求1所述的图像处理方法，其特征在于，通过以下步骤得到所述图像识别模型：
利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，并将训练完成的神经网络模型作为所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域。
4.根据权利要求1所述的图像处理方法，其特征在于，通过以下步骤得到所述图像识别模型：
利用多个样本图像以及每个样本图像对应的标准识别结果，对神经网络模型进行训练，获得训练过程中各阶段的神经网络模型，并从各阶段的神经网络模型中选取所述图像识别模型，所述标准识别结果包括样本图像中各像素点的实际深度值以及样本图像的实际对象区域，各阶段的神经网络模型中包括训练完成的神经网络模型，所述训练完成的神经网络模型的损失函数值与上一阶段的神经网络模型的损失函数值的差值小于预设差值，每个阶段的神经网络模型为训练过程中根据该阶段的神经网络模型的损失函数调整模型参数后得到的模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述从各阶段的神经网络模型中选取所述图像识别模型，包括：
对于每个阶段的神经网络模型，根据样本图像中各像素点的实际深度值，以及该阶段的神经网络模型识别的样本图像中各像素点的深度值，利用第一预设评价算法，获取该阶段的神经网络模型识别像素点深度值的第一准确度；
对于每个阶段的神经网络模型，根据样本图像的实际对象区域，以及该阶段的神经网络模型识别的样本图像的对象区域，利用第二预设评价算法，获取该阶段的神经网络模型识别对象区域的第二准确度；
将第一准确度和第二准确度满足预设条件的阶段的神经网络模型，确定为所述图像识别模型。
6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，包括：
计算所述前景区域包括的各像素点的深度值的平均值；
根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围；
若检测到未预先设置指定光斑形状，则将所述待虚化像素点的颜色值更改为所述虚化范围包括的各像素点的颜色值的加权和，所述指定光斑形状为光线在图像中形成的亮斑的形状。
7.根据权利要求6所述的图像处理方法，其特征在于，在所述根据所述待虚化像素点的深度值与所述平均值的差值，确定以所述待虚化像素点为中心的虚化范围之后，所述方法还包括：
若检测到预先设置有所述指定光斑形状，则确定所述背景区域中的各光斑区域，所述光斑区域为以目标像素点为中心的虚化范围内所述指定光斑形状的区域，所述目标像素点的灰度值大于以所述目标像素点为中心的预设范围内的像素点的灰度值的平均值；
若所述待虚化像素点位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围与所述光斑区域的交集区域包括的像素点的颜色值的加权和；
若所述待虚化像素点不位于所述光斑区域，则将所述待虚化像素点的颜色值更改为以所述待虚化像素点为中心的虚化范围内各像素点的颜色值的加权和。
8.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取包含对象区域的待处理图像；
输入模块，被配置为将所述获取模块获取的所述待处理图像输入图像识别模型，得到所述待处理图像中各像素点的深度值以及所述对象区域，并将所述对象区域作为所述待处理图像的前景区域，所述图像识别模型的网络层包括设置在跳跃连接的空洞空间金字塔池化ASPP层、第一输出层和第二输出层，设置有ASPP层的跳跃连接所连接的两个网络层中前一个网络层的输出图像经过ASPP层处理后的图像为后一个网络层的输入图像，所述第一输出层用于输出各像素点的深度值，所述第二输出层用于输出对象区域；
虚化模块，被配置为对于所述待处理图像包括的每个待虚化像素点，根据所述待虚化像素点的深度值与所述前景区域包括的各像素点深度值平均值的差值，对所述待虚化像素点进行虚化处理，所述待虚化像素点为所述待处理图像的背景区域包括的像素点。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911090043.2A CN110910304B (zh) | 2019-11-08 | 2019-11-08 | 图像处理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911090043.2A CN110910304B (zh) | 2019-11-08 | 2019-11-08 | 图像处理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110910304A true CN110910304A (zh) | 2020-03-24 |
| CN110910304B CN110910304B (zh) | 2023-12-22 |
Family
ID=69817238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911090043.2A Active CN110910304B (zh) | 2019-11-08 | 2019-11-08 | 图像处理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910304B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760986A (zh) * | 2022-11-30 | 2023-03-07 | 北京中环高科环境治理有限公司 | 基于神经网络模型的图像处理方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
| CN107370958A (zh) * | 2017-08-29 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置及拍摄终端 |
| CN107613199A (zh) * | 2016-06-02 | 2018-01-19 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN108154466A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| WO2018137623A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳市商汤科技有限公司 | 图像处理方法、装置以及电子设备 |
| WO2018176929A1 (zh) * | 2017-03-27 | 2018-10-04 | 华为技术有限公司 | 一种图像背景虚化方法及装置 |
| CN109741331A (zh) * | 2018-12-24 | 2019-05-10 | 北京航空航天大学 | 一种图像前景物体分割方法 |
| CN109889724A (zh) * | 2019-01-30 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 图像虚化方法、装置、电子设备及可读存储介质 |
| CN110349080A (zh) * | 2019-06-10 | 2019-10-18 | 北京迈格威科技有限公司 | 一种图像处理方法及装置 |
-
2019
- 2019-11-08 CN CN201911090043.2A patent/CN110910304B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107613199A (zh) * | 2016-06-02 | 2018-01-19 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
| WO2018137623A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳市商汤科技有限公司 | 图像处理方法、装置以及电子设备 |
| WO2018176929A1 (zh) * | 2017-03-27 | 2018-10-04 | 华为技术有限公司 | 一种图像背景虚化方法及装置 |
| CN107370958A (zh) * | 2017-08-29 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置及拍摄终端 |
| CN108154466A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN109741331A (zh) * | 2018-12-24 | 2019-05-10 | 北京航空航天大学 | 一种图像前景物体分割方法 |
| CN109889724A (zh) * | 2019-01-30 | 2019-06-14 | 北京达佳互联信息技术有限公司 | 图像虚化方法、装置、电子设备及可读存储介质 |
| CN110349080A (zh) * | 2019-06-10 | 2019-10-18 | 北京迈格威科技有限公司 | 一种图像处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 欧阳志恒 等: "基于分层级各向异性滤波的图像景深渲染算法", 光学技术, pages 88 - 94 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760986A (zh) * | 2022-11-30 | 2023-03-07 | 北京中环高科环境治理有限公司 | 基于神经网络模型的图像处理方法及装置 |
| CN115760986B (zh) * | 2022-11-30 | 2023-07-25 | 北京中环高科环境治理有限公司 | 基于神经网络模型的图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110910304B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109889724B (zh) | 图像虚化方法、装置、电子设备及可读存储介质 | |
| CN109670397B (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
| CN106651955B (zh) | 图片中目标物的定位方法及装置 | |
| US10534972B2 (en) | Image processing method, device and medium | |
| CN108154465B (zh) | 图像处理方法及装置 | |
| CN111586282B (zh) | 拍摄方法、装置、终端及可读存储介质 | |
| US11580327B2 (en) | Image denoising model training method, imaging denoising method, devices and storage medium | |
| CN108154466B (zh) | 图像处理方法及装置 | |
| CN107948510B (zh) | 焦距调整的方法、装置及存储介质 | |
| EP3057304A1 (en) | Method and apparatus for generating image filter | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| CN110569822A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN109040605A (zh) | 拍摄引导方法、装置及移动终端和存储介质 | |
| CN108702457B (zh) | 用于自动图像校正的方法、装置和计算机可读存储媒体 | |
| CN111182212A (zh) | 图像处理方法、装置、存储介质以及电子设备 | |
| CN108986117B (zh) | 视频图像分割方法及装置 | |
| KR102366995B1 (ko) | 이미지 처리 모델의 훈련 방법, 장치 및 매체 | |
| CN107424130B (zh) | 图片美颜方法和装置 | |
| CN112188091A (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
| CN107480773B (zh) | 训练卷积神经网络模型的方法、装置及存储介质 | |
| CN110910304B (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN112750081A (zh) | 图像处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |