CN111724300B - 单张图片背景虚化方法、装置及设备 - Google Patents

单张图片背景虚化方法、装置及设备 Download PDF

Info

Publication number
CN111724300B
CN111724300B CN202010613888.1A CN202010613888A CN111724300B CN 111724300 B CN111724300 B CN 111724300B CN 202010613888 A CN202010613888 A CN 202010613888A CN 111724300 B CN111724300 B CN 111724300B
Authority
CN
China
Prior art keywords
scale
portrait
picture
blurring
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010613888.1A
Other languages
English (en)
Other versions
CN111724300A (zh
Inventor
许赢月
王俊宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Fudan Innovation Research Institute
Original Assignee
Zhuhai Fudan Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Fudan Innovation Research Institute filed Critical Zhuhai Fudan Innovation Research Institute
Priority to CN202010613888.1A priority Critical patent/CN111724300B/zh
Publication of CN111724300A publication Critical patent/CN111724300A/zh
Application granted granted Critical
Publication of CN111724300B publication Critical patent/CN111724300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种单张图片背景虚化方法、装置及设备，属于图片照相处理技术领域，该方法、装置或设备，通过预设深度模型，实现了通过单张图片实现对人像分割，进行背景虚化的目的。本发明完全基于单张图片，降低了人像模式下背景虚化处理的硬件要求。同时，当人像距离摄像头过远，或当光线较暗，手机双摄人像模式失效时，本发明便可以作为补充技术，在仅有单张图像的条件下，依然高质量完成背景虚化处理的任务。

Description

单张图片背景虚化方法、装置及设备
技术领域
本发明属于图片照相处理技术领域，具体涉及一种单张图片背景虚化方法、装置及设备。
背景技术
背景虚化是使图像景深变浅，将焦点聚集在主题上的一种图像美化方式。在现实生活中，背景虚化可以提升照相效果，突出照相重点，增强图像的美感。因此，背景虚化受到了人们的追捧。目前，数码相机可以根据不同方式，实现背景虚化效果，例如，1)使变焦距尽可能大；2)拍摄物与背景尽可能距离远；3)镜头与拍摄物尽可能距离近；4)光圈在满足拍摄需要的同时尽可能大。然而，无论通过以上哪种方式，背景虚化的实现都需要特殊镜头和拍摄者的专业经验。
近年来，手机摄像头的提升以及图像处理技术的的进步，使得手机用户没有专业摄影经验，也可以通过手机内置的人像模式拍摄出带有背景虚化效果的照片。所谓的人像模式是如今手机厂商针对人像拍摄需求而设计一种拍照风格。通过背景虚化(大光圈效果)实现突出人像、美化人像的特殊艺术效果。通过手机内置摄像头实现大光圈背景虚化效果需要使用同一场景下的至少两张图片。基于苹果公司框架的“人像模式”通过后置的焦距不同的双摄像头取得同一场景下略有不同的两张图片，以此计算出深度图，然后对景深较深(即背景)部分进行虚化处理。基于谷歌公司Google Pixel 2框架下的“人像模式”则是通过双像素技术，将单一手机摄像头分成两半，在同一场景下连续拍摄两次，得到两张有细微差别的图片，从而对背景部分进行虚化处理。
但是，人像模式存在一些局限性。首先，人像模式对手机的配置有要求，即内置双摄像头或Google Pixel 2图像处理库(仅限于安卓系统)，因此普通的单摄像头手机无法实现人像模式。其次，基于双摄或双像素技术的人像模式处理对于拍摄距离和光线非常敏感。如果人像距离摄像头不够近，或是环境光线太暗，人像模式下双摄或双像素将得到两张几乎没有差异的图片，而因此无法计算出景深。那么，人像模式中的背景虚化效果也就无法实现。因此，如何实现便捷地对图像进行背景虚化，成为现有技术中亟待解决的问题。
发明内容
为了至少解决现有技术存在的上述问题，本发明提供了一种单张图片背景虚化方法、装置及设备。
本发明提供的技术方案如下：
一方面，一种单张图片背景虚化方法，包括：
基于预设深度模型，分割目标图片中的人像；
根据所述人像，确定所述目标图片的背景；
基于预设规则，对所述背景进行虚化。
可选的，所述基于预设规则，对所述背景进行虚化，包括：
通过高斯模糊，对所述背景进行虚化效果处理。
可选的，所述预设深度模型的构建方法，包括：
确定人像图片数据集；
将所述人像图片数据集划分为训练集、验证集和测试集；
基于卷积神经网络结构，提取所述训练集中图片的多尺度的高维特征向量，所述多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；
在每个所述尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；
基于所述边缘加强图和逐尺度融合，获取图片的人像分割结果；
基于卷积神经网络，对所述人像图片数据集进行训练、验证和测试，构建所述预设深度模型。
可选的，还包括：
对图片上同一位置两个尺度的人像分割预测值不同的地方进行加强学习，获取图片的人像分割结果。
可选的，还包括：
若两个尺度的人像分割预测值在同一位置的差异在预设范围内，则所述图片的预测为正确；
若两个尺度的人像分割预测值在同一位置的差异超出所述预设范围，则两个尺度预测结果不一致，提高边缘加强图的权重；
两个尺度m和m-1之间的边缘加强图Am，m-1计算如下：
Am，m-1＝|Sm·(1-Sm-1)-Sm-1·(1-Sm)|，
其中，Sm和Sm-1为两个尺度的人像分割预测值。
可选的，在所述预设深度模型的训练中，通过损失函数对每个尺度的人像分割预测值进行有监督学习；
所述损失函数，为：
其中，W是深度模型各尺度共用权重集合，wm指各尺度特有权重，gi代表人像数据集中第i个像素标记出的标准结果，是其对应的第m尺度上相应位置的人像预测结果，N是训练集上所有图片的所有像素总和。
可选的，所述通过高斯模糊，对所述背景进行虚化效果处理的处理公式，包括：
其中，r是模糊半径(u2+v2)，σ是正态分布的标准偏；
通过控制模糊半径r来调整背景的虚化程度，获取所述目标图片的背景虚化结果。
又一方面，一种单张图片背景虚化装置，包括：分割模块、确定模块和虚化模块；
所述分割模块，用于基于预设深度模型，分割目标图片中的人像；
所述确定模块，用于根据所述人像，确定所述目标图片的背景；
所述虚化模块，用于基于预设规则，对所述背景进行虚化。
可选的，所述分割模块基于的预设深度模型由模型构建模块构建；
所述模型构建模块，用于确定人像图片数据集；将所述人像图片数据集划分为训练集、验证集和测试集；基于卷积神经网络结构，提取所述训练集中图片的多尺度的高维特征向量，所述多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；在每个所述尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；基于所述边缘加强图和逐尺度融合，获取图片的人像分割结果；基于卷积神经网络，对所述人像图片数据集进行训练、验证和测试，构建所述预设深度模型。
又一方面，一种单张图片背景虚化设备，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的单张图片背景虚化方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
本发明的有益效果为：
本发明实施例提供的本发明实施例提供的单张图片背景虚化方法、装置及设备，通过预设深度模型，实现了通过单张图片实现对人像分割，进行背景虚化的目的。本发明完全基于单张图片，降低了人像模式下背景虚化处理的硬件要求。同时，当人像距离摄像头过远，或当光线较暗，手机双摄或双像素人像模式失效时，本发明便可以作为补充技术，在仅有单张图像的条件下，依然高质量完成背景虚化处理的任务。本发明中通过多尺度边缘加强网络进行人像分割的监督学习，并利用训练出的深度模型分割人像并进行背景虚化处理，基于深度学习网络，相较于传统方法，保证了人像分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种单张图片背景虚化方法流程示意图；
图2为本发明实施例提供的Supervisely Person数据集里的图片示例；
图3为本发明实施例提供的一种多尺度边缘加强学习网络结构示意图；
图4为本发明实施例提供的相邻两个尺度的人像分割预测值Sm和Sm-1取不同值时，Am，m-1取值示意图；
图5为本发明实施例提供的一种单张图片背景虚化效果对比图；
图6为本发明实施例提供的一种单张图片背景虚化装置结构示意图；
图7为本发明实施例提供的一种单张图片背景虚化设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
为了至少解决本发明中提出的技术问题，本发明实施例提供一种单张图片背景虚化方法。
图1为本发明实施例提供的一种单张图片背景虚化方法流程示意图，请参阅图1，本发明实施例提供的方法，可以包括以下步骤：
S11、基于预设深度模型，分割目标图片中的人像。
在本实施例中，定义将要进行背景虚化的图片为目标图片，对目标图片中的人像进行分割。例如，目标图片可以为手机终端刚刚拍摄的图片，值得说明的是，此处对目标图片只是列举，并不是限定。在获取到目标图片后，根据预设深度模型，将目标图片输入到预设深度模型中，从而将目标图片中的人像进行分割。
可选的，预设深度模型的构建方法，包括：确定人像图片数据集；将人像图片数据集划分为训练集、验证集和测试集；基于卷积神经网络结构，提取训练集中图片的多尺度的高维特征向量，多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；在每个尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；基于边缘加强图和逐尺度融合，获取图片的人像分割结果；基于卷积神经网络，对人像图片数据集进行训练、验证和测试，构建预设深度模型。
例如，在本实施例中，为了保证数据的准确，选取Supervisely Person数据集作为人像图片数据集。基于大规模人像图片的数据集将更有助于深度网络的学习，但是，很多此类数据都是不公开的。为了便于取得数据，本申请选择公开数据集中，数据量较大、标准结果标记更准确的Supervisely Person数据集作为人像图片数据集。该数据集共有5711张人像图片，每张图片的人像都被逐像素标记出来，如图2所示。其中，选取4000张作为训练集，800张作为验证集，剩余911张作为测试集。图片逐像素，背景部分标记值为0，人像部分标记值为1。训练过程中，图像被重新缩放到240×320，并进行横向翻转，使得整个数据集的图像数量变为原数据量的二倍。
图3为本发明实施例提供的一种多尺度边缘加强学习网络结构示意图。F1……F5为前端卷积神经网络VGG16中取得的五个尺度的高维特征向量，S1……S5为对应的一维人像预测结果。“C”是卷积层，“+”是高维相加强化过程，“A”是边缘加强算法。“S”是人像分割训练好的预设深度模型通过Sigmoid激活函数进行的人像分割。为训练模型过程中对应尺度的损失函数。DOF是基于高斯模糊后的景深背景虚化。
常用的卷积神经网络(Convolutional Neural Networks，CNN)的网络结构中提取多尺度的高维特征，并将其有效结合得到人像分割结果，例如，尺度最少为两个尺度，本实施例中，参阅图3，以5个尺度为例，进行说明。前端网络采用CNN网络结构中熟知的VGG16网络结构，并在卷积层“conv1-2”、“conv2-2”、“conv3-3”、“conv4-3”、“conv5-3”取得五个尺度的高维特征向量F1……F5，其对应的一维人像分割预测值为S1……S5。在每个尺度，通过相邻两个尺度的人像分割预测值，取得边缘加强图，本实施例中，边缘加强图为边缘加强图值，并对下一个尺度的高维特征向量进行加强。基于边缘加强图和逐尺度融合，获取图片的人像分割结果；基于卷积神经网络，对人像图片数据集进行训练、验证和测试，构建预设深度模型。
可选的，在构建深度模型中，还包括：对图片上同一位置两个尺度的人像分割预测值不同的地方进行加强学习，获取图片的人像分割结果。在本实施例中，人像分割结果可以为前景人像值为1，背景0。
可选的，还包括：若两个尺度的人像分割预测值Sm和Sm-1在同一位置的差异在预设范围内，则图片的预测为正确；若两个尺度的人像分割预测值Sm和Sm-1在同一位置的差异超出预设范围，则两个尺度预测结果不一致，提高边缘加强图的权重；两个尺度m和m-1之间的边缘加强图计算可以如下：
Am，m-1＝|Sm·(1-Sm-1)-Sm-1·(1-Sm)| 公式(1)。
例如，当两个尺度的人像分割预测值Sm和Sm-1在同一位置的差异较小，即在预设范围内，则图片的预测更可能为正确，此处所说的正确，是指更加接近标准。此处，用户可以根据自身需求，对预设阈值进行设定，以使得两个尺度的人像分割预测值在同一位置得到的人像分割值相似为基准，此处不做具体限定。若超出阈值，则说明两个尺度预测结果不一致，此时，可以提高边缘加强图的权重，以便于在下个尺度重新加强学习。并采用公式(1)，对两个尺度m和m-1之间的边缘加强图Am，m-1进行计算。通过公式(1)的计算，可以对图片上同一位置两个尺度的人像分割值不一致的的地方进行强化学习，以取得更加准确地边缘，具体当Sm和Sm-1得到不同结果时的值如图4所示。本实施例中，人像分割值可以为人像分割预测值。每个尺度的边缘加强图通过卷积层扩展到多维度，与下一个维度的高维特征向量融合，并进行加强学习。通过逐层的学习，取得的人像预测结果由粗糙变为精细，最终得到最后的人像分割结果。
可选的，在预设深度模型的训练中，通过损失函数对每个尺度的人像分割预测值进行有监督学习；损失函数，为：
在公式(2)中，W是深度模型各尺度共用权重集合，wm特指各尺度特有权重。gi代表人像数据集中第i个像素标记出的标准结果，是其对应的第m尺度上相应位置的人像预测结果，N是训练集上所有图片的所有像素总和。本实施例中，在对预设深度模型训练过程中，每个尺度的人像预测图都通过Sigmoid Cross Entropy Loss交叉熵损失函数/>进行有监督学习,损失函数如公式(2)所示。
本实施例中，在进行预设深度模型的训练过程中，参数的设置可以如下：训练过程中，参数设置如下：学习率learning rate固定为1e-8，权重衰减weight decay为0.0005，动量momentum为0.9，五个尺度的损失函数权重皆为1，批量大小batch size为24，共训练80个周期。训练完成之后，通过验证集和测试集中的图片对预设深度模型进行验证和测试，在验证和测试不合格时，进行重新训练和修正，从而得到最终的预设深度模型。值得说明的是，此处对参数只是列举，并不是限定。
S12、根据人像，确定目标图片的背景。
在将目标图片中的人像分割完成后，可以确定人像和背景。例如，在将目标图片输入到预设深度模型后，通过Sigmoid激活函数取得人像分割图像，确定人像的边缘，分割出人像与背景。
S13、基于预设规则，对背景进行虚化。
可选的，可以通过高斯模糊，对背景进行虚化，在对背景进行虚化效果处理的处理公式，包括：
在公式(3)中，r是模糊半径(u2+v2)，是正态分布的标准偏；通过控制模糊半径r来调整背景的虚化程度，获取目标图片的背景虚化结果。
在一个具体的背景虚化过程中，用户可以通过改变模糊半径r的值，来调整背景的虚化程度，便于用户的使用。图5为本发明实施例提供的一种单张图片背景虚化效果对比图，通过图5可以看到，目标图片的背景得到了很好的虚化。
本发明实施例提供的单张图片背景虚化方法，实现基于普通单摄像头图片的人像模式下的背景虚化，即在单张人像图片中检测出人像，并将人像分割出来，再对背景部分进行虚化处理，达到美化图片的效果。通过预设深度模型，实现了通过单张图片实现对人像分割，进行背景虚化的目的。本发明完全基于单张图片，降低了人像模式下背景虚化处理的硬件要求。同时，当人像距离摄像头过远，或当光线较暗，手机双摄或双像素人像模式失效时，本发明便可以作为补充技术，在仅有单张图像的条件下，依然高质量完成背景虚化处理的任务。本发明中通过多尺度边缘加强网络进行人像分割的监督学习，并利用训练出的深度模型分割人像并进行背景虚化处理，基于深度学习网络，相较于传统方法，保证了人像分割的准确性。
基于一个总的发明构思，本发明实施例还提供一种单张图片背景虚化装置。
请参阅图6，本发明实施例提供的装置，可以包括以下结构：分割模块61、确定模块62和虚化模块63。
分割模块61，用于基于预设深度模型，分割目标图片中的人像。本实施例中，分割模块61，即根据目标图片调用预设深度模型。
确定模块62，用于根据人像，确定目标图片的背景。
虚化模块63，用于基于预设规则，对背景进行虚化。
可选的，分割模块61基于的预设深度模型由模型构建模块64构建；
模型构建模块64，用于确定人像图片数据集；将人像图片数据集划分为训练集、验证集和测试集；基于卷积神经网络结构，提取训练集中图片的多尺度的高维特征向量，多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；在每个尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；基于边缘加强图和逐尺度融合，获取图片的人像分割结果；基于卷积神经网络，对人像图片数据集进行训练、验证和测试，构建预设深度模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供的单张图片背景虚化装置，实现了基于普通单摄像头图片的人像模式下的背景虚化，即在单张人像图片中检测出人像，并将人像分割出来，再对背景部分进行虚化处理，达到美化图片的效果。通过预设深度模型，实现了通过单张图片实现对人像分割，进行背景虚化的目的。本发明完全基于单张图片，降低了人像模式下背景虚化处理的硬件要求。同时，当人像距离摄像头过远，或当光线较暗，手机双摄或双像素人像模式失效时，本发明便可以作为补充技术，在仅有单张图像的条件下，依然高质量完成背景虚化处理的任务。本发明中通过多尺度边缘加强网络进行人像分割的监督学习，并利用训练出的深度模型分割人像并进行背景虚化处理，基于深度学习网络，相较于传统方法，保证了人像分割的准确性。
基于一个总的发明构思，本发明实施例还提供一种单张图片背景虚化设备。
图7为本发明实施例提供的一种单张图片背景虚化设备结构示意图，请参阅图7，本发明实施例提供的一种单张图片背景虚化设备，包括：处理器71，以及与处理器相连接的存储器72。
存储器72用于存储计算机程序，计算机程序至少用于上述任一实施例记载的单张图片背景虚化方法；
处理器71用于调用并执行存储器中的计算机程序。
例如，在本发明实施例中，单张图片背景虚化设备，可以为移动终端，如手机、平板等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。在本发明实施例中，如果用硬件来实现，例如在手机端，需要有深度学习处理能力的芯片，比如华为手机搭载的麒麟系列芯片、高通骁龙系列芯片。普通FPGA处理不了深度模型，只能在高斯模糊部分发挥作用。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种单张图片背景虚化方法，其特征在于，包括：
基于预设深度模型，分割目标图片中的人像；
根据所述人像，确定所述目标图片的背景；
基于预设规则，对所述背景进行虚化；
所述预设深度模型的构建方法，包括：
确定人像图片数据集；
将所述人像图片数据集划分为训练集、验证集和测试集；
基于卷积神经网络结构，提取所述训练集中图片的多尺度的高维特征向量，所述多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；
在每个所述尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；
基于所述边缘加强图和逐尺度融合，获取图片的人像分割结果；
基于卷积神经网络，对所述人像图片数据集进行训练、验证和测试，构建所述预设深度模型；
还包括：
若两个尺度的人像分割预测值在同一位置的差异在预设范围内，则所述图片的预测为正确；
若两个尺度的人像分割预测值在同一位置的差异超出所述预设范围，则两个尺度预测结果不一致，提高边缘加强图的权重；
两个尺度m和m-1之间的边缘加强图Am，m-1计算如下：
Am,m-1＝|Sm·(1-Sm-1)-Sm-1·(1-Sm)，
其中，Sm和Sm-1为两个尺度的人像分割预测值。
2.根据权利要求1所述的方法，其特征在于，所述基于预设规则，对所述背景进行虚化，包括：
通过高斯模糊，对所述背景进行虚化效果处理。
3.根据权利要求1所述的方法，其特征在于，还包括：
对图片上同一位置两个尺度的人像分割预测值不同的地方进行加强学习，获取图片的人像分割结果。
4.根据权利要求1所述的方法，其特征在于，在所述预设深度模型的训练中，通过损失函数对每个尺度的人像分割预测值进行有监督学习；
所述损失函数，为：
其中，W是深度模型各尺度共用权重集合，wm指各尺度特有权重，gi代表人像数据集中第i个像素标记出的标准结果，是其对应的第m尺度上相应位置的人像预测结果，N是训练集上所有图片的所有像素总和。
5.根据权利要求2所述的方法，其特征在于，所述通过高斯模糊，对所述背景进行虚化效果处理的处理公式，包括：
其中，r是模糊半径，r2＝u2+v2，σ是正态分布的标准偏；
通过控制模糊半径r来调整背景的虚化程度，获取所述目标图片的背景虚化结果。
6.一种单张图片背景虚化装置，其特征在于，包括：分割模块、确定模块和虚化模块；
所述分割模块，用于基于预设深度模型，分割目标图片中的人像；
所述确定模块，用于根据所述人像，确定所述目标图片的背景；
所述虚化模块，用于基于预设规则，对所述背景进行虚化；
所述预设深度模型的构建方法，包括：
确定人像图片数据集；
将所述人像图片数据集划分为训练集、验证集和测试集；
基于卷积神经网络结构，提取所述训练集中图片的多尺度的高维特征向量，所述多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；
在每个所述尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；
基于所述边缘加强图和逐尺度融合，获取图片的人像分割结果；
基于卷积神经网络，对所述人像图片数据集进行训练、验证和测试，构建所述预设深度模型；
还包括：
若两个尺度的人像分割预测值在同一位置的差异在预设范围内，则所述图片的预测为正确；
若两个尺度的人像分割预测值在同一位置的差异超出所述预设范围，则两个尺度预测结果不一致，提高边缘加强图的权重；
两个尺度m和m-1之间的边缘加强图Am，m-1计算如下：
Am,m-1＝|Sm·(1-Sm-1)-Sm-1·(1-Sm)|，
其中，Sm和Sm-1为两个尺度的人像分割预测值。
7.根据权利要求6所述的装置，其特征在于，所述分割模块基于的预设深度模型由模型构建模块构建；
所述模型构建模块，用于确定人像图片数据集；将所述人像图片数据集划分为训练集、验证集和测试集；基于卷积神经网络结构，提取所述训练集中图片的多尺度的高维特征向量，所述多尺度为至少两个尺度，每个高维特征向量，关联一维人像分割预测值；在每个所述尺度，通过相邻两个尺度的人像分割预测值，获取边缘加强图；对下一个尺度的高维特征向量进行加强；基于所述边缘加强图和逐尺度融合，获取图片的人像分割结果；基于卷积神经网络，对所述人像图片数据集进行训练、验证和测试，构建所述预设深度模型。
8.一种单张图片背景虚化设备，其特征在于，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1～4任一项所述的单张图片背景虚化方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
CN202010613888.1A 2020-06-30 2020-06-30 单张图片背景虚化方法、装置及设备 Active CN111724300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010613888.1A CN111724300B (zh) 2020-06-30 2020-06-30 单张图片背景虚化方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010613888.1A CN111724300B (zh) 2020-06-30 2020-06-30 单张图片背景虚化方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111724300A CN111724300A (zh) 2020-09-29
CN111724300B true CN111724300B (zh) 2023-10-13

Family

ID=72570595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010613888.1A Active CN111724300B (zh) 2020-06-30 2020-06-30 单张图片背景虚化方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111724300B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643305B (zh) * 2021-08-10 2023-08-25 珠海复旦创新研究院 一种基于深度网络上下文提升的人像检测与分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392933A (zh) * 2017-07-12 2017-11-24 维沃移动通信有限公司 一种图像分割的方法及移动终端
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109117760A (zh) * 2018-07-27 2019-01-01 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109889724A (zh) * 2019-01-30 2019-06-14 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质
WO2020068104A1 (en) * 2018-09-28 2020-04-02 Hewlett-Packard Development Company, L.P. Generating spatial gradient maps for a person in an image
CN111311485A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392933A (zh) * 2017-07-12 2017-11-24 维沃移动通信有限公司 一种图像分割的方法及移动终端
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109117760A (zh) * 2018-07-27 2019-01-01 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
WO2020068104A1 (en) * 2018-09-28 2020-04-02 Hewlett-Packard Development Company, L.P. Generating spatial gradient maps for a person in an image
CN109889724A (zh) * 2019-01-30 2019-06-14 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质
CN111311485A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
单目深度估计技术进展综述;黄军;王聪;刘越;毕天腾;;中国图象图形学报;第24卷(第12期);2081-2097 *
基于多尺度特征融合的单目图像深度估计;王泉德;张松涛;;华中科技大学学报(自然科学版);第48卷(第05期);7-12 *

Also Published As

Publication number Publication date
CN111724300A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Cai et al. Toward real-world single image super-resolution: A new benchmark and a new model
Lutz et al. Alphagan: Generative adversarial networks for natural image matting
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN109493350B (zh) 人像分割方法及装置
CN108898567B (zh) 图像降噪方法、装置及系统
US20210407050A1 (en) Artificial Aperture Adjustment for Synthetic Depth of Field Rendering
CN106899781B (zh) 一种图像处理方法及电子设备
JP4664379B2 (ja) 画像データ処理用の電子デバイス及び画像データ処理方法
CN108833784B (zh) 一种自适应构图方法、移动终端及计算机可读存储介质
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
CN107948510B (zh) 焦距调整的方法、装置及存储介质
Zhou et al. Variational Dirichlet blur kernel estimation
Dutta Depth-aware blending of smoothed images for bokeh effect generation
WO2023151511A1 (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
KR20220092771A (ko) 촬영 방법 및 장치, 단말기, 저장 매체
CN114390201A (zh) 对焦方法及其装置
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN111724300B (zh) 单张图片背景虚化方法、装置及设备
CN114897916A (zh) 图像处理方法及装置、非易失性可读存储介质、电子设备
JP2021072081A (ja) 画像処理モデルのトレーニング方法、装置および媒体
CN110956063A (zh) 图像处理方法、装置、设备及存储介质
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN116805282A (zh) 图像超分辨率重建方法、模型训练方法、装置及电子设备
CN109360166B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant