CN110610526A - 一种基于wnet对单目人像进行分割和景深渲染的方法 - Google Patents

一种基于wnet对单目人像进行分割和景深渲染的方法 Download PDF

Info

Publication number
CN110610526A
CN110610526A CN201910746520.XA CN201910746520A CN110610526A CN 110610526 A CN110610526 A CN 110610526A CN 201910746520 A CN201910746520 A CN 201910746520A CN 110610526 A CN110610526 A CN 110610526A
Authority
CN
China
Prior art keywords
image
wnet
portrait
depth
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910746520.XA
Other languages
English (en)
Other versions
CN110610526B (zh
Inventor
杨洋
黎曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910746520.XA priority Critical patent/CN110610526B/zh
Publication of CN110610526A publication Critical patent/CN110610526A/zh
Application granted granted Critical
Publication of CN110610526B publication Critical patent/CN110610526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于WNET对单目人像进行分割和景深渲染的方法，通过叠加UNET构建WNET网络参数模型，将训练好的WNET网络参数模型载入移动客户端，在移动客户端内实现对人像图片的初步分割，采用双线性插值法将初步分割的掩膜图像缩放到原图大小；再对掩膜图像进行形态学运算，对掩膜图像进行腐蚀和膨胀处理，去除边缘不在预设区域内的连通区域，保留剩余的连通区域，边缘细化处理得到人像掩膜图像，将分离的前景和高斯模糊后的背景进行合成得到景深渲染图；本发明的方法能够极大地缩减了计算量和模型尺寸，同时提升了人像分割的精度，从而实现移动端单目摄像头的人像景深渲染。

Description

一种基于WNET对单目人像进行分割和景深渲染的方法
技术领域
本发明属于图像处理技术领域，具体是一种基于WNET对单目人像进行分割和景深渲染的方法。
背景技术
随着智能手机的普及和移动端计算性能的提高，针对移动端人像处理的应用越来越多, 而实时的人像分割也变得越来越重要。随着近几年深度学习的兴起和CNN网络在图像处理领域的突出表现，利用CNN做图像分割逐渐成为主流同时也是最佳选择，越来越多的人开始利用FCN网络做前端特征提取，利用条件随机场或者隐马尔科夫做后端处理，这样的方法在一定程度上提升了精度，但是这样的网络模型太耗时，没法在移动端做到实时。
我们在全卷积网络模型的基础上设计一个精简的网络模型，在智能手机上可以做到快速分割，我们称之为WNET网络模型。景深渲染是一种模拟单反景深效果的技术，具有突出拍摄重点的特点。现在比较流行的做法是采用基于双摄像头的设备，通过立体视觉的原理来计算深度图，然后通过镜头模糊的方式来模拟单反的景深效果。基于双摄像头的方法虽然能达到背景虚化的效果，但这样的设备需要配备双摄像头，提高了成本，所以开发基于单摄像头的景深渲染方法就显得特别有必要。
发明内容
本发明根据现有技术中存在的问题，提出了一种基于WNET对单目人像进行分割和景深渲染的方法，提供了一种轻量的网络结构，能够极大地缩减了计算量和模型尺寸，同时提升了人像分割的精度，从而实现移动端单目摄像头的景深渲染。
一种基于WNET对单目人像进行分割和景深渲染的方法，包括以下步骤：
步骤1，通过叠加UNET构建WNET网络参数模型，并完成WNET网络参数模型的训练；
步骤2，将训练好的WNET网络参数模型载入移动客户端，在移动客户端内实现对人像图片的初步分割，获得初步分割的掩膜图像；
步骤3，采用双线性插值法将初步分割的掩膜图像缩放到原图大小；
步骤4，将步骤3处理后的掩膜图像进行形态学运算，对掩膜图像进行腐蚀和膨胀处理，去除边缘不在预设区域内的连通区域，保留剩余的连通区域；
步骤5，把进行腐蚀和膨胀处理后的掩膜图像作为引导滤波的输入图像，使用原始彩色图像作为引导图像，进行图像引导滤波操作，得到边缘细化的人像掩膜图像；
步骤6，对原始彩色图像进行高斯模糊，再根据掩膜图像，将原始彩色图像和高斯模糊图像进行合成得到景深渲染图。
进一步，构建WNET网络参数模型的方法为：
步骤1.1，训练数据集收集：搜集人像图片和标注好人像区域的掩膜图像；
步骤1.2，数据预处理：将掩膜图像和对应的人像图片缩放；
步骤1.3，网络模型设计：通过将两个UNET网络模型进行叠加形成WNET网络参数模型，即将第一个UNET网络模型的输入作为第二个UNET网络模型的输入，最终输出掩膜图像。
进一步，所述形态学运算的核是5×5全1矩阵；
进一步，先将掩膜图片转换成二值图像0和255；腐蚀处理就是将5×5大小的全1矩阵的中心与该点像素的二值化的掩膜图像覆盖区域进行“与”计算，如果覆盖区域全为255则该点像素值为255，否则就为0；膨胀处理就是将5×5大小的全1矩阵中心与该点像素的二值化的掩膜图像覆盖区域进行“或”计算，如果覆盖区域全为0则该点像素值为0，否则就为255；经过腐蚀和膨胀处理后，去除掩膜图像中边缘不在预设区域内的连通区域，保留剩余的连通区域。
进一步，所述引导滤波的半径为5，平滑项为0.16。
进一步，所述景深渲染图的合成公式表示为：
渲染图＝(掩膜图÷255)×原始彩色图+[1－(掩膜图÷255)]×高斯模糊图；
进一步，高斯滤波的标准差是1.6，卷积核大小是9×9。
进一步，所述移动客户端为设有单目摄像头的移动设备，如手机。
本发明的有益效果：
本发明是深度学习在实际中的应用。不同于常用的方法。由于手机计算性能的局限性，所以一个轻量的网络结构也至关重要，我们提出了叠加UNET从而得到WNET。极大地缩减了计算量和模型尺寸，同时提升了人像分割的精度，从而实现移动设备端单目摄像头的景深渲染。
附图说明
图1是本发明方法的流程图；
图2是本发明WNET网络参数模型；
图3中的图3a是初步分割掩膜图，3b导向滤波保边后的图片；
图4中的图4a是原图，4b是景深渲染的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，本发明所提出的一种基于WNET对单目人像进行分割和景深渲染的方法；具体过程如下：
步骤1，训练WNET网络参数模型，具体过程如下：
步骤1.1，训练数据集收集：搜集人像图片和每张人像图片标注好人像区域的掩膜图像；
步骤1.2，数据预处理：将掩膜图像和对应的人像图片缩放至256×256的预定尺寸；避免输入图像过大时计算量太大，还可以降低所需要消耗的内存；
步骤1.3，网络模型设计：通过将两个UNET网络模型进行叠加形成WNET网络参数模型，即将第一个UNET网络模型的输入作为第二个UNET网络模型的输入，最终输出掩膜图像；再将人像图片和人像图片对应的掩膜图像输入WNET网络参数模型进行训练，当神经网络收敛后，存储网络参数模型，完成WNET网络参数模型的训练。
结合附图2，本发明的UNET网络模型处理过程中与现有的UNET网络模型的处理具有以下区别：
1、现有的UNET网络模型是用来处理灰色图像输入的图片是一个单通道的图片，本发明中的WNET网络参数模型是一个彩色图片输入的是rgb的三通道图片。
2、现有的UNET网络模型在第四下采样后将通道数增加到1024个通道，本发明只用了512个通道减少了参数数量，减少计算量，提高了效率。
3、现有的UNET网络模型中的上采样过程中因为没有进行边缘填充导致右边尺寸比对应左边的小，所以在与进行拼接(concat)操作前需要将左侧裁剪与右侧同样大小。本发明的WNET网络参数模型是每次上采样都进行了填充所以直接将左侧的复制到右边进行拼接操作。
步骤2，将训练好的WNET网络参数模型载入移动客户端，本实施是搭载在设有单目摄像头的手机中，即把训练好的网络权重信息保存为unet_seg_weights.h文件，加载预训练好的unet_seg_weights模型。将整个模型架构和权重转换成一个可用于移动端的TensorFlow模型。将unet_seg_weights.h文件，转换成unet_seg_weights.pb文件。
将利用手机的单目摄像头获取的人像图片输入WNET网络参数模型，在手机内实现对人像图片的初步分割，获得初步分割的掩膜图像如图3a所示。
步骤3，采用双线性插值法将初步分割的掩膜图像缩放到原图大小。
步骤4，将步骤3处理后的掩膜图像进行形态学运算，具体过程如下：
步骤4.1，将掩膜图片转换成二值图像0和255。
步骤4.2，腐蚀处理就是将5×5大小的全1矩阵的中心与该点像素的二值化的掩膜图像覆盖区域进行“与”计算，如果覆盖区域全为255则该点像素值为255，否则就为0。
步骤4.3，膨胀处理将5×5大小的全1矩阵中心与该点像素的二值化的掩膜图像覆盖区域进行“或”计算，如果覆盖区域全为0则该点像素值为0，否则就为255。
步骤4.5，经过对掩膜图像进行腐蚀和膨胀处理后，去除掩膜图像中边缘不在预设区域内的连通区域，保留剩余的连通区域，如图3b所示。
步骤5，把进行腐蚀和膨胀处理后的掩膜图像作为引导滤波的输入图像，使用原始彩色图像作为引导图像，进行图像引导滤波操作，得到边缘细化的人像掩膜图像，其中，引导滤波的半径为5，平滑项是0.16。
步骤6，对分离出来的背景进行高斯模糊，再将分离的前景和高斯模糊后的背景进行合成得到景深渲染图，其中，高斯滤波的标准差是1.6，卷积核大小是9×9。上述的渲染图合成公式为：渲染图＝(掩膜图÷255)×原始彩色图+[1－(掩膜图÷255)]×高斯模糊背景图， 4a为原图，4b为景深渲染的效果图。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，包括以下步骤：
步骤1，通过叠加UNET构建WNET网络参数模型，并完成WNET网络参数模型的训练；
步骤2，将训练好的WNET网络参数模型载入移动客户端，在移动客户端内实现对人像图片的初步分割，获得初步分割的掩膜图像；
步骤3，采用双线性插值法将初步分割的掩膜图像缩放到原图大小；
步骤4，将步骤3处理后的掩膜图像进行形态学运算，对掩膜图像进行腐蚀和膨胀处理，去除边缘不在预设区域内的连通区域，保留剩余的连通区域；
步骤5，把进行腐蚀和膨胀处理后的掩膜图像作为引导滤波的输入图像，使用原始彩色图像作为引导图像，进行图像引导滤波操作，得到边缘细化的人像掩膜图像；
步骤6，对原始彩色图像进行高斯模糊，根据掩膜图像，将原始彩色图像和高斯模糊图像进行融合得出最终渲染结果。
2.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，构建WNET网络参数模型的方法为：
步骤1.1，训练数据集收集：搜集人像图片和标注好人像区域的掩膜图像；
步骤1.2，数据预处理：将掩膜图像和对应的人像图片缩放；
步骤1.3，网络模型设计：通过将两个UNET网络模型进行叠加形成WNET网络参数模型，即将第一个UNET网络模型的输入作为第二个UNET网络模型的输入，最终输出掩膜图像。
3.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，所述形态学运算的核是5×5全1矩阵。
4.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，先将掩膜图片转换成二值图像0和255；腐蚀处理就是将5×5大小的全1矩阵的中心与该点像素的二值化的掩膜图像覆盖区域进行“与”计算，如果覆盖区域全为255则该点像素值为255，否则就为0；膨胀处理就是将5×5大小的全1矩阵中心与该点像素的二值化的掩膜图像覆盖区域进行“或”计算，如果覆盖区域全为0则该点像素值为0，否则就为255；经过腐蚀和膨胀处理后，去除掩膜图像中边缘不在预设区域内的连通区域，保留剩余的连通区域。
5.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，所述景深渲染图的合成公式表示为：
渲染图＝(掩膜图÷255)×原始彩色图+[1－(掩膜图÷255)]×高斯模糊图。
6.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，高斯滤波的标准差是1.6，卷积核大小是9×9。
7.根据权利要求1所述的一种基于WNET对单目人像进行分割和景深渲染的方法，其特征在于，所述移动客户端为设有单目摄像头的移动设备。
CN201910746520.XA 2019-08-12 2019-08-12 一种基于wnet对单目人像进行分割和景深渲染的方法 Active CN110610526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910746520.XA CN110610526B (zh) 2019-08-12 2019-08-12 一种基于wnet对单目人像进行分割和景深渲染的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910746520.XA CN110610526B (zh) 2019-08-12 2019-08-12 一种基于wnet对单目人像进行分割和景深渲染的方法

Publications (2)

Publication Number Publication Date
CN110610526A true CN110610526A (zh) 2019-12-24
CN110610526B CN110610526B (zh) 2023-09-22

Family

ID=68889940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910746520.XA Active CN110610526B (zh) 2019-08-12 2019-08-12 一种基于wnet对单目人像进行分割和景深渲染的方法

Country Status (1)

Country Link
CN (1) CN110610526B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN111524204A (zh) * 2020-05-06 2020-08-11 杭州趣维科技有限公司 一种人像发丝动漫化纹理生成方法
CN111581568A (zh) * 2020-03-25 2020-08-25 中山大学 一种网页端人物换背景的方法
CN111754528A (zh) * 2020-06-24 2020-10-09 Oppo广东移动通信有限公司 人像分割方法、装置、电子设备和计算机可读存储介质
CN112686939A (zh) * 2021-01-06 2021-04-20 腾讯科技（深圳）有限公司 景深图像的渲染方法、装置、设备及计算机可读存储介质
CN112802049A (zh) * 2021-03-04 2021-05-14 山东大学 一种家庭物品检测数据集构建方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330900A (zh) * 2017-06-22 2017-11-07 成都品果科技有限公司 一种自动人像分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330900A (zh) * 2017-06-22 2017-11-07 成都品果科技有限公司 一种自动人像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨小舟: "一种基于单目图像的智能手机景深模拟方法研究", 《万方数据》 *
雷锋网: "医学影像分割难题获突破可自动调参，适应所有数据集", 《HTTPS://PAGE.OM.QQ.COM/PAGE/OVYGUSAELPTU5RBCOAIPSR3A0》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111401247B (zh) * 2020-03-17 2023-07-28 杭州小影创新科技股份有限公司 一种基于级联卷积神经网络的人像分割方法
CN111581568A (zh) * 2020-03-25 2020-08-25 中山大学 一种网页端人物换背景的方法
CN111581568B (zh) * 2020-03-25 2023-04-18 中山大学 一种网页端人物换背景的方法
CN111489322A (zh) * 2020-04-09 2020-08-04 广州光锥元信息科技有限公司 给静态图片加天空滤镜的方法及装置
CN111524204A (zh) * 2020-05-06 2020-08-11 杭州趣维科技有限公司 一种人像发丝动漫化纹理生成方法
CN111524204B (zh) * 2020-05-06 2023-06-27 杭州小影创新科技股份有限公司 一种人像发丝动漫化纹理生成方法
CN111754528A (zh) * 2020-06-24 2020-10-09 Oppo广东移动通信有限公司 人像分割方法、装置、电子设备和计算机可读存储介质
CN112686939A (zh) * 2021-01-06 2021-04-20 腾讯科技（深圳）有限公司 景深图像的渲染方法、装置、设备及计算机可读存储介质
CN112686939B (zh) * 2021-01-06 2024-02-02 腾讯科技（深圳）有限公司 景深图像的渲染方法、装置、设备及计算机可读存储介质
CN112802049A (zh) * 2021-03-04 2021-05-14 山东大学 一种家庭物品检测数据集构建方法及系统
CN112802049B (zh) * 2021-03-04 2022-10-11 山东大学 一种家庭物品检测数据集构建方法及系统

Also Published As

Publication number Publication date
CN110610526B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN110610526B (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN110287846A (zh) 一种基于注意力机制的人脸关键点检测方法
CN115442515A (zh) 图像处理方法和设备
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112348747A (zh) 图像增强方法、装置及存储介质
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
Purohit et al. Depth-guided dense dynamic filtering network for bokeh effect rendering
CN111476213A (zh) 一种基于道路影像的遮挡物覆盖区域填充方法和装置
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
Dutta Depth-aware blending of smoothed images for bokeh effect generation
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
CN111654621B (zh) 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
WO2022261828A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
Singh et al. A comprehensive review of convolutional neural network based image enhancement techniques
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant