CN111581568A - 一种网页端人物换背景的方法 - Google Patents

一种网页端人物换背景的方法 Download PDF

Info

Publication number
CN111581568A
CN111581568A CN202010218386.9A CN202010218386A CN111581568A CN 111581568 A CN111581568 A CN 111581568A CN 202010218386 A CN202010218386 A CN 202010218386A CN 111581568 A CN111581568 A CN 111581568A
Authority
CN
China
Prior art keywords
background
picture
mask
changing
webpage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010218386.9A
Other languages
English (en)
Other versions
CN111581568B (zh
Inventor
王熊辉
胡建芳
郑伟诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010218386.9A priority Critical patent/CN111581568B/zh
Publication of CN111581568A publication Critical patent/CN111581568A/zh
Application granted granted Critical
Publication of CN111581568B publication Critical patent/CN111581568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种网页端人物换背景的方法，包括下述步骤：上传待转换背景的图片或视频；构建网页端人物换背景架构；在服务器端对其进行预处理，采用Mask‑RCNN作为图像分割模型，使用训练好的分割模型并行运算得到二值化的掩膜；得到的掩膜经过高斯低通滤波器进行羽化，然后和指定的背景进行融合，得到换背景后的图片或视频；将输入图片、掩膜和换背景后的图片存入数据库中，并将换背景后的图片返回至网页端。本发明提出的一种网页端人物换背景的方法，通过网页和服务器之间的通信，将复杂的计算过程放到服务器计算，它可以同时满足对图片和视频分割的快速性和准确性要求。

Description

一种网页端人物换背景的方法
技术领域
本发明属于图像分割的技术领域，具体涉及一种网页端人物换背景的方法。
背景技术
图像分割是计算机视觉领域的一项基础且重要的研究。它要求模型根据灰 度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域， 即将目标从背景中分离出来，同时还需要给出目标所在的类别。图像分割有很 多方面的应用，例如医学影像(Medical Imaging)、人脸识别(Face recognition)、 指纹识别(Fingerprintrecognition)和自动驾驶(Autonomous driving)等等。人 物换背景首先需要将人体分割出来，然后再将其嵌入到事先准备好的背景之中， 在视频会议、实时展示等场景中，确保分割的精准性和实时性将是其中最为重 要的一环。图片分割也是视频分割的基础，通过将视频帧视为单个图像，可以 将问题转化为图像分割，并在时间维度上进行回归约束。
已有的工作主要可以分为两类：基于数字图像处理、拓扑学和数学的传统 分割方法；基于深度学习的现代分割方法。
(1)基于数字图像处理、拓扑学和数学的传统分割方法：传统分割方法包 括阈值法、分水岭算法、边缘检测算法等。阈值法的主要思路是根据图像的灰 度值计算一个或多个灰度阈值，根据这些灰度阈值将图像的像素点划分到不同 的类别中，它特别适用于目标和背景灰度值差异较大的情况，优点是计算简单， 效率较高，缺点是只考虑了灰度值特征而没有考虑空间特征，对噪声比较敏感， 鲁棒性不高。分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法， 其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值 表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆 的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在 每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着 浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处 构筑大坝，即形成分水岭。边缘检测算法通过检测包含不同区域的边缘来解决 分割问题，通常情况下边缘处的像素灰度值变化比较剧烈，对应着频率域的高 频部分，通过一阶或者二阶微分算子可以较好的检测边缘点，例如Laplacian算 子、Canny算子等。其优点是定位准确速度快，缺点是不能保证边缘的连续性和 封闭性。
(2)基于深度学习的图像分割：深度学习的出现大大提升了图像分割的性 能，这一类方法的主要思路是通过卷积神经网络提取图像的特征表示，再使用 图像的像素级分割和类别作为监督信号对模型进行端对端的训练。比较典型的 算法包括FCN，U-net，DeepLab，Mask-RCNN等。FCN提出了全卷积网络和反 卷积层，它将传统卷积网络中的全连接网络替换成了卷积网络，使得网络可以 接受任意大小的图片，并使用反卷积从特征图输出和原图一样大小的分割图。 U-net是典型的编码器-解码器结构，通过编码器提取整个图形的语义信息，再融 合浅层的高分辨率信息进行分割，被广泛的适用于医学图形分割中。Deeplab提 出了空洞卷积扩大感受野，保持分辨率，并融合了多尺度信息。Mask-RCNN同 时解决目标检测和图像分割两个任务，提出了RoiAlign替代了之前的RoiPooling， 使用线性插值替代取整，消除了两次量化误差，提高了分割的精细程度。
传统分割方法的主要缺点是鲁棒性不高导致精度较低，不能满足差异化的 真实场景需求，且无法对分割结果进行正确的分类，即无法判断分割区域是否 是人体。例如，阈值法对噪声敏感，且对灰度差异不明显以及不同目标灰度值 有重叠分割不明显；分水岭分割算法通常会由于噪声和梯度的其他局部不规则 性造成过度分割；边缘检测算法能准确且快速的定位到边缘，但是不能保证边 缘的连续性和封闭性，也不能得到一个完整的区域结构。
而基于深度学习的图像分割，在分割精度方面大大超越了传统的图像分割 算法，只要训练样本充足，便能很大程度上满足真实场景下的各种需求，鲁棒 性较强。但另一方面，它也面临着计算复杂度高，训练数据量较大，模型结构 复杂等问题。近几年来随着卷积神经网络模型的迅速发展，VGG，ResNet等主 流CNN模型已经证实模型的深度和复杂度直接影响着图片的特征强度，越大越 深的主干网络能很大程度上提升分类，检测，分类等计算机视觉相关任务的性 能，所以为了确保分割的准确度，基于深度学习的方法在本地运算时会面临着 速度上的瓶颈，家用机器的运算能力不能满足图片乃至视频分割的实时性要求。
因此，对于给定含人物和背景的图片或视频，如何快速更换背景，是本领 域技术人员研究的方向。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种网页端人物 换背景的方法，通过网页和服务器之间的通信，将复杂的计算过程放到服务器 计算，它可以同时满足对图片和视频分割的快速性和准确性要求。
为了达到上述目的，本发明采用以下技术方案：
一种网页端人物换背景的方法，包括下述步骤：
上传待转换背景的图片或视频；
构建网页端人物换背景架构，包括前端和后端，前端采用React进行网页端 设计，用以上传和下载图片和视频，后端使用Django接受图片利用卷积神经网 络进行图片分割，将分割出的人体与新的背景做融合；使用SQLite实现数据库， 用以储存原始图片以及背景图片；前端和后端之间使用nginx反向代理进行前后 端交互；
在服务器端对其进行预处理，采用Mask-RCNN作为图像分割模型，使用训 练好的分割模型并行运算得到二值化的掩膜；
得到的掩膜经过高斯低通滤波器进行羽化，然后和指定的背景进行融合， 得到换背景后的图片或视频；
将输入图片、掩膜和换背景后的图片存入数据库中，并将换背景后的图片 返回至网页端。
作为优选的技术方案，如果上传的是视频，则利用ffmpeg将其解为T帧， 通过并行计算提高分割速度。
作为优选的技术方案，使用ResNet-50作为提取图片特征的主干网络,利用 双线性插值将输入图片分辨率调整为224×224，所以模型的输入张量大小为 T×3×224×224；并使用随机梯度下降算法来优化这些网络的参数，在前景和预设 的背景融合过程中，为了使换背景后的图片更加自然，使用高斯低通滤波器对 二值化后的掩膜
Figure BDA0002425203590000041
进行了一定程度的羽化。
作为优选的技术方案，所述Mask-RCNN是在Faster RCNN的基础上，延伸 出了一个mask分支；根据Faster RCNN计算出来的每个候选框的分数，筛选出 一大堆更加准确的兴趣区域(ROI)，然后用一个ROI Align层提取这些ROI的 特征，利用像素级分类计算ROI上为前景的区域，根据ROI和原图的比例，将 这个mask扩大回原图，从而得到一个分割的mask。
作为优选的技术方案，提取人物的mask之后，再将其剪裁至预设的背景图 片中，就达到了人物换背景的目的；由于视频可以看成多帧图片，通过张量的 并行计算能大大增加视频的分割速度。
作为优选的技术方案，所述图像分割模型损失函数有三部分组成：
L＝Lclc+Lbox+Lmask
其中Lclc是多元交叉熵分类损失函数，Lbox是smooth L1边框回归损失函数， Lmask是平均二元交叉熵掩膜损失函数。
作为优选的技术方案，所述网页端提供的功能有待分割图片选择，背景选 择，分割模型主干网络选择，分割结果下载和换背景后的图片下载；
Django用于网页后台逻辑的实现和数据的读取，负责给用户提供预设好的 背景图片，将用户上传的待换背景图片或视频传输至服务器，解帧后送入预训 练好的Mask-RCNN计算得到前景的掩膜，再将前景和预设的背景融合，保存到 数据库中并返回至网页端。
作为优选的技术方案，用公式来更具体的描述换背景的过程,记I为输入图片， J为预设的背景图片，Θ为若干个1*1的卷积层，则离散化前的掩膜可以表示为：
M＝sigmoid(Θ(fI))
其中fI是输入图片的CNN特征图上的ROI区域，M代表每一个像素点是前 景的概率，通过sigmoid函数计算得到，其二元交叉熵即为损失函数Lmask，利 用双线性插值将M恢复至原图大小，再以0.5为阈值将其进行二值化，得到离 散化后的掩膜
Figure BDA0002425203590000051
则输出图片可以表示为：
Figure BDA0002425203590000052
其中⊙表示对位乘法。
本发明与现有技术相比，具有如下优点和有益效果：
1、相比于传统的分割方案，本发明采用最新的深度学习模型，通过在多个 数据集上进行训练，能满足不同场景下的换背景需求(例如室内，室外，白天， 夜晚等)，所以实际效果要比传统分割方案好很多。
2、本发明提出了网页端的架构，利用高性能GPU大大提高了模型的推理 速度，在满足实时性的同时，还能提供不同场景下的高精度换背景方案。
3、本发明拥有较好的换背景效果，能满足不同场景下的需求。主要原因在 于本发明采用了性能较强的ResNet-50作为主干网络，采用了Mask-RCNN作为 了分割模型，在多个场景下训练了多个独立的模型，用户可以根据自己的需要 选择不同的场景。在合成的时候利用高斯滤波做出了一定的优化，使得边缘更 加自然。
4、本发明拥有较快的运算速度，能满足演讲，直播环境下的实时性要求。 主要原因是使用React和Django搭建了一个高性能的网页端架构，提高了前后 端的响应速度，同时在服务器端使用了高性能GPU并行运算，大大提高了模型 本身的运算速度。
附图说明
图1是本发明网页端人物换背景的方法流程图。
图2是本发明图像分割模型的结构示意图；
图3是本发明网页端人物换背景架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。
实施例
针对人体换背景中的精准性和实时性要求，本发明试图实现基于深度学习 的网页端图像分割方案，通过在网页端和服务器之间的交互，服务器接受图片 利用卷积神经网络进行分割，将分割出的人体和预设的背景进行融合，并将换 背景后的结果实时返回到网页端。由于服务器可以配备高端显卡(例如1080Ti)， 能大大提高深度学习模型中的矩阵运算速度，进而能达到实时换背景的效果， 可以被应用到日常的PPT演讲，网络直播等应用场景。
如图1所示，本实施例一种网页端人物换背景的方法，包括下述步骤：
S100、上传待转换背景的图片或视频；
本发明可以同时满足对图片和视频换背景的需求，若输入数据是视频，首 先利用ffmpeg将其解为T帧，通过并行计算提高分割速度。
具体而言，使用ResNet-50网络(50层的残差网络)作为提取图片特征的 主干网络,利用双线性插值(bi-linear interpolation)将输入图片分辨率调整为 224×224，模型的输入大小为T×3×224×224。同时使用随机梯度下降算法 (stochastic gradientdescent)来优化这些网络的参数。在前景和预设的背景融合 过程中，为了使换背景后的图片更加自然，使用高斯低通滤波器对二值化后的 掩膜
Figure BDA0002425203590000071
进行了一定程度的羽化。
S200、构建网页端人物换背景架构，包括前端和后端，前端采用React进行 网页端设计，用以上传和下载图片和视频，后端使用Django接受图片利用卷积 神经网络进行图片分割，将分割出的人体与新的背景做融合；使用SQLite实现 数据库，用以储存原始图片以及背景图片；前端和后端之间使用nginx反向代理 进行前后端交互；
更进一步的，如图2和图3所示，本发明是一种网页端人物换背景的方法， 为了确保分割的准确性和实时性，复杂的模型计算放到服务器进行。在前端使 用React进行网页端设计，用以上传和下载图片和视频；使用Django接受图片 利用卷积神经网络进行图片分割，将分割出的人体与新的背景做融合；使用 SQLite实现数据库，用以储存原始图片以及背景图片；使用nginx反向代理进行 前后端交互。
React是前端开发中的主流框架之一，它的主要特点在于组件化和单向数据 流，使得整体实现起来非常高效灵活。本实施例使用它搭建页面的主要组件， 包括待分割图片选择，背景选择，分割模型主干网络选择，以及前景掩膜和换 背景后的图片下载。
Django也是Web开发的常用框架之一它对，本实施例使用它来负责网页后 台逻辑的实现和数据的读取。它对各种数据库都提供了很好的支持，它负责给 用户提供预设好的背景图片，将用户上传的待换背景图片或视频传输至服务器， 解帧后送入预训练好的Mask-RCNN计算得到前景的掩膜，再将前景和预设的背 景融合，保存到数据库中并返回至网页端。本实施例使用比较稳定轻量的SQLite 作为数据库。本实施例用公式来更具体的描述换背景的过程,记I为输入图片，J为 预设的背景图片，Θ为若干个1*1的卷积层，则离散化前的掩膜可以表示为：
M＝sigmoid(Θ(fI))
其中fI是输入图片的CNN特征图(feature map)上的ROI区域，M代表每 一个像素点是前景的概率，通过sigmoid函数计算得到，其二元交叉熵(binary cross entropy)即为损失函数Lmask。本实施例利用双线性插值将M恢复至原图 大小，再以0.5为阈值将其进行二值化，得到离散化后的掩膜
Figure BDA0002425203590000081
则输出图片可 以表示为
Figure BDA0002425203590000082
其中⊙表示对位乘法(element-wise multiplication)。
S300、在服务器端对其进行预处理，采用Mask-RCNN作为图像分割模型， 使用训练好的分割模型并行运算得到二值化的掩膜；
更进一步的，本实施例使用Mask-RCNN作为基础分割模型。Mask-RCNN 在实例分割领域中是一个非常经典的模型，它在Faster RCNN的基础上，延伸 出了一个掩膜(mask)分支。根据Faster RCNN计算出来的每个候选框的分数， 筛选出一大堆更加准确的兴趣区域(Region of Interest，ROI)，然后用一个ROI Align层提取这些ROI的特征，利用像素级分类找出ROI上为前景的区域，根 据ROI和原图的比例，将前景扩大回原图，就可以得到一个分割的mask了。提 取人物的mask之后，再将其剪裁至预设的背景图片中，就达到了人物换背景的 目的。由于视频可以看成多帧图片，通过卷积的并行计算能大大增加视频的分 割速度。
更进一步的，模型的损失函数有三部分组成：
L＝Lclc+Lbox+Lmask
其中Lclc是多元交叉熵分类损失函数，Lbox是smooth L1边框回归损失函数， Lmask是平均二元交叉熵掩膜损失函数。
S400、得到的二值化掩膜经过高斯低通滤波器进行羽化，然后和指定的背 景进行融合，得到换背景后的图片或视频；
S500、将输入图片、掩膜和换背景后的图片存入数据库中，并将换背景后 的图片返回至网页端。
本发明提出了一个网页端人物换背景的方案，通过网页和服务器之间的通 信，将复杂的计算过程放到服务器计算，它可以同时满足对图片和视频分割的 快速性和准确性要求。另外，本发明拥有较快的运算速度，能满足演讲，直播 环境下的实时性要求。主要原因是使用React和Django搭建了一个高性能的网 页端架构，提高了前后端的响应速度，同时在服务器端使用了高性能GPU并行 运算，大大提高了模型本身的运算速度。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种网页端人物换背景的方法，其特征在于，包括下述步骤：
上传待转换背景的图片或视频；
构建网页端人物换背景架构，包括前端和后端，前端采用React进行网页端设计，用以上传和下载图片和视频，后端使用Django接受图片利用卷积神经网络进行图片分割，将分割出的人体与新的背景做融合；使用SQLite实现数据库，用以储存原始图片以及背景图片；前端和后端之间使用nginx反向代理进行前后端交互；
在服务器端对其进行预处理，采用Mask-RCNN作为图像分割模型，使用训练好的分割模型并行运算得到二值化的掩膜；
得到的二值化掩膜经过高斯低通滤波器进行羽化，然后和指定的背景进行融合，得到换背景后的图片或视频；
将输入图片、掩膜和换背景后的图片存入数据库中，并将换背景后的图片返回至网页端。
2.根据权利要求1所述一种网页端人物换背景的方法，其特征在于，如果上传的是视频，则利用ffmpeg将其解为T帧，利用并行计算提高分割速度。
3.根据权利要求1或2所述一种网页端人物换背景的方法，其特征在于，使用ResNet-50模型作为提取图片特征的主干网络,利用双线性插值将输入图片分辨率调整为224×224，模型的输入张量大小为T×3×224×224；并使用随机梯度下降算法来优化这些网络的参数，在前景和预设的背景融合过程中，为了使换背景后的图片更加自然，使用高斯低通滤波器对二值化后的掩膜
Figure FDA0002425203580000011
进行了一定程度的羽化。
4.根据权利要求1所述一种网页端人物换背景的方法，其特征在于，所述Mask-RCNN是在Faster RCNN的基础上，延伸出了一个mask分支；根据Faster RCNN计算出来的每个候选框的分数，筛选出更加准确的兴趣区域ROI，然后用一个ROI Align层提取这些ROI的特征，利用像素级分类找出ROI上为前景的区域，根据ROI和原图的比例，将这个区域扩大回原图，从而得到一个原图上分割的掩膜。
5.根据权利要求4所述一种网页端人物换背景的方法，其特征在于，提取人物的mask之后，再将其剪裁至预设的背景图片中，就达到了人物换背景的目的；由于视频可以看成多帧图片，通过张量的并行计算能大大增加视频的分割速度。
6.根据权利要求1或4所述一种网页端人物换背景的方法，其特征在于，所述图像分割模型损失函数有三部分组成：
L＝Lclc+Lbox+Lmask
其中Lclc是多元交叉熵分类损失函数，Lbox是smooth L1边框回归损失函数，Lmask是平均二元交叉熵掩膜损失函数。
7.根据权利要求1所述一种网页端人物换背景的方法，其特征在于，所述网页端提供的功能有待分割图片选择，背景选择，分割模型主干网络选择，分割后mask下载和换背景后的图片下载；
Django用于网页后台逻辑的实现和数据的读取，负责给用户提供预设好的背景图片，将用户上传的待换背景图片或视频传输至服务器，解帧后送入预训练好的Mask-RCNN计算得到前景的掩膜，再将前景和预设的背景融合，保存到数据库中并返回至网页端。
8.根据权利要求7所述一种网页端人物换背景的方法，其特征在于，用公式来更具体的描述换背景的过程,记I为输入图片，J为预设的背景图片，Θ为若干个1*1的卷积层，则离散化前的掩膜可以表示为：
M＝sigmoid(Θ(fI))
其中fI是输入图片的CNN特征图上的ROI区域，M代表ROI每一个像素点是前景的概率，通过sigmoid函数计算得到，其二元交叉熵即为损失函数Lmask，利用双线性插值将M恢复至原图大小，再以0.5为阈值将其进行二值化，得到离散化后的掩膜
Figure FDA0002425203580000021
则输出图片可以表示为：
Figure FDA0002425203580000022
其中⊙表示对位乘法。
CN202010218386.9A 2020-03-25 2020-03-25 一种网页端人物换背景的方法 Active CN111581568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010218386.9A CN111581568B (zh) 2020-03-25 2020-03-25 一种网页端人物换背景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010218386.9A CN111581568B (zh) 2020-03-25 2020-03-25 一种网页端人物换背景的方法

Publications (2)

Publication Number Publication Date
CN111581568A true CN111581568A (zh) 2020-08-25
CN111581568B CN111581568B (zh) 2023-04-18

Family

ID=72119000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010218386.9A Active CN111581568B (zh) 2020-03-25 2020-03-25 一种网页端人物换背景的方法

Country Status (1)

Country Link
CN (1) CN111581568B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
CN112804516A (zh) * 2021-04-08 2021-05-14 北京世纪好未来教育科技有限公司 一种视频播放方法、装置、可读存储介质、电子设备
CN113591799A (zh) * 2021-08-24 2021-11-02 上海发网供应链管理有限公司 通过摄像头计算人工工时的方法及系统
WO2023217046A1 (zh) * 2022-05-07 2023-11-16 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN110232380A (zh) * 2019-06-13 2019-09-13 应急管理部天津消防研究所 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN110610526A (zh) * 2019-08-12 2019-12-24 江苏大学 一种基于wnet对单目人像进行分割和景深渲染的方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN110232380A (zh) * 2019-06-13 2019-09-13 应急管理部天津消防研究所 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN110610526A (zh) * 2019-08-12 2019-12-24 江苏大学 一种基于wnet对单目人像进行分割和景深渲染的方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200001A (zh) * 2020-09-11 2021-01-08 南京星耀智能科技有限公司 一种指定场景下深度伪造视频识别方法
CN112804516A (zh) * 2021-04-08 2021-05-14 北京世纪好未来教育科技有限公司 一种视频播放方法、装置、可读存储介质、电子设备
CN112804516B (zh) * 2021-04-08 2021-07-06 北京世纪好未来教育科技有限公司 一种视频播放方法、装置、可读存储介质、电子设备
CN113591799A (zh) * 2021-08-24 2021-11-02 上海发网供应链管理有限公司 通过摄像头计算人工工时的方法及系统
WO2023217046A1 (zh) * 2022-05-07 2023-11-16 虹软科技股份有限公司 图像处理方法及装置、非易失性可读存储介质、电子设备

Also Published As

Publication number Publication date
CN111581568B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111581568B (zh) 一种网页端人物换背景的方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
US11151725B2 (en) Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
Gautam et al. Realistic river image synthesis using deep generative adversarial networks
Wegner et al. Road networks as collections of minimum cost paths
CN111368846B (zh) 一种基于边界语义分割的道路积水识别方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN110210551A (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN107680106A (zh) 一种基于Faster R‑CNN的显著性目标检测方法
Montoya-Zegarra et al. Semantic segmentation of aerial images in urban areas with class-specific higher-order cliques
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN102034247A (zh) 一种基于背景建模对双目视觉图像的运动捕捉方法
Li et al. Unsupervised road extraction via a Gaussian mixture model with object-based features
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
Gao et al. Full-scale video-based detection of smoke from forest fires combining ViBe and MSER algorithms
CN117456373A (zh) 融合图卷积和知识图谱的超大场景遥感解译方法及系统
CN118229569A (zh) 基于模糊扩散模型的文档图像透射去除方法及装置
CN113160146B (zh) 一种基于图神经网络的变化检测方法
Zhang et al. MFFE: multi-scale feature fusion enhanced net for image dehazing
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN108154488A (zh) 一种基于显著图像块分析的图像运动模糊去除方法
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
CN115578721A (zh) 一种基于注意力特征融合的街景文本实时检测方法
Patel et al. Road Network Extraction Methods from Remote Sensing Images: A Review Paper.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant