CN112991377A - 一种基于opencv和shader融合技术的抠像算法 - Google Patents

一种基于opencv和shader融合技术的抠像算法 Download PDF

Info

Publication number
CN112991377A
CN112991377A CN202110436407.9A CN202110436407A CN112991377A CN 112991377 A CN112991377 A CN 112991377A CN 202110436407 A CN202110436407 A CN 202110436407A CN 112991377 A CN112991377 A CN 112991377A
Authority
CN
China
Prior art keywords
image
matting
initial
standard
sectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110436407.9A
Other languages
English (en)
Inventor
王研
李健
李媛媛
周浩
周献阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Sunflower Education Technology Co ltd
Original Assignee
Liaoning Sunflower Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Sunflower Education Technology Co ltd filed Critical Liaoning Sunflower Education Technology Co ltd
Priority to CN202110436407.9A priority Critical patent/CN112991377A/zh
Publication of CN112991377A publication Critical patent/CN112991377A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于融合技术的抠像方法，包括：利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用图像抠图模型中的抠图矩阵生成模块对抠图图像进行矩阵拼接，以获取抠图图像的边缘区域信息，得到初始抠图图像；对初始抠图图像进行灰度阈值化及二值化处理，得到目标抠图图像；基于预先在GPU中创建的图形渲染工具对目标抠图图像的前景区域与背景区域进行融合，将融合后的目标抠图图像返回至前端页面。另外，本申请还提供一种基于融合技术的抠像装置、电子设备以及计算机可读存储介质。本申请可以提高抠图图像的生成速度，实现抠图图像的高效展示。

Description

一种基于opencv和shader融合技术的抠像算法
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于融合技术的抠像方法、装置、电子设备以及计算机可读存储介质。
背景技术
图像抠图是指将图像中需要的部分从画面中精确地提取出来，即将原始图片中的抠图区域与背景区域进行分离的过程，主要功能是为了后期的合成做准备，例如游戏、影视剧中大量应用抠图技巧，对多张抠图图像进行合成，形成真实高感的虚拟画面，提高用户的观感度以及体验度。
目前，图像抠图通常是抠图软件或抠图模型实现，但是抠图软件对图像进行抠图时，由于抠图软件需要大量的人工操作过程，导致在抠图过程中会耗费较多的抠图时间，从而使得抠图图像的生成较为缓慢，另外，在抠图模型对图像进行抠图时，目前抠图模型通常需要计算大量的抠图数据，并且在计算后的抠图数据不能及时反应至前端页面形成抠图图像，从而导致抠图图像的生成也较为缓慢，以及生成的抠图图像的画面较为单一，不够灵活。
申请内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于融合技术的抠像方法、装置、电子设备以及计算机可读存储介质，可以提高抠图图像的生成速度，实现抠图图像的高效展示。
第一方面，本申请提供了一种基于融合技术的抠像方法，包括：
利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
将所述标准抠图图像进行二值化处理，得到目标抠图图像；
基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
可以看出，本申请实施例采用端到端的图像抠图模型实现抠图图像的生成，可以减少抠图图像的计算数量以及避免人工参与图像抠图的过程，提高抠图图像的生成速度，并对生成的抠图图像进行灰度阈值化及二值化处理，可以保障抠图图像的图像信息完整性，并结合在GPU中创建的图形渲染工具执行抠图图像的前景区域与背景区域进行融合，可以实现抠图图像的渲染，使得生成的抠图图像的画面变得更加多样，实现抠图图像的生成灵活性。
在第一方面的一种可能实现方式中，所述利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，包括：
利用所述图像分割模块中的卷积层对所述待抠图图像进行特征提取，得到特征图像；
利用所述图像分割模块中的批标准层将所述特征图像进行标准化，得到标准特征图像；
利用所述图像分割模块中的激活函数输出所述标准特征图像，并利用所述图像分割模块中的空洞空间金字塔对所述标准特征图像进行多尺度特征融合，得到抠图图像。
在第一方面的一种可能实现方式中，所述利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像，包括：
利用所述抠图矩阵生成模块中的降噪层对所述抠图图像进行图像降噪，得到降噪抠图图像；
利用所述抠图矩阵生成模块中的边缘检测层计算所述降噪抠图图像的边缘梯度，得到所述降噪抠图图像的初始抠图图像；
利用所述抠图矩阵生成模块中的全连接层输出所述初始抠图图像。
在第一方面的一种可能实现方式中，所述对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像，包括：
获取所述初始抠图图像的模板图像；
对所述初始抠图图像及模板图像分别进行直方图均衡化处理，得到初始抠图均衡图像及模板均衡图像；
对所述初始抠图均衡图图像和所述模板均衡图像进行累积分布函数混合，得到标准抠图图像。
在第一方面的一种可能实现方式中，所述对所述初始抠图均衡图图像和所述模板均衡图像进行累积分布函数混合，得到标准抠图图像，包括：
利用下述公式对所述模板图像进行直方图均衡化处理：
Figure BDA0003033278240000031
其中，R(m)表示模板均衡图像，m表示模板均衡图像的图像灰度阶数，Pm(m)模板均衡图像的灰度概率密度函数。
在第一方面的一种可能实现方式中，所述将所述标准抠图图像进行二值化处理，得到目标抠图图像，包括：
计算所述标准抠图图像中像素点的平均灰度值，并基于所述平均灰度值进行迭代处理，得到目标阈值；
将所述标准抠图图像中灰度值大于所述目标阈值的像素点设为白色，并将所述标准抠图图像中灰度值小于所述目标阈值的像素点设为黑色，得到所述目标抠图图像。
在第一方面的一种可能实现方式中，所述基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，包括：
获取所述目标抠图图像的前景区域与背景区域的位置信息；
根据所述位置信息，确定所述目标抠图图像的前景区域与背景区域的渲染模式；
根据所述渲染模式，执行所述目标抠图图像的前景区域与背景区域的融合。
第二方面，本申请提供了一种基于融合技术的抠像装置，所述装置包括：
图像生成模块，用于利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
图像阈值化模块，用于对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
图像二值化模块，用于将所述标准抠图图像进行二值化处理，得到目标抠图图像；
图像加载模块，用于基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
第三方面，本申请提供一种电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的基于融合技术的抠像方法。
第四方面，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的基于融合技术的抠像方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种基于融合技术的抠像方法的详细流程示意图；
图2为本申请一实施例中图1提供的一种基于融合技术的抠像方法的其中一个步骤流程示意图；
图3为为本申请一实施例中图1提供的一种基于融合技术的抠像方法的另外一个步骤流程示意图；
图4为本申请一实施例中图1提供的一种基于融合技术的抠像方法的又一个步骤详细流程示意图；
图5为本申请一实施例提供的一种基于融合技术的抠像装置的模块示意图；
图6为本申请一实施例提供的实现基于融合技术的抠像方法的电子设备的内部结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1所示的流程图描述了本申请一实施例提供的基于融合技术的抠像方法。其中，图1中描述的基于融合技术的抠像方法包括：
S1、利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像。
本申请实施例中，所述待抠图图像可以理解为从一张图像中选取需要具体展示的区域图像，例如，人脸图像、动物图像以及风景图像等。所述图像抠图模型通过OpenCV工具构建，所述OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库，主要用于图像处理、分析、机器视觉等方面，在本申请中，所述图像抠图模型包括图像分割模块和抠图矩阵生成模块，所述图像分割模块用于对图像进行分割，得到抠图图像，所述抠图矩阵生成模块用于对抠图图像进行矩阵拼接，实现抠图图像的图像渲染。进一步地，所述图像分割模块包括卷积层、批标准层、激活函数以及空洞空间金字塔等；所述抠图矩阵生成模块包括：边缘检测层、图像二值化层以及全连接层。
作为本申请的其中一个实施例，参阅图2所示，所述利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，包括：
S201、利用所述图像分割模块中的卷积层对所述待抠图图像进行特征提取，得到特征图像；
S202、利用所述图像分割模块中的批标准层将所述特征图像进行标准化，得到标准特征图像；
S203、利用所述图像分割模块中的激活函数输出所述标准特征图像，并利用所述图像分割模块中的空洞空间金字塔对所述标准特征图像进行多尺度特征融合，得到抠图图像。
一个可选实施例中，所述图像特征提取可以是通过对待抠图图像的张量进行卷积操作实现。
一个可选实施例中，利用下述方式将所述特征图像进行标准化：
Figure BDA0003033278240000061
其中，x'i表示标准特征图像，xi表示特征图像，μ表示特征图像的均值，σ2为特征图像的方差，ε为无穷小的随机数。
一个可选实施例中，所述激活函数包括：
Figure BDA0003033278240000062
其中，s'表示激活后的标准特征图像，s表示标准特征图像。
一个可选实施例中，所述空洞空间金字塔用于将图像的底层特征融合至提取的图像特征中，可以减小对不同增益引起的图像灰度变化影响。所述底层特征指的是所述原始图像的基本特征，例如、颜色、长度、宽度等。
作为本申请的其中一个实施例，参阅图3所示，所述利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像，包括：
S301、利用所述抠图矩阵生成模块中的降噪层对所述抠图图像进行图像降噪，得到降噪抠图图像；
S302、利用所述抠图矩阵生成模块中的边缘检测层计算所述降噪抠图图像的边缘梯度，得到所述降噪抠图图像的初始抠图图像；
S303、利用所述抠图矩阵生成模块中的全连接层输出所述初始抠图图像。
一个可选实施例中，所述图像降噪可以减少矩形区域中噪声对图像处理的影响，所述图像降噪可以通过所述降噪层中的高斯滤波算法实现
一个可选实施例中，所述抠图图像的边缘梯度可以通过所述边缘检测层中的离散微分算子计算，通过所述边缘梯度的计算可以识别所述抠图图像的边缘位置信息。其中，所述离散微分算法算子可以为Sobel算子。
进一步地，在本申请又一可选实施例中，所述利用所述抠图矩阵生成模块中的边缘检测层计算所述降噪抠图图像的边缘梯度，包括：利用所述边缘检测层中的离散微分算子计算所述降噪抠图图像的水平梯度变化值以及垂直梯度变化值，根据所述水平梯度变化值以及垂直梯度变化值，计算所述降噪抠图图像中每个像素的近似梯度，根据所述近似梯度，确定所述降噪抠图图像的边缘区域，得到所述降噪抠图图像的初始抠图图像。
一个可选实施例中，所述初始抠图图像的输出可以通过所述全连接层的激活函数实现，如Softmax函数。
S2、对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像。
应该了解的是，一个图像的图像信息通过图像灰度值进行表示，于是，为了避免因图像来源不同而导致所述初始抠图图像中图像灰度值有所差异的问题，本申请实施例中，对所述初始抠图图像进行灰度阈值化处理，使得所述初始抠图图像既保留了待抠图图像中的图像信息又减少了因不同数据来源导致的图像信息有所差异的问题，从而避免了初始抠图图像出现图像窗位的缺失或者错误的情况，提高后续图像渲染的准确性。
作为本申请的其中一个实施例，参阅图4所示，所述对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像，包括：
S401、获取所述初始抠图图像的模板图像；
S402、对所述初始抠图图像及模板图像分别进行直方图均衡化处理，得到初始抠图均衡图像及模板均衡图像；
S403、对所述初始抠图均衡图图像和所述模板均衡图像进行累积分布函数混合，得到标准抠图图像。
一个可选实施例中，所述模板图像指的是与所述初始抠图图像相对应的一个标准图像，例如，所述初始抠图图像为身份证图像，则模板图像为标准身份证图像。在本申请中，所述模板图像用于作为所述初始抠图图像的标准参照，所述模板图像可以从权威专业网站获取。
一个可选实施例中，利用下述公式对所述初始抠图图像进行直方图均衡化处理：
Figure BDA0003033278240000081
其中，T(r)表示初始抠图均衡图像，r表示初始抠图图像的图像灰度阶数，Pr(r)初始抠图图像的灰度概率密度函数。
一个可选实施例中，利用下述公式对所述模板图像进行直方图均衡化处理：
Figure BDA0003033278240000082
其中，R(m)表示模板均衡图像，m表示模板均衡图像的图像灰度阶数，Pm(m)模板均衡图像的灰度概率密度函数。
一个可选实施例中，利用下述对所述初始抠图均衡图像和所述模板均衡图像进行累积分布函数混合：
Figure BDA0003033278240000083
其中，z表示标准抠图图像，G表示初始抠图图像与模板图像的平均图像灰度阶数，T(r)表示初始抠图均衡图像，R(m)表示模板均衡图像。
S3、将所述标准抠图图像进行二值化处理，得到目标抠图图像。
本申请实施例中，所述二值化处理是将图像中像素点的灰度值设置为0或255，即将整个图像呈现出明显的黑白效果的过程。本申请实施中，所述将所述标准抠图图像进行二值化处理，得到目标抠图图像，包括：计算所述标准抠图图像中像素点的平均灰度值；并基于所述平均灰度值进行迭代处理，得到目标阈值；将所述标准抠图图像中灰度值大于所述目标阈值的像素点设为白色，并将所述标准抠图图像中灰度值小于所述目标阈值的像素点设为黑色，得到所述目标抠图图像。
其中，所述迭代处理是指计算所述目标抠图图像中像素点的平均灰度值T0，并将所述平均灰度值作为阈值，将灰度值大于或者等于所述阈值的像素点确定为前景，将灰度值小于所述阈值的像素点确定为背景，计算整个前景的平均灰度值Gf和整个背景的平均灰度值Gb，更新所述阈值为
Figure BDA0003033278240000091
Figure BDA0003033278240000092
直至所述阈值收敛时，得到所述目标阈值。
S4、基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
本申请实施例中，所述GPU是指图形处理器，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器，同时，由于GPU具有线程并行运算的功能因此本申请在所述GPU中创建图像渲染工具，以提高图形渲染的计算速度，从而保障抠图图像的生成速度。
在本申请的至少一个实施例，所述图形渲染工具包括shader渲染器，用于对所述目标抠图图像中的灰度值进行着色，使得所述目标抠图图像的前景区域与背景区域可以进行融合，呈现出真实感高的图像，在本申请中，所述基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，包括：获取所述目标抠图图像的前景区域与背景区域的位置信息，根据所述位置信息，确定所述目标抠图图像的前景区域与背景区域的渲染模式，根据所述渲染模式，执行所述目标抠图图像的前景区域与背景区域的融合。
其中，所述位置信息包括：前景区域与背景区域中像素点在X和Y轴方向的起点，所述渲染模式包括：渲染颜色与渲染方式，所述渲染方式包括平铺、拉伸以及镜像等。
进一步地，本申请将融合后的所述目标抠图图像加载至前端页面，以直观清晰的了解到抠图图像的整体架构，所述前端页面可以为一个设备的屏幕页面，如投影仪幕布、LED显示大屏等。
本申请实施例采用端到端的图像抠图模型实现抠图图像的生成，可以减少抠图图像的计算数量以及避免人工参与图像抠图的过程，提高抠图图像的生成速度，并对生成的抠图图像进行灰度阈值化及二值化处理，可以保障抠图图像的图像信息完整性，并结合在GPU中创建的图形渲染工具执行抠图图像的前景区域与背景区域进行融合，可以实现抠图图像的渲染，使得生成的抠图图像的画面变得更加多样，实现抠图图像的生成灵活性。
如图5所示，是本申请基于融合技术的抠像装置的功能模块图。
本申请所述基于融合技术的抠像装置500可以安装于电子设备中。根据实现的功能，所述基于融合技术的抠像装置可以包括图像生成模块501、图像阈值化模块502、图像二值化模块503以及图像加载模块504。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像生成模块501，用于利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
所述图像阈值化模块502，用于对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
所述图像二值化模块503，用于将所述标准抠图图像进行二值化处理，得到目标抠图图像；
所述图像加载模块504，用于基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
详细地，本申请实施例中所述基于融合技术的抠像装置500中的所述各模块在使用时采用与上述的图1和图4中所述的基于融合技术的抠像方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图6所示，是本申请实现基于融合技术的抠像方法的电子设备的结构示意图。
所述电子设备6可以包括处理器60、存储器61、通信总线62以及通信接口63，还可以包括存储在所述存储器61中并可在所述处理器60上运行的计算机程序，如基于融合技术的抠像程序。
其中，所述处理器60在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器60是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器61内的程序或者模块(例如执行基于融合技术的抠像程序等)，以及调用存储在所述存储器61内的数据，以执行电子设备的各种功能和处理数据。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器61在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器61在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器61不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于融合技术的抠像程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器61以及至少一个处理器60等之间的连接通信。
所述通信接口63用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，所述用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器60逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备6中的所述存储器61存储的基于融合技术的抠像62是多个计算机程序的组合，在所述处理器60中运行时，可以实现：
利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
将所述标准抠图图像进行二值化处理，得到目标抠图图像；
基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
具体地，所述处理器60对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备6集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本申请还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
将所述标准抠图图像进行二值化处理，得到目标抠图图像；
基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于融合技术的抠像方法，其特征在于，所述方法包括：
利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
将所述标准抠图图像进行二值化处理，得到目标抠图图像；
基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
2.如权利要求1所述的基于融合技术的抠像方法，其特征在于，所述利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，包括：
利用所述图像分割模块中的卷积层对所述待抠图图像进行特征提取，得到特征图像；
利用所述图像分割模块中的批标准层将所述特征图像进行标准化，得到标准特征图像；
利用所述图像分割模块中的激活函数输出所述标准特征图像，并利用所述图像分割模块中的空洞空间金字塔对所述标准特征图像进行多尺度特征融合，得到抠图图像。
3.如权利要求2所述的基于融合技术的抠像方法，其特征在于，所述利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像，包括：
利用所述抠图矩阵生成模块中的降噪层对所述抠图图像进行图像降噪，得到降噪抠图图像；
利用所述抠图矩阵生成模块中的边缘检测层计算所述降噪抠图图像的边缘梯度，得到所述降噪抠图图像的初始抠图图像；
利用所述抠图矩阵生成模块中的全连接层输出所述初始抠图图像。
4.如权利要求1所述的基于融合技术的抠像方法，其特征在于，所述对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像，包括：
获取所述初始抠图图像的模板图像；
对所述初始抠图图像及模板图像分别进行直方图均衡化处理，得到初始抠图均衡图像及模板均衡图像；
对所述初始抠图均衡图图像和所述模板均衡图像进行累积分布函数混合，得到标准抠图图像。
5.如权利要求4所述的基于融合技术的抠像方法，其特征在于，所述对所述初始抠图均衡图图像和所述模板均衡图像进行累积分布函数混合，得到标准抠图图像，包括：
利用下述公式对所述模板图像进行直方图均衡化处理：
Figure FDA0003033278230000021
其中，R(m)表示模板均衡图像，m表示模板均衡图像的图像灰度阶数，Pm(m)模板均衡图像的灰度概率密度函数。
6.如权利要求1所述的基于融合技术的抠像方法，其特征在于，所述将所述标准抠图图像进行二值化处理，得到目标抠图图像，包括：
计算所述标准抠图图像中像素点的平均灰度值，并基于所述平均灰度值进行迭代处理，得到目标阈值；
将所述标准抠图图像中灰度值大于所述目标阈值的像素点设为白色，并将所述标准抠图图像中灰度值小于所述目标阈值的像素点设为黑色，得到所述目标抠图图像。
7.如权利要求1至6中任意一项所述的基于融合技术的抠像方法，其特征在于，所述基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，包括：
获取所述目标抠图图像的前景区域与背景区域的位置信息；
根据所述位置信息，确定所述目标抠图图像的前景区域与背景区域的渲染模式；
根据所述渲染模式，执行所述目标抠图图像的前景区域与背景区域的融合。
8.一种基于融合技术的抠像装置，其特征在于，所述装置包括：
图像生成模块，用于利用预训练好的图像抠图模型中的图像分割模块对待抠图图像进行抠图处理，得到抠图图像，并利用所述图像抠图模型中的抠图矩阵生成模块对所述抠图图像进行矩阵拼接，得到初始抠图图像；
图像阈值化模块，用于对所述初始抠图图像进行灰度阈值化处理，得到标准抠图图像；
图像二值化模块，用于将所述标准抠图图像进行二值化处理，得到目标抠图图像；
图像加载模块，用于基于预先在GPU中创建的图形渲染工具对所述目标抠图图像的前景区域与背景区域进行融合，并将融合后的所述目标抠图图像加载至前端页面。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于融合技术的抠像方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于融合技术的抠像方法。
CN202110436407.9A 2021-04-22 2021-04-22 一种基于opencv和shader融合技术的抠像算法 Pending CN112991377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436407.9A CN112991377A (zh) 2021-04-22 2021-04-22 一种基于opencv和shader融合技术的抠像算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436407.9A CN112991377A (zh) 2021-04-22 2021-04-22 一种基于opencv和shader融合技术的抠像算法

Publications (1)

Publication Number Publication Date
CN112991377A true CN112991377A (zh) 2021-06-18

Family

ID=76341656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436407.9A Pending CN112991377A (zh) 2021-04-22 2021-04-22 一种基于opencv和shader融合技术的抠像算法

Country Status (1)

Country Link
CN (1) CN112991377A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487630A (zh) * 2021-07-14 2021-10-08 辽宁向日葵教育科技有限公司 一种基于材质分析技术的抠像方法
CN113793406A (zh) * 2021-09-16 2021-12-14 中国平安人寿保险股份有限公司 人像名片生成方法、装置、电子设备及可存储介质
CN113870283A (zh) * 2021-09-29 2021-12-31 深圳万兴软件有限公司 人像抠图方法、装置、计算机设备及可读存储介质
CN114399454A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN115002359A (zh) * 2022-05-23 2022-09-02 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN115543161A (zh) * 2022-11-04 2022-12-30 广州市保伦电子有限公司 一种适用于白板一体机的抠图方法及装置
CN113870283B (zh) * 2021-09-29 2024-05-28 深圳万兴软件有限公司 人像抠图方法、装置、计算机设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109990A1 (zh) * 2017-12-07 2019-06-13 捷开通讯(深圳)有限公司 利用本地图片作为背景的拍照方法、存储介质及移动终端
CN111080656A (zh) * 2019-12-10 2020-04-28 腾讯科技（深圳）有限公司 一种图像处理的方法、图像合成的方法以及相关装置
CN111161277A (zh) * 2019-12-12 2020-05-15 中山大学 一种基于深度学习的自然图像抠图方法
CN111724407A (zh) * 2020-05-25 2020-09-29 北京市商汤科技开发有限公司 图像处理方法和相关产品
CN111862096A (zh) * 2020-09-23 2020-10-30 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质
CN112233125A (zh) * 2020-10-15 2021-01-15 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109990A1 (zh) * 2017-12-07 2019-06-13 捷开通讯(深圳)有限公司 利用本地图片作为背景的拍照方法、存储介质及移动终端
CN111080656A (zh) * 2019-12-10 2020-04-28 腾讯科技（深圳）有限公司 一种图像处理的方法、图像合成的方法以及相关装置
CN111161277A (zh) * 2019-12-12 2020-05-15 中山大学 一种基于深度学习的自然图像抠图方法
CN111724407A (zh) * 2020-05-25 2020-09-29 北京市商汤科技开发有限公司 图像处理方法和相关产品
CN111862096A (zh) * 2020-09-23 2020-10-30 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质
CN112233125A (zh) * 2020-10-15 2021-01-15 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487630A (zh) * 2021-07-14 2021-10-08 辽宁向日葵教育科技有限公司 一种基于材质分析技术的抠像方法
CN113793406A (zh) * 2021-09-16 2021-12-14 中国平安人寿保险股份有限公司 人像名片生成方法、装置、电子设备及可存储介质
CN113870283A (zh) * 2021-09-29 2021-12-31 深圳万兴软件有限公司 人像抠图方法、装置、计算机设备及可读存储介质
CN113870283B (zh) * 2021-09-29 2024-05-28 深圳万兴软件有限公司 人像抠图方法、装置、计算机设备及可读存储介质
CN114399454A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN115002359A (zh) * 2022-05-23 2022-09-02 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN115543161A (zh) * 2022-11-04 2022-12-30 广州市保伦电子有限公司 一种适用于白板一体机的抠图方法及装置
CN115543161B (zh) * 2022-11-04 2023-08-15 广东保伦电子股份有限公司 一种适用于白板一体机的抠图方法及装置

Similar Documents

Publication Publication Date Title
CN112991377A (zh) 一种基于opencv和shader融合技术的抠像算法
CN109670558B (zh) 使用深度学习的数字图像完成
CN109377546B (zh) 虚拟现实模型渲染方法及装置
US6825844B2 (en) System and method for optimizing a graphics intensive software program for the user's graphics hardware
CN106462989B (zh) 保持显著性的独特的低足迹照片老化效果
US7742050B2 (en) System and method for optimizing a graphics intensive software program for the user's graphics hardware
CN1763786A (zh) 用于3d中硬件加速的抗图形失真方法
CN113989167B (zh) 基于种子点自生长的轮廓提取方法、装置、设备及介质
CN111862096A (zh) 图像分割方法、装置、电子设备及存储介质
CN109636885B (zh) 一种用于h5页面的序列帧动画制作方法和系统
CN112633270A (zh) 基于图片识别的骨架屏生成方法、装置、设备及存储介质
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN114723636A (zh) 基于多特征融合的模型生成方法、装置、设备及存储介质
CN113222874A (zh) 应用于目标检测的数据增强方法、装置、设备及存储介质
CN108520259B (zh) 一种前景目标的提取方法、装置、设备及存储介质
CN104679555B (zh) 一种通过第三方软件实现ppt嵌入的方法和系统
WO2022227191A1 (zh) 非主动活体检测方法、装置、电子设备及存储介质
CN114298925A (zh) 一种图片文字保真编辑方法、装置及计算机可读存储介质
CN113391779B (zh) 类纸屏幕的参数调节方法、装置及设备
CN103444189B (zh) 全景图片滚动
CN113487630B (zh) 基于材质分析技术的抠像方法、装置、设备以及存储介质
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
TW463120B (en) Method for enhancing 3D graphic performance by pre-sorting
JP2003331313A (ja) 画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: No. 868-3, Shangshengou Village, Hunnan District, Shenyang City, Liaoning Province, 110000 (101, 201)

Applicant after: Liaoning Sunflower Digital Technology Co.,Ltd.

Address before: Room c418, 860-1, shangshengou village, Dongling District, Shenyang City, Liaoning Province, 110000

Applicant before: LIAONING SUNFLOWER EDUCATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CB02 Change of applicant information