CN110033463A - 一种前景数据生成及其应用方法、相关装置和系统 - Google Patents

一种前景数据生成及其应用方法、相关装置和系统 Download PDF

Info

Publication number
CN110033463A
CN110033463A CN201910292962.1A CN201910292962A CN110033463A CN 110033463 A CN110033463 A CN 110033463A CN 201910292962 A CN201910292962 A CN 201910292962A CN 110033463 A CN110033463 A CN 110033463A
Authority
CN
China
Prior art keywords
data
background
image
target
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910292962.1A
Other languages
English (en)
Other versions
CN110033463B (zh
Inventor
罗镜民
朱晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910292962.1A priority Critical patent/CN110033463B/zh
Publication of CN110033463A publication Critical patent/CN110033463A/zh
Priority to PCT/CN2020/079621 priority patent/WO2020207203A1/zh
Priority to US17/330,268 priority patent/US11961237B2/en
Application granted granted Critical
Publication of CN110033463B publication Critical patent/CN110033463B/zh
Priority to US18/601,882 priority patent/US20240212161A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种前景数据生成及其应用方法、相关装置和系统，属于图像处理技术领域，本发明提供的前景数据生成方法中，获取背景图像和包含所述背景的目标对象的目标图像；根据所述背景图像和所述目标图像，去除所述目标图像中的背景，得到所述目标对象在所述目标图像中的前景初始数据；根据所述前景初始数据，获得确定前景数据和不确定数据；对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述目标图像中的目标前景数据。采用上述方法，可以快速从目标图像中分离出目标对象的目标前景数据，此外，由于无需人工标注且无需模型训练，有效节省了时间和经济成本。

Description

一种前景数据生成及其应用方法、相关装置和系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种前景数据生成及其应用方法、相关装置和系统。
背景技术
现有的人像数据生成方法比较常见的有以下两种，第一种是通过人工对图像中人像周围点进行标注，以实现多个关键点形成一个多边形，构建人像的初步人像数据，也称人像的初步掩模(mask)，该阶段的获得的mask质量较差，需要再通过人工笔刷采用类似画画的方法进行仔细标注方可分离出比较好的人像数据，但需要耗费较长的时间；另一种方法是：利用现有的深度学习模型对输入的图像进行标注，然后将标注的人像的mask经过人工以及程序筛选以获取较为精准的人像数据，该方法获得精准的人像数据的关键在于模型的精度，模型越精准越能够得到质量较好的人像的mask，而往往越精准的模型的计算量和训练过程的强度都比较大，不仅耗时长而且对硬件要求比较高。
由于上述两种方法获取人像数据都需要耗费较长的时间和人力物力，导致极大的限制了基于获取到的人像数据的应用，相应地，因此如何快速从图像中分离出人像数据是值得考虑的问题之一。
发明内容
本发明实施例提供一种前景数据生成及其应用方法、相关装置和系统，用以在无需人工参与的条件下，快速从图像中分离出前景数据。
一方面，本发明实施例提供一种前景数据生成方法，包括：
获取背景图像和包含所述背景的目标对象的目标图像；
根据所述背景图像和所述目标图像，去除所述目标图像中的背景，得到所述目标对象在所述目标图像中的前景初始数据；
根据所述前景初始数据，获得确定前景数据和不确定数据；
对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述目标图像中的目标前景数据。
一方面，本发明实施例提供一种背景分割模型训练方法，包括：
获取基于本发明实施例提供的前景数据生成方法构建的目标图像样本集；
利用所述目标图像样本集，训练背景分割模型。
一方面，本发明实施例提供一种图像处理方法，包括：
采集待处理目标图像；
利用本发明实施例提供的背景分割模型训练方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
对所述前景数据和/或背景数据进行渲染处理。
一方面，本发明实施例提供一种前景数据生成装置，包括：
第一获取单元，用于获取背景图像和包含所述背景的目标对象的目标图像；
背景去除单元，用于根据所述背景图像和所述目标图像，去除所述目标图像中的背景，得到所述目标对象在所述目标图像中的前景初始数据；
数据优化单元，用于根据所述前景初始数据，获得确定前景数据和不确定数据；
数据获得单元，用于对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述目标图像中的目标前景数据。
一方面，本发明实施例提供一种背景分割模型训练装置，包括：
获取单元，用于获取基于本发明实施例提供的前景数据生成方法构建的目标图像样本集；
模型训练单元，用于利用所述目标图像样本集，训练背景分割模型。
一方面，本发明实施例提供一种图像处理装置，包括：
采集单元，用于采集待处理目标图像；
背景分割单元，用于利用本发明实施例提供的背景分割模型训练方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
渲染单元，用于对所述前景数据和/或背景数据进行渲染处理。
一方面，本发明实施例提供一种图像处理系统，至少包括：图像采集设备、背景分割设备和图像渲染设备，其中：
所述图像采集设备，用于采集待处理目标图像；
所述背景分割设备，用于利用本发明实施例提供的背景分割模型训练方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
所述图像渲染设备，用于对所述前景数据和/或背景数据进行渲染处理。
一方面，本发明实施例提供一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本发明实施例提供的前景数据生成方法，或者执行本发明实施例提供的背景分割模型训练方法，或者执行本发明实施例提供的图像处理方法。
一方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例提供的前景数据生成方法，或者实现本发明实施例提供的背景分割模型训练方法，或者实现本发明实施例提供的图像处理方法。
本发明有益效果：
本发明实施例提供的前景数据生成及其应用方法、相关装置和系统，基于获取到背景图像和包含上述背景的目标对象的目标图像，从目标图像中去除背景以获得前景初始数据，然后对前景初始数据进行处理以获得确定前景数据和不确定数据，进而对确定前景数据和不确定数据进行分割处理，获得目标对象在目标图像中的目标前景数据，无需人工标注和模型训练即可快速获取到目标前景数据，有效节省了时间成本和经济成本；此外，由于无需人工参与，避免了因人工标注不准确导致的前景数据不准确的问题发生。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1a为本发明实施例提供的灰度图像j的效果示意图；
图1b为本发明实施例中对灰度图像j进行膨胀处理后的图像的效果示意图；
图1c为本发明实施例中对灰度图像j进行腐蚀处理后的图像的效果示意图；
图2为本发明实施例提供的计算装置20的结构示意图；
图3为本发明实施例提供的前景数据生成方法的流程示意图；
图4a为本发明实施例提供的背景图像的效果示意图；
图4b为本发明实施例提供的包含背景的目标对象的人像图像的效果示意图；
图5为本发明实施例提供的人像初始数据构成的图像的效果示意图；
图6为本发明实施例提供的优化前景初始数据的流程示意图之一；
图7为本发明实施例提供的优化前景初始数据的流程示意图之二；
图8a为本发明实施例提供的包含背景的人像图像的效果示意图；
图8b为本发明实施例提供的确定人像数据和不确定数据构成的图像的效果示意图；
图8c为本发明实施例提供的对图8b进行抠图处理后得到的人像数据构成的图像示意图；
图9a为本发明实施例提供的构建前景图像数据集的方法流程示意图；
图9b为本发明实施例提供的places数据集中的部分背景图像的效果示意图；
图9c为本发明实施例提供的目标对象的人像图像示意图；
图9d为本发明实施例提供的基于图9c确定出的确定人像数据和不确定数据构成的人像图像的效果示意图；
图9e为本发明实施例提供的基于图9d确定出的目标人像数据构成的图像的效果示意图；
图9f为本发明实施例提供的基于图9f的目标人像数据替换背景后的效果示意图；
图10为本发明实施例提供的人像数据生成方法的执行逻辑架构图；
图11为本发明实施例提供的背景分割模型训练方法的流程示意图；
图12a为本发明实施例提供的图像处理方法的流程示意图；
图12b为本发明实施例提供的拍摄设备采集的待处理人像图像的效果示意图；
图12c-图12f分别为本发明实施例提供的对图12b的待处理人像图像进行渲染处理的效果示意图；
图13为本发明实施例提供的前景数据生成装置的结构示意图；
图14为本发明实施例提供的背景分割模型训练装置的结构示意图；
图15为本发明实施例提供的图像处理装置的结构示意图；
图16为本发明实施例提供的图像处理系统的结构示意图。
具体实施方式
本发明实施例提供的前景数据生成及其应用方法、相关装置和系统，用以在无需人工参与的条件下，快速从图像中分离出前景数据。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
为了便于理解本发明，本发明涉及的技术术语中：
1、图像分割，是指对包含目标对象的目标图像进行分割，以把目标对象区域与背景区域分开的技术，上述目标对象可以为人、动物等，当目标对象为人时，则目标图像可以理解为人像图像，人像图像中的前景即为人，然后通过利用本发明提供的前景数据生成方法就可以从包含背景的目标对象的人像图像中获取到目标对象的目标前景数据，即目标人像数据。
2、灰度图，Gray Scale Image或者Grey Scale Image，又称灰阶图，把白色与黑色之间按对数关系划分为若干等级，称为灰度，灰度分为256阶，用灰度表示的图像称作灰度图像，其中，白色部分在灰度图像中的灰度值为255，黑色部分在灰度图像中的灰度值为0。
3、膨胀与腐蚀，是针对灰度图像中白色部分(即高亮部分)而言的，并非黑色部分。以图1a所示的灰度图像为例进行说明，膨胀是对图像中高亮部分进行膨胀操作，膨胀后的图像可以参考图1b所示，可知膨胀后的图像(图1b)中拥有比膨胀前图像(图1a)更大的高亮区域。腐蚀是对图像中高亮部分进行腐蚀操作，腐蚀后的图像参考图1c所示，可知腐蚀后的图像(图1c)中拥有比腐蚀前的图像(图1a)更小的高亮区域。
4、掩模，mask，主要是指图像分割结果的掩码，实际上是一幅0-255的灰度图像，其中，灰度值为0的部分表示背景，灰度值越接近255的部分越确定为人像部分。
5、终端设备，为可以安装各类应用程序，并且能够将已安装的应用程序中提供的对象进行显示的电子设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、地铁站内的监控设备或其它能够实现上述功能的电子设备等。
6、应用程序，(Application，APP)，为可以完成某项或多项特定工作的计算机程序，它具有可视的显示界面，能与用户进行交互，比如直播程序和美颜相机等都可以称为应用程序。
为了解决现有技术在获取人像数据时需要人工参与而导致的耗时较长的问题，本发明实施例给出了解决方案，提出了一种计算装置20，由计算装置20来实施本发明提供的人像数据生成方法，该计算装置可以以通用计算设备的形式表现，该通用计算设备可以为终端设备或服务器等。下面参照图2来描述根据本发明的计算装置20。图2显示的计算装置20仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示，计算装置20以通用计算设备的形式表现。计算装置20的组件可以包括但不限于：上述至少一个处理单元21、上述至少一个存储单元22、连接不同系统组件(包括存储单元22和处理单元21)的总线23。
总线23表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元22可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)221和/或高速缓存存储器222，还可以进一步包括只读存储器(ROM)223。
存储单元22还可以包括具有一组(至少一个)程序模块224的程序/实用工具225，这样的程序模块224包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置20也可以与一个或多个外部设备24(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置20交互的设备通信，和/或与使得该计算装置20能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口25进行。并且，计算装置20还可以通过网络适配器26与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器26通过总线23与用于计算装置20的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置20使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本发明实施例提供的应用场景是，在基于本发明提供的方法从目标图像中提取出目标对象的目标前景数据后，可以针对背景图像集中每一背景图像，将该背景图像的背景数据与获取到的目标对象的目标前景数据，构建在该背景下目标对象的目标图像，基于此可以构建出各个背景下目标对象的目标图像，然后构建目标图像样本集，这样可以快速获取到训练样本。进而可以基于构建的目标图像样本集对背景分割模型进行训练，由于基于本发明提供的前景数据生成方法不仅速度快而且提取出的目标前景数据准确度高，由此可以训练出高精度的背景分割模型。当训练得到背景分割模型后，就可以对采集到的待处理目标图像进行分割处理，以从待处理目标图像中分离出前景数据和背景数据，这样，就可以根据用户的实际需求对分离出的前景数据和/或背景数据进行渲染处理，从而获得让用户比较满意的图像处理结果。
当目标对象为人时，则目标对象为人像图像，相应地，上述前景初始数据为人像初始数据、确定前景数据为确定人像数据、目标前景数据为目标人像数据。本发明对目标对象的属性不进行限制，为了描述方便，以目标对象为人为例进行后续实施例的描述。
下面结合图2和上述应用场景，参考下面各图来分别描述根据本发明示例性实施方式提供的前景数据方法、背景分割模型训练方法和图像处理方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
如图3所示，为本发明实施例提供的前景数据生成方法的流程示意图，可以包括以下步骤：
S31、获取背景图像和包含所述背景的目标对象的目标图像。
本步骤中，针对每一背景，可以固定图像采集设备，然后利用该图像采集设备先采集该背景(无目标对象图像)图像，然后目标对象进入图像采集设备的采集范围内，这样，图像采集设备就可以采集到包含上述背景的目标对象的目标图像。
可选地，当目标图像为人像图像时，为了快速获取到背景图像和人像图像，还可以利用图像采集设备拍摄一段视频，保证该视频中包括背景视频帧和包含上述背景的目标对象的人像视频帧，然后从该视频中截取出背景视频帧，即步骤S11中的背景图像；以及截取出包含上述背景的目标对象的人像视频帧，即步骤S11中的人像图像。以图像采集设备为拍摄设备为例进行说明，将拍摄设备固定，然后开启拍摄设备对准背景拍摄一段时间然后目标对象进入拍摄设备的拍摄范围内，使得拍摄设备对目标对象和背景拍摄一段时间，从而可以获得一段视频，这样该视频中不仅包括背景内容而且包括上述背景的目标对象的人像内容。为了能够获取到背景图像和上述人像图像，则可以利用ffmpeg程序对录制的视频进行截取处理，从而可以截取出指定时间的图像，例如，以高质量帧率一秒一帧解码成多张图片，从而就可以快速得到背景图像，参考图4a所示，同时也快速获得了包含图4a中的背景的目标对象的人像图像，参考图4b所示。
可选地，在获取目标图像时，可以获取至少一个目标图像，且各个目标图像中目标对象的姿态互不相同。
一种可能的方式中，当目标图像为人像图像时，在基于图像采集设备拍摄人像图像时，可以对目标对象呈现的不同姿态(嘟嘴、比耶、眨眼和抬腿等姿态)进行拍照，从而可以获取到姿态互不相同的多张人像图像。
另一种可能的方式中，当目标图像为人像图像时，在基于图像采集设备录制上述视频时，目标对象可以呈现不同的姿态，如嘟嘴、比耶、眨眼和抬腿等姿态，这样在用ffmpe解码时就可以获取到目标对象在各个姿态下的人像图像。需要说明的是，在利用ffmpe进行一秒一帧的低帧数解码时，通过控制解码帧数可以避免获得多张重复姿态的人像图像。
基于上述任一实施例，可以获取到其他背景下上述目标对象和其他目标对象的人像图像。
S32、根据所述背景图像和所述前景图像，去除所述前景图像中的背景，得到所述目标对象在所述前景图像中的前景初始数据。
本步骤中，可以利用MOG2的背景减除(background subtractor)算法来获得人像初始数据，MOG2算法是一个以混合高斯模型为基础的前景/背景分割算法，该算法使用K个高斯分布(K＝3或5)混合对背景像素进行建模，以图像中各个颜色存在的时间长短作为混合的权重，由此分割出图像中的前景图像(人像图像)和背景图像。一般来说背景的颜色的持续时间比较长而且更加静止。基于此原理，将背景图像和前景图像输入到MOG2算法中，该MOG2算法可以自动将输入的图像中经常出现的颜色区域作为背景图像，将不常出现的区域作为前景，从而可以去除人像图像中的背景，获得目标对象在目标图像中的前景初始数据。当目标图像为人像图像时，则获取目标对象在人像图像中的人像初始数据。
需要说明的是，MOG2算法输出的是人像初始数据，也称人像mask。本发明中的人像初始数据是像素值仅有两种取值的数据，人像部分的像素值取值为255，背景部分的像素值取值为0，参考图5所示，将图4a的背景图像和图4b的人像图像输入到MOG2算法中，该算法输出结果为目标人像在图4b所示的人像图像中的人像初始数据，而图5为前述人像初始数据构成的图像，该图像中黑色对应背景部分，白色对应人像部分。采用MOG2算法可以保证人像图像中的人像不会漏识别，一定会获得人像初始数据，从而避免了机器标注方法中漏检测的问题。
可选地，还可以采用其他方法获得人像初始数据，如MOG算法、GMG算法等，具体可以根据实际情况而定。
S33、根据所述前景初始数据，获得确定前景数据和不确定数据。
具体地，由于基于步骤S12获得的前景初始数据(人像初始数据)构成的图像会存在一些空隙以及多余部分，故需要对前景初始数据进行优化处理，以识别出前景初始数据中确定前景数据(确定人像数据)和不确定数据，该不确定数据为介入背景数据和确定前景数据之间的数据，当用灰度值表示时，不确定数据的灰度值在0～255之间。
需要说明的是，本发明中的人像初始数据、确定人像数据、不确定数据、背景数据和后续的目标人像数据均可以用灰度值进行表示，即：在将上述任一数据参与运算时，是对灰度值的运算。
可选地，可以按照图6所示的流程实施步骤S13，包括以下步骤：
S61、对前景初始数据进行膨胀处理，获得膨胀后的前景数据。
本步骤中，对前景初始数据件膨胀处理，膨胀是形态学上的膨胀操作，目的是为了去除前景初始数据中的空隙。具体地，可以先配置前景初始数据的膨胀程度，然后按照该膨胀程度膨胀前景初始数据，从而可以获得膨胀后的前景数据，通过对前景初始数据进行膨胀处理，可以有效去除多余噪点。
具体实施时，可以按照下述公式配置前景初始数据的膨胀程度：
NpKernel＝np.uint8(np.ones((5,5)))
上述公式中，np.ones()为创建全1矩阵的函数，np.ones(5,5)用于创建一个二维的5*5的全1矩阵；np.uint8()为无符号8位整型函数，表示范围是[0，255]的整数。由于本发明中灰度值在0～255之间，故基于该np.uint8()函数可以保证输出的数值在[0，255]范围内；NpKernel表示膨胀程度。
在此基础之上，可以按照下述公式对前景初始数据进行膨胀处理：
da＝cv.dilate(input,NpKernel)
公式中，cv.dilate()为膨胀函数，input为输入的前景初始数据，da为膨胀后的前景数据；基于上述膨胀函数，使得输入的前景初始数据按照上述配置的膨胀程度进行膨胀，基于此输出的膨胀后的数据均在[0，255]之间。
S62、对膨胀后的前景数据进行腐蚀处理，获得腐蚀后的前景数据。
本步骤中，由于对前景初始数据进行了膨胀处理，这样膨胀后的前景数据可能会存在过度扩张问题，故需要对膨胀后的前景数据进行腐蚀操作，腐蚀是形态学上的腐蚀操作。具体地，可以先配置腐蚀程度，然后按照配置的腐蚀程度，利用腐蚀函数对膨胀后的前景数据进行腐蚀操作。
具体实施时，可以按照下述公式配置腐蚀程度kernel：
kernel＝np.ones((5,5),np.uint8)
该公式中，np.ones()和np.uint8()的说明参考步骤S61中的描述，此处不再详细描述。
erosion＝cv2.erode(img,kernel,iterations＝n)
该公式中，erosion为腐蚀后的前景数据，cv2.erode()为腐蚀函数，img为输入的膨胀后的前景数据，iterations＝n表示为重复n次，即腐蚀n次获得腐蚀后的前景数据，可选地，n一般取值为1，但考虑图像中光线比较复杂，为例避免误识别，可以将n设置为3，即重复3次。在此基础之上，在配置腐蚀程度kernel后，可以按照配置的kernel，利用腐蚀函数对膨胀后的前景数据进行腐蚀，从而可以得到腐蚀后的前景数据。
S63、对腐蚀后的前景数据进行二次膨胀和模糊处理，获得确定前景数据和不确定数据。
本步骤中，为了更好地处理边缘数据，故对腐蚀后的人像数据再次进行膨胀处理，然后对二次膨胀后的人像数据进行模糊处理，从而可以筛选出人像初始数据中的确定人像数据和不确定数据。
具体地，可以按照图7所示的流程实施步骤S63，包括以下步骤：
S71、确定二次膨胀后的前景数据与腐蚀后的前景数据之间的差值数据。
本步骤中，将腐蚀后的人像数据记为mask，用C表示步骤S71中的差值数据，则C的表达式为：
C＝dilate(mask)-mask
S72、模糊化所述差值数据。
本步骤中，可以利用高斯模糊函数GaussianBlur对上述差值数据进行模糊化，将模糊化后的差值数据记为G，则表达式为：
G＝GaussianBlur(C)＝GaussianBlur(dilate(mask)-mask)*0.5
通过执行模糊化处理过程，可以从二次膨胀后的人像数据中筛选出介于人像数据和背景数据之间的数据。
S73、对模糊化后的差值数据和所述腐蚀后的前景数据进行求和处理，获得求和结果。
本步骤中，可以将求和结果即为T，则T的表达式为：
T＝G+mask＝GaussianBlur(dilate(mask)-mask)*0.5+mask
具体地，在实施腐蚀、膨胀、二次腐蚀和模糊处理时，实质上是对数据构成的矩阵进行处理，以数据为灰度值为例进行说明，则在实施步骤S73时，可以对模糊化后的差值数据(灰度值差值)构成的矩阵和腐蚀后的人像数据(灰度值)构成的矩阵进行求和处理，从而获得的求和结果T也为矩阵。
S74、将所述求和结果中满足前景数据筛选条件的数据确定为确定前景数据，以及将所述求和结果中不满足前景数据筛选条件且不满足背景数据筛选条件的数据确定为不确定数据。
本步骤中，在获得求和结果后，该求和结果T中包括表征三类区域的三类数据，即：背景数据、不确定数据和确定前景数据。而前景数据的灰度值为255，背景数据的灰度值为0，则可以将前景数据筛选条件设置为元素取值为255，将背景数据筛选条件配置为元素取值为0，则基于求和结果T，可以筛选出矩阵T中元素的取值为255的数据，则筛选出的数据即为确定前景数据，以及还可以从矩阵T中筛选出元素的取值不为255且也不为0的数据，则筛选出的数据即为不确定数据。当目标图像为人像图像时，参考图8a所示，为包含背景的人像图像，在基于步骤S32获得该人像图像的人像初始数据后，再实施图7所示的优化流程时，确定出的确定人像数据和不确定数据可以参考图8b所示，图8b中灰色部分即为不确定数据，白色部分为确定人像数据，图8b中黑色部分为背景数据。
S34、对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述前景图像中的目标前景数据。
具体地，可以利用抠图算法对确定前景数据和不确定数据进行抠图处理，从而可以确定出目标对象在前景图像中的目标前景数据。本发明实施例中的抠图算法可以但不限于包括：global matting算法和深度抠图(Deep image matting)算法等。
在进行抠图处理时，以global matting算法为例进行说明，则可以按照下述公式进行抠图处理：
M＝global matting{T[t<＝255]}
该公式中，M为目标对象在前景图像中的目标前景数据，T为求和结果，t为T中的每一元素。基于上述公式，可以将不确定数据进行明确，明确哪些不确定数据为目标前景数据，哪些不确定数据属于背景数据。
参考图8c所示，为对图8b进行抠图处理后得到的人像数据构成的图像。由于上述人像数据均值在灰度图像下处理得到的，而包含背景的目标对象的人像图像是彩色图，则需要将抠图处理后得到的人像数据转换成彩色人像数据，得到的彩色人像数据为目标对象在人像图像中的目标人像数据。具体地，在转换成彩色人像数据时，可以以像素点为单位进行查找，选取抠图处理后的人像数据的每一位置的像素点，然后在目标对象的人像图像中查找相应位置的像素点，这样就可以获取到该像素点的彩色数据，进而基于各个像素点的彩色数据，获得目标对象在人像图像中的目标人像数据。基于此，无需人工标注和模型训练即可得到目标人像数据，此外由于无需人工标注，有效避免了因人工标注存在不准确问题而导致分离出的人像数据不准确的问题的发生。
可选地，当目标图像为人像图像时，当步骤S31中获取到的是姿态互不相同的多个人像图像时，则基于本发明提供的流程可以提取出各个人像图像中的目标人像数据，从而可以构成目标人像数据集合。
在此基础之上，可以将获取到的目标前景数据替换各种背景，从而得到各个背景下目标对象的前景图像，具体可以实施图9a所示的流程构建目标图像数据集，包括以下步骤：
S91、获取背景图像集，所述背景图像集包括各个背景图像的背景数据。
本步骤中，上述背景图像集可以为places数据集，该Places数据集是以场景为中心的数据库，包含205个场景类别和250万个带有类别标签的图像，参考图9b所示，图9b仅列出了places数据集中的部分背景图像。
S92、根据所述目标前景数据和各个背景图像的背景数据，分别构建各个背景下目标对象的前景图像。
本步骤中，针对每一背景图像，在构建该背景下目标对象的前景图像时，可以先将目标前景数据和背景图像设置为相同尺寸，然后针对目标前景数据的每一像素点，将背景图像中相应位置的像素点处的像素值设置为该像素点在目标前景数据中的像素值，以此类推，从而可以构建出该背景下目标对象的前景图像，这样就能避免在所有背景下都需要拍摄前景图像所带来的成本高与时间长的问题。以图9c所示的目标对象的人像图像为例进行说明，则优化图9c的人像初始数据获得确定人像数据和不确定数据后，基于这两个数据构成的人像图像参考图9d所示，然后利用深度抠图算法进行抠图处理后，可以得到目标对象的目标人像数据，目标人像数据构成的图像可以参考图9e所示，进而针对一个背景图像，基于目标人像数据和该背景图像的背景数据可以构建出目标对象在该背景下的人像图像，参考图9f所示。
S93、基于各个背景下目标对象的前景图像，构建前景图像样本集。
具体地，在获取到目标对象在不同背景下的人像图像时，可以将这些人像图像构建成人像图像样本集，从而降低了样本集的生成时间和成本，达到了快速分离出人像数据的目的。
为了更好地理解本发明，可以参考图10所示，介绍本发明实施例提供的背景数据生成方法，当目标图像为人像图像时，首先获取背景图像和包含背景的目标对象的人像图像，然后将上述背景图像和人像图像输入到MOG2算法中，从而可以去除掉人像图像中的背景，获得目标对象的人像初始数据；然后对人像初始数据进行膨胀处理，再对膨胀后的人像数据进行腐蚀操作，得到腐蚀后的人像数据，再将腐蚀后的人像数据进行二次膨胀处理，并确定二次膨胀后的人像数据与腐蚀后的人像数据之间的差值数据，并高斯模糊上述差值数据，然后对模糊化后的差值数据和腐蚀后的人像数据进行求和处理，再从求和结果中筛选出灰度值为255的数据，并将筛选出的数据确定为确定人像数据，以及从求和结果中筛选出灰度值不为255且不为0的数据，并将满足这一条件的数据确定为不确定数据。然后对确定人像数据和不确定数据进行抠图处理，从而可以得到图10中目标对象在该背景下的目标人像数据。在此基础之上，获取背景图像集，然后根据目标人像数据和各个背景的背景数据，可以分别构建出各个背景下的目标对象的人像图像，进而获得人像图像样本集。由此不仅快速地从人像图像中分离出目标对象的目标对象数据，而且也快速地创建出人像图像样本集，从而拓宽了目标人像数据的应用场景。此外，通过对人像初始数据进行膨胀、腐蚀、二次膨胀和模糊处理，使得获得的目标人像的目标人像数据更加准确。
基于上述任一实施例，可以利用获取到的前景图像样本集对背景分割模型进行训练。具体地，可以按照图11所示的方法对背景分割模型进行训练，包括以下步骤：
S111、获取构建的前景图像样本集。
S112、利用所述前景图像样本集，训练背景分割模型。
图11所示的流程中，当前景图像样本集为人像图像样本集时，在进行背景分割模型训练时，可以获取预先基于本发明实施例提供的人像数据生成方法构建得到的人像图像样本集。然后对该人像图像样本集中的每一目标人像数据进行标注，进而将标注的每一背景下的人像图像输入到背景分割模型中，在模型训练过程中可以引入loss损失函数，如利用欧氏距离来确定背景分割模型的输出与输入之间的偏差，即：确定模型输出的目标人像数据与标注的目标人像数据之差的平方和，根据该结果对背景分割模型中神经元的权重进行调整，在迭代次数达到结束条件或者调整后的背景分割模型满足收敛条件时训练结束，从而就可以得到训练好的背景分割模型。
采用本发明提供的背景分割模型训练方法，由于人像图像样本集中目标人像数据准确度比较高，从而大大提高了训练得到的背景分割模型的分离结果的准确度。
在获得背景分割模型之后，可以使用训练好的背景分割模型进行图像处理，具体可以按照图12a所示的方法实施图像处理流程，包括以下步骤：
S121、采集待处理前景图像。
S122、利用训练得到的背景分割模型，从所述待处理前景图像中分离出前景数据和背景数据。
S123、对所述前景数据和/或背景数据进行渲染处理。
采用图12a的方法，当待处理前景图像为待处理人像图像时，针对每一待处理人像图像，可以基于本发明的人像图像样本集训练得到的背景分割模型，从待处理人像图像中分离出背景数据和人像数据，然后可以根据业务场景或用户的实际需求来渲染人像数据和/或背景数据，从而使得渲染后的结果能够满足用户的预期。
一种可能的实施例，以将本发明提供的图像处理方法应用到用户拍照场景中，越来越多的用户喜欢将自己的照片处理的非常漂亮，这样不仅会提升自己的自信，而且会提升自己的心情。基于此需求，可以在拍照设备中嵌入本发明提供的图像处理方法，结合图12b进行说明，图12b为拍照设备拍摄的目标对象的原图，即本发明中待图像人像图像，然后利用本发明提供的背景分割模型从图12b的图像中分离出人像数据和背景数据，在分离出来后，可以根据用户的需求对背景进行模糊处理(参考图12c和图12d所示)，打马赛克处理(参考图12e所示)，或者对背景进行黑白线稿化处理(参考图12f所示)等，从而使得渲染处理后的图像能够满足用户的实际需求。
另一可能的实施例，在主播直播过程中，主播可能在家里直播，但期望切换与直播内容相关的背景，基于此需求，当用户期望在直播过程中期望切换背景时，则会触发图像采集指令，当接收到这一指令后可以采集待处理人像图像，然后利用本发明训练得到的背景分割模型从待处理人像图像中分离出人像数据和背景数据，然后获取用户需求切换的背景的背景数据，然后将分离出的人像数据和切换的背景的背景数据，构建出一张该背景下的人像图像，然后在直播过程中进行展示，这样不仅快速实现了背景的切换而且达到了用户的需求，提高了用户的满意度。
再一可能的实施例，随着弹幕的出现和普及度，用户在观看视频时经常会通过弹幕发表自己的意见等，但随着发表弹幕的用户越来越多，现有技术是直接在视频内容中嵌入弹幕，这样会导致发表的弹幕会遮挡当前正在播放的视频内容，为了避免这一问题，可以在视频播放过程中，在监测到用户发表弹幕时，可以根据用户发表弹幕的时间，找到与该时间相匹配的视频帧，然后利用本发明训练得到的背景分割模型从该视频帧中分离出背景数据和人像数据，这样就可以在背景数据中嵌入用户发表的弹幕，这样就适当发表的弹幕只显示在背景部分上，从而有效避免了弹幕因发表在前景内容上而导致的过多挡住了视频帧中人物进而影响用户欣赏视频的情况发生。
需要说明的是，本发明中的背景分割模型还可以应用到其他场景中，本发明对背景分割模型的应用场景不进行限定。
基于同一发明构思，本发明实施例中还提供了一种前景数据生成装置，由于上述装置解决问题的原理与人像数据生成方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图13所示，为本发明实施例提供的前景数据生成装置的结构示意图，包括：
第一获取单元131，用于获取背景图像和包含所述背景的目标对象的前景图像；
背景去除单元132，用于根据所述背景图像和所述前景图像，去除所述前景图像中的背景，得到所述目标对象在所述前景图像中的前景初始数据；
数据处理单元133，用于根据所述前景初始数据，获得确定前景数据和不确定数据；
数据获得单元134，用于对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述前景图像中的目标前景数据。
可选地，上述数据处理单元133，具体用于对所述前景初始数据进行膨胀处理，获得膨胀后的前景数据；对膨胀后的前景数据进行腐蚀处理，获得腐蚀后的前景数据；对腐蚀后的前景数据进行二次膨胀和模糊处理，获得确定前景数据和不确定数据。
可选地，上述数据处理单元133，具体用于确定二次膨胀后的前景数据与腐蚀后的前景数据之间的差值数据；模糊化所述差值数据；对模糊化后的差值数据和所述腐蚀后的前景数据进行求和处理，获得求和结果；将所述求和结果中满足前景数据筛选条件的数据确定为确定前景数据，以及将所述求和结果中不满足前景数据筛选条件且不满足背景数据筛选条件的数据确定为不确定数据。
可选地，上述第一获取单元131，具体用于获取至少一个前景图像，且各个前景图像中目标对象的姿态互不相同。
可选地，本发明提供的前景数据生成装置，还包括：
第二获取单元135，用于获取背景图像集，所述背景图像集包括各种背景图像的背景数据；
图像构建单元136，用于根据所述目标前景数据和各个背景图像的背景数据，分别构建各个背景下目标对象的前景图像；
样本集构建单元137，用于基于各个背景下目标对象的前景图像，构建前景图像样本集。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于同一发明构思，本发明实施例还提供了一种背景分割模型训练装置，由于上述装置解决问题的原理与背景分割模型训练方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图14所示，为本发明实施例提供的背景分割模型训练装置的结构示意图，包括：
获取单元141，用于获取基于本发明提供的前景数据生成方法构建的前景图像样本集；
模型训练单元142，用于利用所述前景图像样本集，训练背景分割模型。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于同一发明构思，本发明实施例还提供了一种图像处理装置，由于上述装置解决问题的原理与图像处理方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图15所示，为本发明实施例提供的图像处理装置的结构示意图，包括：
采集单元151，用于采集待处理前景图像；
背景分割单元152，用于利用本发明实施例提供的背景分割模型训练方法训练得到的背景分割模型，从所述待处理前景图像中分离出前景数据和背景数据；
渲染单元153，用于对所述前景数据和/或背景数据进行渲染处理。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于上述任一实施例，本发明实施例还提供了一种图像处理系统，参考图16所示，该图像处理系统至少包括：图像采集设备161、背景分割设备162和图像渲染设备163，本发明实施例中图像采集设备161、背景分割设备162和图像渲染设备163可以集成在同一个设备中，也可以分为多个设备，相互连接通信，组成一个图像处理系统来使用等，针对美颜功能来说，图像采集设备161可以为摄像头，背景分割设备和图像渲染设备可以为与摄像头相通信的计算机设备等。
具体地，图像采集设备161，用于采集待处理前景图像。
背景分割设备162，用于利用本发明实施例提供的背景分割模型训练方法训练得到的背景分割模型，从所述待处理前景图像中分离出前景数据和背景数据。
图像渲染设备163，用于对所述前景数据和/或背景数据进行渲染处理。
基于上述任一实施例，本发明实施例还提供了另一示例性实施方式的电子设备，在一些可能的实施方式中，本发明实施例中电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时可以实现上述实施例中前景数据生成方法或背景分割模型训练方法或图像处理方法的步骤。
以电子设备为本发明图2中计算装置为例进行说明，此时电子设备中的处理器即为图2中计算装置中的处理单元21，电子设备中的存储器即为图2中计算装置中的存储单元22。
基于上述任一实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的前景数据生成方法或背景分割模型训练方法或图像处理方法。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种前景数据生成方法，其特征在于，包括：
获取背景图像和包含所述背景的目标对象的目标图像；
根据所述背景图像和所述目标图像，去除所述目标图像中的背景，得到所述目标对象在所述目标图像中的前景初始数据；
根据所述前景初始数据，获得确定前景数据和不确定数据；
对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述目标图像中的目标前景数据。
2.如权利要求1所述的方法，其特征在于，根据所述前景初始数据，获得确定前景数据和不确定数据，具体包括：
对所述前景初始数据进行膨胀处理，获得膨胀后的前景数据；
对膨胀后的前景数据进行腐蚀处理，获得腐蚀后的前景数据；
对腐蚀后的前景数据进行二次膨胀和模糊处理，获得确定前景数据和不确定数据。
3.如权利要求2所述的方法，其特征在于，对腐蚀后的前景数据进行二次膨胀和模糊处理，获得确定前景数据和不确定数据，具体包括：
确定二次膨胀后的前景数据与腐蚀后的前景数据之间的差值数据；
模糊化所述差值数据；
对模糊化后的差值数据和所述腐蚀后的前景数据进行求和处理，获得求和结果；
将所述求和结果中满足前景数据筛选条件的数据确定为确定前景数据，以及将所述求和结果中不满足前景数据筛选条件且不满足背景数据筛选条件的数据确定为不确定数据。
4.如权利要求1所述的方法，其特征在于，获取包含所述背景的目标对象的目标图像，具体包括：
获取至少一个目标图像，且各个目标图像中目标对象的姿态互不相同。
5.如权利要求1～4任一所述的方法，其特征在于，还包括：
获取背景图像集，所述背景图像集包括各个背景图像的背景数据；
根据所述目标前景数据和各个背景图像的背景数据，分别构建各个背景下目标对象的目标图像；
基于各个背景下目标对象的目标图像，构建目标图像样本集。
6.如权利要求1～4任一所述的方法，其特征在于，所述目标图像为人像图像，则所述目标前景数据为目标人像数据。
7.一种背景分割模型训练方法，其特征在于，包括：
获取基于权利要求5的方法构建的目标图像样本集；
利用所述目标图像样本集，训练背景分割模型。
8.一种图像处理方法，其特征在于，包括：
采集待处理目标图像；
利用权利要求7所示的方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
对所述前景数据和/或背景数据进行渲染处理。
9.一种前景数据生成装置，其特征在于，包括：
第一获取单元，用于获取背景图像和包含所述背景的目标对象的目标图像；
背景去除单元，用于根据所述背景图像和所述目标图像，去除所述目标图像中的背景，得到所述目标对象在所述目标图像中的前景初始数据；
数据优化单元，用于根据所述前景初始数据，获得确定前景数据和不确定数据；
数据获得单元，用于对所述确定前景数据和不确定数据进行分割处理，获得所述目标对象在所述目标图像中的目标前景数据。
10.如权利要求9所述的装置，其特征在于，还包括：
第二获取单元，用于获取背景图像集，所述背景图像集包括各种背景图像的背景数据；
图像构建单元，用于根据所述目标前景数据和各个背景图像的背景数据，分别构建各个背景下目标对象的目标图像；
样本集构建单元，用于基于各个背景下目标对象的目标图像，构建目标图像样本集。
11.一种背景分割模型训练装置，其特征在于，包括：
获取单元，用于获取基于权利要求6的方法构建的目标图像样本集；
模型训练单元，用于利用所述目标图像样本集，训练背景分割模型。
12.一种图像处理装置，其特征在于，包括：
采集单元，用于采集待处理目标图像；
背景分割单元，用于利用权利要求7所示的方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
渲染单元，用于对所述前景数据和/或背景数据进行渲染处理。
13.一种图像处理系统，其特征在于，至少包括：图像采集设备、背景分割设备和图像渲染设备，其中：
所述图像采集设备，用于采集待处理目标图像；
所述背景分割设备，用于利用权利要求7所示的方法训练得到的背景分割模型，从所述待处理目标图像中分离出前景数据和背景数据；
所述图像渲染设备，用于对所述前景数据和/或背景数据进行渲染处理。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一权利要求所述的人像数据生成方法，或者实现如权利要求7所述的背景分割模型训练方法，或者实现如权利要求8所述的图像处理方法。
15.一种计算机可读介质，存储有处理器可执行指令，其特征在于，所述处理器可执行指令用于执行如权利要求1至6任一权利要求所述的人像数据生成方法，或者执行如权利要求7所述的背景分割模型训练方法，或者用于执行如权利要求8所述的图像处理方法。
CN201910292962.1A 2019-04-12 2019-04-12 一种前景数据生成及其应用方法、相关装置和系统 Active CN110033463B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910292962.1A CN110033463B (zh) 2019-04-12 2019-04-12 一种前景数据生成及其应用方法、相关装置和系统
PCT/CN2020/079621 WO2020207203A1 (zh) 2019-04-12 2020-03-17 一种前景数据生成及其应用方法、相关装置和系统
US17/330,268 US11961237B2 (en) 2019-04-12 2021-05-25 Foreground data generation method and method for applying same, related apparatus, and system
US18/601,882 US20240212161A1 (en) 2019-04-12 2024-03-11 Foreground data generation method and method for applying same, related apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910292962.1A CN110033463B (zh) 2019-04-12 2019-04-12 一种前景数据生成及其应用方法、相关装置和系统

Publications (2)

Publication Number Publication Date
CN110033463A true CN110033463A (zh) 2019-07-19
CN110033463B CN110033463B (zh) 2021-06-04

Family

ID=67238178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910292962.1A Active CN110033463B (zh) 2019-04-12 2019-04-12 一种前景数据生成及其应用方法、相关装置和系统

Country Status (3)

Country Link
US (2) US11961237B2 (zh)
CN (1) CN110033463B (zh)
WO (1) WO2020207203A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置
WO2020207203A1 (zh) * 2019-04-12 2020-10-15 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
CN112351291A (zh) * 2020-09-30 2021-02-09 深圳点猫科技有限公司 一种基于ai人像分割的教学互动方法、装置及设备
CN112884699A (zh) * 2019-11-13 2021-06-01 西门子医疗有限公司 用于分割图像数据的方法和图像处理设备和计算机程序产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026558B (zh) * 2019-11-25 2020-11-17 上海哔哩哔哩科技有限公司 基于微信小程序的弹幕处理方法和系统
CN115661535B (zh) * 2022-10-31 2023-11-03 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364944A (zh) * 2011-11-22 2012-02-29 电子科技大学 一种预防人员聚集的视频监控方法
CN102982313A (zh) * 2012-10-31 2013-03-20 深圳辉锐天眼科技有限公司 烟雾检测的方法
CN103039066A (zh) * 2010-06-30 2013-04-10 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
CN104156729A (zh) * 2014-07-21 2014-11-19 武汉理工大学 一种教室人数统计方法
CN104658009A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的运动目标检测方法
CN105139415A (zh) * 2015-09-29 2015-12-09 小米科技有限责任公司 图像前后景分割方法、装置及终端
CN105184787A (zh) * 2015-08-31 2015-12-23 广州市幸福网络技术有限公司 一种自动对人像进行抠图的证照相机及方法
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及系统
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN107610149A (zh) * 2017-09-25 2018-01-19 北京奇虎科技有限公司 图像分割结果边缘优化处理方法、装置及计算设备
CN107943837A (zh) * 2017-10-27 2018-04-20 江苏理工学院 一种前景目标关键帧化的视频摘要生成方法
CN108447068A (zh) * 2017-12-22 2018-08-24 杭州美间科技有限公司 三元图自动生成方法及利用该三元图的前景提取方法
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN109241973A (zh) * 2018-08-21 2019-01-18 南京工程学院 一种纹理背景下的字符全自动软分割方法
CN109544571A (zh) * 2018-10-31 2019-03-29 南京理工大学 一种基于数学形态学的金相图像边缘检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
KR101023207B1 (ko) * 2007-09-05 2011-03-18 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR101605168B1 (ko) * 2010-01-04 2016-03-22 삼성전자주식회사 이미지 처리 장치 및 방법
IL224896A (en) * 2013-02-25 2017-09-28 Agent Video Intelligence Ltd Method for extracting objects
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
CN108537815B (zh) * 2018-04-17 2020-10-30 国网浙江省电力有限公司 一种视频图像前景分割方法和装置
CN108564057B (zh) * 2018-04-25 2022-05-13 浙江传媒学院 一种基于opencv的人物相似度系统的建立方法
KR102565849B1 (ko) * 2018-05-14 2023-08-11 한국전자통신연구원 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치
CN110580428A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103039066A (zh) * 2010-06-30 2013-04-10 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
CN102364944A (zh) * 2011-11-22 2012-02-29 电子科技大学 一种预防人员聚集的视频监控方法
CN102982313A (zh) * 2012-10-31 2013-03-20 深圳辉锐天眼科技有限公司 烟雾检测的方法
CN104156729A (zh) * 2014-07-21 2014-11-19 武汉理工大学 一种教室人数统计方法
CN104658009A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的运动目标检测方法
CN105184787A (zh) * 2015-08-31 2015-12-23 广州市幸福网络技术有限公司 一种自动对人像进行抠图的证照相机及方法
CN105139415A (zh) * 2015-09-29 2015-12-09 小米科技有限责任公司 图像前后景分割方法、装置及终端
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及系统
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN107610149A (zh) * 2017-09-25 2018-01-19 北京奇虎科技有限公司 图像分割结果边缘优化处理方法、装置及计算设备
CN107943837A (zh) * 2017-10-27 2018-04-20 江苏理工学院 一种前景目标关键帧化的视频摘要生成方法
CN108447068A (zh) * 2017-12-22 2018-08-24 杭州美间科技有限公司 三元图自动生成方法及利用该三元图的前景提取方法
CN109146830A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 用于生成训练数据的方法、装置、系统和存储介质
CN109241973A (zh) * 2018-08-21 2019-01-18 南京工程学院 一种纹理背景下的字符全自动软分割方法
CN109544571A (zh) * 2018-10-31 2019-03-29 南京理工大学 一种基于数学形态学的金相图像边缘检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王棚飞等: ""一种基于图像匹配的地面交通标志实时识别方法"", 《计算机科学》 *
赵燕熙: ""基于时间和空间显著性运动目标检测方法研究"", 《基于时间和空间显著性运动目标检测方法研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207203A1 (zh) * 2019-04-12 2020-10-15 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
US11961237B2 (en) 2019-04-12 2024-04-16 Tencent Technology (Shenzhen) Company Limited Foreground data generation method and method for applying same, related apparatus, and system
CN112884699A (zh) * 2019-11-13 2021-06-01 西门子医疗有限公司 用于分割图像数据的方法和图像处理设备和计算机程序产品
CN112884699B (zh) * 2019-11-13 2024-03-12 西门子医疗有限公司 用于分割图像数据的方法和图像处理设备和计算机程序产品
CN111709873A (zh) * 2020-05-27 2020-09-25 北京百度网讯科技有限公司 图像转换模型生成器的训练方法和装置
CN112351291A (zh) * 2020-09-30 2021-02-09 深圳点猫科技有限公司 一种基于ai人像分割的教学互动方法、装置及设备

Also Published As

Publication number Publication date
WO2020207203A1 (zh) 2020-10-15
US20240212161A1 (en) 2024-06-27
CN110033463B (zh) 2021-06-04
US11961237B2 (en) 2024-04-16
US20210279888A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
CN110033463A (zh) 一种前景数据生成及其应用方法、相关装置和系统
CN110832541B (zh) 图像处理装置和方法
Ma et al. An α-matte boundary defocus model-based cascaded network for multi-focus image fusion
US20220383649A1 (en) System and method for facilitating graphic-recognition training of a recognition model
CN103608847B (zh) 一种用于图像模型构建的方法和装置
CN105654471A (zh) 应用于互联网视频直播的增强现实ar系统及方法
CN111464834B (zh) 一种视频帧处理方法、装置、计算设备及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN104952111A (zh) 采用便携式相机获得三维脸部模型的方法和装置
Peng et al. LVE-S2D: Low-light video enhancement from static to dynamic
CN111145135A (zh) 一种图像去扰处理方法、装置、设备及存储介质
US20230230304A1 (en) Volumetric capture and mesh-tracking based machine learning 4d face/body deformation training
Rawat et al. A spring-electric graph model for socialized group photography
WO2021173005A1 (en) Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery
JPWO2020110432A1 (ja) 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム
Kikuchi et al. Automatic diminished reality-based virtual demolition method using semantic segmentation and generative adversarial network for landscape assessment
Erdem et al. Applying computational aesthetics to a video game application using machine learning
de Torres et al. An efficient approach to automatic generation of time-lapse video sequences
Vasiliu et al. Coherent rendering of virtual smile previews with fast neural style transfer
US11887313B2 (en) Computing platform using machine learning for foreground mask estimation
CN115174962B (zh) 预演仿真方法、装置、计算机设备及计算机可读存储介质
US11593584B2 (en) Method for computation relating to clumps of virtual fibers
Yeo et al. PNP: A Review Framework towards Efficient NeRF Study and Research
CN118071619A (zh) 高质量图像的生成方法、设备以及存储介质
Usón Peirón Design and development of a foreground segmentation approach based on Deep Learning for Free Viewpoint Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant