CN108154518A - 一种图像处理的方法、装置、存储介质及电子设备 - Google Patents
一种图像处理的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108154518A CN108154518A CN201711311413.1A CN201711311413A CN108154518A CN 108154518 A CN108154518 A CN 108154518A CN 201711311413 A CN201711311413 A CN 201711311413A CN 108154518 A CN108154518 A CN 108154518A
- Authority
- CN
- China
- Prior art keywords
- image
- background
- network model
- neural network
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000003062 neural network model Methods 0.000 claims abstract description 83
- 238000012360 testing method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000003475 lamination Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 21
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 238000006748 scratching Methods 0.000 description 3
- 230000002393 scratching effect Effects 0.000 description 3
- 239000000686 essence Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理的方法、装置、存储介质及电子设备，该方法包括步骤：将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；根据所获得的输出结果获取前景图像；其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。通过本申请提出的方法可以减少模型的训练的时间、降低图像处理的复杂度以及增加图像处理的准确度。
Description
技术领域
本申请涉及互联网领域，尤其涉及一种图像处理的方法、装置、存储介质及电子设备。
背景技术
“抠图”是图像处理中最常做的操作之一，指的是将图像中需要的部分(前景)从图像中精确地提取出来。随着神经网络的技术日趋成熟，神经网络的技术被越来越广泛地应用在图像处理领域。但是，目前的神经网络模型需要采集大量的样本进行训练，才能达到较为准确的预测效果。并且目前的神经网络模型的训练过程较为复杂，加上训练样本数据较多，存在训练时间长及训练成本较高等缺陷。
发明内容
本申请提供了一种图像处理的方法、装置、存储介质及电子设备，旨在减少神经网络模型的训练的时间、降低图像处理的复杂度以及增加图像处理的准确度。
具体地，本申请是通过如下技术方案实现的：
一种图像处理的方法，所述方法包括：
将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；
根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
在一些例子中，所述神经网络模型包括以下任一：卷积神经网络模型、深度神经网络模型、深度全卷积神经网络模型、循环神经网络模型、全卷积神经网络模型及深度卷积神经网络模型。
在一些例子中，所述神经网络模型包括：20层卷积层、5层池化层及5层反卷积层；
所述卷积层对输入的待测图像及对应的背景图像进行特征提取，获得特征图，所述池化层对提取出来的特征图进行下采样，所述反卷积层将下采样之后的特征图进行上采样，得到与待测图像尺寸相匹配的输出结果。
在一些例子中，所述待测图像包括待处理视频流中至少一帧图像帧。
在一些例子中，获取所述前景图像之后，所述方法还包括：
获取另一背景图像，将所述前景图像与另一背景图像合成目标图像。
在一些例子中，获取所述前景图像之后，所述方法还包括：
获取前景图像中的选定部分，将所述选定部分与所述背景图像合成新的背景图片输入神经网络模型。
一种直播方法，所述方法包括：
获取主播客户端所在电子设备的摄像头捕获的背景图像；
获取主播客户端所在电子设备的摄像头捕获的待测图像，所述待测图像的背景与所述背景图像匹配；
将所述背景图像及待测图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果；
根据所获得的输出结果获取前景图像；
将所述前景图像与另一背景图像合成目标图像，将所述目标图像分发给相应的观众客户端；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
在一些例子中，包括：
处理模块：用于将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，所述待测图像的背景与所述背景图像匹配；
获取模块：用于根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配；
在一些例子中，所述装置还包括编辑模块，
获取前景图像之后，所述编辑模块用于获取前景图像中的选定部分，将所述选定部分与所述背景图像合成新的背景图片输入神经网络模型。
一种电子设备，包括：
处理器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：
将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；
根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
一种存储介质，其上存储有计算机程序，该程序被处理器执行如下操作：
将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；
根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请实施例提出的方法，通过以背景样本图像及拍摄样本图像为样本数据训练神经网络模型，其中，拍摄样本图像的背景与背景样本图像匹配，由于以背景样本图像作为参照，大大减少训练模型的复杂度，从而减少了训练时间；并且在使用上述预先生成的神经网络模型进行图像处理时，神经网络模型进行图像处理的过程较为简单，耗时短，可以达到实时抠图的效果。并且在图像处理时，将待测图像及对应的背景图像都输入预先生成的神经网络模型，存在背景图像作为参考，图像处理(抠图)的准确率也会大大提升。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请一示例性实施例提供的一种图像处理的方法的部分流程图；
图2a是本申请一示例性实施例示出的一种生成神经网络模型的方法的部分流程图；
图2b是本申请一示例性实施例示出的神经网络模型的示意图；
图3是本申请一示例性实施例示出的一种图像处理的示意图；
图4是本申请一示例性实施例示出的另一种图像处理的的示意图；
图5是本申请一示例性实施例示出的一种直播方法的部分流程图；
图6a是本申请一示例性实施例示出的一种图像处理装置的逻辑框图；
图6b是本申请一示例性实施例示出的另一种图像处理装置的逻辑框图；
图6c是本申请一示例性实施例示出的另一种图像处理装置的逻辑框图；
图7是本申请一示例性实施例示出的一种电子设备的逻辑框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
人工神经网络(Artificial NeuralNetwork，简称ANN)，亦称为神经网络(NeuralNetwork，ANN)，是由大量处理单元(神经元Neurons)广泛互联而成的网络。神经网络在外界输入样本的刺激下不断改变网络的连接权值，以使网络的输出不断的接近期望的输出(标签信息)。训练的本质是对各连接权值的动态调整，例如迭代训练。当输出结果与期望的输出达到匹配条件时，即达到收敛条件，神经网络模型训练完成。
神经网络的技术被越来越广泛地应用在图像处理领域。但是，目前的神经网络模型需要采集大量的样本进行训练，才能达到较为准确的预测效果。并且目前的的神经网络模型的训练过程较为复杂，加上训练样本数据较多，存在训练时间长及训练成本较高等缺陷。
为了解决上述问题，本申请提供一种图像处理的方法、装置、存储介质及电子设备，参照图1，所述方法的部分步骤如下：
S101：将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配。
本步骤中，所述待测图像及背景图像可以是至少一张图像，也可以是一路待测视频流的至少一帧图像帧，如可以是待测视频流的每帧图像帧或是关键的图像帧，在一个例子中，步骤S101可以将一路待测视频流及对应的一张背景图像输入神经网络模型。可以理解某些例子，背景图像也可以是一路背景视频流的至少一帧图像帧。
本步骤中提出的待测图像的背景可以是背景图像，也可以是背景图像的部分内容。
S102：根据所获得的输出结果获取前景图像。
本步骤中，所述输出结果可以为待测图像的每一个像素点为前景像素点的概率值，将概率值超过预设阈值(例如大于90％)的像素点作为前景像素点，将上述前景像素点拼接成前景图像。
其中，本申请实施例提出的所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
在某些例子中，所述背景样本图像及拍摄样本图像可以是一组样本数据。
在某些例子中，所述神经网络模型可以包括CNN(卷积神经网络)模型、RNN(循环神经网络)模型、DNN(深度神经网络)模型、深度全卷积神经网络模型、深度卷积神经网络模型及全卷积神经网络模型等。其中，卷积神经网络尤其适用于图像处理领域，由于卷积神经网络的结构基于一个假设，即输入数据是图像，基于该假设，向结构中添加了一些特有的性质。这些特有属性使得前向传播函数实现起来更高效，并且大幅度降低了网络中参数的数量。
在某些例子中，当所述神经网络模型为卷积神经网络模型时，参照图2a，本申请实施例提出的训练神经网络模型的部分步骤如下：
S201：将样本图像及拍摄样本图像作为样本数据输入卷积神经网络模型，所述拍摄样本数据图像为包含前景标注信息的样本图像；
S202：对所述样本图像及拍摄样本图像进行卷积处理，获得预测结果；
S203：判断所述预测结果是否满足收敛条件；
本步骤中，所述前景标注信息可以是拍摄样本图像中为前景的像素点的集合；所述预测结果可以是拍摄样本图像的每一个像素点为前景像素点的概率值，并将概率值超过预设阈值的像素点作为预测的前景像素点；判断所述预测的前景像素点是否与前景标注信息的像素点相匹配，如匹配则满足收敛条件，如不匹配则不满足收敛条件；
S204：若满足，则完成对神经网络模型的训练；
S205：若不满足，根据预测结果调整所述卷积神经网络模型的参数后，对卷积神经网络模型进行迭代训练，直至迭代训练后的预测结果满足所述收敛条件，则完成对卷积神经网络模型的训练。
以一个具体实例对本实施例中的神经网络模型进行简要说明，参照图2b，为本申请实施例示意性的示出的一种神经网络模型的示意图，该神经网络模型包括：20层卷积层210、5层池化层220和5层反卷积层230，具体的，参照图2b，该神经网络模型依次包括：
<＝1卷积层
<＝2卷积层
<＝3池化层
<＝4卷积层
<＝5卷积层
<＝6池化层
<＝7卷积层
<＝8卷积层
<＝9卷积层
<＝10池化层
<＝11卷积层
<＝12卷积层
<＝13卷积层
<＝14池化层
<＝15卷积层
<＝16卷积层
<＝17卷积层
<＝18池化层
<＝19卷积层
<＝20卷积层
<＝21反卷积层
<＝22卷积层
<＝23反卷积层
<＝24卷积层
<＝25反卷积层
<＝26卷积层
<＝27反卷积层
<＝28卷积层
<＝29反卷积层
<＝30卷积层
其中，卷积层210可以进行特征提取，池化层220将图像进行下采样，在一些例子中，池化层可以对图像下采样32倍。反卷积层230将下采样之后的图像上采样到原图(待测图像)的大小。将待测图像及对应的背景图像输入图2b所示的神经网络模型中，经过上述神经网络模型的计算和处理，可以获得输出结果240。可以理解，本申请不限制卷积层、池化层及反卷积层的层数。在一些例子中，神经网络模型包括：16到20层卷积层、5层池化层和5层反卷积层，其中，存在5个第一卷积层，每个第一卷积层后面接着1个反卷积层。
在一些例子中，可以是将待测图像及对应的背景图像叠加后输入神经网络模型中，经过神经网络模型的计算和处理，得到输出结果，根据输出结果获得的前景图像的尺寸与待测图像的尺寸相匹配。当然，所述输出结果可以是代表每个像素点为前景概率的单通道的图像，该图像与待测图像的尺寸相匹配。
参照图3，为本申请实施例实例性示出的待测图像及背景图像，背景图像310为拍摄的沙滩场景，待测图像320为以上述沙滩场景为背景，奔跑的小女孩为前景330的图像。将上述待测图像320及背景图像310输入神经网络模型中，其中上述神经网络模型可以是经过训练得到的，经过上述神经网络模型的计算及处理，可以获得待测图像320中前景区域的输出结果，根据上述输出结果，可以获得所述前景图像。即可以将奔跑的小女孩作为前景330提取出来。
本申请实施例提出的方法，通过以背景样本图像及拍摄样本图像为样本数据训练神经网络模型，其中，拍摄样本图像的背景与背景样本图像匹配，由于以背景样本图像作为参照，大大减少训练模型的复杂度，从而减少了训练时间；并且在使用上述预先生成的神经网络模型进行图像处理时，神经网络模型进行图像处理的过程较为简单，耗时短，可以达到实时抠图的效果。并且在图像处理时，将待测图像及对应的背景图像都输入预先生成的神经网络模型，存在背景图像作为参考，图像处理(抠图)的准确率也会大大提升。
在一些例子中，获取前景图像后，可以根据用户的选择获取选定背景图，将所述前景图像与选定背景图合成目标图像。例如参照图3，获取前景图像330后，可以将任意一张背景图(另一背景图像)与前景图像330合成目标图像，以供用户使用。在实际应用中，若获取的前景图像中存在用户不需要的区域，在获取前景图像后，可以进入编辑模式，供用户进行编辑处理，以获得最终用户用于合成目标图像的素材。
在一些例子中，也可以通过编辑处理的方式获得新的背景图像，在一个应用场景中，若待图像处理的数据是一路待测视频流，可以将背景图像及待测视频流输入预先生成的神经网络模型，神经网络模型对待测视频流中的至少一帧图像帧进行图像处理，当然，可以对每帧图像帧或是关键的图像帧进行图像处理，此时待测视频流的图像帧中可能存在突然入境的物体，而该物体不属于输入的原背景图像的内容，例如参照图4，原背景图像410展示了一片美丽的沙滩，待测视频流展示一个在上述沙滩上奔跑的小女孩，图4中的待测图像420为所述待测视频流的其中一帧图像帧，神经网络模型根据输入的原背景图像410及待测图像420输出预测结果，若在录制待测视频流时，沙滩上出现一个排球，则获取的前景图像430会包括奔跑的小女孩和排球，若用户不需要排球作为前景素材，且希望后获取的前景图像中都不包括该排球，则可以通过编辑的手段获取前景图像中选定的部分431，例如排球，将前景图像430中选定的部分431排球与原背景图像410合成新的背景图像411，那么待测视频流的下一帧图像帧中的排球就作为背景，而不会再作为前景被获取。如此，在进行图像处理时，尤其是对视频流中的图像帧进行处理时，可以减少用户手动编辑的工作量，方便用户操作，提升用户体验。
参照图5，本申请还提供一种直播方法，所述方法的部分步骤如下：
S501：获取主播客户端所在电子设备的摄像头捕获的背景图像；
S502：获取主播客户端所在电子设备的摄像头捕获的待测图像，所述待测图像的背景与所述背景图像匹配；
一些例子中，所述待测图像的背景与所述背景图像匹配，可以是执行步骤S501后，不改变摄像头的位置及拍摄角度，让前景位于上述背景前，捕获待测图像，例如，前景为主播，在主播不入镜时，捕获背景图像；不改变摄像头的位置及拍摄角度，待主播入境时，捕获待测图像，如此待测图像的背景便与所述背景图像匹配，当然所述匹配不限于一模一样。
S503：将所述背景图像及待测图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果；
一些例子中，执行步骤S501之后，可以将背景图像保存在电子设备中，当主播需要进行直播时，主播可以从电子设备的存储空间中获取所述背景图像输入神经网络模型。
S504：根据所获得的输出结果获取前景图像；
S505：将所述前景图像与另一背景图像合成目标图像，将所述目标图像分发给相应的观众客户端；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
上述图5的各步骤可以由主播客户端或服务端执行，一个例子中，步骤S501到步骤S503可以是：不让前景入镜的情况下，主播客户端捕获所在摄像头拍摄的背景图像，例如前景是主播，那么在没有主播的情况下拍摄一张背景图片，然后不改变摄像头的位置和拍摄角度，使主播客户端的摄像头捕获有前景的视频流，上述视频流中的至少一帧关键帧为待测图像，将所述背景图片及视频流输入神经网络模型，获取所述神经网络模型的输出结果。神经网络模型可以位于主播客户端或服务端，当神经网络模型位于主播客户端时，所述图5中的各步骤由主播客户端执行，当神经网络模型位于主播客户端时，所述图5中的各步骤由服务端端执行。
上述图5所示的流程中的各个步骤的具体实现方式和过程还可以参照前述实施例的描述，在此不再赘述。当然上述直播方法还可以用在导播中的图像处理环节中。
通过本申请实施例提出的直播方法，不仅能丰富直播内容，增加直播的趣味性，而且使用上述预先生成的神经网络模型，图像处理速度快，可以实现实时的图像处理，对电子设备的配置要求不高，具有很强实用性，更重要的是以背景图像作为参照，图像处理的准确度非常高。
与前述图像处理的方法的实施例相对应，本申请还提供了图像处理的装置的实施例。
本申请图像处理的装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本申请图像处理的装置所在电子设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该图像处理的装置的实际功能，还可以包括其他硬件，对此不再赘述。请参考图7，本申请还公开了一种电子设备，包括：存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：
将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；
根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
参照图6a，为本申请公开的一种图像处理的装置600，包括：
处理模块610：将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，所述待测图像的背景与所述背景图像匹配；
获取模块620：用于根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
在某些例子中，所述神经网络模型包括卷积神经网络模型。
在某些例子中，所述待测图像包括待处理视频流中至少一帧图像帧。
参照图6b，本申请还公开另一种图像处理的装置601，包括：
处理模块610：将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，所述待测图像的背景与所述背景图像匹配；
获取模块620：用于根据所获得的输出结果获取前景图像；
合成模块630：用于获取另一背景图像，将所述前景图像与另一背景图像合成目标图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
参照图6c，本申请还公开另一种图像处理的装置602，包括：
处理模块610：将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，所述待测图像的背景与所述背景图像匹配；
获取模块620：用于根据所获得的输出结果获取前景图像；
编辑模块640：用于获取前景图像中的选定部分，将所述选定部分与所述背景图像合成新的背景图片输入神经网络模型。
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种图像处理的方法，其特征在于，所述方法包括：
将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，其中所述待测图像的背景与所述背景图像匹配；
根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括以下任一：卷积神经网络模型、深度神经网络模型、深度全卷积神经网络模型、循环神经网络模型、全卷积神经网络模型及深度卷积神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：20层卷积层、5层池化层及5层反卷积层；
所述卷积层对输入的待测图像及对应的背景图像进行特征提取，获得特征图，所述池化层对提取出来的特征图进行下采样，所述反卷积层将下采样之后的特征图进行上采样，得到与待测图像尺寸相匹配的输出结果。
4.根据权利要求1所述的方法，其特征在于，所述待测图像包括待处理视频流中至少一帧图像帧。
5.根据权利要求1所述的方法，其特征在于，获取所述前景图像之后，所述方法还包括：
获取另一背景图像，将所述前景图像与另一背景图像合成目标图像。
6.根据权利要求1所述的方法，其特征在于，获取所述前景图像之后，所述方法还包括：
获取前景图像中的选定部分，将所述选定部分与所述背景图像合成新的背景图片输入神经网络模型。
7.一种直播方法，其特征在于，所述方法包括：
获取主播客户端所在电子设备的摄像头捕获的背景图像；
获取主播客户端所在电子设备的摄像头捕获的待测图像，所述待测图像的背景与所述背景图像匹配；
将所述背景图像及待测图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果；
根据所获得的输出结果获取前景图像；
将所述前景图像与另一背景图像合成目标图像，将所述目标图像分发给相应的观众客户端；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
8.一种图像处理的装置，其特征在于，包括：
处理模块：用于将待测图像及对应的背景图像输入预先生成的神经网络模型，获取所述神经网络模型的输出结果，所述待测图像的背景与所述背景图像匹配；
获取模块：用于根据所获得的输出结果获取前景图像；
其中，所述神经网络模型以背景样本图像及拍摄样本图像为样本数据训练生成，所述拍摄样本数据图像为包括前景标注信息的样本图像，所述拍摄样本图像的背景与背景样本图像匹配。
9.一种电子设备，其特征在于，包括：
处理器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任意一项所述图像处理的方法中的操作。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行权利要求1-6任意一项所述图像处理的方法中的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311413.1A CN108154518B (zh) | 2017-12-11 | 2017-12-11 | 一种图像处理的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311413.1A CN108154518B (zh) | 2017-12-11 | 2017-12-11 | 一种图像处理的方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154518A true CN108154518A (zh) | 2018-06-12 |
| CN108154518B CN108154518B (zh) | 2020-09-08 |
Family
ID=62466906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711311413.1A Active CN108154518B (zh) | 2017-12-11 | 2017-12-11 | 一种图像处理的方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154518B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921117A (zh) * | 2018-07-11 | 2018-11-30 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| CN109242000A (zh) * | 2018-08-09 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN109726691A (zh) * | 2018-12-30 | 2019-05-07 | 杭州铭智云教育科技有限公司 | 一种监控方法 |
| CN109727218A (zh) * | 2018-12-30 | 2019-05-07 | 杭州铭智云教育科技有限公司 | 一种完整图形提取方法 |
| CN109740527A (zh) * | 2018-12-30 | 2019-05-10 | 杭州铭智云教育科技有限公司 | 一种视频帧中图像处理方法 |
| CN109948689A (zh) * | 2019-03-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110689478A (zh) * | 2019-09-25 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| WO2020043296A1 (en) * | 2018-08-30 | 2020-03-05 | Huawei Technologies Co., Ltd. | Device and method for separating a picture into foreground and background using deep learning |
| CN111028154A (zh) * | 2019-11-18 | 2020-04-17 | 哈尔滨工程大学 | 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法 |
| CN111061890A (zh) * | 2019-12-09 | 2020-04-24 | 腾讯云计算（北京）有限责任公司 | 一种标注信息验证的方法、类别确定的方法及装置 |
| CN111147806A (zh) * | 2018-11-06 | 2020-05-12 | 天地融科技股份有限公司 | 一种视频内容风险检测方法、装置及系统 |
| CN111145456A (zh) * | 2018-11-06 | 2020-05-12 | 天地融科技股份有限公司 | 一种基于背景协同的风险检测方法、装置及系统 |
| WO2020135554A1 (zh) * | 2018-12-29 | 2020-07-02 | 广州市百果园信息技术有限公司 | 图片处理方法、装置、设备及存储介质 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| CN112689196A (zh) * | 2021-03-09 | 2021-04-20 | 北京世纪好未来教育科技有限公司 | 一种可交互视频播放方法、播放器、设备及存储介质 |
| WO2022237435A1 (zh) * | 2021-05-12 | 2022-11-17 | 北京字节跳动网络技术有限公司 | 更换画面中的背景的方法、设备、存储介质及程序产品 |
| WO2023066373A1 (zh) * | 2021-10-22 | 2023-04-27 | 杭州海康威视数字技术股份有限公司 | 确定样本图像的方法、装置、设备及存储介质 |
| CN113837978B (zh) * | 2021-09-28 | 2024-04-05 | 北京奇艺世纪科技有限公司 | 图像合成方法、装置、终端设备以及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8055018B2 (en) * | 2007-04-17 | 2011-11-08 | National Chiao Tung University | Object image detection method |
| CN107220603A (zh) * | 2017-05-18 | 2017-09-29 | 惠龙易通国际物流股份有限公司 | 基于深度学习的车辆检测方法及装置 |
| CN107341805A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 图像前背景分割及网络模型训练、图像处理方法和装置 |
| CN107347125A (zh) * | 2016-08-19 | 2017-11-14 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和终端设备 |
-
2017
- 2017-12-11 CN CN201711311413.1A patent/CN108154518B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8055018B2 (en) * | 2007-04-17 | 2011-11-08 | National Chiao Tung University | Object image detection method |
| CN107341805A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 图像前背景分割及网络模型训练、图像处理方法和装置 |
| CN107347125A (zh) * | 2016-08-19 | 2017-11-14 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和终端设备 |
| CN107220603A (zh) * | 2017-05-18 | 2017-09-29 | 惠龙易通国际物流股份有限公司 | 基于深度学习的车辆检测方法及装置 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| CN108985194B (zh) * | 2018-06-29 | 2022-06-10 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| CN108921117A (zh) * | 2018-07-11 | 2018-11-30 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109242000A (zh) * | 2018-08-09 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| WO2020043296A1 (en) * | 2018-08-30 | 2020-03-05 | Huawei Technologies Co., Ltd. | Device and method for separating a picture into foreground and background using deep learning |
| CN112639830A (zh) * | 2018-08-30 | 2021-04-09 | 华为技术有限公司 | 利用深度学习将图片分离成前景和背景的设备和方法 |
| CN111145456A (zh) * | 2018-11-06 | 2020-05-12 | 天地融科技股份有限公司 | 一种基于背景协同的风险检测方法、装置及系统 |
| CN111147806A (zh) * | 2018-11-06 | 2020-05-12 | 天地融科技股份有限公司 | 一种视频内容风险检测方法、装置及系统 |
| RU2770748C1 (ru) * | 2018-12-29 | 2022-04-21 | Биго Текнолоджи Пте. Лтд. | Способ и аппарат для обработки изображений, устройство и носитель данных |
| WO2020135554A1 (zh) * | 2018-12-29 | 2020-07-02 | 广州市百果园信息技术有限公司 | 图片处理方法、装置、设备及存储介质 |
| CN109740527B (zh) * | 2018-12-30 | 2021-06-04 | 杭州灿八科技有限公司 | 一种视频帧中图像处理方法 |
| CN109726691B (zh) * | 2018-12-30 | 2020-12-04 | 安徽润谷科技有限公司 | 一种监控方法 |
| CN109726691A (zh) * | 2018-12-30 | 2019-05-07 | 杭州铭智云教育科技有限公司 | 一种监控方法 |
| CN109727218A (zh) * | 2018-12-30 | 2019-05-07 | 杭州铭智云教育科技有限公司 | 一种完整图形提取方法 |
| CN109740527A (zh) * | 2018-12-30 | 2019-05-10 | 杭州铭智云教育科技有限公司 | 一种视频帧中图像处理方法 |
| CN111462162B (zh) * | 2019-01-18 | 2023-07-21 | 上海大学 | 一种特定类别图片的前景分割算法 |
| CN111462162A (zh) * | 2019-01-18 | 2020-07-28 | 上海大学 | 一种特定类别图片的前景分割算法 |
| CN109948689A (zh) * | 2019-03-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN110503146A (zh) * | 2019-08-21 | 2019-11-26 | 杭州比智科技有限公司 | 数据增强方法、装置、计算设备及计算机存储介质 |
| CN110689478B (zh) * | 2019-09-25 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| CN110689478A (zh) * | 2019-09-25 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 图像风格化处理方法、装置、电子设备及可读介质 |
| CN111028154B (zh) * | 2019-11-18 | 2023-05-09 | 哈尔滨工程大学 | 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法 |
| CN111028154A (zh) * | 2019-11-18 | 2020-04-17 | 哈尔滨工程大学 | 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法 |
| CN111061890A (zh) * | 2019-12-09 | 2020-04-24 | 腾讯云计算（北京）有限责任公司 | 一种标注信息验证的方法、类别确定的方法及装置 |
| CN111061890B (zh) * | 2019-12-09 | 2023-04-07 | 腾讯云计算（北京）有限责任公司 | 一种标注信息验证的方法、类别确定的方法及装置 |
| CN112689196B (zh) * | 2021-03-09 | 2021-06-11 | 北京世纪好未来教育科技有限公司 | 一种可交互视频播放方法、播放器、设备及存储介质 |
| CN112689196A (zh) * | 2021-03-09 | 2021-04-20 | 北京世纪好未来教育科技有限公司 | 一种可交互视频播放方法、播放器、设备及存储介质 |
| WO2022237435A1 (zh) * | 2021-05-12 | 2022-11-17 | 北京字节跳动网络技术有限公司 | 更换画面中的背景的方法、设备、存储介质及程序产品 |
| CN113837978B (zh) * | 2021-09-28 | 2024-04-05 | 北京奇艺世纪科技有限公司 | 图像合成方法、装置、终端设备以及可读存储介质 |
| WO2023066373A1 (zh) * | 2021-10-22 | 2023-04-27 | 杭州海康威视数字技术股份有限公司 | 确定样本图像的方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154518B (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154518A (zh) | 一种图像处理的方法、装置、存储介质及电子设备 | |
| Kupyn et al. | Deblurgan: Blind motion deblurring using conditional adversarial networks | |
| Bar-Tal et al. | Text2live: Text-driven layered image and video editing | |
| Lai et al. | Learning blind video temporal consistency | |
| Li et al. | A closed-form solution to photorealistic image stylization | |
| Park et al. | Distort-and-recover: Color enhancement using deep reinforcement learning | |
| CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
| Mechrez et al. | Photorealistic style transfer with screened poisson equation | |
| US20200357099A1 (en) | Video inpainting with deep internal learning | |
| Xu et al. | Deep video stabilization using adversarial networks | |
| Bianco et al. | Personalized image enhancement using neural spline color transforms | |
| Ke et al. | Video mask transfiner for high-quality video instance segmentation | |
| Qian et al. | Bggan: Bokeh-glass generative adversarial network for rendering realistic bokeh | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN107730461A (zh) | 图像处理方法、装置、设备及介质 | |
| Huang et al. | Temporally coherent video harmonization using adversarial networks | |
| CN107766803B (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
| CN107563357A (zh) | 基于场景分割的直播服饰装扮推荐方法、装置及计算设备 | |
| Igorevich | Road images augmentation with synthetic traffic signs using neural networks | |
| Li et al. | Compnvs: Novel view synthesis with scene completion | |
| Diba et al. | Weakly supervised object discovery by generative adversarial & ranking networks | |
| Liu et al. | EMEF: ensemble multi-exposure image fusion | |
| Merino et al. | The five-dollar model: generating game maps and sprites from sentence embeddings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180612 Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Contract record no.: X2021980000101 Denomination of invention: The invention relates to an image processing method, a device, a storage medium and an electronic device Granted publication date: 20200908 License type: Common License Record date: 20210106 |
|
| EE01 | Entry into force of recordation of patent licensing contract |