CN109360222A - 图像分割方法、装置及存储介质 - Google Patents
图像分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109360222A CN109360222A CN201811252035.9A CN201811252035A CN109360222A CN 109360222 A CN109360222 A CN 109360222A CN 201811252035 A CN201811252035 A CN 201811252035A CN 109360222 A CN109360222 A CN 109360222A
- Authority
- CN
- China
- Prior art keywords
- target
- area
- image
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种图像分割方法、装置及存储介质,属于图像处理领域。方法包括:将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域;根据第一目标区域确定第二目标区域;将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识;根据第二目标区域中每个像素的分类标识,确定第二目标区域的前景区域。基于头部检测模型和像素分类模型,将包含目标对象的第二目标区域提取出来,确定第二目标区域的前景区域,减少了目标图像中除第二目标区域以外的背景区域的干扰,减少了计算量,节省了时间。并且先检测目标对象的头部再检测整个目标对象,提高了准确率。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种图像分割方法、装置及存储介质。
背景技术
一幅图像通常包括前景区域和背景区域,而图像分割技术能够确定图像中的前景区域和背景区域,将前景区域与背景区域区分开来,以便对前景区域或背景区域进行单独地处理,目前已广泛应用于目标检测、物体追踪、视频监控、人脸识别等多种领域中。
图像中任一像素的显示颜色与该像素的前景色、背景色和前景色的非透明度具有以下关联关系:I=αF+(1-α)B,其中,I表示像素的显示颜色、F表示像素的前景色,B表示像素的背景色,α表示像素前景色的非透明度。当要对目标图像进行分割时,采用matting算法,可以根据该目标图像中多个像素的显示颜色以及上述关联关系,计算出每个像素的前景色的非透明度,根据每个像素的前景色的非透明度生成前景概率图(mask),该前景概率图用于指示该目标图像中的前景区域和背景区域所在的位置,后续过程中根据该前景概率图对该目标图像进行处理,可以从目标图像中提取出前景区域或背景区域。
上述方案需要进行大量的计算才能计算出每个像素的前景色的非透明度,并直接区分目标图像中的前景区域和背景区域,计算量较大,耗时较长。
发明内容
本公开提供了一种图像分割方法、装置及存储介质,可以克服相关技术中存在的问题。
根据本公开实施例的第一方面,提供一种图像分割方法,所述方法包括:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
在一种可能实现的方式中,所述基于所述头部检测模型,确定所述目标图像中的第一目标区域,包括:
基于所述头部检测模型,确定在所述目标图像中检测到所述头部的检测框,将所述检测框内的区域确定为所述第一目标区域;
所述根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,包括:
根据所述检测框在所述目标图像中的位置,将所述检测框扩大,直至扩大后的检测框包含所述目标对象时,将所述扩大后的检测框内的区域确定为所述第二目标区域。
在另一种可能实现的方式中,所述方法还包括:
根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定所述样本图像中包含头部的正样本区域和不包含头部的负样本区域;
根据所述正样本区域和所述负样本区域,对所述头部检测模型进行训练。
在另一种可能实现的方式中,所述根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定所述样本图像中包含头部的正样本区域和不包含头部的负样本区域,包括:
将所述样本图像输入至目标检测模型中,基于所述目标检测模型,确定所述样本图像中所述目标对象所在的样本区域;
对所述样本区域进行特征提取,确定所述样本区域中的头部特征点和非头部特征点;
根据所述头部特征点和所述非头部特征点所在的位置,确定所述正样本区域和所述负样本区域。
在另一种可能实现的方式中,所述根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域中的前景区域和背景区域,包括:
根据所述第二目标区域中每个像素的分类标识,生成前景概率图,所述前景概率图用于指示所述第二目标区域的前景区域所在的位置。
在另一种可能实现的方式中,所述方法还包括:
根据所述前景概率图,对所述第二目标区域的前景区域进行增强处理;或者,
根据所述前景概率图,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理。
在另一种可能实现的方式中,所述根据所述前景概率图,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理,包括:
根据所述前景概率图,提取所述第二目标区域的前景区域;
对所述目标图像进行模糊化处理,得到第一图像,并根据所述前景概率图,提取所述第一图像中除前景区域以外的背景区域;
将所述第二目标区域的前景区域和所述第一图像的背景区域进行组合,得到第二图像。
在另一种可能实现的方式中,所述前景概率图中,前景区域中像素的像素值为1,背景区域中像素的像素值为0,所述根据所述前景概率图,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理,包括:
根据所述前景概率图,采用以下公式,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理:
Target=Source*mask+Gaussian*(255-mask);
其中,Source表示所述第二目标区域,Gaussian表示所述目标图像进行模糊化处理后得到的图像,mask表示所述前景概率图,Target表示所述目标图像中除所述前景区域以外的背景区域进行模糊化处理后得到的图像。
在另一种可能实现的方式中,所述方法还包括:
获取样本图像以及所述样本图像中每个像素的分类标识;
根据所述样本图像以及所述样本图像中每个像素的分类标识,对所述像素分类模型进行训练。
根据本公开实施例的第二方面,提供一种图像分割装置,所述装置包括:
第一区域确定模块,被配置为将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
第二区域确定模块,被配置为根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
标识确定模块,被配置为将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
前景区域确定模块,被配置为根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
在一种可能实现的方式中,所述第一区域确定模块包括:
头部检测单元,被配置为基于所述头部检测模型,确定在所述目标图像中检测到所述头部的检测框,将所述检测框内的区域确定为所述第一目标区域;
所述第二区域确定模块包括:
区域扩大单元,被配置为根据所述检测框在所述目标图像中的位置,将所述检测框扩大,直至扩大后的检测框包含所述目标对象时,将所述扩大后的检测框内的区域确定为所述第二目标区域。
在另一种可能实现的方式中,所述装置还包括:
样本确定模块,被配置为根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定所述样本图像中包含头部的正样本区域和不包含头部的负样本区域;
训练模块,被配置为根据所述正样本区域和所述负样本区域,对所述头部检测模型进行训练。
在另一种可能实现的方式中,所述样本确定模块包括:
样本确定单元,被配置为将所述样本图像输入至目标检测模型中,基于所述目标检测模型,确定所述样本图像中所述目标对象所在的样本区域;
特征提取单元,被配置为对所述样本区域进行特征提取,确定所述样本区域中的头部特征点和非头部特征点;
所述样本确定单元,还被配置为根据所述头部特征点和所述非头部特征点所在的位置,确定所述正样本区域和所述负样本区域。
在另一种可能实现的方式中,所述第二区域确定模块包括:
生成单元,被配置为根据所述第二目标区域中每个像素的分类标识,生成前景概率图,所述前景概率图用于指示所述第二目标区域的前景区域和背景区域所在的位置。
在另一种可能实现的方式中,所述装置还包括:
处理模块,被配置为根据所述前景概率图,对所述第二目标区域的前景区域进行增强处理;或者,所述处理模块,还被配置为根据所述前景概率图,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理。
在另一种可能实现的方式中,所述处理模块包括:
提取单元,被配置为根据所述前景概率图,提取所述第二目标区域的前景区域;
所述提取单元,还被配置为对所述目标图像进行模糊化处理,得到第一图像,并根据所述前景概率图,提取第一图像中除前景区域以外的背景区域;
组合单元,被配置为将所述第二目标区域的前景区域和所述第一图像的背景区域进行组合,得到第二图像。
在另一种可能实现的方式中,所述前景概率图中,前景区域中像素的像素值为1,背景区域中像素的像素值为0,所述处理模块,还被配置为根据所述前景概率图,采用以下公式,对所述所述目标图像中除所述前景区域以外的背景区域进行模糊化处理:
Target=Source*mask+Gaussian*(255-mask);
其中,Source表示所述第二目标区域,Gaussian表示所述目标图像进行模糊化处理后得到的图像,mask表示所述前景概率图,Target表示所述目标图像中除所述前景区域以外的背景区域进行模糊化处理后得到的图像。
在另一种可能实现的方式中,所述装置还包括:
获取模块,被配置为获取样本图像以及所述样本图像中每个像素的分类标识;
训练模块,被配置为根据所述样本图像以及所述样本图像中每个像素的分类标识,对所述像素分类模型进行训练。
根据本公开实施例的第三方面,提供了一种图像分割装置,所述装置包括:
处理器;
用于存储处理器可执行命令的存储器;
其中,所述处理器被配置为:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理装置的处理器执行时,使得处理装置能够执行一种图像分割方法,所述方法包括:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
根据本公开实施例的第五方面,提供一种计算机产品,当所述计算机程序产品中的指令由处理装置的处理器执行时,使得处理装置能够执行一种图像分割方法,所述方法包括:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,根据第一目标区域在目标图像中的位置,获取第二目标区域,第二目标区域是指包含目标对象的区域;将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,根据第二目标区域中每个像素的分类标识,确定第二目标区域中的前景区域和背景区域。通过训练头部检测模型和像素分类模型,可以基于头部检测模型和像素分类模型,将包含目标对象的第二目标区域提取出来,并对第二目标区域进行分割,确定第二目标区域的前景区域,减少了目标图像中除第二目标区域以外的背景区域的干扰,无需进行大量计算,减少了计算量,节省了时间。并且,由于目标对象的头部更容易检测,因此先检测目标对象的头部再检测整个目标对象,提高了准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像分割方法的流程图。
图2是根据一示例性实施例示出的一种图像分割方法的流程图。
图3是根据一示例性实施例示出的一种处理装置的框图。
图4是根据一示例性实施例示出的一种用于图像分割的终端的框图。
图5是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像分割方法的流程图,如图1所示,该图像分割方法用于处理装置中,包括以下步骤:
在步骤101中,将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,第一目标区域是指目标对象的头部所在的区域。
在步骤102中,根据第一目标区域在目标图像中的位置,确定第二目标区域,第二目标区域是指包含目标对象的区域。
在步骤103中,将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,分类标识包括第一标识和第二标识,第一标识用于指示对应的像素属于前景区域,第二标识用于指示对应的像素属于背景区域。
在步骤104中,根据第二目标区域中每个像素的分类标识,确定第二目标区域的前景区域和背景区域。
本公开实施例提供的方法,通过将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,根据第一目标区域在目标图像中的位置,获取第二目标区域,第二目标区域是指包含目标对象的区域;将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,根据第二目标区域中每个像素的分类标识,确定第二目标区域中的前景区域和背景区域。通过训练头部检测模型和像素分类模型,可以基于头部检测模型和像素分类模型,将包含目标对象的第二目标区域提取出来,并对第二目标区域进行分割,确定第二目标区域的前景区域,减少了目标图像中除第二目标区域以外的背景区域的干扰,无需进行大量计算,减少了计算量,节省了时间。并且,由于目标对象的头部更容易检测,因此先检测目标对象的头部再检测整个目标对象,提高了准确率。
在一种可能实现的方式中,基于头部检测模型,确定目标图像中的第一目标区域,包括:
基于头部检测模型,确定在目标图像中检测到头部的检测框,将检测框内的区域确定为第一目标区域;
根据第一目标区域在目标图像中的位置,获取第二目标区域,包括:
根据检测框在目标图像中的位置,将检测框扩大,直至扩大后的检测框包含目标对象时,将扩大后的检测框内的区域确定为第二目标区域。
在另一种可能实现的方式中,方法还包括:
根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定样本图像中包含头部的正样本区域和不包含头部的负样本区域;
根据正样本区域和负样本区域,对头部检测模型进行训练。
在另一种可能实现的方式中,根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定样本图像中包含头部的正样本区域和不包含头部的负样本区域,包括:
将样本图像输入至目标检测模型中,基于目标检测模型,确定样本图像中目标对象所在的样本区域;
对样本区域进行特征提取,确定样本区域中的头部特征点和非头部特征点;
根据头部特征点和非头部特征点所在的位置,确定正样本区域和负样本区域。
在另一种可能实现的方式中,根据第二目标区域中每个像素的分类标识,确定第二目标区域中的前景区域,包括:
根据第二目标区域中每个像素的分类标识,生成前景概率图,前景概率图用于指示第二目标区域的前景区域所在的位置。
在另一种可能实现的方式中,方法还包括:
根据前景概率图,对第二目标区域的前景区域进行增强处理;或者,
根据前景概率图,对目标图像中除前景区域以外的背景区域进行模糊化处理。
在另一种可能实现的方式中,根据前景概率图,对目标图像中除前景区域以外的背景区域进行模糊化处理,包括:
根据前景概率图,提取第二目标区域的前景区域;
对目标图像进行模糊化处理,得到第一图像,并根据前景概率图,提取第一图像中除前景区域以外的背景区域;
将第二目标区域的前景区域和第一图像的背景区域进行组合,得到第二图像。
在另一种可能实现的方式中,前景概率图中,前景区域中像素的像素值为1,背景区域中像素的像素值为0,根据前景概率图,对目标图像中除前景区域以外的背景区域进行模糊化处理,包括:
根据前景概率图,采用以下公式,对目标图像中除前景区域以外的背景区域进行模糊化处理:
Target=Source*mask+Gaussian*(255-mask);
其中,Source表示目标图像,Gaussian表示目标图像进行模糊化处理后得到的图像,mask表示前景概率图,Target表示目标图像中除前景区域以外的背景区域进行模糊化处理后得到的图像。
在另一种可能实现的方式中,方法还包括:
获取样本图像以及样本图像中每个像素的分类标识;
根据样本图像以及样本图像中每个像素的分类标识,对像素分类模型进行训练。
图2是根据一示例性实施例示出的一种图像分割方法的流程图,如图2所示,该图像分割方法用于处理装置中,处理装置可以为手机、计算机、服务器、摄像头、监控设备等具有图像处理功能的装置,该方法包括以下步骤:
在步骤201中,将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定在目标图像中检测到头部的检测框,将检测框内的区域确定为第一目标区域。
其中,目标图像可以由处理装置拍摄得到,或者从处理装置拍摄到的视频中提取得到,或者由处理装置从互联网中下载得到,或者由其他设备发送给处理装置。或者,在处理装置进行视频直播的过程中,可以获取视频流中的每张图像,将每张图片分别作为目标图像,以便对视频流中的每张图像进行处理。
该目标图像可以为多种类型的图像,如人物图像、植物图像、动物图像等,该目标图像中包含目标对象,如人物图像中的人物、植物图像中的植物、动物图像中的动物等。该目标图像包括头部区域和非头部区域,该头部区域为包括目标对象的头部所在的区域,非头部区域为除头部区域以外的区域。例如,拍摄的人物图像中,包括人物的头部区域和躯干区域。
本公开实施例中,处理装置获取目标图像,并将目标图像输入至头部检测模型中,基于头部检测模型,可以确定目标图像中目标对象的头部所在的区域,将该区域确定为第一目标区域。
在一种可能实现方式中,头部检测模型可以基于检测框来检测头部区域,检测框用于按照固定的尺寸,在目标图像中框出待检测的区域,则基于头部检测模型进行检测的过程中,可以采用检测框在目标图像中滑动,当滑动至某一位置上获取该检测框中的区域,对该区域进行特征提取,得到区域特征,并对该区域特征进行检测,确定该区域是否属于头部区域,从而在检测框经过一次或多次滑动后,在目标图像中检测到头部区域。
该头部检测模型可以由处理装置训练后存储,或者,该头部检测模型可以由其他设备训练后发送给处理装置,并由该处理装置存储。
在训练头部检测模型时,该训练过程可以包括以下步骤210-220:
210、根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定样本图像中包含头部的正样本区域和不包含头部的负样本区域。
在一种可能实现的方式中,确定样本图像中的正样本区域和负样本区域的过程可以包括以下步骤211-212:
211、先将样本图像输入至目标检测模型中,基于目标检测模型,将样本图像中目标对象所在的区域确定为样本区域。
其中,目标检测模型用于对任一图像,检测该图像中包含的对象,可以为SSD(Single Shot MultiBox Detector,单镜头多盒检测器)模型、深度学习网络模型、循环神经网络模型等。所检测的对象可以为人物、动物、植物或者其他物体。
在一种可能实现方式中,在训练目标检测模型时,可以构建初始的目标检测模型,获取训练数据集和测试数据集,训练数据集和测试数据集中均包括样本图像以及样本图像中目标对象的位置信息和类别信息。其中位置信息用于表示目标对象在样本图像中的位置,类别信息用于表示目标对象所属的类别,也即是目标对象属于哪一种类型的对象。
在训练过程中,将训练数据集中的样本图像作为目标检测模型的输入,将样本图像中的目标对象的位置信息和类别信息作为目标检测模型的输出,对目标检测模型进行训练;在经过一次或多次训练之后,使目标检测模型具备检测对象的能力。
之后,将测试数据集中的样本图像输入到目标检测模型中,基于目标检测模型确定样本图像中的目标对象,将测试的目标对象与样本图像中标注的实际对象进行对比,根据对比结果对目标检测模型进行修正,从而提高该目标检测模型的检测准确率。
在确定样本图像的头部区域和非头部区域时,先基于目标检测模型检测样本区域的目标对象,在目标对象所在的区域中确定头部区域和非头部区域,能够排除目标对象之外的其他区域,减小后续的计算量,加快计算速度。
212、对样本区域进行特征提取,确定样本区域中的头部特征点和非头部特征点,根据头部特征点和非头部特征点所在的位置,确定正样本区域和负样本区域。
对样本区域进行特征提取,可以得到样本区域中的多个特征点,从多个特征点中查找头部顶端的特征点,以及肩膀两端的特征点,根据头部顶端的特征点和肩膀两端的特征点所在的位置,对该多个特征点进行划分,得到头部特征点和非头部特征点。例如,可以将头部顶端的特征点和肩膀两端的特征点连接,构成一个三角形区域,将三角形区域内的特征点作为头部特征点,将三角形区域外的特征点作为非头部特征点。
之后,根据头部特征点和非头部特征点所在的位置,根据所有的头部特征点构建包含这些头部特征点的区域,作为正样本区域,根据所有的非头部特征点构建包含这些非头部特征点的区域,作为负样本区域。
其中,目标图像以人物图像为例,头部特征点包括人物的头部到肩膀的特征点,非头部特征点包括人物的腿、胳膊等部位上的特征点。
220、根据该正样本区域和负样本区域对头部检测模型进行训练。
在一种可能实现的方式中,在训练头部检测模型时,可以构建初始的头部检测模型,获取训练数据集和测试数据集,训练数据集和测试数据集均包括正样本区域和负样本区域。
在训练过程中,将该头部检测模型作为一种区分头部区域和非头部区域的分类模型,将训练数据集中的正样本区域作为头部检测模型的输入,确定对应的输出为该正样本区域是头部区域,对头部检测模型进行训练;或者,将训练数据集中的负样本区域作为头部检测模型的输入,确定对应的输出为该负样本区域是非头部区域,对头部检测模型进行训练。在经过一次或多次训练之后,使头部检测模型对样本图像的头部区域和非头部区域之间的区别进行学习,具备检测头部区域的能力。
之后,将测试数据集中的样本区域输入到头部检测模型中,基于头部检测模型确定样本区域中的头部区域,将测试的头部区域与测试样本区域中标注的实际头部区域进行对比,根据对比结果对头部检测模型进行修正,从而提高该头部检测模型的检测准确率。
在一种可能实现方式中,在训练头部检测模型时可以采用预设训练算法,该预设训练算法可以为卷积神经网络算法、决策树算法、人工神经网络算法等。相应地,训练出的头部检测模型可以为卷积神经网络模型、决策树模型或人工神经网络模型等。其中,在采用卷积神经网络算法进行训练时,可以为R-CNN,Fast R-CNN,Faster R-CNN等算法。
在步骤202中,根据检测框在目标图像中的位置,将检测框扩大,直至扩大后的检测框包含目标对象时,将扩大后的检测框内的区域确定为第二目标区域。
检测框内的区域包含目标对象的头部,将检测框向目标对象的其他部位进行扩大,直至扩大后的检测框包含目标对象,将扩大后的检测框内的区域确定为第二目标区域,该第二目标区域即为包括目标对象的区域。
在一种可能实现方式中,根据检测框中各个特征点所在的位置,确定扩大方向,该扩大方向是由目标对象的头部指向目标对象的躯干的方向,按照该扩大方向将检测框扩大,直至目标对象中的所有特征点均包含在扩大后的检测框内,即扩大后的检测框内包含整个目标对象时,将扩大后的检测框内的区域确定为第二目标区域。
例如,该目标图像为人物图像,检测框将人物图像中的人物的头部区域框出,将该检测框向人物的躯干部位进行扩大,直至扩大后的检测框包括整个人物,将扩大后的检测框确定为第二目标区域。
本公开实施例仅是以通过扩大检测框的方式来检测目标图像中的第二目标区域为例进行说明,而在其他的可能实现方式中,也可以根据第一目标区域在目标图像中的位置,采用其他方式,确定第二目标区域。
本公开实施例提供的方法,通过训练头部检测模型,可以基于头部检测模型,先检测目标对象的头部区域,再将包含目标对象的第二目标区域提取出来,减少了目标图像中除第二目标区域以外的背景区域的干扰,减少了计算量,节省了计算时间。
在步骤203中,将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识。
在本公开实施例中,基于像素分类模型可以将该第二目标区域的前景区域和背景区域
区分出来。其中,像素分类模型用于确定任一图像中每个像素的分类标识,分类标识包括第一标识和第二标识,第一标识用于指示对应的像素属于前景区域,第二标识用于指示对应的像素属于背景区域,也即是,当图像中的任一像素的分类标识为第一标识时,表示该像素属于前景区域,当图像中的任一像素的分类标识为第二标识,表示该像素属于背景区域。
第一标识与第二标识为不同的两个标识,例如,第一标识为1,而第二标识为0,或者,第一标识为0,而第二标识为1。
后续过程中,结合第二目标区域中每个像素的分类标识以及每个像素在第二目标区域的位置,可以确定第二目标区域的前景区域和背景区域,因此该像素分类模型实际上是一种语义分割模型,能够将第二目标区域分割为前景区域和背景区域。
该像素分类模型可以由处理装置训练并存储,或者,该像素分类模型可以由其他设备训练后发送给处理装置,并由该处理装置存储。
在训练像素分类模型时,可以先获取样本图像以及样本图像中每个像素的分类标识,根据样本图像以及样本图像中每个像素的分类标识,对像素分类模型进行训练。
在一种可能实现的方式中,在训练像素分类模型时,可以构建初始的像素分类模型,获取训练数据集和测试数据集,训练数据集和测试数据集中均包括样本图像以及样本图像中每个像素的分类标识。
在训练过程中,将训练数据集中的样本图像作为像素分类模型的输入,将该样本图像中每个像素的分类标识作为像素分类模型的输出,对像素分类模型进行训练,使像素分类模型对前景区域与背景区域之间的区别进行学习,使像素分类模型具备划分前景区域和背景区域的能力。之后,将测试数据集中的样本图像输入到像素分类模型中,基于像素分类模型确定样本图像中每个像素的测试分类标识,将测试分类标识与标注的实际分类标识进行对比,根据对比结果对像素分类模型进行修正,从而提高该像素分类模型的分类准确率。
在一种可能实现方式中,在训练像素分类模型时可以采用预设训练算法,该预设训练算法可以为卷积神经网络算法、决策树算法、人工神经网络算法等。相应地,训练出的像素分类模型可以为卷积神经网络模型,决策树模型或人工神经网络模型等。其中,在采用卷积神经网络算法进行训练时,可以为R-CNN,Fast R-CNN,Faster R-CNN等算法。
在步骤204中,根据第二目标区域中每个像素的分类标识,生成前景概率图。
前景概率图用于指示第二目标区域中前景区域和背景区域所在的位置,根据该前景概率图可以确定第二目标区域中每个位置上的像素属于前景区域还是属于背景区域,从而能够将第二目标区域划分为前景区域和背景区域。
在一种可能实现方式中,将第二目标区域中每个像素的分类标识作为前景概率图中对应位置上像素的像素值,从而生成前景概率图。则在前景概率图中,任一像素的像素值为第一标识表示该像素在该第二目标区域中对应的像素属于前景区域,任一像素的像素值为第二标识表示该像素在该第二目标区域中对应的像素属于背景区域。
例如,第一标识为1,第二标识为0,前景概率图中的白色区域表示该第二目标区域中相应的位置为前景区域,前景概率图中的黑色区域表示该第二目标区域中相应的位置为背景区域。
在步骤205中,根据前景概率图,对第二目标区域的前景区域或目标图像中除第二目标区域的前景区域以外的背景区域进行处理。
目标图像中包括第二目标区域和除第二目标区域以外的其他区域,其中第二目标区域包含目标对象,可以认为是包含前景区域的区域,而除第二目标区域以外的其他区域可以认为是背景区域。并且,第二目标区域内部包含前景区域和背景区域。综上可知,整个目标图像包含第二目标区域的前景区域,以及除第二目标区域的前景区域以外的背景区域。
为了提高前景区域的清晰度,既可以对前景区域进行增强处理,也可以对背景区域进行虚化处理。相应地,步骤205包括以下步骤2051和2052的至少一种:
在步骤2051中,根据前景概率图,对第二目标区域的前景区域进行增强处理。
处理装置根据前景概率图中每个像素的像素值,确定像素值为第一标识的像素组成的图像区域,将该图像区域在第二目标区域中对应的图像区域提取出来,作为目标图像的前景区域,并确定像素值为第二标识的像素组成的图像区域,将该图像区域在目标图像中对应的图像区域提取出来,作为目标图像的背景区域。
之后,采用图像增强算法,对前景区域进行增强处理,得到处理后的前景区域,将处理后的前景区域和背景区域进行组合,得到处理后的图像,以提高前景区域的质量,使前景区域更加清晰,从而更加突出前景区域。
例如,图像增强算法可以为直方图均衡化算法、对比度增强算法或者其他可以增强图像的算法,在此不再一一赘述。
在步骤2052中,根据前景概率图,对目标图像中除第二目标区域的前景区域以外的背景区域进行模糊化处理。
在一种可能实现方式中,处理装置对目标图像进行模糊化处理,得到第一图像,并根据前景概率图中每个像素的像素值,确定像素值为第一标识的像素组成的图像区域,确定该图像区域在第一图像中对应的图像区域,即为第一图像的前景区域。
之后,从第一图像中提取除前景区域以外的背景区域,也即是目标图像中除前景区域以外的背景区域经过模糊化处理后的背景区域。并且,将该图像区域在第二目标区域中对应的图像区域提取出来,作为前景区域。之后,将前景区域和模糊化处理后的背景区域进行组合,得到处理后的图像,实现了对目标图像的背景区域的模糊化处理,从而更加突出前景区域。
在另一种可能实现方式中,在前景概率图中,前景区域中像素的像素值为1,背景区域中像素的像素值为0,根据前景概率图,采用以下公式,对目标图像中除前景区域以外的背景区域进行模糊化处理:
Target=Source*mask+Gaussian*(255-mask)。
其中,Source表示第二目标区域,Gaussian表示目标图像进行模糊化处理后得到的图像,mask表示前景概率图,Target表示目标图像中除前景区域以外的背景区域进行模糊化处理后得到的图像。Source*mask表示第二目标区域的前景区域,Gaussian*(255-mask)表示目标图像中除前景区域以外的背景区域经过模糊化处理后得到的图像,将前景区域和模糊化处理后的背景区域进行组合,就可以得到目标图像的背景区域进行模糊化处理后的图像。
需要说明的是,本公开实施例中处理装置对目标图像进行处理时,可以先对目标图像进行增强处理,再对目标图像进行模糊化处理。或者,处理装置对目标图像进行处理时,可以只对目标图像进行增强处理,或者,只对目标图像进行模糊化处理。
本公开实施例提供的方法,通过将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,根据第一目标区域在目标图像中的位置,获取第二目标区域,第二目标区域是指包含目标对象的区域;将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,根据第二目标区域中每个像素的分类标识,确定第二目标区域中的前景区域和背景区域。通过训练头部检测模型和像素分类模型,可以基于头部检测模型和像素分类模型,将包含目标对象的第二目标区域提取出来,并对第二目标区域进行分割,确定第二目标区域的前景区域,减少了目标图像中除第二目标区域以外的背景区域的干扰,无需进行大量计算,减少了计算量,节省了时间。并且,由于目标对象的头部更容易检测,因此先检测目标对象的头部再检测整个目标对象,提高了准确率。
并且,通过将前景区域进行增强处理,可以使前景区域更加清晰,通过对背景区域进行模糊化处理,可以将背景区域弱化,增强了前景区域和背景区域之间的差异,从而可以更加突出前景区域,使前景区域更加明显。
本公开实施例可以应用于人脸识别,视频监控、视频直播以及美化图片等场景下,例如,在视频监控场景下,可以从视频流中的每张图像中提取目标对象的头部区域,从该头部区域扩大至目标对象所在的区域,忽略除目标对象所在的区域以外的区域,之后从目标对象所在的区域中提取目标对象,从而获取视频流中目标对象的动态变化信息,实现对目标对象的跟踪。在视频直播场景下,可以在直播的视频流中的每张图像,实时获取目标对象的头部区域,根据头部区域确定目标对象所在的区域,从目标对象所在的区域中提取目标对象,从而对直播视频流中除目标对象以外的背景区域进行虚化处理,增强直播效果。
图3是根据一示例性实施例示出的一种处理装置的框图。参见图3,该装置包括第一区域确定模块301、第二区域确定模块302、标识确定模块303以及前景区域确定模块304。
第一区域确定模块301,被配置为将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,第一目标区域是指目标对象的头部所在的区域;
第二区域确定模块302,被配置为根据第一目标区域在目标图像中的位置,获取第二目标区域,第二目标区域是指包含目标对象的区域;
标识确定模块303,被配置为将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,分类标识包括第一标识和第二标识,第一标识用于指示对应的像素属于前景区域,第二标识用于指示对应的像素属于背景区域;
前景区域确定模块304,被配置为根据第二目标区域中每个像素的分类标识,确定第二目标区域的前景区域。
在一种可能实现的方式中,第一区域确定模块301包括:
头部检测单元,被配置为基于头部检测模型,确定在目标图像中检测到头部的检测框,将检测框内的区域确定为第一目标区域;
第二区域确定模块302包括:
区域扩大单元,被配置为根据检测框在目标图像中的位置,将检测框扩大,直至扩大后的检测框包含目标对象时,将扩大后的检测框内的区域确定为第二目标区域。
在另一种可能实现的方式中,装置还包括:
样本确定模块,被配置为根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定样本图像中包含头部的正样本区域和不包含头部的负样本区域;
训练模块,被配置为根据正样本区域和负样本区域,对头部检测模型进行训练。
在另一种可能实现的方式中,样本确定模块包括:
样本确定单元,被配置为将样本图像输入至目标检测模型中,基于目标检测模型,确定样本图像中目标对象所在的样本区域;
特征提取单元,被配置为对样本区域进行特征提取,确定样本区域中的头部特征点和非头部特征点;
样本确定单元,还被配置为根据头部特征点和非头部特征点所在的位置,确定正样本区域和负样本区域。
在另一种可能实现的方式中,第二区域确定模块302包括:
生成单元,被配置为根据第二目标区域中每个像素的分类标识,生成前景概率图,前景概率图用于指示第二目标区域的前景区域和背景区域所在的位置。
在另一种可能实现的方式中,装置还包括:
处理模块,被配置为根据前景概率图,对第二目标区域的前景区域进行增强处理;或者,处理模块,还被配置为根据前景概率图,对目标图像中除前景区域以外的背景区域进行模糊化处理。
在另一种可能实现的方式中,处理模块包括:
提取单元,被配置为根据前景概率图,提取第二目标区域的前景区域;
提取单元,还被配置为对目标图像进行模糊化处理,得到第一图像,并根据前景概率图,提取第一图像中除前景区域以外的背景区域;
组合单元,被配置为将第二目标区域的前景区域和第一图像的背景区域进行组合,得到第二图像。
在另一种可能实现的方式中,前景概率图中,前景区域中像素的像素值为1,背景区域中像素的像素值为0,处理模块,还被配置为根据前景概率图,采用以下公式,对目标图像中除前景区域以外的背景区域进行模糊化处理:
Target=Source*mask+Gaussian*(255-mask);
其中,Source表示第二目标区域,Gaussian表示目标图像进行模糊化处理后得到的图像,mask表示前景概率图,Target表示目标图像中除前景区域以外的背景区域进行模糊化处理后得到的图像。
在另一种可能实现的方式中,装置还包括:
获取模块,被配置为获取样本图像以及样本图像中每个像素的分类标识;
训练模块,被配置为根据样本图像以及样本图像中每个像素的分类标识,对像素分类模型进行训练。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于图像分割的终端400的框图。该终端400用于执行上述图像分割方法中处理装置所执行的步骤,可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端400包括有:处理器401和存储器402。
处理器401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器401所具有以实现本申请中方法实施例提供的图像分割方法。
在一些实施例中,终端400还可选包括有:外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地,外围设备包括:射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中,处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上;在一些其他实施例中,处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及13G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时,显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时,显示屏405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏405可以为一个,设置终端400的前面板;在另一些实施例中,显示屏405可以为至少两个,分别设置在终端400的不同表面或呈折叠设计;在再一些实施例中,显示屏405可以是柔性显示屏,设置在终端400的弯曲表面上或折叠面上。甚至,显示屏405还可以设置成非矩形的不规则图形,也即异形屏。显示屏405可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地,摄像头组件406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器401进行处理,或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于:加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号,控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度,陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时,可以检测用户对终端400的握持信号,由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时,由处理器401根据用户对触摸显示屏405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹,由处理器401根据指纹传感器414采集到的指纹识别用户的身份,或者,由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器401授权该用户具有相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时,指纹传感器414可以与物理按键或厂商标志集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中,处理器401可以根据光学传感器415采集的环境光强度,控制触摸显示屏405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏405的显示亮度;当环境光强度较低时,调低触摸显示屏405的显示亮度。在另一个实施例中,处理器401还可以根据光学传感器415采集的环境光强度,动态调整摄像头组件406的拍摄参数。
接近传感器416,也称距离传感器,通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中,当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时,由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态;当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时,由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图4中示出的结构并不构成对终端400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图5是根据一示例性实施例示出的一种服务器的结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)501和一个或一个以上的存储器502,其中,所述存储器502中存储有至少一条指令,所述至少一条指令由所述处理器501加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器500可以用于执行上述图像分割方法中处理装置所执行的步骤。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,当存储介质中的指令由处理装置的处理器执行时,使得处理装置能够执行一种图像分割方法,方法包括:
将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,第一目标区域是指目标对象的头部所在的区域;
根据第一目标区域在目标图像中的位置,确定第二目标区域,第二目标区域是指包含目标对象的区域;
将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,分类标识包括第一标识和第二标识,第一标识用于指示对应的像素属于前景区域,第二标识用于指示对应的像素属于背景区域;
根据第二目标区域中每个像素的分类标识,确定第二目标区域的前景区域。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由处理装置的处理器执行时,使得处理装置能够执行一种图像分割方法,方法包括:
将待处理的目标图像输入至头部检测模型中,基于头部检测模型,确定目标图像中的第一目标区域,第一目标区域是指目标对象的头部所在的区域;
根据第一目标区域在目标图像中的位置,确定第二目标区域,第二目标区域是指包含目标对象的区域;
将第二目标区域输入至像素分类模型中,基于像素分类模型,确定第二目标区域中每个像素的分类标识,分类标识包括第一标识和第二标识,第一标识用于指示对应的像素属于前景区域,第二标识用于指示对应的像素属于背景区域;
根据第二目标区域中每个像素的分类标识,确定第二目标区域的前景区域。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像分割方法,其特征在于,所述方法包括:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,确定第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
2.根据权利要求1所述的方法,其特征在于,所述基于所述头部检测模型,确定所述目标图像中的第一目标区域,包括:
基于所述头部检测模型,确定在所述目标图像中检测到所述头部的检测框,将所述检测框内的区域确定为所述第一目标区域;
所述根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,包括:
根据所述检测框在所述目标图像中的位置,将所述检测框扩大,直至扩大后的检测框包含所述目标对象时,将所述扩大后的检测框内的区域确定为所述第二目标区域。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定所述样本图像中包含头部的正样本区域和不包含头部的负样本区域;
根据所述正样本区域和所述负样本区域,对所述头部检测模型进行训练。
4.根据权利要求3所述的方法,其特征在于,所述根据样本图像中目标对象的头部特征点和非头部特征点所在的位置,确定所述样本图像中包含头部的正样本区域和不包含头部的负样本区域,包括:
将所述样本图像输入至目标检测模型中,基于所述目标检测模型,确定所述样本图像中所述目标对象所在的样本区域;
对所述样本区域进行特征提取,确定所述样本区域中的头部特征点和非头部特征点;
根据所述头部特征点和所述非头部特征点所在的位置,确定所述正样本区域和所述负样本区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域中的前景区域,包括:
根据所述第二目标区域中每个像素的分类标识,生成前景概率图,所述前景概率图用于指示所述第二目标区域的前景区域所在的位置。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述前景概率图,对所述第二目标区域的前景区域进行增强处理;或者,
根据所述前景概率图,对所述目标图像中除所述前景区域以外的背景区域进行模糊化处理。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本图像以及所述样本图像中每个像素的分类标识;
根据所述样本图像以及所述样本图像中每个像素的分类标识,对所述像素分类模型进行训练。
8.一种图像分割装置,其特征在于,所述装置包括:
第一区域确定模块,被配置为将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
第二区域确定模块,被配置为根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
标识确定模块,被配置为将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
前景区域确定模块,被配置为根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域。
9.一种图像分割装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行命令的存储器;
其中,所述处理器被配置为:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域和背景区域。
10.一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理装置的处理器执行时,使得处理装置能够执行一种图像分割方法,所述方法包括:
将待处理的目标图像输入至头部检测模型中,基于所述头部检测模型,确定所述目标图像中的第一目标区域,所述第一目标区域是指目标对象的头部所在的区域;
根据所述第一目标区域在所述目标图像中的位置,获取第二目标区域,所述第二目标区域是指包含所述目标对象的区域;
将所述第二目标区域输入至像素分类模型中,基于所述像素分类模型,确定所述第二目标区域中每个像素的分类标识,所述分类标识包括第一标识和第二标识,所述第一标识用于指示对应的像素属于前景区域,所述第二标识用于指示对应的像素属于背景区域;
根据所述第二目标区域中每个像素的分类标识,确定所述第二目标区域的前景区域和背景区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811252035.9A CN109360222B (zh) | 2018-10-25 | 2018-10-25 | 图像分割方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811252035.9A CN109360222B (zh) | 2018-10-25 | 2018-10-25 | 图像分割方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109360222A true CN109360222A (zh) | 2019-02-19 |
CN109360222B CN109360222B (zh) | 2021-07-16 |
Family
ID=65346724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811252035.9A Active CN109360222B (zh) | 2018-10-25 | 2018-10-25 | 图像分割方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109360222B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084204A (zh) * | 2019-04-29 | 2019-08-02 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
CN110288037A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置及电子设备 |
CN110321865A (zh) * | 2019-07-09 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 头部特效处理方法及装置、存储介质 |
CN110599514A (zh) * | 2019-09-23 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 图像分割的方法、装置、电子设备及存储介质 |
CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111199215A (zh) * | 2020-01-06 | 2020-05-26 | 郑红 | 基于人脸识别的人数统计方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102147852A (zh) * | 2010-02-04 | 2011-08-10 | 三星电子株式会社 | 检测头发区域的方法 |
CN102436637A (zh) * | 2010-09-29 | 2012-05-02 | 中国科学院计算技术研究所 | 从头部图像中自动分割头发的方法及其系统 |
CN103686270A (zh) * | 2012-09-10 | 2014-03-26 | 联发科技股份有限公司 | 基于用户交互输入的影像显示方法及相关的影像显示系统 |
CN104246822A (zh) * | 2012-03-22 | 2014-12-24 | 高通股份有限公司 | 图像增强 |
CN105404846A (zh) * | 2014-09-15 | 2016-03-16 | 中国移动通信集团广东有限公司 | 一种图像处理方法及装置 |
CN107507155A (zh) * | 2017-09-25 | 2017-12-22 | 北京奇虎科技有限公司 | 视频分割结果边缘优化实时处理方法、装置及计算设备 |
CN108229252A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种瞳孔定位方法及系统 |
CN108335313A (zh) * | 2018-02-26 | 2018-07-27 | 阿博茨德(北京)科技有限公司 | 图像分割方法及装置 |
-
2018
- 2018-10-25 CN CN201811252035.9A patent/CN109360222B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102147852A (zh) * | 2010-02-04 | 2011-08-10 | 三星电子株式会社 | 检测头发区域的方法 |
CN102436637A (zh) * | 2010-09-29 | 2012-05-02 | 中国科学院计算技术研究所 | 从头部图像中自动分割头发的方法及其系统 |
CN104246822A (zh) * | 2012-03-22 | 2014-12-24 | 高通股份有限公司 | 图像增强 |
CN103686270A (zh) * | 2012-09-10 | 2014-03-26 | 联发科技股份有限公司 | 基于用户交互输入的影像显示方法及相关的影像显示系统 |
CN105404846A (zh) * | 2014-09-15 | 2016-03-16 | 中国移动通信集团广东有限公司 | 一种图像处理方法及装置 |
CN108229252A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种瞳孔定位方法及系统 |
CN107507155A (zh) * | 2017-09-25 | 2017-12-22 | 北京奇虎科技有限公司 | 视频分割结果边缘优化实时处理方法、装置及计算设备 |
CN108335313A (zh) * | 2018-02-26 | 2018-07-27 | 阿博茨德(北京)科技有限公司 | 图像分割方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084204A (zh) * | 2019-04-29 | 2019-08-02 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
CN110084204B (zh) * | 2019-04-29 | 2020-11-24 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
CN110288037A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置及电子设备 |
CN110321865A (zh) * | 2019-07-09 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 头部特效处理方法及装置、存储介质 |
CN110599514A (zh) * | 2019-09-23 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 图像分割的方法、装置、电子设备及存储介质 |
CN110599514B (zh) * | 2019-09-23 | 2022-10-04 | 北京达佳互联信息技术有限公司 | 图像分割的方法、装置、电子设备及存储介质 |
CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110929651B (zh) * | 2019-11-25 | 2022-12-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
US11678734B2 (en) | 2019-11-25 | 2023-06-20 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing images and electronic device |
CN111199215A (zh) * | 2020-01-06 | 2020-05-26 | 郑红 | 基于人脸识别的人数统计方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109360222B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110189340B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN109360222A (zh) | 图像分割方法、装置及存储介质 | |
CN109285178A (zh) | 图像分割方法、装置及存储介质 | |
CN109829456A (zh) | 图像识别方法、装置及终端 | |
CN109086709A (zh) | 特征提取模型训练方法、装置及存储介质 | |
CN110929651A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109034102A (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
CN108712606B (zh) | 提示方法、装置、存储介质及移动终端 | |
WO2019024717A1 (zh) | 防伪处理方法及相关产品 | |
CN108537845A (zh) | 位姿确定方法、装置及存储介质 | |
CN108682036A (zh) | 位姿确定方法、装置及存储介质 | |
CN110222789A (zh) | 图像识别方法及存储介质 | |
CN108681729A (zh) | 文本图像矫正方法、装置、存储介质及设备 | |
CN108538311A (zh) | 音频分类方法、装置及计算机可读存储介质 | |
CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
CN109815150A (zh) | 应用测试方法、装置、电子设备及存储介质 | |
CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
CN110148178A (zh) | 相机定位方法、装置、终端及存储介质 | |
CN108304506A (zh) | 检索方法、装置及设备 | |
CN110827195B (zh) | 虚拟物品添加方法、装置、电子设备及存储介质 | |
CN109558837A (zh) | 人脸关键点检测方法、装置及存储介质 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
CN108776822A (zh) | 目标区域检测方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |