CN111784563A - 一种背景虚化方法、装置、计算机设备及存储介质 - Google Patents
一种背景虚化方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111784563A CN111784563A CN202010588988.3A CN202010588988A CN111784563A CN 111784563 A CN111784563 A CN 111784563A CN 202010588988 A CN202010588988 A CN 202010588988A CN 111784563 A CN111784563 A CN 111784563A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- blurring
- dimension
- data group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000003064 k means clustering Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241001494479 Pecora Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本文提供了一种背景虚化方法、装置、计算机设备及存储介质,其中,方法包括:利用目标检测网络,定位并识别所述图像中的物体,将识别出的物体作为候选元素,根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素;利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;将所述主体元素覆盖到所述虚化图像上;对覆盖后虚化图像中的主体元素边界进行模糊化处理。本文具有操作简单、虚化效果丰富的特点,能够在无需人为选取虚化区域的情况下,自动实现背景虚化,并且基于K均值聚类算法的虚化处理,能够使得虚化效果为卡通风格。
Description
技术领域
本文属于图像处理领域,尤其涉及一种背景虚化方法、装置、计算机设备及存储介质。
背景技术
现有摄影中,通常会用到虚化的方法,将前景或者背景适当虚化,以突出主体元素。
现有摄影软件中,背景虚化的方法包括:光圈虚化、焦距虚化及高斯模糊虚化。其中,光圈虚化及焦距虚化为前期拍摄过程中实现背景虚化的方法,高斯模糊虚化为后续图像处理过程中实现背景虚化的方法,例如在电脑上使用Photoshop,在手机上使用Snapseed软件等实现背景虚化。
对于背景虚化的后期处理,各软件处理流程包括:首先,选取背景区域;然后,对背景区域进行高斯模糊处理。现有的高斯模糊虚化处理存在操作过程繁琐、虚化效果单一的问题。
发明内容
本文用于解决现有技术中背景虚化方法存在操作过程繁琐及虚化效果单一的问题。
为了解决上述技术问题,本文的第一方面提供一种背景虚化方法,包括:
利用目标检测网络,定位并识别图像中的物体,将识别出的物体作为候选元素,根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素;
利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;
将所述主体元素覆盖到所述虚化图像上;
对覆盖后虚化图像中的主体元素边界进行模糊化处理。本文一实施例中,确定所述主体元素之后,还包括:
对主体元素进行语义分割,得到分割后主体元素;
将所述主体元素覆盖到所述虚化图像上进一步为:将所述分割后主体元素覆盖到所述虚化图像上。
本文一实施例中,对主体元素进行语义分割,得到分割后主体元素,包括:
将所述主体元素输入至深度学习网络中,经过所述深度学习网络的处理,得到所述分割后主体元素;
其中,所述深度学习网络根据预先采集的多个样本图像训练得到,每个样本图像包括:原始图像和从原始图像分割出的物体图像。
本文一实施例中,利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像,包括:
将所述图像转换至HSV颜色空间;
对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像;
其中,所述HSV颜色空间中的维度包括:色调H、饱和度S及亮度V。本文一实施例中,对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像,包括:
将所述HSV颜色空间中每一维度的数据划分为一数据组,得到各维度的数据组;
对于每一维度的每一数据组,判断该数据组是否符合高斯分布或该数据组中数据量是否小于预定值;
若判断结果为是,则将该数据组中所有的数据值重置为该数据组对应的重置值;
若判断结果为否,则将该数据组划分为两个数据组,继续执行上述判断的步骤,直至各维度的各数据组符合高斯分布或各维度的各数据组中数据量小于预定值为止;
根据最后一次划分得到的数据组中的数据值,得到虚化图像。
本文一实施例中,各维度各数据组对应的重置值通过如下方式确定:
计算各维度各数据组的数据量及数据加和值;
根据各维度各数据组的数据量及数据加和值,计算平均值;
将计算得到的平均值作为各维度各数据组的中心点值。
本文一实施例中,对覆盖后虚化图像中的主体元素边界进行模糊化处理,包括:
确定覆盖后虚化图像中主体元素边界区域;
利用高斯模糊算法对所述主体元素边界区域进行模糊化处理。
本文的第二方面提供一种背景虚化装置,包括:
主体识别模块,用于利用目标检测网络,定位并识别图像中的物体,将识别出的物体作为候选元素,根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素;
虚化处理模块,用于利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;
图像生成模块,用于将所述主体元素覆盖到所述虚化图像上;
模糊化处理模块,用于对覆盖后虚化图像中的主体元素边界进行模糊化处理。
本文的第三方面提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述任一实施例所述的背景虚化方法。
本文的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行计算机程序,所述计算机程序被处理器执行时实现前述任一项所述的背景虚化方法。
本文提供的背景虚化方法、装置、计算机设备及存储介质,具有操作简单、虚化效果丰富的特点。通过先识别图像,得到主体元素;然后利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;最后将主体元素覆盖至虚化图像中,能够在无需人为选取虚化区域的情况下,自动实现背景虚化,并且基于K均值聚类算法的虚化处理,能够使得虚化效果为卡通风格。
为让本文的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本文的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本文实施例的背景虚化方法的第一流程图;
图2A及图2B示出了本文实施例的主体元素识别过程的流程图;
图3示出了本文实施例的背景虚化方法的第二流程图;
图4示出了本文实施例的背景虚化方法的第三流程图;
图5示出了本文实施例的利用K均值聚类算法对图像进行虚化的第一流程图;
图6示出了本文实施例的利用K均值聚类算法对图像进行虚化的第二流程图;
图7示出了本文实施例的背景虚化装置的第一结构图;
图8示出了本文实施例的主体识别模块的结构图;
图9示出了本文实施例的背景虚化装置的第二结构图;
图10示出了本文具体实施例的背景虚化方法的流程图;
图11示出了图10所示实施例中虚化图像确定过程的流程图;
图12示出了本文实施例的计算机设备的结构图;
图13A示出了本文实施例主体元素的表示图;
图13B示出了图13A中主体元素经过图像分割后得到的图。
具体实施方式
下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。
如图1所示,图1示出了本文实施例的背景虚化方法的第一流程图,本实施例能解决现有技术中背景虚化方法存在操作过程繁琐及虚化效果单一的问题。具体的,背景虚化方法包括:
步骤120,识别图像,得到主体元素。
详细的说,本文所述的图像为需要背景虚化的图像,为了保证虚化效果,图像要求清晰整洁,且有明确突出的主体元素,主体元素用主体框1301及主体名称表示,如图13A所示,主体元素可以为一个,也可以为多个。本步骤实施之前还包括:步骤110,获取需要进行背景虚化的图像。本文所述图像如不作特殊说明,默认为RGB颜色空间。
本文所述的主体元素为用户感兴趣物体(用户感兴趣物体可预先设定),可以包括一个主体元素,也可以包括多个主体元素,本文对主体元素种类及个数不做限定。实施时,得到主体元素后,将主体元素存储于数据库中,以便后续步骤调用。主体元素存储指的是存储主体框范围的图像、主体框在图像中的位置及主体名称。
步骤140,利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像。
K均值聚类算法具体实施过程可参见现有技术,本文对此不作限定。K均值聚类算法能够将图像颜色聚集为K个类别,每个类别的颜色设置为该类别的平均值,考虑到卡通画所使用的颜色种类较少,因此本案通过K均值聚类算法能够使背景达到卡通画的虚化效果。
步骤160,将所述主体元素覆盖到所述虚化图像上。
一些实施方式中,为了保证覆盖精度,根据主体元素在图像中的位置,将主体元素覆盖虚化图像上主体元素相对应的位置上。
本实施例提供的背景虚化方法具有操作简单的特点,能够在无需人为选取虚化区域的情况下,自动实现背景虚化。同时,基于K均值聚类算法的虚化处理,能够使得背景虚化效果为卡通风格,丰富现有背景虚化效果。
本文一实施例中,如图2A所示,上述步骤120识别图像,得到主体元素包括:
步骤201,识别图像,得到候选元素。
一些实施方式中,步骤201可采用物品识别模型识别图像,将识别出的物体作为候选元素,其中,物品识别模型可通过神经网络等方法预先建立,本文对其确定过程不做限定。
其它实施方式中,步骤201还可以利用目标检测网络,定位并识别图像中的物体,将识别出的物体作为候选元素,具体的,目标检测网络例如可以选用YOLO网络。
步骤202,根据预先设定的元素优先级别,确定主体元素。一些实施方式中,可将优先级最高的候选元素设定为主体元素。其它实施方式中,还可将优先级前M的候选元素设定为主体元素,其中,M为自然数,可由用户设定。
详细的说,预先设定的元素优先级别可根据用户需求进行设定,例如为人>动物>植物,其中,动物分为狗>猫>鸟,植物分为花>树等等,本文对预先设定的元素优先级别不做具体限定。
具体实施时,为了丰富主体元素的确定方式,如图2B所示,上述步骤202还可以替换为:步骤202’,接收用户根据所述候选元素确定的主体元素。即由用户在候选元素中选择主体元素。具体实施时,通过步骤201得到候选元素后,会将候选元素以页面的形式发送至用户终端显示,用户通过页面展示的候选元素,选择自己感兴趣的主体元素。
本文一实施例中,为了提高背景虚化中主体元素精度,如图3所示,背景虚化方法包括:
步骤120,识别图像,得到主体元素。
步骤130,对主体元素进行语义分割,得到并存储分割后主体元素1302,如图13B所示。
通过语义分割可以识别主体元素轮廓边界。例如主体元素为人、羊、狗,通过语义分割,可以确定出人边界、羊边界及狗边界。
详细的说,步骤130对主体元素进行语义分割,得到并存储分割后主体元素的过程包括:
将所述主体元素输入至深度学习网络中,经过所述深度学习网络的处理,得到所述分割后主体元素。其中,所述深度学习网络根据预先采集的多个样本图像训练得到,每个样本图像包括:原始图像及从原始图像分割出的物体图像。原始图像预先分割的过程可由人工实现,目的是为了确定物体边界。深度学习网络的结构可由用户根据需求进行设定,本文对此不作限定。深度学习网络训练过程可参见现有技术,本文对此不作限定。
一些实施方式中,步骤130使用的深度学习网络算法为MASK-RCNN。其它实施方式中,还可以使用其它深度学习网络算法,本文对此不作限定。
步骤140,利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像。
步骤160,将所述分割后主体元素覆盖到所述虚化图像上。
具体实施时,步骤120~步骤130和步骤140可同时进行,也可以先执行步骤120~步骤130,再执行步骤140,还可以先执行步骤140,再执行步骤120~步骤130,本文对此不做限定。
本实施例通过步骤120先识别主体元素,得到主体框范围,然后通过步骤130语义分割的方式确定主体元素边界,能够保证目标识别精度及目标检测速度。
本文一实施例中,如图4所示,为了避免上述步骤160覆盖显得突兀,上述步骤160之后,还包括:
步骤170,对覆盖后虚化图像中的主体元素边界进行模糊化处理。
详细的说,步骤170包括:确定覆盖后虚化图像中主体元素边界区域;以及利用高斯模糊算法对所述主体元素边界区域进行模糊化处理。具体的,主体元素边界区域可由分割所得主体元素确定,高斯模糊算法例如可以选用小模糊核的高斯模糊,实施时,还可由使用者手动调节,本文对高斯模糊算法不做限定。
本文一实施例中,如图5所示,上述步骤120利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像,包括:
步骤501,将图像转换至HSV颜色空间。其中,HSV颜色空间的维度包括色调H(Hue)、饱和度S(Saturation)、亮度V(Value)。图像中每一像素点数据由色调H、饱和度S、亮度V这三个参数值构成。本实施例通过将图像转换至HSV空间进行聚类,使得人眼视觉效果更佳。
步骤502,对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像。
本文一实施例中,为了减少人为参与,达到背景自动虚化的效果,如图6所示,上述步骤502对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像,包括:
步骤601,将所述HSV颜色空间中每一维度的数据划分为一数据组,得到各维度的数据组。
详细的说,HSV颜色空间包括三个维度,即色调、饱和度及亮度,对应的,HSV颜色空间数据包括三个维度的数据,即色调数据、饱和度数据及亮度数据。本步骤划分出的各维度的数据组具体包括:一色调数据组、一饱和度数据组及一亮度数据组。
步骤602,对于每一维度的每一数据组,判断该数据组中的数据是否符合高斯分布或该数据组中数据量是否小于预定值N,若判断结果为是,则执行步骤603,若判断结果为否,则执行步骤604。其中,数据组中数据量指的是数据组中数据的数量。
本文所述各数据组指的是各维度下的每一数据组。实施时,判断数据组中的数据是否符合高斯分布,是在一定置信水平下做的假设检验,一些实施方式中,置信水平设置为99.9%,其它实施方式中,置信水平还可以设置为90%、95%等等,置信水平与高斯分布的判断精度相关,本文对此不作具体限定,用户可根据自身需求设定置信水平。具体实施时,不同维度的数据组设定的置信水平可以相同,也可以不同。
通过判断数据组中数据量是否小于预定值N的方式,能够避免无限次划分数据组。预定值N可根据需求进行设定,本文对其具体取值不做限定,一优选实施例中,N取值为80。
步骤603,将该数据组中所有的数据值重置为该数据组对应的重置值。
具体的,步骤603中各维度各数据组对应的重置值通过如下方式确定:计算各维度各数据组的数据量及数据加和值;根据各维度各数据组的数据量及数据加和值,计算平均值;将计算得到的平均值作为各维度各数据组的中心点值。
详细的说,对于色调数据组而言,其中心点值为色调平均值,即对色调数据组中的色调值做加和平均处理,得到的色调平均值即为色调数据组的中心点值。对于饱和度数据组而言,其中心点值为饱和度平均值,即对色调数据组中的饱和度值做加和平均处理,得到的饱和度平均值即为饱和度数据组的中心点值。对于亮度数据组而言,其中心点值为亮度平均值,即对亮度数据组中的饱和度值做加和平均处理,得到的亮度平均值即为亮度数据组的中心点值。
步骤604,将该数据组划分为两个数据组,返回步骤602继续执行,直至各维度的各数据组符合高斯分布或各维度的各数据组中数据量小于预定值时为止。
所述步骤601至步骤604执行过程中记录数据组划分次数,将所述数据组划分次数作为聚类集合数K值。
步骤605,根据最后一次划分得到的数据组中的数据值,得到虚化图像。
本实施例能够根据图像的颜色分布自动确定聚类集合数K值,省去了人为参与的过程,达到自动虚化的效果。同时,还可以摆脱单一高斯模糊虚化,达到卡通画风格的背景虚化。
基于同一发明构思,本文还提供一种背景虚化装置,如下面的实施例所述。由于该装置解决问题的原理与背景虚化方法相似,因此该装置的实施可以参见背景虚化方法的实施,重复之处不再赘述。具体的,如图7所示,背景虚化装置包括:
主体识别模块720,用于识别图像,得到主体元素。
虚化处理模块740,用于利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像。
图像生成模块760,用于将所述主体元素覆盖到所述虚化图像上。
模糊化处理模块780,用于对覆盖后虚化图像中的主体元素边界进行模糊化处理。
本文提供的背景虚化装置具有操作简单、虚化效果丰富的特点。通过先识别图像,得到主体元素;然后利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;最后将主体元素覆盖至虚化图像中,能够在无需人为选取虚化区域的情况下,自动实现背景虚化,并且基于K均值聚类算法的虚化处理,能够使得虚化效果为卡通风格。
本文一实施例中,如图8所示,主体识别模块720包括:
元素识别单元721,用于识别图像,得到候选元素。具体的,元素识别单元721识别图像,得到候选元素的过程包括:利用目标检测网络,定位并识别所述图像中的物体;将识别出的物体作为候选元素。
元素确定单元722,用于根据预先设定的元素优先级别,确定主体元素;或接收用户根据所述候选元素确定的主体元素。
本文一实施例中,如图9所示,背景虚化装置除了包括主体识别模块720、虚化处理模块740及图像生成模块760外,还包括:
分割模块750,用于对主体元素进行语义分割,得到分割后主体元素。图像生成模块760进一步用于将分割后主体元素覆盖到虚化图像上。
本文一实施例中,虚化处理模块740利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像,包括:将所述图像转换至HSV颜色空间;对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像;其中,所述HSV颜色空间中的维度包括:色调H、饱和度S及亮度V。
一些实施方式中,为了减少人为参与,达到背景自动虚化的效果,虚化处理模块740对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像,包括:
将所述HSV颜色空间中每一维度的数据划分为一数据组,得到各维度的数据组;
对于每一维度的每一数据组,判断该数据组是否符合高斯分布或该数据组中数据量是否小于预定值;
若判断结果为是,则将该数据组中所有的数据值重置为该数据组对应的重置值;
若判断结果为否,则将该数据组划分为两个数据组,继续执行上述判断步骤,直至各维度的各数据组符合高斯分布或各维度的各数据组中数据量小于预定值时为止;
根据最后一次划分得到的数据组中的数据值,得到虚化图像。
为了更清楚说明本文技术方案,下面以一具体实施例进行详细说明,如图10及图11所示,背景虚化方法包括:
步骤1010,获取原始图像。
步骤1020,元素检测:利用目标检测网络,定位并识别所述图像中的物体,将识别出的物体作为候选元素;根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素。具体的,若识别出的一个候选元素,则将该候选元素自动设置为主体元素。若识别出多个候选元素,可以根据预先设定的元素优先级别自动确定主体元素,还可以将候选元素发送至用户终端显示,由用户手动选择主体元素。
步骤1030,对主体元素进行语义分割,得到分割后主体元素。具体的,将所述主体元素输入至深度学习网络中,经过所述深度学习网络的处理,得到所述分割后主体元素。其中,所述深度学习网络根据预先采集的多个样本图像训练得到,每个样本图像包括:原始图像及从原始图像分割出的物体图像。
步骤1040,利用K均值聚类算法,对所述HSV颜色空间表示的图像进行转换,得到虚化图像。具体的,如图11所示,虚化图像的确定过程包括:
步骤1041,将HSV颜色空间中每一维度的数据划分为一数据组,即得到一色调数据组GH1、一饱和度数据组GS1及一亮度数据组GV1。各数据组处理过程相同,下面步骤以饱和度数据组GS1为例进行详细说明。
步骤1042,确定饱和度数据组GS1的中心点值CS1。
步骤1043,判断饱和度数据组GS1中的数据是否符合高斯分布或饱和度数据组GS1中数据量是否小于N。若判断结果为是,将饱和度数据组GS1中所有的数据值重置为中心点值CS1。若判断结果为否,则将饱和度数据组GS1划分为两个饱和度数据组GS1-1,GS1-2。
步骤1044,分别确定饱和度数据组GS1-1,GS1-2的中心点值CS1-1,CS1-2。
步骤1045,分别判断饱和度数据组GS1-1,GS1-2中的数据是否符合高斯分布或饱和度数据组GS1-1,GS1-2中数据量是否小于N。若判断结果为,则将饱和度数据组GS1-1中所有的数据值重置为中心点值CS1-1,将饱和度数据组GS1-2中所有的数据值重置为中心点值CS1-2。若判断结果为否,则将饱和度数据组GS1-1,GS1-2分别划分为两个饱和度数据组GS1-1-1,GS1-1-2,GS1-2-1,GS1-2-2。
步骤1046(图未示),继续重复确定各数据组中心点值及判断各数据组是否符合高斯分布及各数据组中数据量是否小于N的步骤,直至各数据组符合高斯分布或各的各数据组中数据量小于预定值时为止。
继续执行确定数据组的中心点值的步骤及其之后的步骤,直至各数据组符合高斯分布或数据组中数据量小于预定值时为止。
步骤1047(图未示),根据最后一次划分得到的数据组中的数据值,得到虚化图像。
具体实施时,步骤1020~步骤1030可与步骤1040同步进行,本文对其执行的先后顺序不做限定。
步骤1050,将步骤1030得到的分割后主体元素覆盖至步骤1040得到的虚化图像上。
步骤1060,对覆盖后虚化图像中的主体元素边界进行模糊化处理,得到最终的背景虚化图像。
本文一实施例中,还提供一种计算机设备,如图12所示,计算机设备1202可以包括一个或多个处理器1204,诸如一个或多个中央处理单元(CPU),每个处理单元可以实现一个或多个硬件线程。计算机设备1202还可以包括任何存储器1206,其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的,比如,存储器1206可以包括以下任一项或多种组合:任何类型的RAM,任何类型的ROM,闪存设备,硬盘,光盘等,存储器1206上存储有可在处理器1204上运行的计算机程序,处理器1204执行计算机程序时实现前述任一实施例所述的背景虚化方法。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备1202的固定或可移除部件。在一种情况下,当处理器1204执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备1202可以执行相关联指令的任一操作。计算机设备1202还包括用于与任何存储器交互的一个或多个驱动机构1208,诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1202还可以包括输入/输出模块1210(I/O),其用于接收各种输入(经由输入设备1212)和用于提供各种输出(经由输出设备1214))。一个具体输出机构可以包括呈现设备1216和相关联的图形用户接口(GUI)1218。在其他实施例中,还可以不包括输入/输出模块1210(I/O)、输入设备1212以及输出设备1214,仅作为网络中的一台计算机设备。计算机设备1202还可以包括一个或多个网络接口1220,其用于经由一个或多个通信链路1222与其他设备交换数据。一个或多个通信总线1224将上文所描述的部件耦合在一起。
通信链路1222可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路1222可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本文一实施例中,还提供一种计算机可读指令,其中当处理器执行所述指令时,其中的程序使得处理器执行上述任一背景虚化方法的实施例。
本文一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行计算机程序,所述计算机程序被处理器执行时实现上述任一背景虚化方法的实施例。
应理解,在本文的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本文实施例的实施过程构成任何限定。
还应理解,在本文实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本文所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外,在本文各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本文的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本文的方法及其核心思想;同时,对于本领域的一般技术人员,依据本文的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本文的限制。
Claims (10)
1.一种背景虚化方法,其特征在于,包括:
利用目标检测网络,定位并识别图像中的物体,将识别出的物体作为候选元素,根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素;
利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;
将所述主体元素覆盖到所述虚化图像上;
对覆盖后虚化图像中的主体元素边界进行模糊化处理。
2.如权利要求1所述的方法,其特征在于,确定所述主体元素之后,还包括:
对主体元素进行语义分割,得到分割后主体元素;
将所述主体元素覆盖到所述虚化图像上进一步为:将所述分割后主体元素覆盖到所述虚化图像上。
3.如权利要求2所述的方法,其特征在于,对主体元素进行语义分割,得到分割后主体元素,包括:
将所述主体元素输入至深度学习网络中,经过所述深度学习网络的处理,得到所述分割后主体元素;
其中,所述深度学习网络根据预先采集的多个样本图像训练得到,每个样本图像包括:原始图像和从原始图像分割出的物体图像。
4.如权利要求1所述的方法,其特征在于,利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像,包括:
将所述图像转换至HSV颜色空间;
对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像;
其中,所述HSV颜色空间中的维度包括:色调H、饱和度S及亮度V。
5.如权利要求4所述的方法,其特征在于,对所述HSV颜色空间中每一维度的数据进行划分,对于划分得到的每一维度的每一数据组,将该数据组中的数据设置为同一值,从而得到虚化图像,包括:
将所述HSV颜色空间中每一维度的数据划分为一数据组,得到各维度的数据组;
对于每一维度的每一数据组,判断该数据组是否符合高斯分布或该数据组中数据量是否小于预定值;
若判断结果为是,则将该数据组中所有的数据值重置为该数据组对应的重置值;
若判断结果为否,则将该数据组划分为两个数据组,继续执行上述判断的步骤,直至各维度的各数据组符合高斯分布或各维度的各数据组中数据量小于预定值为止;
根据最后一次划分得到的数据组中的数据值,得到虚化图像。
6.如权利要求5所述的方法,其特征在于,各维度各数据组对应的重置值通过如下方式确定:
计算各维度各数据组的数据量及数据加和值;
根据各维度各数据组的数据量及数据加和值,计算平均值;
将计算得到的平均值作为各维度各数据组的中心点值。
7.如权利要求1所述的方法,其特征在于,对覆盖后虚化图像中的主体元素边界进行模糊化处理,包括:
确定覆盖后虚化图像中主体元素边界区域;
利用高斯模糊算法对所述主体元素边界区域进行模糊化处理。
8.一种背景虚化装置,其特征在于,包括:
主体识别模块,用于利用目标检测网络,定位并识别图像中的物体,将识别出的物体作为候选元素,根据预先设定的元素优先级别,从所述候选元素中确定主体元素或接收用户根据所述候选元素确定的主体元素;
虚化处理模块,用于利用K均值聚类算法,对所述图像进行虚化处理得到虚化图像;
图像生成模块,用于将所述主体元素覆盖到所述虚化图像上;
模糊化处理模块,用于对覆盖后虚化图像中的主体元素边界进行模糊化处理。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的背景虚化方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的背景虚化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010588988.3A CN111784563B (zh) | 2020-06-24 | 2020-06-24 | 一种背景虚化方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010588988.3A CN111784563B (zh) | 2020-06-24 | 2020-06-24 | 一种背景虚化方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784563A true CN111784563A (zh) | 2020-10-16 |
CN111784563B CN111784563B (zh) | 2023-09-01 |
Family
ID=72760174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010588988.3A Active CN111784563B (zh) | 2020-06-24 | 2020-06-24 | 一种背景虚化方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784563B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315210A (zh) * | 2023-11-29 | 2023-12-29 | 深圳优立全息科技有限公司 | 一种基于立体成像的图像虚化方法及相关装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130182151A1 (en) * | 2012-01-12 | 2013-07-18 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored |
CN105787888A (zh) * | 2014-12-23 | 2016-07-20 | 联芯科技有限公司 | 人脸图像美化方法 |
CN106446939A (zh) * | 2016-09-14 | 2017-02-22 | 浙江工业大学 | 一种基于模糊度量的k均值聚类的数据处理方法 |
CN109961452A (zh) * | 2017-12-22 | 2019-07-02 | 广东欧珀移动通信有限公司 | 照片的处理方法、装置、存储介质及电子设备 |
CN111127303A (zh) * | 2018-11-01 | 2020-05-08 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及计算机可读存储介质 |
-
2020
- 2020-06-24 CN CN202010588988.3A patent/CN111784563B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130182151A1 (en) * | 2012-01-12 | 2013-07-18 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus including image processing apparatus, image processing method, and storage medium in which program is stored |
CN105787888A (zh) * | 2014-12-23 | 2016-07-20 | 联芯科技有限公司 | 人脸图像美化方法 |
CN106446939A (zh) * | 2016-09-14 | 2017-02-22 | 浙江工业大学 | 一种基于模糊度量的k均值聚类的数据处理方法 |
CN109961452A (zh) * | 2017-12-22 | 2019-07-02 | 广东欧珀移动通信有限公司 | 照片的处理方法、装置、存储介质及电子设备 |
CN111127303A (zh) * | 2018-11-01 | 2020-05-08 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315210A (zh) * | 2023-11-29 | 2023-12-29 | 深圳优立全息科技有限公司 | 一种基于立体成像的图像虚化方法及相关装置 |
CN117315210B (zh) * | 2023-11-29 | 2024-03-05 | 深圳优立全息科技有限公司 | 一种基于立体成像的图像虚化方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111784563B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN108366203B (zh) | 一种构图方法、装置、电子设备及存储介质 | |
CN111951933B (zh) | 眼底彩照图像分级方法、装置、计算机设备及存储介质 | |
CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
CN111814810A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN112307853A (zh) | 航拍图像的检测方法、存储介质和电子装置 | |
CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
CN110967339A (zh) | 一种玉米果穗性状分析的方法及装置、玉米性状分析设备 | |
WO2019232723A1 (en) | Systems and methods for cleaning data | |
CN113705294A (zh) | 一种基于人工智能的图像识别方法、装置 | |
JP7300027B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
CN111784563B (zh) | 一种背景虚化方法、装置、计算机设备及存储介质 | |
CN112966687A (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN111091055A (zh) | 脸型识别方法、装置、设备及计算机可读存储介质 | |
CN109033078B (zh) | 语句类别识别方法及装置、存储介质、处理器 | |
CN113012030A (zh) | 图像拼接方法、装置及设备 | |
CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
WO2022226744A1 (en) | Texture completion | |
CN112069885A (zh) | 人脸属性识别方法、装置及移动终端 | |
CN113837236A (zh) | 图像中目标对象的识别方法、装置、终端设备及存储介质 | |
CN111325225B (zh) | 图像分类方法、电子装置和存储介质 | |
CN115222835A (zh) | 绘画建议的生成方法、装置及设备 | |
CN112419249A (zh) | 一种特殊服饰图片转化方法、终端设备及存储介质 | |
JP7394499B1 (ja) | Ai魚拓に関する画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |