CN112634314A - 目标图像获取方法、装置、电子设备及存储介质 - Google Patents
目标图像获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112634314A CN112634314A CN202110066862.4A CN202110066862A CN112634314A CN 112634314 A CN112634314 A CN 112634314A CN 202110066862 A CN202110066862 A CN 202110066862A CN 112634314 A CN112634314 A CN 112634314A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- mask
- original image
- detection data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000006748 scratching Methods 0.000 description 5
- 230000002393 scratching effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了目标图像获取方法、装置、电子设备及存储介质，方法包括：获取原始图像；利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图形；利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像；获取根据第一遮罩图像和第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对三分图进行处理，得到第三遮罩图像；将第三遮罩图像和原始图像进行叠加，得到目标图像，解决了相关技术中传统算法抠图效果很差无法实用，单一深度学习算法抠图效果远不如人工抠图，并且目前人工抠图时间耗费大的问题，可以根据用户的想法进行抠图，对抠图设备的硬件配置要求极低，操作简单，且可以实现批量抠图。
Description
技术领域
本公开一般涉及图像处理技术领域，特别涉及一种目标图像获取方法、装置、电子设备及存储介质。
背景技术
抠图为图像处理中最常做的操作之一，是指准确提取静止图片或者视频图片序列中的前景目标，即图像去背景，主要功能是为了后期的合成做准备，如普通用户修图、专业图片编辑人员提取图片元素进行二次创作等。
相关技术中，在进行抠图时，一般都依赖于用户对静止图片或者视频图片中的前景部分进行抠取。
然而，该方式不仅需要耗费用户大量的编辑时间，而且操作技术门槛较高，非经过专业培训的人员很难抠出像样的效果，同时，即使花费很久时间抠出一张好图片，也可能由于人为的不可确定性，将导致抠图结果不稳定，可能使得最终抠图结果不够精细，进行批量快速处理图片更是难上加难，有待解决。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种目标图像获取方法、装置、电子设备及存储介质，解决相关技术中传统算法抠图效果很差无法实用，单一深度学习算法抠图效果远不如人工抠图，并且目前人工抠图时间耗费大的问题，可以根据用户的想法进行抠图，对抠图设备的硬件配置要求极低，操作简单，且可以实现批量抠图。
第一方面实施例提供一种目标图像获取方法，包括以下步骤：
获取原始图像；
利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
获取根据所述第一遮罩图像和所述第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对所述三分图进行处理，得到第三遮罩图像；
将所述第三遮罩图像和所述原始图像进行叠加，得到目标图像，所述目标图像包含所述原始图像中的所述显著性目标。
可选地，在所述利用第二预设模型对所述原始图像进行预设分割，得到所述原始图像对应的第二遮罩图像之前，还包括：
获取第一显著性检测数据样本集，所述第一显著性检测数据样本集为公开样本集；
获取第二显著性检测数据样本集，所述第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；
利用所述第一显著性检测数据样本集和所述第二显著性检测数据样本集，对所述第二预设模型进行训练。
可选地，利用如下公式将所述第三遮罩图像和所述原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为所述原始图像，f1(x)为所述第三遮罩图像，g(x)为目标图像，α为融合比例。
第二方面实施例提供一种目标图像获取装置，包括：
第一获取模块，用于获取原始图像；
实例分割算法模块，用于利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
显著性检测算法模块，用于利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
第二获取模块，用于获取根据所述第一遮罩图像和所述第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对所述三分图进行处理，得到第三遮罩图像；
叠加处理模块，用于将所述第三遮罩图像和所述原始图像进行叠加，得到所述目标图像。
可选地，在所述利用第二预设模型对所述原始图像进行预设分割，得到所述原始图像对应的第二遮罩图像之前，所述显著性检测算法模块还用于：
获取第一显著性检测数据样本集，所述第一显著性检测数据样本集为公开样本集；
获取第二显著性检测数据样本集，所述第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；
利用所述第一显著性检测数据样本集和所述第二显著性检测数据样本集，对所述第二预设模型进行训练。
可选地，利用如下公式将所述第三遮罩图像和所述原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为所述原始图像，f1(x)为所述显第三遮罩图像，g(x)为目标图像，α为融合比例。
第三方面实施例提供一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。
第四方面实施例提供一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例描述的方法。
由此，可以获取原始图像，并利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图像，并利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像，并根据第一遮罩图像和第二遮罩图像，获取原始图像对应的目标图像，解决相关技术中传统算法抠图效果很差无法实用，单一深度学习算法抠图效果远不如人工抠图，并且目前人工抠图时间耗费大的问题，可以根据用户的想法进行抠图，对抠图设备的硬件配置要求极低，操作简单，且可以实现批量抠图。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为根据本申请实施例提供的一种目标图像获取方法的流程图；
图2为根据本申请一个实施例的BlendMask模型结构示意图；
图3为根据本申请一个实施例的BlendMask生成的mask示例图；
图4为根据本申请一个实施例的F3Net的模型结构示意图；
图5为根据本申请一个实施例的F3Net显著性检测结果mask示例；
图6为根据本申请一个实施例的显著性检测标注结果图示例图；
图7为根据本申请一个实施例opencv生成三分图示例图；
图8为根据本申请一个实施例的抠图结果图示例图；
图9为根据本申请一个实施例的目标图像获取方法的流程图；
图10为根据本申请实施例的目标图像获取装置的方框示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
抠图为图像处理中的常规操作之一，是指准确提取静止图片或者视频图片序列中的前景目标，即，给图像去背景，主要功能是为了后期的合成做准备，如普通用户修图、专业图片编辑人员提取图片元素进行二次创作等。
目前的抠图方法经过多年发展有很多，大致可以分为基于传统方法的抠图和基于深度学习算法的抠图。Photoshop中集成了目前效果最优秀的传统抠图方法，包括但不限于通道抠图、魔术棒抠图和钢笔抠图三大类，对于通道抠图，首先在红、绿、蓝三个通道中选择出一个颜色对比较明显的通道，复制这个通道，分别调整暗色调的色阶和亮色调的色阶，以将图像中前景和背景的色调分离出来，也可直接输入色阶的数值来分出前景和背景，然后用画笔工具将前景填充为黑色，使用反相功能将前景变为白色选区，把通道作为选区载入选择背景图层，剪切粘贴便可把前景目标取出；对于魔术棒抠图，利用魔术棒中的快速选择工具不断调整画笔大小选择图层中需要的部分，然后复制粘贴将前景目标取出；对于钢笔抠图，用索套工具粗略圈出图形的外框，选择钢笔工具拖动外框中的每个节点并调节线条弧度，使线条尽可能的贴近图形边缘，然后将获得的选区复制粘贴到新的图层将前景目标取出。传统方法除了Photoshop以外，具有编程能力的代码人员也可以采用opencv之类的工具库结合一定的传统算法进行抠图，典型的有GrabCut抠图、闭式抠图、泊松抠图、KNN抠图、以及利用二值化提取轮廓进行粗糙的抠图等。近年来，深度学习算法高速发展，在很多领域都取得了卓越的成就，抠图领域也深受其利，主流可以分为三分图(trimap)抠图、显著性检测抠图和输入三分图进行显著性检测的抠图，对于三分图抠图法：通过人工或一些语义分割算法粗略寻找出目标主体轮廓，接着利用opencv的膨胀、腐蚀工具自动生成三分图，把获得的三分图送入深度学习抠图算法得到前景目标，这些深度学习抠图算法包括Adobe公司的DIM算法、阿里巴巴的Semantic Human Mating等；对于利用显著性检测来抠图，直接将原始图片送入深度学习算法便可获得具有显著性特征的前景目标，例如，MiNet、BASNet、U-2-Net、HAttMatting和F3Net等优秀显著性检测算法，这类算法近年来因方便高效而备受关注，取得了许多先进的发展成果。
虽然，传统抠图方法和深度学习算法抠图都能够实现抠图目的，但是，在使用过程中发现上述方法仍存在亟待解决的问题。例如，Photoshop中集成的三种传统抠图方法都采用人工对静止图片或者视频图片中的前景部分进行扣取，而这一过程需要耗费大量的编辑时间，并且操作技术门槛较高，非经过专业培训的人员很难扣出理想的前景图像，即便是受过专业培训的技术人员也需要多种方法联合使用才能达到预期效果，然后还需要花费大量时间才能成功地扣取出一张目标图像，同事，由于人工的不可确定性，还会导致抠图结果不稳定，例如使得抠图结果不够精细，进行批量快速处理图片对于Photoshop更是难上加难。而通过opencv工具库中集成的传统方法进行抠图的方法门槛更远高与Photoshop，首先操作人员需要会变编程，其次是操作人员对opencv有关抠图的算法使用机器熟悉才能灵活调用，即使满足了两个基本条件，opencv所能控制的元素远远小于Photoshop，纵然是技术再好的变成人员也只能将简单的图片勉强扣成Photoshop的效果。深度学习算法中的三分图抠图方法可将大部分图片都扣出一个比较满意的效果，但是，Adobe公司的DIM和阿里巴巴公司的Semantic Human Matting都是利用人物数据集进行训练的，即，当前景图型为人物图像时，抠图效果更好，当抠图目标为其他物品时，抠图效果则差强人意了。尤其是后者，只能对人像进行抠图，而且必须同时输入三分图才能进行抠图，制作一张三分图的工作量不亚于使用Photoshop进行扣图的工作量，而且抠图工作复杂，而且，当遇到特殊场景时，还需要人工大量抠图。
本申请正是基于上述问题，而提出一种目标图像获取方法，
具体而言，请参考图1，该目标图像获取方法包括以下步骤：
S101，获取原始图像。
可以理解的是，原始图像可以为用户通过手机拍摄的图像，也可以为用户希望抠图的图片。例如，当用户从微信小程序上图片上传入口通过网络上传时，本申请实施例可以采用工具flask实现原始图像的获取。
需要说明的是，上述获取原始图像的方式仅为示例性的，不作为对本发明的限制，本领域技术人员还可以通过其他方式获取原始图像，为避免冗余，在此不做详细赘述。
S102，利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图像，第一遮罩图像中包含至少一个目标物体。
具体而言，第一预设模型可以为通过BlendMask算法生成的模型，如图2所示，图2为BlendMask的模型结构示意图。其中，BlendMask为一种实例分割算法，算法精度较高，BlendMask算法可以把图片中所有类别的物体同时分割出来生成mask，即第一遮罩图像，如图3所示，图3为经过BlendMask对图像进行分割后生成的mask结果，其中，该结果中包含有多个目标物体，例如，bench、car等。
进一步地，将生成的mask结果转化为类似显著性检测的黑白mask，由于mask包含的目标较多，故将各个目标为mask的白色区域，背景为mask的黑色区域，由于一般用户需要抠的目标不会位于图片上很偏的边缘，即使很偏，简单的裁剪便可将目标移动到图片中央部分，不需要绝对的正中央就行，因此，本申请实施例可以在实例分割算法检测图片的时候只保留按大小排列前三的目标生成mask。S103，利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像，第二遮罩图像通过颜色区分显著性目标和背景。
可以理解的是，第二预设模型可以为通过F3Net算法生成的模型，其中，F3Net算法可以根据原始图片生成包含显著性目标的黑白两色mask，显著性目标为mask的白色区域，背景为mask的黑色区域，此mask中的目标还较为粗糙，由于显著性检测类似于人眼观察事物，可能把目标周围不属于目标的东西也一并生成到了mask的白色区域。需要说明的是，虽然，F3Net算法精度高误包含其它事物的几率小，但仍可能出现包含其他事物的情况。
进一步地，对于模型训练，显著性检测算法本是用于研究模仿人眼看图片的方式的方法，由于显著性检测的结果跟训练数据的标注结果一致，是一个黑白像素的mask图片，抠图需要抠出的目标物体如果在图片中央部位跟此mask中心的白色像素部分可以完全重叠，因此，本申请实施例可以将F3Net，将其创新地应用于研发抠图，F3Net的模型结构如图4所示。训练参数与该算法论文中基本保持一致，但学习率调小至0.02-0.04之间，训练周期调大至200-300个epoch之间。最后，论文中算法的测试代码是测试显著性检测相关指标的，效果测试部分可以改成输入一张原图片生成相应mask结果图片的方式，F3Net显著性检测结果mask如图5所示。
可选地，在利用第二预设模型对原始图像进行预设分割，得到原始图像对应的第二遮罩图像之前，还包括：获取第一显著性检测数据样本集，第一显著性检测数据样本集为公开样本集，即开源的显著性检测数据样本集；获取第二显著性检测数据样本集，所述第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；利用第一显著性检测数据样本集和第二显著性检测数据样本集，对第二预设模型进行训练；其中，公开样本集、目标检测数据集和图片分类数据集属于不同领域图片数据。
可以理解的是，对于训练数据获取，深度学习有一个基本要求是需要大量高质量标注的数据用于训练，目前，公开的显著性检测数据总共数据不多，覆盖场景很少，清洗掉质量差的数据后不足5000个样本，这么少的数据用于工业抠图显然是不够的，如果不足的数据全部自己标注，一是优秀的抠图效果是像素级的，图片一旦复杂了人类靠肉眼很难保证高精确度，二是不论资金还是人力需求一般公司或机构都难以承担这么大量级的任务。
因此，本申请实施例解决训练数据的方式如下：(1)公开的显著性检测数据清洗后全部使用；(2)不少国内外网站都提供少量免费的在线抠图服务体验次数，数据标注人员将其它领域两个优秀的开源数据集利用这些在线服务分批次全部抠一遍，并将抠得的结果图片与原图片叠加反向处理得到与开源显著性检测数据集一样的mask标注文件，再人工清洗后便可获得大量有效训练数据，即第二显著性检测数据样本集，显著性检测标注结果，如图6所示，其中，用到的开源数据集分别为牛津的102Category Flower Dataset和coco2017，第一个数据集包含102种花卉，用于解决植物领域带孔隙这种复杂目标的抠图难题，coco2017包含80个生活中常见类别的物体，用于解决工业环境中需要能抠丰富多样类别目标的抠图难题。此外，本申请实施例还可以根据现实需求再人工标注一批数据作为补充。
S104，获取根据第一遮罩图像和第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对三分图进行处理，得到第三遮罩图像。
可以理解的是，第三预设模型可以由DIM算法生成，实例分割所能获得的mask中目标边缘十分粗糙，像刀砍斧切一般的生硬，如果直接拿来抠图，抠得的目标边缘必然是刀砍斧切一样的难看，没有柔和的过渡，完全不符合人类的审美，也不适合用户后期用来合成其它图片进行创作使用，因此还需要继续处理mask。
具体地，本申请实施例可以获取第一遮罩图像和第二遮罩图像的交集图像，并利用opencv将获取交集图像采用膨胀、腐蚀算法生成三分图，其中，opencv生成三分图的方法可以如图7所示，三分图包含三种颜色，白色区域为需要抠的目标，黑色区域为背景，灰色区域为需要抠的目标边缘。
另外，DIM算法可以根据三分图进行抠图，虽然缺点是需要三分图作为输入，三分图很难制作，但通过本申请实施例的方案则很容易得到高精度的三分图，DIM算法在高精度的三分图条件下可以抠出高精度且柔和的目标物体边缘，于是此处采用DIM算法根据原始图片和前面的mask生成最终的精细mask，这样即使是毛发、花草等生活中常见的极精细的物体也能完好无损的抠好。进一步地，本申请实施例可以将把原始图片和精细mask用下述公式进行融合便可得到需要抠取的目标，抠图结果如图8所示。
S105，将第三遮罩图像和原始图像进行叠加，得到目标图像，目标图像包含原始图像中的显著性目标。
可选地，在一些实施例中，利用如下公式将显著性目标的标注图层和原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为原始图像，f1(x)为显著性目标的标注图层，g(x)为目标图像，α为融合比例经验数据为0.5。
由此，本申请基于深度学习联合使用F3Net、BlendMask和DIM算法形成解决方案，辅助以云计算和小程序等技术共同完成操作极其简单且快速的抠图方法，用户无需任何技术储备，只需要傻瓜化的操作便可实现高精度抠图。既解决了目前人们使用Photoshop门槛高、费时间和效果不稳定的问题，又解决了编程人员用opencv抠图难和抠不了复杂图片的问题，还解决了目前深度学习能提供的单一算法常常需要自己制作三分图抠图、难以抠精细复杂目标图片的问题，同时此方法用户操作极其简单、速度快、对硬件要求低和可大批量抠图，从而使抠图用户无需考虑抠图，只需专注于自己后期想法的实现。
此外，在对显著性目标的标注图层和原始图像进行叠加后，即可得到目标图像，本申请实施例可以采用flask通过网络把抠得目标图像发送回客户端的小程序，小程序将原始图片和抠取的图片在同一界面展示给用户，现在抠取的图片用户可以下载到自己的客户端内保存，以供后续自己的需求。整个过程用户只需要用手机的客户端上传和下载图片便可轻松完成高精度抠图，其它所有流程都由服务器全自动完成，用户操作极为简单且方便，对客户端的硬件配置也几乎没有要求，普通智能手机全都能够轻松完成，且抠图速度快，约0.2-0.4s一张图片，可供用户进行快速的大批量抠图，同时还提供了网页接口和程序接口，既方便没有手机时的抠图，又方便编程人员直接在程序开发中简单调用，而无需花大量精力用opencv来抠。为使得本领域技术人员进一步了解本申请实施例的目标图像获取方法，下面结合具体实施例进行详细说明。
如图9所示，上述的目标图像获取方法，包括以下步骤：
S901，用户通过小程序客户端上传图片。
S902，通过F3Net显著性目标检测处理后得到粗糙mask，通过BlendMask实例分割得到分割mask。
S903，获取粗糙mask和分割mask的交集图像。
S904，通过Opencv生成交集图像的三分图。
S905，利用DIM算法对三分图进行处理，得到显著性目标的标注图层(精细mask)。
S906，通过下述公式将显著性目标的标注图层和原始图像进行叠加处理，得到目标图像。
其中，公式为g(x)＝(1-α)f0(x)+αf1(x)。
S907，小程序客户端展示和下载抠图。
根据本申请实施例的目标图像获取方法，可以获取原始图像，并利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图像，并利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像，并根据第一遮罩图像和第二遮罩图像，获取原始图像对应的目标图像，解决相关技术中传统算法抠图效果很差无法实用，单一深度学习算法抠图效果远不如人工抠图，并且目前人工抠图时间耗费大的问题，可以根据用户的想法进行抠图，对抠图设备的硬件配置要求极低，操作简单，且可以实现批量抠图。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
进一步参考图4，其示出了根据本申请一个实施例的目标图像获取装置10的示例性结构框图。
该目标图像获取装置10包括：第一获取模块100、实例分割算法模块200、显著性检测算法模块300、第二获取模块400和叠加处理模块500。
其中，第一获取模块100用于获取原始图像；
实例分割算法模块200用于利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图像，第一遮罩图像中包含至少一个目标物体；
第二分割模块300用于利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像，第二遮罩图像通过颜色区分显著性目标和背景；
第二获取模块400用于获取根据第一遮罩图像和第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对三分图进行处理，得到第三遮罩图像；
叠加处理模块500用于将第三遮罩图像和原始图像进行叠加，得到目标图像，目标图像包含原始图像中的显著性目标。
可选地，在一些实施例中，在利用第二预设模型对原始图像进行预设分割，得到原始图像对应的第二遮罩图像之前，显著性检测算法模块300还用于：
获取第一显著性检测数据样本集，第一显著性检测数据样本集为公开样本集；
获取第二显著性检测数据样本集，第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；
利用第一显著性检测数据样本集和第二显著性检测数据样本集，对第二预设模型进行训练。
可选地，在一些实施例中，利用如下公式将第三遮罩图像和原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为所述原始图像，f1(x)为所述显著性目标的标注图层，g(x)为目标图像，α为融合比例。
应当理解，装置10中记载的模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置10及其中包含的模块，在此不再赘述。装置10可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置10中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
根据本申请实施例的目标图像获取装置，可以获取原始图像，并利用第一预设模型对原始图像进行第一预设分割，得到原始图像对应的第一遮罩图像，并利用第二预设模型对原始图像进行第二预设分割，得到原始图像对应的第二遮罩图像，并根据第一遮罩图像和第二遮罩图像，获取原始图像对应的目标图像，解决相关技术中传统算法抠图效果很差无法实用，单一深度学习算法抠图效果远不如人工抠图，并且目前人工抠图时间耗费大的问题，可以根据用户的想法进行抠图，对抠图设备的硬件配置要求极低，操作简单，且可以实现批量抠图。
本申请实施例还提出一种设备，包括处理器、存储器和显示器；
所述存储器包含可由所述处理器执行的指令以使得所述处理器执行：
获取原始图像；
利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
根据所述第一遮罩图像和所述第二遮罩图像，获取所述原始图像对应的目标图像，所述目标图像包含所述原始图像中的所述显著性目标。
本申请实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：
获取原始图像；
利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
根据所述第一遮罩图像和所述第二遮罩图像，获取所述原始图像对应的目标图像，所述目标图像包含所述原始图像中的所述显著性目标。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY单元以及ZZ单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用于XX的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种目标图像获取方法，其特征在于，包括以下步骤：
获取原始图像；
利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
获取根据所述第一遮罩图像和所述第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对所述三分图进行处理，得到第三遮罩图像；
将所述第三遮罩图像和所述原始图像进行叠加，得到目标图像，所述目标图像包含所述原始图像中的所述显著性目标。
2.根据权利要求1所述的目标图像获取方法，其特征在于，在所述利用第二预设模型对所述原始图像进行预设分割，得到所述原始图像对应的第二遮罩图像之前，还包括：
获取第一显著性检测数据样本集，所述第一显著性检测数据样本集为公开样本集；
获取第二显著性检测数据样本集，所述第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；
利用所述第一显著性检测数据样本集和所述第二显著性检测数据样本集，对所述第二预设模型进行训练。
3.根据权利要求1所述的目标图像获取方法，其特征在于，利用如下公式将所述显著性目标的标注图层和所述原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为所述原始图像，f1(x)为所述第三遮罩图像，g(x)为目标图像，α为融合比例。
4.一种目标图像获取装置，其特征在于，包括：
第一获取模块，用于获取原始图像；
实例分割算法模块，用于利用第一预设模型对所述原始图像进行第一预设分割，得到所述原始图像对应的第一遮罩图像，所述第一遮罩图像中包含至少一个目标物体；
显著性检测算法模块，用于利用第二预设模型对所述原始图像进行第二预设分割，得到所述原始图像对应的第二遮罩图像，所述第二遮罩图像通过颜色区分显著性目标和背景；
第二获取模块，用于获取根据所述第一遮罩图像和所述第二遮罩图像的交集图像得到的三分图，并利用第三预设模型对所述三分图进行处理，得到第三遮罩图像；
叠加处理模块，用于将所述第三遮罩图像和所述原始图像进行叠加，得到目标图像，所述目标图像包含所述原始图像中的所述显著性目标。
5.根据权利要求4所述的目标图像获取装置，其特征在于，在所述利用第二预设模型对所述原始图像进行预设分割，得到所述原始图像对应的第二遮罩图像之前，所述显著性检测算法模块还用于：
获取第一显著性检测数据样本集，所述第一显著性检测数据样本集为公开样本集；
获取第二显著性检测数据样本集，所述第二显著性检测数据样本集根据目标检测数据集和图片分类数据集得到；
利用所述第一显著性检测数据样本集和所述第二显著性检测数据样本集，对所述第二预设模型进行训练。
6.根据权利要求4所述的目标图像获取装置，其特征在于，利用如下公式将所述第三遮罩图像和所述原始图像进行叠加：
g(x)＝(1-α)f0(x)+αf1(x)；
其中，f0(x)为所述原始图像，f1(x)为所述第三遮罩图像，g(x)为目标图像，α为融合比例。
7.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的目标图像获取方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的目标图像获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066862.4A CN112634314A (zh) | 2021-01-19 | 2021-01-19 | 目标图像获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110066862.4A CN112634314A (zh) | 2021-01-19 | 2021-01-19 | 目标图像获取方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634314A true CN112634314A (zh) | 2021-04-09 |
Family
ID=75294919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110066862.4A Withdrawn CN112634314A (zh) | 2021-01-19 | 2021-01-19 | 目标图像获取方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634314A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409224A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种图像目标针对性增强方法、装置、设备及存储介质 |
| CN116342629A (zh) * | 2023-06-01 | 2023-06-27 | 深圳思谋信息科技有限公司 | 一种图像交互分割方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110876A1 (en) * | 2014-10-15 | 2016-04-21 | Postech Academy-Industry Foundation | Matting method for extracting foreground object and apparatus for performing the matting method |
| CN106649487A (zh) * | 2016-10-09 | 2017-05-10 | 苏州大学 | 基于兴趣目标的图像检索方法 |
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107481261A (zh) * | 2017-07-31 | 2017-12-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩色视频抠图方法 |
| CN108564528A (zh) * | 2018-04-17 | 2018-09-21 | 福州大学 | 一种基于显著性检测的肖像照片自动背景虚化方法 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
| CN109697722A (zh) * | 2017-10-23 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 用于生成三分图的方法及装置 |
| CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110400323A (zh) * | 2019-07-30 | 2019-11-01 | 上海艾麒信息科技有限公司 | 一种自动抠图系统、方法以及装置 |
| CN111914757A (zh) * | 2020-08-04 | 2020-11-10 | 深圳市英威诺科技有限公司 | 人脸检测方法和装置、电子设备、存储介质 |
-
2021
- 2021-01-19 CN CN202110066862.4A patent/CN112634314A/zh not_active Withdrawn
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110876A1 (en) * | 2014-10-15 | 2016-04-21 | Postech Academy-Industry Foundation | Matting method for extracting foreground object and apparatus for performing the matting method |
| CN106649487A (zh) * | 2016-10-09 | 2017-05-10 | 苏州大学 | 基于兴趣目标的图像检索方法 |
| CN107452010A (zh) * | 2017-07-31 | 2017-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种自动抠图算法和装置 |
| CN107481261A (zh) * | 2017-07-31 | 2017-12-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度前景跟踪的彩色视频抠图方法 |
| CN109697722A (zh) * | 2017-10-23 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 用于生成三分图的方法及装置 |
| CN108564528A (zh) * | 2018-04-17 | 2018-09-21 | 福州大学 | 一种基于显著性检测的肖像照片自动背景虚化方法 |
| CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
| CN110335277A (zh) * | 2019-05-07 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110400323A (zh) * | 2019-07-30 | 2019-11-01 | 上海艾麒信息科技有限公司 | 一种自动抠图系统、方法以及装置 |
| CN111914757A (zh) * | 2020-08-04 | 2020-11-10 | 深圳市英威诺科技有限公司 | 人脸检测方法和装置、电子设备、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409224A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种图像目标针对性增强方法、装置、设备及存储介质 |
| CN116342629A (zh) * | 2023-06-01 | 2023-06-27 | 深圳思谋信息科技有限公司 | 一种图像交互分割方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wright | Digital compositing for film and vídeo: Production Workflows and Techniques | |
| JP6905602B2 (ja) | 画像照明方法、装置、電子機器および記憶媒体 | |
| JP6956252B2 (ja) | 顔表情合成方法、装置、電子機器及びコンピュータプログラム | |
| US20190251674A1 (en) | Deep-learning-based automatic skin retouching | |
| CN107516319A (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
| Zhang et al. | Deep image compositing | |
| CN112634314A (zh) | 目标图像获取方法、装置、电子设备及存储介质 | |
| CN110634102A (zh) | 基于flutter的跨平台证件照移动终端系统及其使用方法 | |
| Klingbeil et al. | Challenges in user experience design of image filtering apps | |
| Khan et al. | A deep hybrid few shot divide and glow method for ill-light image enhancement | |
| Reimann et al. | Locally controllable neural style transfer on mobile devices | |
| Reimann et al. | MaeSTrO: A mobile app for style transfer orchestration using neural networks | |
| US20230281764A1 (en) | Systems and methods for selective enhancement of skin features in images | |
| CN110751668B (zh) | 图像处理方法、装置、终端、电子设备及可读存储介质 | |
| CN112861854A (zh) | 指甲语义分割中训练样本的生成方法、装置、设备及介质 | |
| CN112614149A (zh) | 基于实例分割的语义合成方法 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN116167910B (zh) | 文本编辑方法、装置、计算机设备及计算机可读存储介质 | |
| Shimizu et al. | Painting style-aware manga colorization based on generative adversarial networks | |
| CN110555799A (zh) | 用于处理视频的方法和装置 | |
| CN106251388A (zh) | 照片处理方法和装置 | |
| CN116188720A (zh) | 数字人的生成方法、装置、电子设备和存储介质 | |
| CN115249221A (zh) | 图像处理方法、装置和云设备 | |
| Shin et al. | Deep garment image matting for a virtual try-on system | |
| Luo et al. | Controllable motion-blur effects in still images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210409 |