CN113313662A - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113313662A CN113313662A CN202110584157.3A CN202110584157A CN113313662A CN 113313662 A CN113313662 A CN 113313662A CN 202110584157 A CN202110584157 A CN 202110584157A CN 113313662 A CN113313662 A CN 113313662A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- different scales
- matting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000009901 attention process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备及存储介质，通过接收包括目标对象的待抠图图像，首先将待抠图图像输入特征提取网络，获取待抠图图像的高层特征图以及不同尺度低层特征图，高层特征图指示alpha通道特征信息，低层特征图指示RGB通道特征信息。随后将高层特征图和不同尺度低层特征图输入抠图网络，得到待抠图图像中目标对象的alpha透明通道。最后将目标对象的alpha透明通道与RGB通道合并，得到目标对象的透图。其中抠图网络包括三个级联的cascade模块，每个cascade模块用于对高层特征图和不同尺度低层特征图的特征融合。上述方案实现对RGB图像自动抠图，提高了抠图效率以及抠图效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在电商领域中，商城前台展示图片的美观程度会直接影响到用户的点击率及购买行为，目前电商平台大多要求商家上传商品透明图的合成图，即商品展示图。商家可线下自行制作商品展示图，也可利用电商平台提供的商品抠图工具，在线制作商品展示图。
商品抠图工具用于获取商家上传的RGB图像中的前景像素的透明度(alpha通道)，以便于后续进行图像合成，生成商品展示图。商品抠图工具主要采用基于trimap的静态图像抠图算法，该算法需对给定图像添加手工标记以增加抠图问题的额外约束。Trimap是对给定图像的一个粗略划分，即将给定图像划分为前景、背景和待求未知区域。
目前，电商平台提供的商品抠图工具，需要人工参与，抠图效率低。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及存储介质，提升对图像的抠图效率和抠图效果。
本申请实施例的第一方面提供一种图像处理方法，包括：
接收待抠图图像，所述待抠图图像中包括目标对象；
将所述待抠图图像输入特征提取网络，获取所述待抠图图像的第一特征图以及不同尺度的第二特征图，所述第一特征图用于指示alpha通道的高层特征，所述第二特征图用于指示RGB通道的低层特征；
将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道；所述抠图网络包括三个级联的cascade模块，每个cascade模块用于所述第一特征图与所述不同尺度的第二特征图的特征融合；
将所述目标对象的alpha通道与GRB通道合并，得到所述待抠图图像中目标对象的透图。
在本申请的一个可选实施例中，所述抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块；将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道，包括：
将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图；
将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图；
将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图；
将所述第五特征图作为所述待抠图图像中所述目标对象的alpha通道。
在本申请的一个可选实施例中，将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图，包括：
基于所述第一特征图对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；
采用上采样和卷积操作对所述不同尺度的第六特征图进行特征融合，得到所述第三特征图。
在本申请的一个可选实施例中，将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图，包括：
基于所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；
采用上采样和卷积操作对所述不同尺度的第七特征图进行特征融合，得到所述第四特征图。
在本申请的一个可选实施例中，将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图，包括：
基于所述第四特征图、所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；
采用上采样和卷积操作对所述不同尺度的第八特征图进行特征融合，得到所述第五特征图。
本申请实施例的第二方面提供一种图像处理装置，包括：
图像接收模块，用于接收待抠图图像，所述待抠图图像中包括目标对象；
特征提取模块，用于将所述待抠图图像输入特征提取网络，获取所述待抠图图像的第一特征图以及不同尺度的第二特征图，所述第一特征图用于指示alpha通道的高层特征，所述第二特征图用于指示RGB通道的低层特征；
特征处理模块，用于将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道；将所述目标对象的alpha通道与GRB通道合并，得到所述待抠图图像中目标对象的透图；
所述抠图网络包括三个级联的cascade模块，每个cascade模块用于所述第一特征图与所述不同尺度的第二特征图的特征融合。
在本申请的一个可选实施例中，所述抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块；
所述特征处理模块，具体用于：
将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图；
将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图；
将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图；
将所述第五特征图作为所述待抠图图像中所述目标对象的alpha通道。
在本申请的一个可选实施例中，所述特征处理模块，具体用于：
基于所述第一特征图对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；
采用上采样和卷积操作对所述不同尺度的第六特征图进行特征融合，得到所述第三特征图。
在本申请的一个可选实施例中，所述特征处理模块，具体用于：
基于所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；
采用上采样和卷积操作对所述不同尺度的第七特征图进行特征融合，得到所述第四特征图。
在本申请的一个可选实施例中，所述特征处理模块，具体用于：
基于所述第四特征图、所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；
采用上采样和卷积操作对所述不同尺度的第八特征图进行特征融合，得到所述第五特征图。
本申请实施例的第三方面提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。
本申请实施例的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。
本申请实施例的第五方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
本申请实施例提供一种图像处理方法、装置、设备及存储介质。其中，该方法包括：接收包括目标对象的待抠图图像，首先将待抠图图像输入特征提取网络，获取待抠图图像的高层特征图以及不同尺度的低层特征图，高层特征图指示alpha通道的特征信息，低层特征图指示RGB通道的特征信息。随后将高层特征图和不同尺度的低层特征图输入抠图网络，最终得到待抠图图像中目标对象的alpha透明通道。最后将目标对象的alpha透明通道与RGB通道合并，得到目标对象的透图。其中抠图网络包括三个级联的cascade模块，每个cascade模块用于对高层特征图和不同尺度的低层特征图的特征融合。上述方案可实现对RGB图像的自动抠图，提高了抠图效率，抠图效果更加精细。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的场景示意图；
图2为本申请实施例提供的图像处理方法的流程示意图；
图3为本申请实施例提供的特征提取网络和抠图网络的连接示意图；
图4为本申请实施例提供的一个cascade模块的结构示意图；
图5为本申请实施例提供的第一cascade模块的特征处理过程的示意图；
图6为本申请实施例提供的抠图网络的特征处理的流程示意图；
图7为本申请实施例提供的图像处理装置的结构示意图；
图8为本申请实施例提供的电子设备的硬件结构图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
从背景技术部分可知，现有电商平台提供的商品抠图工具需要借助trimap信息完成抠图，即需要人工参与，抠图效率低，但抠图效果较好。近年来也出现了一些借助其他额外输入，来完成自动抠图的方法，例如需要用户同时输入原图和背景图，借助背景图作为参考信息完成自动抠图。相比trimap的输入，节省了大量人工标记，且抠图效果更好，然而该方法无法在仅有一张待抠图图像输入情况下实现自动化抠图。
针对上述问题，本申请实施例提供一种图像处理方法，可实现在一张抠图图像输入的情况下，完成自动抠图，且达到较好的抠图效果。本方案的整体思路为：采用级联学习的方式，逐步优化抠图结果，最终得到满意的前景透明通道。用户只需要输入一张RGB图像就能自动得到带有alpha透明通道的优质透图。具体的，首先提取RGB图像中的低层特征和高层特征，使用级联的多个特征融合模块，逐级对低层特征和高层特征进行特征融合，最终得到RGB图像的前景目标对象。采用上述方案可实现自动化抠图，提高了抠图效率，抠图效果更加精细。
在介绍本申请提供的图像处理方案之前，首先对图像处理方案的应用场景进行简要介绍。
示例性的，图1为本申请实施例提供的图像处理方法的场景示意图一，如图1所示，该场景包括终端设备11以及服务器12，终端设备11与服务器12通信连接。其中，服务器12提供图像处理工具，可对用户通过终端设备11上传的RGB图像进行自动化抠图处理，得到RGB图像中前景目标对象对应的图像块，用户可基于该图像块制作目标对象的展示图。目标对象包括但不限于商品、人物、车辆等。
终端设备11可以是各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机等。服务器12可以是提供各种网络信息的服务器，例如电商平台的服务器，社交平台的服务器等。
基于上述场景，下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的图像处理方法的流程示意图一。本实施例提供的图像处理方法可应用于图1所示的服务器12，或者其他可执行该图像处理方法的装置。
如图2所示，本实施例的图像处理方法包括如下步骤：
步骤201、接收待抠图图像，待抠图图像中包括目标对象。
本实施例中，待抠图图像的目标对象包括但不限于商品、人物、车辆等，图像中目标对象的数量可以是一个或多个，对此本实施例不作任何限制。
步骤202、将待抠图图像输入特征提取网络，获取待抠图图像的第一特征图以及不同尺度的第二特征图。
本实施例中，特征提取网络可用于提取RGB图像中的高层特征和低层特征。特征提取网络可采用分割网络，分割网络可采用现有的语义分割或实例分割等分割网络架构，例如DeepLab语义网络架构、blendmask实例分割网络架构等。分割网络的输入为RGB图像，分割网络可输出RGB图像的第一特征图和不同尺度的第二特征图。示例性的，采用ResNet101网络架构提取size/4、size/8、size/16三个尺度的第二特征图，其中size是输入RGB图像的尺寸。
其中，第一特征图用于指示alpha通道的高层特征(或称为mask)，可以比较粗略的指示图像中每个像素的透明度的概率。第二特征图用于指示RGB通道的低层特征(或称为基础特征、浅层特征)。
其中，低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。
需要说明的是，现有的分割网络针对图像中的每个像素判断是不是前景，属于二分类，本实施例采用的分割网络，在现有分割网络的损失函数中添加L1+L2损失函数，从而将分类问题转换成回归问题，从而可获取到图像中每个像素透明度的概率。其中，L1是模型预测与真实标签的绝对值之和，L2是模型预测与真实标签的平方和的开方值。现有分割网络得到的mask边界过于粗糙，甚至有锯齿状，可通过L1+L2损失函数对边缘轮廓像素进行平滑处理。
步骤203、将第一特征图以及不同尺度的第二特征图输入抠图网络，得到待抠图图像中目标对象的alpha透明通道。
其中，抠图网络包括三个级联的cascade模块，每个cascade模块用于第一特征图与不同尺度的第二特征图的特征融合。
示例性的，图3为本申请实施例提供的特征提取网络和抠图网络的连接示意图，如图3所示，抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块。抠图网络的输入即第一cascade模块的输入，抠图网络的输出即第三cascade模块的输出。
具体的，将特征提取网络输出的第一特征图以及不同尺度的第二特征图作为第一cascade模块的输入，第一cascade模块的输出作为第二cascade模块的输入，第二cascade模块的输出作为第三cascade模块的输入，第三cascade模块的输出作为抠图网络的输出。
图3中的M表示alpha通道的高层特征，f1、f2、f3表示不同尺度的RGB通道的低层特征，S1表示经过第一cascade模块的融合特征，S2表示经过第二cascade模块的融合特征，S表示经过第三cascade模块的融合特征，将包含S融合特征的特征图作为抠图网络输出的alpha通道。
步骤204、将目标对象的alpha通道与GRB通道合并，得到待抠图图像中目标对象的透图。
本申请实施例提供的图像处理方法，通过接收包括目标对象的待抠图图像，首先将待抠图图像输入特征提取网络，获取待抠图图像的高层特征图以及不同尺度的低层特征图，高层特征图指示alpha通道的特征信息，低层特征图指示RGB通道的特征信息。随后将高层特征图和不同尺度的低层特征图输入抠图网络，最终得到待抠图图像中目标对象的alpha透明通道。最后将目标对象的alpha透明通道与RGB通道合并，得到目标对象的透图。其中抠图网络包括三个级联的cascade模块，每个cascade模块用于对高层特征图和不同尺度的低层特征图的特征融合。上述方案可实现对RGB图像的自动抠图，提高了抠图效率，抠图效果更加精细。
在上述实施例的基础上，下面对抠图网络中cascade模块的具体功能进行详细说明。
示例性的，图4为本申请实施例提出的一个cascade模块的结构示意图，如图4所示，cascade模块包括注意力attention模块，卷积上采样模块1以及卷积上采样模块2。
本实施例中，注意力模块的作用是将第一特征图与不同尺度的第二特征图进行特征融合，即将语义分割得到的mask(即高层特征)作为空间权重对不同尺度的低层特征做attention处理，得到更有利于抠图细化的特征。
示例性的，若特征提取网络输出size/4、size/8、size/16三个尺度的低层特征图，分别记为f1、f2、f3，则经过attention处理后，得到size/4、size/8、size/16三个尺度的特征图，分别记为fm1、fm2、fm3。需要说明的是，attention处理可以更好地利用低层的纹理与边界细节信息，因此fm1、fm2、fm3更优于f1、f2、f3。
本实施例中，卷积上采样模块的作用是将两个不同尺度的特征图进行特征融合，包括对特征图的卷积操作和上采样操作。
下面以第一cascade模块为例，对第一cascade模块内部执行过程进行详细说明。示例性的，图5为本申请实施例提供的第一cascade模块的特征处理过程的示意图，如图5所示，卷积上采样模块1的作用是对fm3和fm2进行特征融合。具体的，对特征图fm3进行2倍上采样，得到和fm2相同大小的特征图fm3’，再将特征图fm2和fm3’通道合并后通过卷积操作得到特征图fm4。卷积上采样模块2的作用是对fm4和fm1进行特征融合。具体的，对特征图fm4进行2倍上采样，得到和fm1相同大小的特征图fm4’，再将特征图fm1和fm4’通道合并后通过卷积操作得到特征图S1。
上述实施例仅示出了第一cascade模块的特征处理过程，第二cascade模块和第三cascade模块的特征处理过程与第一cascade模块类似，只是初始的三通道高层特征图有更新，例如第一cascade模块的输入包括三通道高层特征图[M,M,M]，第二cascade模块的输入包括三通道高层特征图[M,S1,S1]，第三cascade模块的输入包括三通道高层特征图[M,S1,S2]。
需要说明的是，第一cascade模块中的注意力模块采用三通道融合特征，即M，做attention处理。第二cascade模块中的注意力模块采用三通道融合特征，即M、S1、S1的融合特征，做attention处理。第三cascade模块中的注意力模块采用三通道融合特征，即M、S1、S2的融合特征，做attention处理。
基于上述对抠图网络的cascade模块的功能描述，可对图2所示实施例的图像处理方法中的步骤203作进一步说明。
示例性的，图6为本申请实施例提供的抠图网络的特征处理的流程示意图，如图6所示，步骤203，具体包括：
步骤2031、将第一特征图以及不同尺度的第二特征图输入第一cascade模块进行特征融合，得到第三特征图。
具体的，基于第一特征图对不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；采用上采样和卷积操作对不同尺度的第六特征图进行特征融合，得到第三特征图。
参见附图5，第一特征图可表示为M，不同尺度的第二特征图可表示为f1、f2、f3，不同尺度的第六特征图可表示为fm1、fm2、fm3，第三特征图可表示为S1。
步骤2032、将第一特征图、第三特征图以及不同尺度的第二特征图输入第二cascade模块进行特征融合，得到第四特征图。
具体的，基于第三特征图以及第一特征图，对不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；采用上采样和卷积操作对不同尺度的第七特征图进行特征融合，得到第四特征图。
步骤2033、将第一特征图、第三特征图、第四特征图以及不同尺度的第二特征图输入第三cascade模块进行特征融合，得到第五特征图。
具体的，基于第四特征图、第三特征图以及第一特征图，对不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；采用上采样和卷积操作对不同尺度的第八特征图进行特征融合，得到第五特征图。
步骤2034、将第五特征图作为待抠图图像中目标对象的alpha透明通道。
上述实施例的抠图网络，通过级联的多个cascade模块，对初始的高层特征图M进行逐级优化，最终得到待抠图图像前景目标的alpha透明通道。上述方法实现对RGB图像的自动抠图，提高了抠图效率，且抠图效果更加精细。
本申请实施例可以根据上述方法实施例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现，也可以使用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。
图7为本申请实施例提供的图像处理装置的结构示意图。如图7所示，本实施例提供的图像处理装置300，包括：图像接收模块301，特征提取模块302以及特征处理模块303。
图像接收模块301，用于接收待抠图图像，所述待抠图图像中包括目标对象；
特征提取模块302，用于将所述待抠图图像输入特征提取网络，获取所述待抠图图像的第一特征图以及不同尺度的第二特征图，所述第一特征图用于指示alpha通道的高层特征，所述第二特征图用于指示RGB通道的低层特征；
特征处理模块303，用于将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道；将所述目标对象的alpha通道与GRB通道合并，得到所述待抠图图像中目标对象的透图；
所述抠图网络包括三个级联的cascade模块，每个cascade模块用于所述第一特征图与所述不同尺度的第二特征图的特征融合。
在本申请的一个可选实施例中，所述抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块；
所述特征处理模块303，具体用于：
将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图；
将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图；
将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图；
将所述第五特征图作为所述待抠图图像中所述目标对象的alpha。
在本申请的一个可选实施例中，所述特征处理模块303，具体用于：
基于所述第一特征图对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；
采用上采样和卷积操作对所述不同尺度的第六特征图进行特征融合，得到所述第三特征图。
在本申请的一个可选实施例中，所述特征处理模块303，具体用于：
基于所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；
采用上采样和卷积操作对所述不同尺度的第七特征图进行特征融合，得到所述第四特征图。
在本申请的一个可选实施例中，所述特征处理模块303，具体用于：
基于所述第四特征图、所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；
采用上采样和卷积操作对所述不同尺度的第八特征图进行特征融合，得到所述第五特征图。
本实施例提供的图像处理装置，可以执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本申请实施例提供的电子设备的硬件结构图，如图8所示，本实施例提供的电子设备400，包括：
存储器401；
处理器402；以及
计算机程序；
其中，计算机程序存储在存储器401中，并被配置为由处理器402执行以实现上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，存储器401既可以是独立的，也可以跟处理器402集成在一起。当存储器401是独立于处理器402之外的器件时，电子设备400还包括：总线403，用于连接存储器401和处理器402。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器402执行以实现如前述任一方法实施例中的技术方案。
本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前述任一方法实施例中的技术方案。
本申请实施例还提供了一种芯片，包括：处理模块与通信接口，该处理模块能执行前述任一方法实施例中的技术方案。
进一步地，该芯片还包括存储模块(如，存储器)，存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述任一方法实施例中的技术方案。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备中。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
接收待抠图图像，所述待抠图图像中包括目标对象；
将所述待抠图图像输入特征提取网络，获取所述待抠图图像的第一特征图以及不同尺度的第二特征图，所述第一特征图用于指示alpha通道的高层特征，所述第二特征图用于指示RGB通道的低层特征；
将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道；所述抠图网络包括三个级联的cascade模块，每个cascade模块用于所述第一特征图与所述不同尺度的第二特征图的特征融合；
将所述目标对象的alpha通道与GRB通道合并，得到所述待抠图图像中目标对象的透图。
2.根据权利要求1所述的方法，其特征在于，所述抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块；将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道，包括：
将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图；
将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图；
将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图；
将所述第五特征图作为所述待抠图图像中所述目标对象的alpha通道。
3.根据权利要求2所述的方法，其特征在于，将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图，包括：
基于所述第一特征图对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；
采用上采样和卷积操作对所述不同尺度的第六特征图进行特征融合，得到所述第三特征图。
4.根据权利要求2所述的方法，其特征在于，将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图，包括：
基于所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；
采用上采样和卷积操作对所述不同尺度的第七特征图进行特征融合，得到所述第四特征图。
5.根据权利要求2所述的方法，其特征在于，将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图，包括：
基于所述第四特征图、所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；
采用上采样和卷积操作对所述不同尺度的第八特征图进行特征融合，得到所述第五特征图。
6.一种图像处理装置，其特征在于，包括：
图像接收模块，用于接收待抠图图像，所述待抠图图像中包括目标对象；
特征提取模块，用于将所述待抠图图像输入特征提取网络，获取所述待抠图图像的第一特征图以及不同尺度的第二特征图，所述第一特征图用于指示alpha通道的高层特征，所述第二特征图用于指示RGB通道的低层特征；
特征处理模块，用于将所述第一特征图以及所述不同尺度的第二特征图输入抠图网络，得到所述待抠图图像中所述目标对象的alpha通道；将所述目标对象的alpha通道与GRB通道合并，得到所述待抠图图像中目标对象的透图；
所述抠图网络包括三个级联的cascade模块，每个cascade模块用于所述第一特征图与所述不同尺度的第二特征图的特征融合。
7.根据权利要求6所述的装置，其特征在于，所述抠图网络包括依次连接的第一cascade模块，第二cascade模块以及第三cascade模块；所述特征处理模块，具体用于：
将所述第一特征图以及所述不同尺度的第二特征图输入所述第一cascade模块进行特征融合，得到第三特征图；
将所述第一特征图、所述第三特征图以及所述不同尺度的第二特征图输入所述第二cascade模块进行特征融合，得到第四特征图；
将所述第一特征图、所述第三特征图、所述第四特征图以及所述不同尺度的第二特征图输入所述第三cascade模块进行特征融合，得到第五特征图；
将所述第五特征图作为所述待抠图图像中所述目标对象的alpha通道。
8.根据权利要求7所述的装置，其特征在于，
所述特征处理模块，具体用于：
基于所述第一特征图对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第六特征图；
采用上采样和卷积操作对所述不同尺度的第六特征图进行特征融合，得到所述第三特征图。
9.根据权利要求7所述的装置，其特征在于，
所述特征处理模块，具体用于：
基于所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第七特征图；
采用上采样和卷积操作对所述不同尺度的第七特征图进行特征融合，得到所述第四特征图。
10.根据权利要求7所述的装置，其特征在于，
所述特征处理模块，具体用于：
基于所述第四特征图、所述第三特征图以及所述第一特征图，对所述不同尺度的第二特征图进行attention处理，得到不同尺度的第八特征图；
采用上采样和卷积操作对所述不同尺度的第八特征图进行特征融合，得到所述第五特征图。
11.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至5中任一项所述的方法。
13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584157.3A CN113313662A (zh) | 2021-05-27 | 2021-05-27 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584157.3A CN113313662A (zh) | 2021-05-27 | 2021-05-27 | 图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313662A true CN113313662A (zh) | 2021-08-27 |
Family
ID=77375498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584157.3A Pending CN113313662A (zh) | 2021-05-27 | 2021-05-27 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313662A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870283A (zh) * | 2021-09-29 | 2021-12-31 | 深圳万兴软件有限公司 | 人像抠图方法、装置、计算机设备及可读存储介质 |
| CN115359088A (zh) * | 2022-10-18 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111222440A (zh) * | 2019-12-31 | 2020-06-02 | 江西开心玉米网络科技有限公司 | 一种人像背景分离方法、装置、服务器及存储介质 |
| CN112446380A (zh) * | 2019-09-02 | 2021-03-05 | 华为技术有限公司 | 图像处理方法和装置 |
| WO2021083126A1 (zh) * | 2019-10-31 | 2021-05-06 | 北京市商汤科技开发有限公司 | 目标检测、智能行驶方法、装置、设备及存储介质 |
-
2021
- 2021-05-27 CN CN202110584157.3A patent/CN113313662A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446380A (zh) * | 2019-09-02 | 2021-03-05 | 华为技术有限公司 | 图像处理方法和装置 |
| WO2021083126A1 (zh) * | 2019-10-31 | 2021-05-06 | 北京市商汤科技开发有限公司 | 目标检测、智能行驶方法、装置、设备及存储介质 |
| CN111222440A (zh) * | 2019-12-31 | 2020-06-02 | 江西开心玉米网络科技有限公司 | 一种人像背景分离方法、装置、服务器及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 冉清;冯结青;: "人体前景的自动抠图算法", 计算机辅助设计与图形学学报, no. 02 * |
| 朱晓霞;施智平;邵振洲;关永;任长娥;: "基于天空分割的去雾算法在目标检测中的应用", 计算机应用与软件, no. 02 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870283A (zh) * | 2021-09-29 | 2021-12-31 | 深圳万兴软件有限公司 | 人像抠图方法、装置、计算机设备及可读存储介质 |
| CN113870283B (zh) * | 2021-09-29 | 2024-05-28 | 深圳万兴软件有限公司 | 人像抠图方法、装置、计算机设备及可读存储介质 |
| CN115359088A (zh) * | 2022-10-18 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163215B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| US10810435B2 (en) | Segmenting objects in video sequences | |
| CN111104962A (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
| CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| WO2018194863A1 (en) | Visual style transfer of images | |
| CN108734653B (zh) | 图像风格转换方法及装置 | |
| CN113313662A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108961267B (zh) | 图片处理方法、图片处理装置及终端设备 | |
| CN110119733B (zh) | 书页识别方法及装置、终端设备、计算机可读存储介质 | |
| CN112308866A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114529490B (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
| CN114969417B (zh) | 图像重排序方法、相关设备及计算机可读存储介质 | |
| CN112016502B (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN112801888A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN115358917B (zh) | 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 | |
| CN112700460A (zh) | 图像分割方法及系统 | |
| CN108805838B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN112651340A (zh) | 一种购物小票的文字识别方法、系统、终端设备和存储介质 | |
| CN112614110A (zh) | 评估图像质量的方法、装置及终端设备 | |
| CN112380978A (zh) | 基于关键点定位的多人脸检测方法、系统及存储介质 | |
| CN108776959B (zh) | 图像处理方法、装置及终端设备 | |
| CN113724282A (zh) | 图像处理方法和相关产品 | |
| CN108932704B (zh) | 图片处理方法、图片处理装置及终端设备 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114820938A (zh) | 一种元宇宙场景素材的建模方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |