CN114022497A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN114022497A
CN114022497A CN202111166242.4A CN202111166242A CN114022497A CN 114022497 A CN114022497 A CN 114022497A CN 202111166242 A CN202111166242 A CN 202111166242A CN 114022497 A CN114022497 A CN 114022497A
Authority
CN
China
Prior art keywords
image
segmentation
segmentation result
image processing
processing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111166242.4A
Other languages
English (en)
Inventor
侯博严
于吉鹏
韩森尧
喻庐军
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202111166242.4A priority Critical patent/CN114022497A/zh
Publication of CN114022497A publication Critical patent/CN114022497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Abstract

本发明实施例提供了一种图像处理方法和装置，其中，所述的方法包括：获取待处理图像；将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。第一图像处理模型生成轮廓概率掩膜，为后续的精修过程提供基准，使得图像分割的网络结构只对分割结果中的不确定区域进行修正，减少了大量的冗余计算，提高图像分割的速度，并且分割效果十分精细。

Description

一种图像处理方法及装置
技术领域
本发明涉及人工智能技术领域，特别是涉及一种图像处理方法，以及一种图像处理装置。
背景技术
在一些视频通话的场景中，需要将视频中人物的背景进行屏蔽，或者为了娱乐功能需要将背景进行任意替换，例如，当用户通过视频通话功能和陌生人进行视频聊天时，一些注重隐私的用户有时并不想将家里的环境信息过多的暴露，毕竟面对陌生人还是保证安全第一，因此，需要屏蔽或替换视频画面中的背景。
现有技术中，通过针对视频图像分割出背景，并进一步屏蔽或替换该背景，视频图像分割领域的难题是如何实现又快又准，这往往是一对矛盾点。近几年的基于深度学习的图像分割算法如Mask RCNN和DeepLABV3+等，目前仍是不错的选择，然而，这些算法虽然可以在低分辨率的图像上取得很好的效果，但是无法在高分辨率的图像上实现精准分割，如图1所示的一种图像分割后的示意图，这些算法虽然可以做到将人物大致分割出来，但是仔细看细节部分还是比较粗糙，而且在分割速度上，上述两种图像分割网络很难在4K高清视频上做到实时分割。
因此，需要解决图像分割算法在高清图像上边缘轮廓分割粗糙，以及由于分割速度的限制导致无法在高清视频中实时分割的问题。
发明内容
鉴于上述图像分割算法在高清图像上边缘轮廓分割粗糙，以及由于分割速度的限制导致无法在高清视频中实时分割的问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法和相应的一种图像处理装置。
本发明实施例公开了一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
可选地，所述将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数，包括：
按照第一预设系数缩小所述待处理图像；
将缩小后的所述待处理图像输入至所述第一图像处理模型，采用所述第一图像处理模型的Encoder模块、ASPP模块和Decoder模块进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。
可选地，所述采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果，包括：
按照第二预设系数缩小所述待处理图像；
合并所述初始分割结果、隐藏层特征参数和缩小后的所述待处理图像得到精修数据；
将所述精修数据输入至所述第二图像处理模型，采用第二图像处理模型，根据所述轮廓概率掩膜从缩小后的所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
可选地，所述第一图像处理模型通过如下方式训练生成：
获取样本图像；
采用所述样本图像对原始图像分割模型进行训练；其中，所述原始图像分割模型包括分割结果网络和轮廓概率掩膜网络，通过第一损失函数训练所述分割结果网络，通过第二损失函数训练所述轮廓概率掩膜网络；
当通过所述第一损失函数和第二损失函数判断所述原始图像分割模块符合要求时，停止训练所述原始图像分割模块，并确定所述原始图像分割模块为所述第一图像处理模型。
可选地，所述第一损失函数表示如下：
Figure BDA0003291376980000031
其中，所述F表示分割结果，F*表示图像的标签，所述▽F表示分割结果的Sobel梯度算子，▽F*表示图像标签的Sobel梯度算子。
可选地，所述第二损失函数表示如下：
LossE＝||E-E*||2；
其中，所述E表示轮廓概率掩膜，所述E*表示E的标签，且所述E*＝|F-F*|。
可选地，所述第二图像处理模型通过如下方式训练生成：
根据所述初始分割结果、轮廓概率掩膜和隐藏层特征参数，通过所述第一损失函数训练原始精修网络模块，以得到第二图像处理模型。
本发明实施例还公开了一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
图像分割模块，用于将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
图像精修模块，用于采用第二图像处理模型根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
本发明实施例还公开了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本发明实施例所述的一个或多个的方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的一个或多个的方法的步骤。
本发明实施例包括以下优点：
在本发明实施例中，通过将待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。通过设计第一图像处理模型，使其可以产生轮廓概率掩膜，为后续的精修过程提供基准，使得图像分割的网络结构只对分割结果中的不确定区域进行修正，减少了大量的冗余计算，提高图像分割的速度，并且分割效果十分精细，从而可以在屏蔽掉视频图像中的背景的同时，精准的保留人物的轮廓(精细到发丝)，而且并不影响视频通话的流畅性，而且替换背景的功能可以使视频通话更具有娱乐性，在此基础上还可以添加表情等其他娱乐功能，在安全性和娱乐性上都有很好的用户体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中的一种图像分割结果的示意图；
图2是本发明的一种图像处理方法实施例的步骤流程图；
图3是本发明的一种图像分割结果的示意图；
图4是本发明的一种模型网络架构的示意图；
图5A是本发明的一种分割结果的示意图；
图5B是本发明的一种轮廓概率掩膜的示意图；
图6是本发明的一种样本图像的示意图；
图7是本发明的一种图像处理装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中图像分割算法在高清图像上边缘轮廓分割粗糙，以及由于分割速度的限制导致无法在高清视频中实时分割的问题，在本发明实施例中提供了一种图像分割方法，通过将待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。其中，轮廓概率掩膜中概率较低的位置表示不确定区域，通过第一图像处理模型对待处理图像进行大致的图形分割，通过第二图像处理模型对不确定区域的图像进行精修处理，从而可以大大增强图像分割的精度，而且由于精修只针对根据轮廓概率掩膜确定的一小部分图像，可以提高图像分割的速度。从而可以在屏蔽掉视频图像中的背景的同时，精准的保留人物的轮廓(精细到发丝)，而且并不影响视频通话的流畅性，而且替换背景的功能可以使视频通话更具有娱乐性，在此基础上还可以添加表情等其他娱乐功能，在安全性和娱乐性上都有很好的用户体验。
参照图2，示出了本发明的一种图像处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，获取待处理图像；
其中，待处理图像指需要进行图像分割的图像，如待处理图像可以是视频中每一帧视频图像，或用户上传的一张图像等。待处理图像可以为高清图像，待处理图像的分辨率为任意大小，如1080*900px，本发明实施例对此不作限制。
步骤202，将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
第一图像处理模型是预先训练完成的卷积神经网络模型，用于进行基础的图像分割。在本发明实施例中，可以将待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。其中，初始分割结果是大致的图像分割结果，通常对于目标轮廓边缘的处理不够细致；轮廓概率掩膜用于确定图像中需要精修的位置，在轮廓概率掩膜概率大于0的像素中，概率较高(大于预设阈值，该预设阈值按照精度需要进行设置)的像素表示与真实轮廓贴合较好，概率较低(小于或等于预设阈值)的像素表示不确定区域，需要进行精修；隐藏层特征参数是网络模型中的卷积层提取的图像特征参数。
步骤203，采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
第二图像处理模型用于对粗分割之后的图像中的不确定区域进行精修。目标图像指不确定区域对应的图像，需要对该不确定区域的目标图像进行精修。在本发明实施例中，第二图像处理模型可以根据轮廓概率掩膜从待处理图像中截取目标图像，并根据初始分割结果和隐藏层特征参数对目标图像进行精修处理，以得到目标分割结果。在得到目标分割结果之后，按照该目标分割结果对待处理图像进行分割，可以将图像的前景分离出来，从而可以对图像的背景进行屏蔽或替换等操作。作为一种示例，如图3所示，分割图像时，通过对图像中目标的轮廓边缘进行精修，大大提高了图像分割的精度，相对于如图1中的分割后的图像，分割效果更好。
在具体实现中，第一图像处理模型和第二图像处理模型的总体框架如图4所示，其中，基础网络对应第一图像处理模型，精修网络对应第二图像处理模型。通过首先将待处理图像缩小到原图的1/4大小输入中第一图像处理模型(即基础网络中)进行图像分割，并输出分割结果、轮廓概率掩膜和隐藏层特征参数，将分割结果、轮廓概率掩膜和隐藏层特征参数作为输入数据输入到第二图像处理模型(即精修网络中)，第二图像处理模型根据轮廓概率掩膜从原图中截取需要精修的Patch补丁，并对截取的这部分Patch进行精修，从而得到最终的分割结果。
在本发明的一种优选实施例中，所述步骤202具体可以包括如下子步骤：
按照第一预设系数缩小所述待处理图像；将缩小后的所述待处理图像输入至所述第一图像处理模型，采用所述第一图像处理模型的Encoder模块、ASPP模块和Decoder模块进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。
第一图像处理模型可以称为基础网络，用于对图像进行大致的分割。具体的，第一图像处理模型可以是一个全卷积的Encoder-Decoder网络，该网络的结构可以借鉴DeepLabV3+，因为DeepLabV3+目前仍然是语义分割性能最好的网络，当然第一图像处理模型的网络结构还可以按照设置为其他的网络结构，如Deeplabv1等，本发明实施例对此不作限制。第一图像处理模型可以包含Encoder模块、ASPP模块和Decoder模块，其中，Encoder的Backbone(主干网络，是用来做特征提取的网络，代表网络的一部分，通过前端提取图片信息生成特征图Feature Map，供后面的网络使用。)选取Resnet50，也可以根据分割精度和速度的优先级替换为Resnet101或者MobilenetV2，本发明实施例对此不做限制。接着，ASPP模块(Atrous Spatial Pyramid Pooling，空洞空间卷积池化金字塔)接到Encoder模块的后面，其作用是增大感受野的同时捕捉多尺度信息。Decoder模块采用双线性插值进行上采样，并且与Encoder过程中的对应层的输出结果进行融合。
为了提高图像分割的速度，可以按照第一预设系数缩小待处理图像；将缩小后的待处理图像输入至第一图像处理模型，采用第一图像处理模型的Encoder模块、ASPP模块和Decoder模块进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。其中，第一预设系数是预先设定的缩小系数，如1/4，第一预设系数可以按照需要进行设定，本发明实施例对此不作限制。
第一图像处理模型具体的图像分割流程如下：
(1)将需要分割的高清原图(即待处理图像)缩放到1/2大小输入到第一图像处理模型的网络中，假设原图长宽分别为W、H，则输入至网络的大小为3*H/4*W/4。
(2)经过Encoder模块中的一系列卷积层进行特征提取，同时进行下采样，每层都采用3*3的卷积核，后接BN层(Batch Normalization，批标准化)和Relu(Rectified LinearUnit，修正线性单元)激活层，最后利用1*1卷积层将通道数扩展为34维。
(3)将上面结果输入到ASPP模块来提取多尺度信息，在本发明实施例中，ASPP模块可以采用3个不同空洞率的空洞卷积核进行特征提取，空洞率分别为3、6、9。
(4)将上面的结果输入到Decoder模块中进行上采样，采用双线性插值算法，并且与下采样对应层进行融合，融合方式是叠加。Decoder模块的输出为34*H/4*W/4，其中包括1维的分割结果F、1维的轮廓概率掩膜E以及32维的隐藏层特征H。如图5A-5B所示，图5A是原始分割结果，图5B是轮廓概率掩膜。原始分割结果是根据轮廓概率掩膜中大于0的像素分割而来，是粗糙的分割结果。在轮廓概率掩膜概率大于0的像素中，概率较高的像素表示与真实轮廓贴合较好，概率较低的像素表示不确定区域，这些区域就是需要后续精修的部分。
在本发明的一种优选实施例中，所述步骤203具体可以包括如下子步骤：
按照第二预设系数缩小所述待处理图像；合并所述初始分割结果、隐藏层特征参数和缩小后的所述待处理图像得到精修数据；将所述精修数据输入至所述第二图像处理模型，采用第二图像处理模型，根据所述轮廓概率掩膜从缩小后的所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
其中，第二预设系数是预先设定的缩小系数，如1/2，第二预设系数可以按照需要进行设定，本发明实施例对此不作限制。
第二图像处理模型可以称为精修网络，通过精修网络进行精修的目的是减少冗余的计算，以及修复待处理图像的分割细节。上述第一图像处理模型是对全图进行计算，而精修网络只是对一些小的Patch补丁进行计算，这些小Patch就是通过轮廓概率掩膜选取出来的，通过设置概率阈值，将轮廓概率掩膜中小于概率阈值的部分像素选取出来，作为需要精修的Patch，大于概率阈值的部分像素则表示与真实轮廓贴合较好，不需要对这部分像素进行精修。具体的，将轮廓概率掩膜Resize调整大小，变成待处理图像的原图的1/4大小记为E4，这样轮廓概率掩膜上的每一个像素点代表原图上4*4的一块区域，选取Topk个概率最低的像素点，从而确定原图上待精修的k个4*4的区域共16k个像素点。
第二图像处理模型具体的精修过程分为两个阶段：
(1)第一阶段首先通过双线性插值上采样，将原始分割结果F、隐藏层特征H以及待处理图像I放缩到原分辨率的1/2，并将这些数据按照通道进行合并记为M，按照上面所述合并后的尺寸为[(1+32+3)*H/2*W/2]。然后，根据E4上选取的像素点位置在M上截取K个8*8大小的Patch，尺寸为[k*36*8*8]，如图4所示，接着经过2个3*3的卷积层，每个卷积层都有BN和Relu，这样将8*8的Patch缩小为4*4的Patch，尺寸变为[k*16*4*4]。
(2)第二阶段将4*4的Patch，通过最近邻插值上采样回到8*8，并且将其与待处理图像I上对应位置截取下来的8*8的Patch按照通道融合，尺寸为[k*(3+16)*8*8]，然后接两个3*3的卷积层将尺寸变为[k*1*4*4]，这个就是精修后的结果，最后我们将E4放大到原始尺寸，将对应位置的4*4Patch进行替换即可形成最终的分割结果。
在本发明的一种优选实施例中，所述第一图像处理模型通过如下方式训练生成：
获取样本图像；采用所述样本图像对原始图像分割模型进行训练；其中，所述原始图像分割模型包括分割结果网络和轮廓概率掩膜网络；通过第一损失函数训练所述分割结果网络，通过第二损失函数训练所述轮廓概率掩膜网络；当通过所述第一损失函数和第二损失函数判断所述原始图像分割模块符合要求时，停止训练所述原始图像分割模块，并确定所述原始图像分割模块为所述第一图像处理模型。
具体的，采用的样本图像的数据集可以有AIM数据集，包含269张训练集和11张测试集，平均都是1000x1000的高清大图，还有Distinctions-646中只包含人的子集，有362张训练集和11张测试集，平均尺寸1700x2000，除此之外，还有VideoMatte240K，包括484高分辨率视频，其中100个HD视频和384个4K高清视频，共可以分为240709帧。这些数据集涵盖了大量的人体形象、姿态和衣着，样本图像如图6所示，因为全部是绿布视频所以都自带标签。
在本发明实施例中，可以采用样本图像对原始图像分割模型进行训练，其中，原始图像分割模型包括分割结果网络和轮廓概率掩膜网络，通过第一损失函数训练分割结果网络，通过第二损失函数训练轮廓概率掩膜网络；当通过第一损失函数和第二损失函数判断原始图像分割模块符合要求时，停止训练原始图像分割模块，并确定原始图像分割模块为第一图像处理模型。
在本发明的一种优选实施例中，所述第一损失函数表示如下：
Figure BDA0003291376980000101
其中，所述F表示分割结果，F*表示图像的标签，所述▽F表示分割结果的Sobel梯度算子，▽F*表示图像标签的Sobel梯度算子。
首先为了训练分割结果网络，可以采用L1损失函数，第一损失函数包含两部分，F与F*的L1损失，以及F的Sobel梯度算子与F*的Sobel梯度算子的L1损失，加入Sobel梯度算子的L1损失的目的是想让网络学习出目标轮廓的边界效果。
在本发明的一种优选实施例中，所述第二损失函数表示如下：
LossE＝||E-E*||2；
其中，所述E表示轮廓概率掩膜，所述E*表示E的标签，且所述E*＝|F-F*|。
其次为了训练轮廓概率掩膜网络，定义E的标签E*为|F-F*|，然后将E与E*的均方差损失作为E的损失函数。
整个第一图像处理模型的损失函数可以表示为LossF+LossE，当训练之后LossF+LossE最小化时，则判定原始图像分割模块符合要求，停止训练原始图像分割模块，并固定原始图像分割模块中的各项参数，将该原始图像分割模块确定为第一图像处理模型。
在本发明的一种优选实施例中，所述第二图像处理模型通过如下方式训练生成：
根据所述初始分割结果、轮廓概率掩膜和隐藏层特征参数，通过所述第一损失函数训练原始精修网络模块，以得到第二图像处理模型。
具体的，可以根据基础网络中输出的所述初始分割结果、轮廓概率掩膜和隐藏层特征参数，通过第一损失函数训练原始精修网络模块，以得到第二图像处理模型。其中，第二图像处理模型的Loss损失函数只包含一项LossF，整个的训练过程是先训练第一图像处理模型，当基础网络收敛后即形成最终鲁棒的轮廓概率掩膜后再训练第二图像处理模型。在一些示例中，为了提高图像分割的速度，基础网络和精修网络中会对图形进行不同的缩放，因此，精修网络中分割结果F的大小与基础网络中的F的大小可以不同，例如，精修网络中分割结果F的大小可以是原图大小，而基础网络中F的大小是原图的1/4。
本发明实施例的图像分割方法可以适用于智能家居机器人中的视频通话功能，当用户之间进行通话时，可以选择是否屏蔽背景或者替换背景来保护自己的隐私，还可以将该图像分割功能添加到相机APP中，用户可以选择各种特效背景替换当前的背景，来录制自己喜欢的娱乐短视频等。通过在基础网络中通过Loss的设计产生轮廓概率掩膜，为后续的精修过程提供基准，使得图像分割的网络结构只对分割结果的不确定区域进行修正，减少了大量的冗余计算，并且通过在低分辨率的图像上进行处理然后上采样到高分辨率的设计使网络可以处理高清大图，在实际应用中可以在硬件支持的情况下实时处理HD甚至4K的高清视频，并且分割效果十分精细。此外，通过设计全新的轮廓精修网络结构，在基础网络生成的轮廓概率掩膜的基础上，只对概率低的像素点对应的Patch进行精修，并且处理过程中的输入全部是低分辨率的图像，只是将处理后的Patch替换高分辨率图像的对应位置，提高了整体网络的性能。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图7，示出了本发明的一种图像处理装置实施例的结构框图，具体可以包括如下模块：
图像获取模块701，用于获取待处理图像；
图像分割模块702，用于将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
图像精修模块703，用于采用第二图像处理模型根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
在本发明的一种优选实施例中，所述图像分割模块702，包括：
图像处理子模块，用于按照第一预设系数缩小所述待处理图像；
图像分割子模块，用于将缩小后的所述待处理图像输入至所述第一图像处理模型，采用所述第一图像处理模型的Encoder模块、ASPP模块和Decoder模块进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。
在本发明的一种优选实施例中，所述图像精修模块703，包括：
图像处理子模块，用于按照第二预设系数缩小所述待处理图像；
数据合并子模块，用于合并所述初始分割结果、隐藏层特征参数和缩小后的所述待处理图像得到精修数据；
图像精修子模块，用于将所述精修数据输入至所述第二图像处理模型，采用第二图像处理模型，根据所述轮廓概率掩膜从缩小后的所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
在本发明的一种优选实施例中，所述第一图像处理模型通过如下模块训练生成：
样本获取模块，用于获取样本图像；
第一模型训练模块，用于采用所述样本图像对原始图像分割模型进行训练；其中，所述原始图像分割模型包括分割结果网络和轮廓概率掩膜网络，通过第一损失函数训练所述分割结果网络，通过第二损失函数训练所述轮廓概率掩膜网络；
训练完成模块，用于当通过所述第一损失函数和第二损失函数判断所述原始图像分割模块符合要求时，停止训练所述原始图像分割模块，并确定所述原始图像分割模块为所述第一图像处理模型。
在本发明的一种优选实施例中，所述第一损失函数表示如下：
Figure BDA0003291376980000131
其中，所述F表示分割结果，F*表示图像的标签，所述▽F表示分割结果的Sobel梯度算子，▽F*表示图像标签的Sobel梯度算子。
在本发明的一种优选实施例中，所述第二损失函数表示如下：
LossE＝||E-E*||2；
其中，所述E表示轮廓概率掩膜，所述E*表示E的标签，且所述E*＝|F-F*|。
在本发明的一种优选实施例中，所述第二图像处理模型通过如下模块训练生成：
第二模型训练模块，用于根据所述初始分割结果、轮廓概率掩膜和隐藏层特征参数，通过所述第一损失函数训练原始精修网络模块，以得到第二图像处理模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行本发明实施例所述的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理方法和一种图像处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数，包括：
按照第一预设系数缩小所述待处理图像；
将缩小后的所述待处理图像输入至所述第一图像处理模型，采用所述第一图像处理模型的Encoder模块、ASPP模块和Decoder模块进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数。
3.根据权利要求1所述的方法，其特征在于，所述采用第二图像处理模型，根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果，包括：
按照第二预设系数缩小所述待处理图像；
合并所述初始分割结果、隐藏层特征参数和缩小后的所述待处理图像得到精修数据；
将所述精修数据输入至所述第二图像处理模型，采用第二图像处理模型，根据所述轮廓概率掩膜从缩小后的所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
4.根据权利要求1所述的方法，其特征在于，所述第一图像处理模型通过如下方式训练生成：
获取样本图像；
采用所述样本图像对原始图像分割模型进行训练；其中，所述原始图像分割模型包括分割结果网络和轮廓概率掩膜网络，通过第一损失函数训练所述分割结果网络，通过第二损失函数训练所述轮廓概率掩膜网络；
当通过所述第一损失函数和第二损失函数判断所述原始图像分割模块符合要求时，停止训练所述原始图像分割模块，并确定所述原始图像分割模块为所述第一图像处理模型。
5.根据权利要求4所述的方法，其特征在于，所述第一损失函数表示如下：
Figure FDA0003291376970000021
其中，所述F表示分割结果，F*表示图像的标签，所述
Figure FDA0003291376970000022
表示分割结果的Sobel梯度算子，
Figure FDA0003291376970000023
表示图像标签的Sobel梯度算子。
6.根据权利要求4所述的方法，其特征在于，所述第二损失函数表示如下：
LossE＝||E-E*||2；
其中，所述E表示轮廓概率掩膜，所述E*表示E的标签，且所述E*＝|F-F*|。
7.根据权利要求4所述的方法，其特征在于，所述第二图像处理模型通过如下方式训练生成：
根据所述初始分割结果、轮廓概率掩膜和隐藏层特征参数，通过所述第一损失函数训练原始精修网络模块，以得到第二图像处理模型。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
图像分割模块，用于将所述待处理图像输入至第一图像处理模型进行图像分割，以得到初始分割结果、轮廓概率掩膜和隐藏层特征参数；
图像精修模块，用于采用第二图像处理模型根据所述轮廓概率掩膜从所述待处理图像中截取目标图像，并根据所述初始分割结果和隐藏层特征参数对所述目标图像进行精修处理，以得到目标分割结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-7所述的一个或多个的方法的步骤。
10.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-7所述的一个或多个的方法的步骤。
CN202111166242.4A 2021-09-30 2021-09-30 一种图像处理方法及装置 Pending CN114022497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111166242.4A CN114022497A (zh) 2021-09-30 2021-09-30 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111166242.4A CN114022497A (zh) 2021-09-30 2021-09-30 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN114022497A true CN114022497A (zh) 2022-02-08

Family

ID=80055204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111166242.4A Pending CN114022497A (zh) 2021-09-30 2021-09-30 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN114022497A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630354A (zh) * 2023-07-24 2023-08-22 荣耀终端有限公司 一种视频抠图方法、电子设备、存储介质及程序产品
CN117474932A (zh) * 2023-12-27 2024-01-30 苏州镁伽科技有限公司 对象分割方法和装置、电子设备及存储介质
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品
CN116630354A (zh) * 2023-07-24 2023-08-22 荣耀终端有限公司 一种视频抠图方法、电子设备、存储介质及程序产品
CN116630354B (zh) * 2023-07-24 2024-04-12 荣耀终端有限公司 一种视频抠图方法、电子设备、存储介质及程序产品
CN117474932A (zh) * 2023-12-27 2024-01-30 苏州镁伽科技有限公司 对象分割方法和装置、电子设备及存储介质
CN117474932B (zh) * 2023-12-27 2024-03-19 苏州镁伽科技有限公司 对象分割方法和装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
US11017586B2 (en) 3D motion effect from a 2D image
Lutz et al. Alphagan: Generative adversarial networks for natural image matting
JP5607079B2 (ja) 前景−背景制約伝播に基づくビデオマッティング
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
CN114022497A (zh) 一种图像处理方法及装置
CN109712165B (zh) 一种基于卷积神经网络的同类前景图像集分割方法
CN112950477B (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113538480A (zh) 图像分割处理方法、装置、计算机设备和存储介质
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN111696110B (zh) 场景分割方法及系统
CN113487618B (zh) 人像分割方法、装置、电子设备及存储介质
CN113284073A (zh) 一种图像修复方法、装置及存储介质
CN111222440A (zh) 一种人像背景分离方法、装置、服务器及存储介质
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
CN116012232A (zh) 图像处理方法、装置及存储介质、电子设备
CN114723760A (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
WO2024041235A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN113253890A (zh) 视频人像抠图方法、系统和介质
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN113516604B (zh) 图像修复方法
CN115578721A (zh) 一种基于注意力特征融合的街景文本实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination