CN113298704B - 一种广播电视新闻下利用图迁移的肤色分割及美化方法 - Google Patents

一种广播电视新闻下利用图迁移的肤色分割及美化方法 Download PDF

Info

Publication number
CN113298704B
CN113298704B CN202110850959.4A CN202110850959A CN113298704B CN 113298704 B CN113298704 B CN 113298704B CN 202110850959 A CN202110850959 A CN 202110850959A CN 113298704 B CN113298704 B CN 113298704B
Authority
CN
China
Prior art keywords
graph
skin color
data set
convolution
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110850959.4A
Other languages
English (en)
Other versions
CN113298704A (zh
Inventor
陆维琛
温序铭
杨瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202110850959.4A priority Critical patent/CN113298704B/zh
Publication of CN113298704A publication Critical patent/CN113298704A/zh
Application granted granted Critical
Publication of CN113298704B publication Critical patent/CN113298704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种广播电视新闻下利用图迁移的肤色分割及美化方法，包括步骤：S1，获取样本数据进行标注，然后准备数据集；S2，对准备的数据集进行特征提取，然后将提取的特征转换为图表示的形式，进行图内推理；S3，在不同数据集之间进行图间迁移，然后进行人体解析；S4，根据不同的人体肤色区域进行分区域的肤色美化等；本发明使得解析结果更加准确，可以使美化结果更加贴近自然，可以大大降低电视或直播场景中对于灯光的要求，节省人力物力等。

Description

一种广播电视新闻下利用图迁移的肤色分割及美化方法
技术领域
本发明涉及于广播电视中人体肤色处理技术领域，更为具体的，涉及一种广播电视新闻下利用图迁移的肤色分割及美化方法。
背景技术
近年来，电视新闻，直播行业都在在快速发展和扩大，在电视和直播场景中会有不同灯光的渲染，使得电视或直播中的灯光等效果比较复杂，导致人体肤色在不同灯光下会出现不同的效果，对于观看者的观感欠佳，因此利用肤色分割来对电视和直播场景中的肤色进行分割，然后利用肤色分割的结果来调整主播等的肤色使其肤色更加自然，让整体节目效果更加优秀，同时对于观众的观感更加舒适，都有较好的意义，另外，由于肤色分割可以在人体解析的前提下进行测试，可以通过不同部位的肤色，来进行针对性的调整，目前常用的人体分割数据集有PascalPerson-Part数据集，ATR数据集，CIHP数据集。在一个数据集上训练的模型直接拿到另一个相关数据集上重新微调是非常困难的事情，因为这需要冗余而繁重的数据标注和大量的计算资源来重新训练每个特定的模型。
发明内容
本发明的目的在于克服现有技术的不足，提供一种广播电视新闻下利用图迁移的肤色分割及美化方法，使得解析结果更加准确，可以使美化结果更加贴近自然，可以大大降低电视或直播场景中对于灯光的要求，节省人力物力等。
本发明的目的是通过以下方案实现的：
一种广播电视新闻下利用图迁移的肤色分割及美化方法，包括步骤：
S1，获取样本数据进行标注，然后准备数据集；
S2，对准备的数据集进行特征提取，然后将提取的特征转换为图表示的形式，进行图内推理；
S3，在不同数据集对应的图表示之间对特征进行图间迁移，然后进行人体解析模型的训练；
S4，根据不同的人体肤色区域进行分区域的肤色美化。
进一步地，在步骤S1中，所述准备数据集包括如下步骤：将进行标注后的样本数据作为自建数据集形成补充数据集，并与Pascal Person-Part数据集、ATR数据集一起作为后续步骤S2中在特征提取时所要用的数据集；所述样本数据包括在电视频道的新闻综艺节目、以及网络直播视频中获取到的图片样本。
进一步地，其特征在于，在步骤S2中，包括如下步骤：
S21，基于深度学习网络对步骤S1中准备的数据集进行特征提取；所述深度学习网络包括Resnet50网络；
S22，将步骤S21中提取的特征转换为图表示，即
Figure 345773DEST_PATH_IMAGE001
其中
Figure 864610DEST_PATH_IMAGE002
为步骤S21中提取的特征图，
Figure 668618DEST_PATH_IMAGE003
为权重矩阵，
Figure 364916DEST_PATH_IMAGE004
为图表 示特征，N为数据集标注信息中的标签总个数，
Figure 709310DEST_PATH_IMAGE005
表示特征的空间大小，
Figure 676129DEST_PATH_IMAGE006
表示通道数，R 表示实数域，H和W分别表示特征图空间维度的高和宽；
S23，建立邻接矩阵并进行图内推理，构建节点和节点的关系，从而定义邻接矩阵，将有连接的节点之间初始化为1，无连接的节点初始化为0，利用图卷积网络进行图内推理过程。
进一步地，其特征在于，在步骤S3中，包括步骤：
S31，对不同数据集中的节点进行连接，建立不同数据集图间节点关系；
S32，在建立不同数据集图间节点关系的基础上，使用图间迁移将一个图上的表示换到另一个图上的表示，即：
Figure 651038DEST_PATH_IMAGE007
其中
Figure 70518DEST_PATH_IMAGE008
为原图空间的特征，
Figure 421865DEST_PATH_IMAGE009
为权重矩阵，
Figure 39928DEST_PATH_IMAGE010
为原图中节点 和目标图节点的邻接矩阵，
Figure 451318DEST_PATH_IMAGE011
为图表示特征，
Figure 358094DEST_PATH_IMAGE012
和
Figure 981973DEST_PATH_IMAGE013
分别为原图和目标图中节点的 个数，
Figure 421920DEST_PATH_IMAGE014
和
Figure 800949DEST_PATH_IMAGE015
分别为原图和目标图中特征的维度；
S33，基于DeeplabV3+模型进行人体解析，将通过图内推理和图间迁移后的特征，进一步地输入包含空洞卷积的深度卷积神经网络中进行特征提取，分别得到高级语义特征和低级语义特征；其中，高级语义特征进入空洞卷积金字塔池化模块，即分别与多个空洞卷积层进行卷积，然后通过池化层进行池化操作，最后得到多个特征图，将这多个特征图进行拼接，然后采用一层卷积层进行特征融合，再对此融合后的特征图进行上采样操作；进一步地将上采样后的特征图通过卷积层与相同空间大小的浅层语义特征图进行拼接，随后通过卷积操作进行细化融合，最后通过双线性插值法上采样设定倍数后得到最终的分割结果；
S34，使用Pascal Person-Part，ATR以及补充数据集训练步骤S33中的人体解析模型，从而得到训练后的模型，使用该训练后的模型对输入的人体图像进行解析。
进一步地，在步骤S4中，包括步骤：
S41，对人体解析结果中的部分标签进行整合；
S42，对不同位置的肤色进行不同的处理，首先针对脸部和颈部进行美化，将结果图像由BGR空间转换到HSV空间，其中H为色相，S为饱和度，V为明度，增加肤色区域的V值即完成美白操作，同时增加S通道的饱和度值，增加肤色区域的饱和度，即增加肤色的鲜艳度；
S43，完成脸部和颈部的美白和增加鲜艳度操作后，对标签为左臂，右臂，左腿，右腿的肤色区域进行磨皮操作，采用高斯滤波器的方法来对左臂、右臂、左腿、右腿的肤色区域进行操作，操作完成后能够将左臂、右臂、左腿、右腿的皮肤下的痘痘和皱纹噪声滤除掉，进而达到磨皮操作，接着对此肤色区域进行锐化操作，使得肤色周围线条更加明确。
进一步地，在步骤S43中所述锐化操作包括步骤：采用一个3×3的核对人脸区域进行卷积锐化操作，完成肤色锐化操作。
本发明的有益效果包括：
本发明的方法实施例构建了图内推理和图间迁移流程，将相关语义从一个领域的图表达中提取到另一个领域的图表达中去，从而桥接了来自不同数据集的语义标签，更好地利用了不同粒度的标注信息，有效地建立了PascalPerson-Part数据集，ATR数据集以及自建数据集的全局和通用的语义一致性，以此来解决多层次的人体解析任务，并通过信息传播使他们能够相互促进，使得解析结果更加准确。基于本发明方法无需重新标记PascalPerson-Part，ATR数据集，也不用分别在上述数据集中进行相互调优。在人体解析基础上，对人体解析结果中不同的肤色位置进行针对性的美化，可以使美化结果更加贴近自然。
本发明的方法实施例通过利用图间迁移的方式来将多个数据集的模型进行综合，可使其能适应更多的场景，具有更加优秀的性能。
本发明的方法实施例提出了一个图内推理模块来逐步改善图结构中的图表达，其中每个图节点表示数据集中的一个语义部位区域。
本发明的方法进行多个数据集的人体各部位分割工作，现有技术使用简单的分割方式来对人体皮肤进行分割时，会出现人体的手臂，腿部等部分和人脸脖子等出现相同的标签，此时如果针对所有的这些部位进行肤色调整，会出现手部和腿部等部位出现不适宜的颜色，因此本发明的方法在这里采用人体解析的方式、并结合图内推理和图间迁移后的处理等来对人体肤色进行细致分割，既可以将多个数据集下的不同标签进行统一，也可以对于不同的人体部分进行细致的肤色调整，从而使得在电视场景和直播中具有更加准确更加细致的肤色处理，从而可以大大降低电视或直播场景中对于灯光的要求，节省人力物力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的方法步骤流程图；
图2为本发明实施例中特征点的连接示意图；
图3为本发明实施例中图间传播方式的示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
如图1~图3所示，一种广播电视新闻下利用图迁移的肤色分割及美化方法，包括步骤：
S1，获取样本数据进行标注，然后准备数据集；
S2，对准备的数据集进行特征提取，然后将提取的特征转换为图表示的形式，进行图内推理；
S3，在不同数据集对应的图表示之间对特征进行图间迁移，然后进行人体解析模型的训练；
S4，根据不同的人体肤色区域进行分区域的肤色美化。
在本实施例中，在步骤S1中，所述准备数据集包括如下步骤：将进行标注后的样本数据作为自建数据集形成补充数据集，并与Pascal Person-Part数据集、ATR数据集一起作为后续步骤S2中在特征提取时所要用的数据集；所述样本数据包括在电视频道的新闻综艺节目、以及网络直播视频中获取到的图片样本。由于现有的常用数据集为Pascal Person-Part数据集，ATR数据集，它们均不包含电视节目及网络直播的人体解析数据，因此本实施例从各个电视频道的新闻综艺节目，以及网络直播视频中获取这类的图片样本，利用标注工具对上述样本进行标注工作。
进一步地，在步骤S2中，包括如下步骤：
S21，基于深度学习网络对步骤S1中准备的数据集进行特征提取；所述深度学习网络包括Resnet50网络；
本实施例中，可以采用Resnet50作为特征提取的基础网络，将输入图片大小均重采样为768×768的大小，Resnet-50由4个大的模块组成，每个大模块中分别包含3, 4, 6,3个小模块，每个小模块中包含三个卷积层，另外这个网络的最开始有一个单独的卷积层。采用最后一层卷积层的输出作为特征输出，供后续步骤使用。
S22，将步骤S21中提取的特征转换为图表示，即
Figure 195021DEST_PATH_IMAGE001
其中
Figure 888170DEST_PATH_IMAGE002
为步骤S21中提取的特征图，
Figure 152929DEST_PATH_IMAGE003
为可学习的权重矩阵，
Figure 906122DEST_PATH_IMAGE004
为图表示特征，N为数据集标注信息中的标签总个数，
Figure 584228DEST_PATH_IMAGE005
表示特征的空间大小，
Figure 81068DEST_PATH_IMAGE006
表示通道数，R表示实数域，H和W分别表示特征图空间维度的高和宽；
S23，建立邻接矩阵并进行图内推理，构建节点和节点的关系，从而定义邻接矩阵，将有连接的节点之间初始化为1，无连接的节点初始化为0，利用图卷积网络进行图内推理过程。如图2所示，可以看到将数据集中部分标签的关系，头发和脸常常是和脸同时出现的，因此这两个节点被连在一起的，但是头发和手臂不一定同时出现，因此这两个节点没有被连接。按照这种人体的客观连接模式，构建节点和节点的关系，从而定义邻接矩阵，即有连接的节点之间初始化为1，无连接的节点直接初始化为0。进一步利用图卷积网络进行图内推理过程，从而获取更好的特征。
进一步地，在步骤S3中，包括步骤：
S31，对不同数据集中的节点进行连接，建立不同数据集图间节点关系；
本实施例中，为了将相关语义从一个图表示提取到另一个图表示中，引入了图间迁移来连接来自不同数据集的所有语义标签。如图3所示，不同数据集标注过程中使用的标签个数和粒度存在不一致性，基于人体客观连接模式的先验知识，对不同数据集中的节点进行连接。
S32，在建立不同数据集图间节点关系的基础上，使用图间迁移将一个图上的表示换到另一个图上的表示，即：
Figure 731492DEST_PATH_IMAGE016
其中
Figure 124428DEST_PATH_IMAGE008
为原图空间的特征，
Figure 991627DEST_PATH_IMAGE009
为可学习的权重矩阵，
Figure 26579DEST_PATH_IMAGE010
为原 图中节点和目标图节点的邻接矩阵，
Figure 593827DEST_PATH_IMAGE011
为图表示特征，
Figure 423243DEST_PATH_IMAGE012
和
Figure 279203DEST_PATH_IMAGE013
分别为原图和目标图 中节点的个数，
Figure 852267DEST_PATH_IMAGE014
和
Figure 211704DEST_PATH_IMAGE015
分别为原图和目标图中特征的维度；
S33，基于DeeplabV3+模型进行人体解析，将通过图内推理和图间迁移后的特征，进一步地输入包含空洞卷积的深度卷积神经网络中进行特征提取，分别得到高级语义特征和低级语义特征；其中，高级语义特征进入空洞卷积金字塔池化模块，即分别与多个空洞卷积层进行卷积，然后通过池化层进行池化操作，最后得到多个特征图，将这多个特征图进行拼接，然后采用一层卷积层进行特征融合，再对此融合后的特征图进行上采样操作；进一步地将上采样后的特征图通过卷积层与相同空间大小的浅层语义特征图进行拼接，随后通过卷积操作进行细化融合，最后通过双线性插值法上采样设定倍数后得到最终的分割结果；
S34，使用Pascal Person-Part，ATR以及补充数据集训练步骤S33中的人体解析模型，从而得到训练后的模型，使用该训练后的模型对输入的人体图像进行解析。
进一步地，在步骤S4中，包括步骤：
S41，对人体解析结果中的部分标签进行整合；
S42，对不同位置的肤色进行不同的处理，首先针对脸部和颈部进行美化，将结果图像由BGR空间转换到HSV空间，其中H为色相，S为饱和度，V为明度，增加肤色区域的V值即完成美白操作，同时增加S通道的饱和度值，增加肤色区域的饱和度，即增加肤色的鲜艳度；
S43，完成脸部和颈部的美白和增加鲜艳度操作后，对标签为左臂，右臂，左腿，右腿的肤色区域进行磨皮操作，采用高斯滤波器的方法来对左臂、右臂、左腿、右腿的肤色区域进行操作，操作完成后可以将该部分皮肤下的痘痘和皱纹噪声滤除掉，进而达到磨皮操作，接着对此肤色区域进行锐化操作，使得肤色周围线条更加明确。
进一步地，在步骤S43中采用一个3×3的核对人脸区域进行卷积锐化操作，完成肤色锐化操作。
综上，可以对电视节目，电视直播，网络直播中不同情况下的人体肤色进行分割工作，同时可以对不同部位的肤色进行相应分类，根据不同位置的肤色的特点，进行细化操作，对不同位置的肤色进行区别的美化操作，这种处理可以让直播和电视节目中的人物更加自然鲜活，同时本发明中发明的肤色操作方法，不受背景环境影响，由于本发明的方法将人的穿着装扮等信息，也进行了相应分割，可以根据不同的穿着进行不同的肤色操作，对于电视节目和网络直播中的人物观感更加自然。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备（可以是个人计算机，服务器，或者网络设备等）以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器（Random Access Memory，RAM）、随机存取存储器（Random Access Memory，RAM）等。

Claims (2)

1.一种广播电视新闻下利用图迁移的肤色分割及美化方法，其特征在于，包括步骤：
S1，获取样本数据进行标注，然后准备数据集；在步骤S1中，所述准备数据集包括如下步骤：将进行标注后的样本数据作为自建数据集形成补充数据集，并与Pascal Person-Part数据集、ATR数据集一起作为后续步骤S2中在特征提取时所要用的数据集；所述样本数据包括在电视频道的新闻综艺节目、以及网络直播视频中获取到的图片样本；
S2，对准备的数据集进行特征提取，然后将提取的特征转换为图表示的形式，进行图内推理；步骤S2包括如下子步骤：
S21，基于深度学习网络对步骤S1中准备的数据集进行特征提取；所述深度学习网络包括Resnet50网络；
S22，将步骤S21中提取的特征转换为图表示，即
Figure DEST_PATH_IMAGE001
其中
Figure DEST_PATH_IMAGE002
为步骤S21中提取的特征图，
Figure DEST_PATH_IMAGE003
为权重矩阵，
Figure DEST_PATH_IMAGE004
为图表示特征，N为数据集标注信息中的标签总个数，
Figure DEST_PATH_IMAGE005
表示特征的空间大小，
Figure DEST_PATH_IMAGE006
表示通道数，R表示实数域，H和W分别表示特征图空间维度的高和宽；
S23，建立邻接矩阵并进行图内推理，构建节点和节点的关系，从而定义邻接矩阵，将有连接的节点之间初始化为1，无连接的节点初始化为0，利用图卷积网络进行图内推理过程；
S3，在不同数据集对应的图表示之间对特征进行图间迁移，然后进行人体解析模型的训练；
步骤S3包括如下子步骤：
S31，对不同数据集中的节点进行连接，建立不同数据集图间节点关系；
S32，在建立不同数据集图间节点关系的基础上，使用图间迁移将一个图上的表示换到另一个图上的表示，即：
Figure DEST_PATH_IMAGE007
其中
Figure DEST_PATH_IMAGE008
为原图空间的特征，
Figure DEST_PATH_IMAGE009
为权重矩阵，
Figure DEST_PATH_IMAGE010
为原图中节点和目标图节点的邻接矩阵，
Figure DEST_PATH_IMAGE011
为图表示特征，
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
分别为原图和目标图中节点的个数，
Figure DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE015
分别为原图和目标图中特征的维度；
S33，基于DeeplabV3+模型进行人体解析，将通过图内推理和图间迁移后的特征，输入包含空洞卷积的深度卷积神经网络中进行特征提取，分别得到高级语义特征和低级语义特征；其中，高级语义特征进入空洞卷积金字塔池化模块，即分别与多个空洞卷积层进行卷积，然后通过池化层进行池化操作，最后得到多个特征图，将这多个特征图进行拼接，然后采用一层卷积层进行特征融合，再对此融合后的特征图进行上采样操作；将上采样后的特征图通过卷积层与相同空间大小的浅层语义特征图进行拼接，随后通过卷积操作进行细化融合，最后通过双线性插值法上采样设定倍数后得到最终的分割结果；
S34，使用Pascal Person-Part，ATR以及补充数据集训练步骤S33中的人体解析模型，从而得到训练后的模型，使用该训练后的模型对输入的人体图像进行解析；
S4，根据不同的人体肤色区域进行分区域的肤色美化；步骤S4包括如下子步骤：
S41，对人体解析结果中的部分标签进行整合；
S42，对不同位置的肤色进行不同的处理，首先针对脸部和颈部进行美化，将结果图像由BGR空间转换到HSV空间，其中H为色相，S为饱和度，V为明度，增加肤色区域的V值即完成美白操作，同时增加S通道的饱和度值，增加肤色区域的饱和度，即增加肤色的鲜艳度；
S43，完成脸部和颈部的美白和增加鲜艳度操作后，对标签为左臂，右臂，左腿，右腿的肤色区域进行磨皮操作，采用高斯滤波器的方法来对左臂、右臂、左腿、右腿的肤色区域进行操作，操作完成后能够将左臂、右臂、左腿、右腿的皮肤下的痘痘和皱纹噪声滤除掉，进而达到磨皮操作，接着对此肤色区域进行锐化操作，使得肤色周围线条更加明确。
2.根据权利要求1所述的一种广播电视新闻下利用图迁移的肤色分割及美化方法，其特征在于，在步骤S43中所述锐化操作包括如下步骤：采用一个3×3的核对人脸区域进行卷积锐化操作，完成肤色锐化操作。
CN202110850959.4A 2021-07-27 2021-07-27 一种广播电视新闻下利用图迁移的肤色分割及美化方法 Active CN113298704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850959.4A CN113298704B (zh) 2021-07-27 2021-07-27 一种广播电视新闻下利用图迁移的肤色分割及美化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850959.4A CN113298704B (zh) 2021-07-27 2021-07-27 一种广播电视新闻下利用图迁移的肤色分割及美化方法

Publications (2)

Publication Number Publication Date
CN113298704A CN113298704A (zh) 2021-08-24
CN113298704B true CN113298704B (zh) 2021-11-09

Family

ID=77331296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850959.4A Active CN113298704B (zh) 2021-07-27 2021-07-27 一种广播电视新闻下利用图迁移的肤色分割及美化方法

Country Status (1)

Country Link
CN (1) CN113298704B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829827A (zh) * 2021-09-16 2023-03-21 北京字跳网络技术有限公司 人脸图像处理方法、装置、设备及介质
CN115587930B (zh) * 2022-12-12 2023-04-18 成都索贝数码科技股份有限公司 图像色彩风格迁移方法、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723803A (zh) * 2020-06-30 2020-09-29 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统
CN109389076B (zh) * 2018-09-29 2022-09-27 深圳市商汤科技有限公司 图像分割方法及装置
CN110111337A (zh) * 2019-04-16 2019-08-09 中山大学 一种基于图迁移学习的通用人体解析框架及其解析方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723803A (zh) * 2020-06-30 2020-09-29 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113298704A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
Li et al. A closed-form solution to photorealistic image stylization
CN110781895B (zh) 一种基于卷积神经网络的图像语义分割方法
CN113298704B (zh) 一种广播电视新闻下利用图迁移的肤色分割及美化方法
Huang et al. Deep learning for image colorization: Current and future prospects
US11995703B2 (en) Image-to-image translation using unpaired data for supervised learning
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
Zhang et al. Style transfer via image component analysis
Shu et al. Gan-based multi-style photo cartoonization
CN111626918B (zh) 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
Singh et al. Neural style transfer: A critical review
WO2023151529A1 (zh) 人脸图像的处理方法及相关设备
Liu et al. Painting completion with generative translation models
Lee et al. Deep color transfer using histogram analogy
CN114972847A (zh) 图像处理方法及装置
CN113362422A (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
Zhao et al. Cartoon image processing: a survey
CN113052759B (zh) 基于mask和自动编码器的场景复杂文本图像编辑方法
CN112837212B (zh) 一种基于流形对齐的图像任意风格迁移方法
Yu et al. Mask-guided GAN for robust text editing in the scene
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
Wu et al. Color transfer with salient features mapping via attention maps between images
CN116721008A (zh) 一种用户自定义表情合成方法及系统
Singh et al. Dense spatially-weighted attentive residual-haze network for image dehazing
Xu et al. Attention‐based multi‐channel feature fusion enhancement network to process low‐light images
Tang et al. Context module based multi-patch hierarchical network for motion deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant