CN110276766A - 一种人像分割的方法及装置 - Google Patents

一种人像分割的方法及装置 Download PDF

Info

Publication number
CN110276766A
CN110276766A CN201910568826.0A CN201910568826A CN110276766A CN 110276766 A CN110276766 A CN 110276766A CN 201910568826 A CN201910568826 A CN 201910568826A CN 110276766 A CN110276766 A CN 110276766A
Authority
CN
China
Prior art keywords
coding
module
image
network
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910568826.0A
Other languages
English (en)
Inventor
邓裕强
何晓芬
廖吉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiubang Century Science And Technology Co Ltd
Original Assignee
Guangzhou Jiubang Century Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiubang Century Science And Technology Co Ltd filed Critical Guangzhou Jiubang Century Science And Technology Co Ltd
Priority to CN201910568826.0A priority Critical patent/CN110276766A/zh
Publication of CN110276766A publication Critical patent/CN110276766A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提供一种人像分割的方法及装置，所述方法包括：获取调整待处理图像，输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图。所述网络模型包括编码和解码网络，编码网络由多个编码模块级联组成，编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；解码网络由多个解码模块级联组成，其第一个输入解码模块为编码网络中最后一个编码模块的输出，编码模块用于上采样运算；根据人像特征图调整输入图像的人像区域为目标图像。根据图像特征矩阵将人像区域分割调整，得到目标图像。解码是根据编码模块上一级解码模块采样以及连接，调整目的图像。通过将低层次和高层次特征融合连接，使网络效果更加精细，运行速度快，准确度高。

Description

一种人像分割的方法及装置
技术领域
本发明涉及深度学习（计算机视觉）图像处理技术领域，尤其是涉及一种人像分割的方法及装置。
背景技术
随着深度学习技术的发展，越来越多的人像前后景分离技术不断出现，其主要步骤是提取图像语义信息，准确地将前后景进行分离。语义分割是计算机视觉的一个重要研究领域。
人像前后景分离实际上市一个二分类问题需要判断每一个像素点是属于前景还是背景。目前，在同类技术当中，传统的图像分割主要是根据灰度、颜色、纹理和形状等特征将图像进行划分区域，让区域显示差异性，区域呈现相似性。
在深度学习领域，基于深层卷积网络提取图像的语义信息和空间结构信息实现图像分割。然而，随着用户需求的不断变化，人像拍摄容易受到拍摄角度，光照强度，角度等因素的影响。移动终端的计算机能力，资源不足，通过连接云端方式运行的话，会占用网络资源，花费更多时间。
发明内容
本发明的实施例提供一种人像分割方法及装置，可以自动准确地进行人像分割，提高人像识别的精确度，帮助用户在客户端进行离线的实时人像前后景分离分割。
为实现上述目的，根据本发明的实施例的第一方面，提供一种人像分割方法，所述方法包括：
获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；
所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
根据所述图像特征矩阵将所述输入图像的人像区域分割调整为目标图像。
根据本发明的实施例的第二方面，提供了一种人像分割装置，所述装置包括：
尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
人像分割模块，用于将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；
所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
特征图像输出模块，根根据所述图像特征矩阵将所述输入图像的人像区域分割调整为目标图像。
本发明实施例提供了一种人像分割方法及装置，所述方法包括：获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；根据所述人像特征图将所述输入图像的人像区域调整为目标图像。根据图像特征矩阵将所述输入图像的人像区域分割调整，得到目标图像。在解码时，根据编码模块上一级解码模块采样以及连接，来调整目的图像。该操作将低层次的特征和高层次的特征进行融合连接，是网络最终的效果更佳精细，运行速度快，准确度高。
附图说明
为了更清楚地说明本发明的实施例的技术方案，下面将对本发明的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的一种人像分割方法步骤流程图；
图2示出了本发明的一种人像分割装置的结构图；
图3示出了本发明的轻量级神经网络模型的结构示意图；
图4示出了本发明的残差块运算流程示意图；
图5（A、B、C）分别示出了本发明实施例中输入图像、人像特征图以及输出图像示意图。
具体实施方式
为了使本发明的目的，技术方案和有点更加清楚，下面结合附图对本发明作进一步的阐述解释。显然，所描述的实施例是本发明的实施例的一部分，而不是全部的实施例，基于本发明的实施方式中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的实施例保护范围。
实施例一
参照图1，其示出了本发明的一种人像分割方法的步骤流程图，具体如下：
步骤101获取待处理的图像，并对所述待处理图像进行尺寸调整，得到输入图像。
其中，待处理图像可以为用户上传的图像。
在实际应用中，由于用户上传的图像尺寸通常各不相同，是否含有人像，而轻量级神经网络模型要求输入图像的尺寸为256（行像素点数）*256（列像素点数）*3（Red GreenBlue三个通道），从而需要将待处理的图像尺寸调整为256*256*3。
步骤102，将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
其中，人像特征图用于表示图像中各像素点是否属于人像区域，人像特征图的尺寸与输入图像尺寸相同。人像特征图中的每个点均对应输入图像的对应位置的像素点，如图5（A）所示为输入图像，图5(B)所示为人像特征图。
如图3所示，本发明的轻量级卷积神经网络采用编码网络和解码网络两部分，在编码网络中，每个编码模块包含循环卷积和残差网络，其中有4个编码模块，编码模块1输入特征图像为256*256*3，经过编码模块内部的卷积模块和残差模块，输出128*128*3的特征图像，作为编码模块2的输入；编码模块2输出64*64*3的特征图像，输入编码模块3后输出32*32*3的特征图像，输入至编码模块4后，输出16*16*3的特征图像。
在解码网络中，每个解码模块包含上采样模块和连接模块，将编码模块4输出的特征图像作为解码模块1的输入特征图像，经过上采样，与编码模块4的输出特征图像进行连接操作，输出32*32*3的特征图像，输入至解码模块2，解码模块2输出特征图像为64*64*3，解码模块3输出特征图像为128*128*3，解码模块4输出特征图像为256*256*3。
在本发明实施例中，所述设计的轻量级神经网络结构，编码网络引入残差网络对特征图像进行处理，在保证模型精度的情况下，可以有效加快模型的推断速度，减少网络参数。如图3所示，为残差模块运算流程图，输入特征图像矩阵X，经过rule函数激活后，判断输入特征矩阵X是否大于等于0；若是则输出特征矩阵X，通过卷积模块和rule进行运算，输出新的特征图像矩阵X，判断X是否大于等于0，若是，则输出X与输入时的特征图像矩阵进行和运算，输出运算后的特征举证；若两次比较判断中，所述输入特征图像矩阵X为0，则进入和运算中，相当于，直接输出输入时的特征图像矩阵。
步骤103，根据所述人像特征图将所述输入图像的人像区域分割调整为目标图像。
本发明实施例提供了一种人像分割方法，所述方法包括：获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；根据所述人像特征图将所述输入图像的人像区域调整为目标图像。根据图像特征矩阵将所述输入图像的人像区域分割调整，得到目标图像。在解码时，根据编码模块上一级解码模块采样以及连接，来调整目的图像。该操作将低层次的特征和高层次的特征进行融合连接，是网络最终的效果更佳精细，运行速度快，准确度高。
实施例二
参照图2所示，为本发明的一种实施例中的人像分割装置的结构图，具体如下：
尺寸调整模块201，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
人像分割模块202，用于将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；
所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
特征图像输出模块203，根根据所述图像特征矩阵将所述输入图像的人像区域分割调整为目标图像。
本发明实施例提供了一种人像分割装置，所述装置包括：尺寸调整模块，获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；人像分割模块，将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；特征图像输出模块，根据所述人像特征图将所述输入图像的人像区域调整为目标图像。根据图像特征矩阵将所述输入图像的人像区域分割调整，得到目标图像。在解码时，根据编码模块上一级解码模块采样以及连接，来调整目的图像。该操作将低层次的特征和高层次的特征进行融合连接，是网络最终的效果更佳精细，运行速度快，准确度高。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种人像分割的方法，其特征在于，所述方法包括：
获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次特征图；
所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
根据所述人像特征图将所述输入图像的人像区域调整为目标图像。
2.根据权利要求1所述的方法，其特征在于，所述解码网络的每个解码模块的解码模块的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为所述上一级解码网络的输出为尺寸相同的特征图像。
3.一种人像分割装置，其特征在于，所述装置包括：
尺寸调整模块，用于获取待处理图像，并对所述待处理图像进行尺寸调整，得到输入图像；
人像分割模块，用于将所述输入图像输入至预先训练得到的轻量级卷积神经网络模型中，得到人像特征图，所述轻量级卷积神经网络模型包括编码网络和解码网络，所述编码网络由多个编码模块级联组成，所述编码模块用于卷积运算和残差块运算，提取不同层次图像特征矩阵；所述解码网络由多个解码模块级联组成，所述解码网络的第一个输入解码模块为编码网络中最后一个编码模块的输出，所述编码模块用于上采样运算；
特征图像输出模块，根根据所述图像特征矩阵将所述输入图像的人像区域分割调整为目标图像。
4.根据权利要求3所述的方法，其特征在于，所述解码网络的每个解码模块的解码模块的输入为目标编码模块的输出与上一级解码网络的输出的加权图像，所述目标编码模块为所述上一级解码网络的输出为尺寸相同的特征图像。
CN201910568826.0A 2019-06-27 2019-06-27 一种人像分割的方法及装置 Pending CN110276766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910568826.0A CN110276766A (zh) 2019-06-27 2019-06-27 一种人像分割的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910568826.0A CN110276766A (zh) 2019-06-27 2019-06-27 一种人像分割的方法及装置

Publications (1)

Publication Number Publication Date
CN110276766A true CN110276766A (zh) 2019-09-24

Family

ID=67962422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910568826.0A Pending CN110276766A (zh) 2019-06-27 2019-06-27 一种人像分割的方法及装置

Country Status (1)

Country Link
CN (1) CN110276766A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079581A (zh) * 2019-12-03 2020-04-28 广州久邦世纪科技有限公司 一种人体皮肤识别的方法与装置
CN111127470A (zh) * 2019-12-24 2020-05-08 江西理工大学 一种基于上下文和浅层空间编解码网络的图像语义分割方法
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN113705575A (zh) * 2021-10-27 2021-11-26 北京美摄网络科技有限公司 一种图像分割方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010031A (zh) * 2017-12-15 2018-05-08 厦门美图之家科技有限公司 一种人像分割方法及移动终端
CN108495132A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于轻量级深度卷积网络的遥感影像大倍率压缩方法
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109658330A (zh) * 2018-12-10 2019-04-19 广州市久邦数码科技有限公司 一种发色调整方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010031A (zh) * 2017-12-15 2018-05-08 厦门美图之家科技有限公司 一种人像分割方法及移动终端
CN108495132A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于轻量级深度卷积网络的遥感影像大倍率压缩方法
CN109145983A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于轻量化网络的实时场景图像语义分割方法
CN109658330A (zh) * 2018-12-10 2019-04-19 广州市久邦数码科技有限公司 一种发色调整方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079581A (zh) * 2019-12-03 2020-04-28 广州久邦世纪科技有限公司 一种人体皮肤识别的方法与装置
CN111127470A (zh) * 2019-12-24 2020-05-08 江西理工大学 一种基于上下文和浅层空间编解码网络的图像语义分割方法
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN113705575A (zh) * 2021-10-27 2021-11-26 北京美摄网络科技有限公司 一种图像分割方法、装置、设备及存储介质
CN113705575B (zh) * 2021-10-27 2022-04-08 北京美摄网络科技有限公司 一种图像分割方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110276766A (zh) 一种人像分割的方法及装置
US11257272B2 (en) Generating synthetic image data for machine learning
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
WO2020051776A1 (en) Method and system of deep supervision object detection for reducing resource usage
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN107578390A (zh) 一种使用神经网络进行图像白平衡校正的方法及装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN110691226B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN112818732B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN106920221A (zh) 兼顾亮度分布和细节呈现的曝光融合方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN109255758A (zh) 基于全1*1卷积神经网络的图像增强方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN109523558A (zh) 一种人像分割方法及系统
CN114998757A (zh) 用于无人机航摄图像分析的目标检测方法
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN108846330A (zh) 一种纸张字画显微图像智能识别系统及识别方法
CN111008642A (zh) 基于卷积神经网络的高分辨率遥感影像分类方法及系统
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
US20160275369A1 (en) Control of computer vision pre-processing based on image matching using structural similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190924