CN111160262A - 一种融合人体关键点检测的人像分割方法 - Google Patents

一种融合人体关键点检测的人像分割方法 Download PDF

Info

Publication number
CN111160262A
CN111160262A CN201911399482.1A CN201911399482A CN111160262A CN 111160262 A CN111160262 A CN 111160262A CN 201911399482 A CN201911399482 A CN 201911399482A CN 111160262 A CN111160262 A CN 111160262A
Authority
CN
China
Prior art keywords
human body
key point
point detection
training
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911399482.1A
Other languages
English (en)
Inventor
赵锴
黄玲
冯浩
郑静媛
齐冬莲
闫云风
陈汐
韩译锋
王恩华
吴天齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuanjian Information Technology Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Original Assignee
Hangzhou Yuanjian Information Technology Co ltd
State Grid Corp of China SGCC
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuanjian Information Technology Co ltd, State Grid Corp of China SGCC, State Grid Beijing Electric Power Co Ltd filed Critical Hangzhou Yuanjian Information Technology Co ltd
Priority to CN201911399482.1A priority Critical patent/CN111160262A/zh
Publication of CN111160262A publication Critical patent/CN111160262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合人体关键点检测的人像分割方法，首先利用人体关键点检测算法计算出人体关节位置，基于关节位置生成人体关节连接图；然后将关节连接图和待分割图像拼接到一起，送入快速分割网络中得到人体的掩膜。本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本发明具有较高的分割准确率，可以应对人体的大姿态变化和不同的明暗，清晰度等变化，并且具有实时的速度，能够应用于视频或者图像中的人体精准定位、背景剔除等需求。

Description

一种融合人体关键点检测的人像分割方法
技术领域
本发明属于图像处理技术领域，特别涉及一种融合了人体关键点检测的快速人像分割方法。
背景技术
智能监控和手机应用的很多场合都需要对人像的前景和背景进行分割，很多实际场景都需要在手机或者客户端上进行计算，由此对于算法的速度和计算量提出了要求。同时，由于人像不是刚体，人像的外观存在千变万化的差异性，并且要求处理的视频或者图片的场景各不相同，由此需要模型对于人像的特征具有很强的判别能力。同时人像本身存在非常大的姿态变化，传统的分割方法无法解决各种不同的姿态变化。
发明内容
本发明的目的在于提供一种融合人体关键点检测的人像分割方法，以解决上述技术问题。本发明能够针对不同场景、不同动作的人像都具有很高的分割准确度和鲁棒性。
相对于现有技术，本发明采用如下技术方案：
一种融合人体关键点检测的人像分割方法，包括以下步骤：
1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；
3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；
6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
进一步的，所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。
进一步的，所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。
进一步的，所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。
进一步的，所述步骤4)中训练的具体步骤是：
4.1)在人像分割数据集上统计每一张图片的均值和标准差，求出数据集上图像均值和标准差的平均数；利用统计得到的均值和标准差将训练集上的每一张训练图像归一化；
4.2)将步骤3)中得到的人体关节连接图进行二值化处理，关键点和关节点之间的连接数值取1，其他的背景像素数值取0。将关节连接图和归一化的图片拼接成四通道的图片当作训练样本；
4.3)训练的过程中，使用随机在线扩充的方法获取更多的训练样本，对于每一张训练图片随机顺时针或逆时针旋转0-45度，随机水平翻转，随机颜色增强，随机亮度调整，随机模糊；
4.4)训练中每一次迭代的批次大小为16，一共进行40000次迭代，梯度优化方法为随机梯度下降算法；初始学习率为0.01；训练中使用的损失函数为逐像素的二元交叉熵损失。
进一步的，所述步骤5)中的人体关节连接图按照步骤4.2)中同样的方法进行二值化处理。
进一步的，所述步骤6)的待测图片使用步骤4.1)中所统计的全数据集的图片均值和方差进行归一化。
相对于现有技术，本发明具有以下有益效果：本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本发明步骤4)中的网络使用了BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果，该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度，具有实时的运行速度。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为步骤4)中训练的快速关键点检测网络的结果示意图。
图2为算法的总体步骤流程图。
图3(a)为分割网络的具体结构示意图；图3(b)为BottleNeck结构示意图。
图4为步骤5)中训练的快速分割网络的结果示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
一种融合人体关键点检测的人像分割方法，包括以下步骤：
1)采集实际运用场景中的不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集，作为训练数据集。
3)按照搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练。训练的关键点网络效果示意图如图1。一共检测18个关键点，包含背景标注一共19类，顺序如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，背景-18；根据检测出的关键点的位置和人体关节的连接关系。
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当做输入进行训练。整体算法的流程图如图2所示。分割网络的具体结构如图3(a)：图像先经过一系列卷积降低特征图的大小，得到高层语义信息；然后通过上采样逐步提升特征图的大小，利用跨层连接逐步与底层信息结合。底层特征具有丰富的位置信息，高层特征具有丰富的语义信息，利用跨层连接逐步融合高层、底层特征图使得结果同时具有语义和位置信息。步骤4)中的网络使用了如图3(b)所示的BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果。该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度。
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到关节连接图。
6)将步骤5)中的关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的网络进行预测，得到人像的前景/背景分割掩膜。掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
本发明利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性。对不同场景的人像分割结果如图4，可见该发明具有良好的分割精度。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (8)

1.一种融合人体关键点检测的人像分割方法，其特征在于，包括以下步骤：
1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；
3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；
6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。
2.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。
3.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。
4.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。
5.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤4)中训练的具体步骤是：
4.1)在人像分割数据集上统计每一张图片的均值和标准差，求出数据集上图像均值和标准差的平均数；利用统计得到的均值和标准差将训练集上的每一张训练图像归一化；
4.2)将步骤3)中得到的人体关节连接图进行二值化处理，关键点和关节点之间的连接数值取1，其他的背景像素数值取0。将关节连接图和归一化的图片拼接成四通道的图片当作训练样本；
4.3)训练的过程中，使用随机在线扩充的方法获取更多的训练样本，对于每一张训练图片随机顺时针或逆时针旋转0-45度，随机水平翻转，随机颜色增强，随机亮度调整，随机模糊；
4.4)训练中每一次迭代的批次大小为16，一共进行40000次迭代，梯度优化方法为随机梯度下降算法；初始学习率为0.01；训练中使用的损失函数为逐像素的二元交叉熵损失。
6.根据权利要求5所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤5)中的人体关节连接图按照步骤4.2)中同样的方法进行二值化处理。
7.根据权利要求5所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤6)的待测图片使用步骤4.1)中所统计的全数据集的图片均值和方差进行归一化。
8.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：步骤3)中一共检测18个关键点，包含背景标注一共19类，顺序如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，背景-18；检测出的关键点的位置和人体关节的连接关系。
CN201911399482.1A 2019-12-30 2019-12-30 一种融合人体关键点检测的人像分割方法 Pending CN111160262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399482.1A CN111160262A (zh) 2019-12-30 2019-12-30 一种融合人体关键点检测的人像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399482.1A CN111160262A (zh) 2019-12-30 2019-12-30 一种融合人体关键点检测的人像分割方法

Publications (1)

Publication Number Publication Date
CN111160262A true CN111160262A (zh) 2020-05-15

Family

ID=70559406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399482.1A Pending CN111160262A (zh) 2019-12-30 2019-12-30 一种融合人体关键点检测的人像分割方法

Country Status (1)

Country Link
CN (1) CN111160262A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549557A (zh) * 2022-02-28 2022-05-27 重庆紫光华山智安科技有限公司 一种人像分割网络训练方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110334675A (zh) * 2019-07-11 2019-10-15 山东大学 一种基于人体骨骼关键点分割和列卷积的行人重识别方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN110334675A (zh) * 2019-07-11 2019-10-15 山东大学 一种基于人体骨骼关键点分割和列卷积的行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XI CHEN 等: "Real-time Human Segmentation using Pose Skeleton Map", 《PROCEEDINGS OF THE 38TH CHINESE CONTROL CONFERENCE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549557A (zh) * 2022-02-28 2022-05-27 重庆紫光华山智安科技有限公司 一种人像分割网络训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN111832443B (zh) 一种施工违规行为检测模型的构建方法及其应用
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN109360179B (zh) 一种图像融合方法、装置及可读存储介质
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
WO2020151148A1 (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN113033454B (zh) 一种城市视频摄像中建筑物变化的检测方法
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
WO2021103474A1 (zh) 图像的处理方法和装置、存储介质及电子装置
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN116030396A (zh) 一种用于视频结构化提取的精确分割方法
CN111783608A (zh) 一种换脸视频检测方法
CN111160107A (zh) 一种基于特征匹配的动态区域检测方法
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhao Jie

Inventor after: Wu Tianqi

Inventor after: Huang Ling

Inventor after: Feng Hao

Inventor after: Zheng Jingyuan

Inventor after: Qi Donglian

Inventor after: Yan Yunfeng

Inventor after: Chen Xi

Inventor after: Han Yifeng

Inventor after: Wang Enhua

Inventor before: Zhao Jie

Inventor before: Wu Tianqi

Inventor before: Huang Ling

Inventor before: Feng Hao

Inventor before: Zheng Jingyuan

Inventor before: Qi Donglian

Inventor before: Yan Yunfeng

Inventor before: Chen Xi

Inventor before: Han Yifeng

Inventor before: Wang Enhua

CB03 Change of inventor or designer information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200515

WD01 Invention patent application deemed withdrawn after publication