CN107492108A - 一种基于深度学习的骨架线提取算法、系统及存储介质 - Google Patents

一种基于深度学习的骨架线提取算法、系统及存储介质 Download PDF

Info

Publication number
CN107492108A
CN107492108A CN201710711483.XA CN201710711483A CN107492108A CN 107492108 A CN107492108 A CN 107492108A CN 201710711483 A CN201710711483 A CN 201710711483A CN 107492108 A CN107492108 A CN 107492108A
Authority
CN
China
Prior art keywords
piecemeal
human
human region
deep learning
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710711483.XA
Other languages
English (en)
Inventor
廖逸琪
陈志超
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201710711483.XA priority Critical patent/CN107492108A/zh
Publication of CN107492108A publication Critical patent/CN107492108A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的骨架线提取算法、系统及存储介质，涉及机器视觉技术领域，旨在提供一种无需人为操作、鲁棒的人体骨架线提取算法。本发明技术要点：包括对人体深度图进行人体区域分块的步骤：使用深度学习模型对人体深度图进行处理，得到人体区域分块结果；求取人体区域分块质心的步骤：对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标；将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点的步骤；将各个关节点顺序连接，得到人体骨架线的步骤。

Description

一种基于深度学习的骨架线提取算法、系统及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其是一种利用深度学习网络对人体深度图进行身体区域分块并提取人体骨线架的方法。
背景技术
人体骨架线提取是一种利用算法提取人体关节点并连接的技术。人体的姿态可以多种多样，但如果将人体骨架视为刚性的模型，则关节点之间的骨骼不会随着人体姿态的变化而变化，因此人体骨架提取的关键就是关节点的提取。
现有的关节点提取算法是通过人工标定关节点或者是在关节点上附着标志物，然后对标定的关节点进行跟踪，从而获得人体的骨架线。这种方法的优点是能够获得人体的先验知识实现精确跟踪，缺点是难以自动实现初始化、跟踪过程误差和噪声的影响大。因此有必要提出和研究出不用人工参与，并且鲁棒性强的人体骨架线提取算法。
发明内容
本发明所要解决的技术问题是：针对上述存在的问题，提供一种无需人为操作、鲁棒的人体骨架线提取算法，旨在利用深度学习网络对人体深度图进行身体区域分块，并从人体区域块中提取出关节点，从而提取人体的骨架线。
本发明提供的一种基于深度学习的骨架线提取算法，包括：
对人体深度图进行人体区域分块的步骤：使用深度学习模型对人体深度图进行处理，得到人体区域分块结果；
求取人体区域分块质心的步骤：对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标；
将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点的步骤；
将各个关节点顺序连接，得到人体骨架线的步骤。
进一步，所述深度学习模型通过以下方法训练得到：
获取训练样本集，样本集中包含一定数量的人体深度图及其对应的人体区域标签图；
将各个人体深度图及其对应的人体区域标签图成对地输入到深度学习模型，对深度学习模型进行训练；
训练完成后便得到具备人体区域分块能力的深度学习模型。
所述合并处理进一步包括：
将人体区域分块中的上手臂分块的质心坐标与下手臂分块的质心坐标的均值作为手肘关节点；
将大腿分块和下躯干分块的交界处作为髋关节点；
将其余人体区域分块的质心作为其余关节点。
本发明还提供了一种基于深度学习的骨架线提取系统，包括：
人体区域分块模块，用于使用深度学习模型对人体深度图进行处理，得到人体区域分块结果；
人体区域分块质心求取模块，用于对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标；
关节点获取模块，用于将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点；
人体骨架线获取模块，用于将各个关节点顺序连接，得到人体骨架线。
进一步，所述深度学习模型通过以下方法训练得到：
获取训练样本集，样本集中包含一定数量的人体深度图及其对应的人体区域标签图；
将各个人体深度图及其对应的人体区域标签图成对地输入到深度学习模型，对深度学习模型进行训练；
训练完成后便得到具备人体区域分块能力的深度学习模型。
进一步，所述关节点获取模块还包括合并处理子模块，其用于：
将人体区域分块中的上手臂分块的质心坐标与下手臂分块的质心坐标的均值作为手肘关节点；
将大腿分块和下躯干分块的交界处作为髋关节点；
将其余人体区域分块的质心作为其余关节点。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明对深度学习模型进行训练，使其能自动对人体区域进行分块，而且分块准确、稳定。
2、本发明通过对人体区域分块的质心及边界线进行合并得到关节点，通过顺序连接关节点能准确提取出人体骨架线。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明方法流程图。
图2是本发明采用的深度学习模型的示意图。
图3是本发明中深度学习模型训练流程图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明提供的一种基于深度学习的骨架线提取算法，如图1所示，包括：
对人体深度图进行人体区域分块的步骤、求取人体区域分块质心的步骤、获取关节点的步骤以及获取骨架线的步骤。
对人体深度图进行人体区域分块的步骤：使用深度学习模型对人体深度图进行处理，得到人体区域分块结果。深度图是指图像的像素值为深度信息，即该像素距离成像平面的距离。人体区域分块的结果至少包括各区域分块中分别包括哪些像素点，以及这些像素点的坐标。
参见图2，本发明采用的深度学习模型包括多层卷积层、池化层、ReLU激活函数层、反卷积层的卷积神经网络。该模型通过不同的卷积层能自动学习人体深度图的多种特征，然后通过特征对人体区域进行分块，该模型可将人体准确分为多个区域块。
在使用深度学习模型前需要对其进行训练，具体过程是，采集大量的人体深度图，并预先人工对其上的人体区域进行分块，并对每个分块进行标注得到人体区域标签图。
训练时，将人体深度图及其对应的人体区域标签图成对的输入到深度学习模型中，模型通过学习大量的样本，会形成一种特定的神经元的组合结构，具备人体区域分块的能力。
更具体的：
首先，对训练样本进行预处理。获得人体的深度图和人体区域标签图。对人体深度图进行缩放、去均值、归一化处理，对人体区域标签图进行相同的缩放处理。然后将数据集按3:1分为训练集和验证集。
然后，利用训练样本对深度学习模型进行训练。参见图3，本发明中深度学习模型的训练分为两步：前向传播和反向传播。
前向传播：将训练样本集中的预处理后的图像输入模型中，首先经过卷积层，通过可训练滤波器(卷积核)和可加偏置进行卷积滤波，增强输入图像的特征，同时降低噪声。然后通过一个ReLU激活函数得到特征映射图。再通过池化层，对输入做降采样，以此来降低卷积层输出的特征向量，同时改善结果，防止过拟合。经过反卷积层，同卷积层一样，通过可训练滤波器和可加偏置对输入进行反卷积滤波，将输入放大，可视化特征。其它相同网络层均进行类似的操作。将最后一层的可视化特征的概率进行比较，将每个像素点概率最大的可视化特征作为输出结果。
反向传播：本发明使用通过前向传播得到的人体区域分块图和样本对应的人体区域标签图来计算损失函数，将损失函数值按极小化误差的方法方向传播，以此来调节网络模型各层的参数。针对本发明的应用场景，本发明深度学习网络的损失函数采用Softmax函数，具体公式如下：
其中，N为样本总数，ln为样本分类种类，pn为第n个样本为ln类的概率。
求取人体区域分块质心的步骤：对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标，即
其中(xc，yc)为某一个区域分块质心点，xi和yi分别为区域分块里的像素点的横坐标和纵坐标，M为该区域分块包含的像素点总数。
获取关节点的步骤：
将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点的步骤。
在一个具体实施例中，模型将人体深度图分为以下分块：头、脖子、上躯干、下躯干、左肩膀、左上臂、左下臂、左手、左大腿、左膝盖、左小腿、左脚、右肩膀、右上臂、右下臂、右手、右大腿、右膝盖、右小腿、右脚。
对每个分块求取质心。将左上手臂分块的质心坐标与左下手臂分块的质心坐标的均值作为左手肘关节点；将右上手臂分块的质心坐标与右下手臂分块的质心坐标的均值作为右手肘关节点。
将左大腿分块和下躯干分块的交界处作为左髋关节点；将右大腿分块和下躯干分块的交界处作为右髋关节点。
将其余人体区域分块的质心作为其余关节点。
将各个区域的质心及边界线进行合并处理，最后得到所需的16个关节点。
获取骨架线的步骤：
将各个关节点顺序连接，得到人体骨架线。
本发明还提供了一种与前述方法步骤一一对应的软系统以及存储有实现上述算法的计算机程序的计算机可读存储介质。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.一种基于深度学习的骨架线提取算法，其特征在于，包括：
对人体深度图进行人体区域分块的步骤：使用深度学习模型对人体深度图进行处理，得到人体区域分块结果；
求取人体区域分块质心的步骤：对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标；
将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点的步骤；
将各个关节点顺序连接，得到人体骨架线的步骤。
2.根据权利要求1所述的一种基于深度学习的骨架线提取算法，其特征在于，所述深度学习模型通过以下方法训练得到：
获取训练样本集，样本集中包含一定数量的人体深度图及其对应的人体区域标签图；
将各个人体深度图及其对应的人体区域标签图成对地输入到深度学习模型，对深度学习模型进行训练；
训练完成后便得到具备人体区域分块能力的深度学习模型。
3.根据权利要求1所述的一种基于深度学习的骨架线提取算法，其特征在于，所述合并处理进一步包括：
将人体区域分块中的上手臂分块的质心坐标与下手臂分块的质心坐标的均值作为手肘关节点；
将大腿分块和下躯干分块的交界处作为髋关节点；
将其余人体区域分块的质心作为其余关节点。
4.一种基于深度学习的骨架线提取系统，其特征在于，包括：
人体区域分块模块，用于使用深度学习模型对人体深度图进行处理，得到人体区域分块结果；
人体区域分块质心求取模块，用于对每个人体区域分块进行以下处理：计算该人体区域分块像素点横坐标的均值与纵坐标的均值，横坐标的均值与纵坐标的均值即为该人体区域分块的质心坐标；
关节点获取模块，用于将各个人体区域分块的质心及人体区域分块的边界进行合并处理，得到各个关节点；
人体骨架线获取模块，用于将各个关节点顺序连接，得到人体骨架线。
5.根据权利要求4所述的一种基于深度学习的骨架线提取系统，其特征在于，所述深度学习模型通过以下方法训练得到：
获取训练样本集，样本集中包含一定数量的人体深度图及其对应的人体区域标签图；
将各个人体深度图及其对应的人体区域标签图成对地输入到深度学习模型，对深度学习模型进行训练；
训练完成后便得到具备人体区域分块能力的深度学习模型。
6.根据权利要求4所述的一种基于深度学习的骨架线提取系统，其特征在于，所述关节点获取模块还包括合并处理子模块，其用于：
将人体区域分块中的上手臂分块的质心坐标与下手臂分块的质心坐标的均值作为手肘关节点；
将大腿分块和下躯干分块的交界处作为髋关节点；
将其余人体区域分块的质心作为其余关节点。
7.一种计算机可读存储介质，其特征在于，存储有实现权1~3中任意一项所述算法的计算机程序。
CN201710711483.XA 2017-08-18 2017-08-18 一种基于深度学习的骨架线提取算法、系统及存储介质 Pending CN107492108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710711483.XA CN107492108A (zh) 2017-08-18 2017-08-18 一种基于深度学习的骨架线提取算法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710711483.XA CN107492108A (zh) 2017-08-18 2017-08-18 一种基于深度学习的骨架线提取算法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN107492108A true CN107492108A (zh) 2017-12-19

Family

ID=60646575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710711483.XA Pending CN107492108A (zh) 2017-08-18 2017-08-18 一种基于深度学习的骨架线提取算法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN107492108A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255312A (zh) * 2018-08-30 2019-01-22 罗普特（厦门）科技集团有限公司 一种基于表观特征的异常着装检测方法以及装置
WO2019141104A1 (zh) * 2018-01-19 2019-07-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN110427900A (zh) * 2019-08-07 2019-11-08 广东工业大学 一种智能指导健身的方法、装置和设备
CN110674933A (zh) * 2018-07-03 2020-01-10 闪迪技术有限公司 用于提高神经网络推断准确度的流水线技术

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231760A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种树状形体的立体分解和分级骨架提取方法
CN101782968A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN104063677A (zh) * 2013-03-19 2014-09-24 北京三星通信技术研究有限公司 用于估计人体姿态的设备和方法
CN106096518A (zh) * 2016-06-02 2016-11-09 哈尔滨多智科技发展有限公司 基于深度学习的快速动态人体动作提取、识别方法
CN106127733A (zh) * 2016-06-14 2016-11-16 湖南拓视觉信息技术有限公司 人体目标识别的方法和装置
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
CN106327495A (zh) * 2016-08-26 2017-01-11 穆达文 一种生物骨骼识别方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231760A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种树状形体的立体分解和分级骨架提取方法
CN101782968A (zh) * 2010-02-03 2010-07-21 北京航空航天大学 基于测地模型的人体骨骼提取和朝向判定方法
CN104063677A (zh) * 2013-03-19 2014-09-24 北京三星通信技术研究有限公司 用于估计人体姿态的设备和方法
CN106096518A (zh) * 2016-06-02 2016-11-09 哈尔滨多智科技发展有限公司 基于深度学习的快速动态人体动作提取、识别方法
CN106127733A (zh) * 2016-06-14 2016-11-16 湖南拓视觉信息技术有限公司 人体目标识别的方法和装置
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
CN106327495A (zh) * 2016-08-26 2017-01-11 穆达文 一种生物骨骼识别方法、装置及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019141104A1 (zh) * 2018-01-19 2019-07-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
US11113560B2 (en) 2018-01-19 2021-09-07 Beijing Sensetime Technology Development Co., Ltd. Body contour key point detection methods, apparatuses, and devices
CN110674933A (zh) * 2018-07-03 2020-01-10 闪迪技术有限公司 用于提高神经网络推断准确度的流水线技术
CN109255312A (zh) * 2018-08-30 2019-01-22 罗普特（厦门）科技集团有限公司 一种基于表观特征的异常着装检测方法以及装置
CN110427900A (zh) * 2019-08-07 2019-11-08 广东工业大学 一种智能指导健身的方法、装置和设备

Similar Documents

Publication Publication Date Title
CN110827342B (zh) 三维人体模型重建方法及存储设备、控制设备
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN104850825B (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN107492108A (zh) 一种基于深度学习的骨架线提取算法、系统及存储介质
CN110807829B (zh) 一种基于超声成像构建三维心脏模型的方法
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN109344693A (zh) 一种基于深度学习的人脸多区域融合表情识别方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN110443144A (zh) 一种人体图像关键点姿态估计方法
CN107316307A (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
Wu et al. Dynamic filtering with large sampling field for convnets
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN107909585A (zh) 一种血管内超声影像的血管中内膜分割方法
CN107862249A (zh) 一种分叉掌纹识别方法及装置
CN112602099A (zh) 基于深度学习的配准
CN102509286B (zh) 一种医学图像目标区域勾画方法
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN107798697A (zh) 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN105103164B (zh) 基于视图分类的模型初始化
CN107248155A (zh) 一种基于swi图像的脑静脉血管分割方法
CN111316290B (zh) 用于通过对特征本体的深度学习来进行交互式表示学习迁移的系统和方法
CN107909588A (zh) 基于三维全卷积神经网络的mri皮质下分区系统
WO2022247218A1 (zh) 基于自动勾画的图像配准方法
CN112668531A (zh) 一种基于动作识别的运动姿态矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171219

RJ01 Rejection of invention patent application after publication