CN110197117B - 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质 - Google Patents

人体轮廓点提取方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110197117B
CN110197117B CN201910314632.8A CN201910314632A CN110197117B CN 110197117 B CN110197117 B CN 110197117B CN 201910314632 A CN201910314632 A CN 201910314632A CN 110197117 B CN110197117 B CN 110197117B
Authority
CN
China
Prior art keywords
human
matrix
key points
human body
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910314632.8A
Other languages
English (en)
Other versions
CN110197117A (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910314632.8A priority Critical patent/CN110197117B/zh
Publication of CN110197117A publication Critical patent/CN110197117A/zh
Application granted granted Critical
Publication of CN110197117B publication Critical patent/CN110197117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种人体轮廓点提取方法、装置、终端设备及计算机可读存储介质,涉及数据处理领域。所述方法包括:提取图像所包含的人体骨骼关键点;将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。输入的人体骨骼矩阵缩小了人体轮廓点的提取范围,可以简化轮廓点提取模型结构,减少计算量,提升速度;以人体骨骼矩阵为部分输入,限定了人体轮廓点出现的大体区域,提高了精确度。

Description

人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
技术领域
本发明涉及数据处理领域,特别是涉及一种人体轮廓点提取方法、装置、终端设备及计算机可读存储介质。
背景技术
随着信息技术的发展,用户对图像中美体的追求不断提升,尤其是对图像中人体瘦身等的需求也越来越高。需要对图像中的人体进行瘦身等,前提需要提取人体轮廓点。
现有技术中,通过对图像中人体轮廓特征进行提取并提炼,得到图像中人体的轮廓特征。
但是,现有技术对人体轮廓特征进行提取并提炼的过程中,通常计算量较大,导致对人体轮廓点提取速度慢。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的人体轮廓点提取方法、装置、终端设备及计算机可读存储介质。
根据本发明的第一方面,提供了一种人体轮廓点提取方法,所述方法包括:
提取图像所包含的人体骨骼关键点;
将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;
将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
可选的,所述将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵之前,还包括:
获取所述图像的宽度尺寸和长度尺寸;
初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
所述将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵,包括:
从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点;
用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
可选的,所述用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵之前,还包括:
计算所述两个人体骨骼关键点之间的距离;
确定所述两个人体骨骼关键点的中点;
在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;
或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域;
所述用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵,包括:
用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;
或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
可选的,所述将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点,包括:
将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵;
将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵;
在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
可选的,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型;所述将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵,包括:
将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征;
将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
可选的,所述轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型;所述将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵,包括:
将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征;
将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
根据本发明的第二方面,提供了一种人体轮廓点提取装置,所述装置包括:
人体骨骼关键点提取模块,用于提取图像所包含的人体骨骼关键点;
骨骼矩阵获取模块,用于将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;
人体轮廓点提取模块,用于将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
可选的,所述装置,还包括:
尺寸获取模块,用于获取所述图像的宽度尺寸和长度尺寸;
初始化模块,用于初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
所述骨骼矩阵获取模块,包括:
两个人体骨骼关键点选择子模块,用于从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点;
骨骼矩阵获取子模块,用于用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
可选的,所述装置,还包括:
距离计算模块,用于计算所述两个人体骨骼关键点之间的距离;
中点确定模块,用于确定所述两个人体骨骼关键点的中点;
区域形成模块,用于在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;
或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域;
所述骨骼矩阵获取子模块,具体用于:
用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;
或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
可选的,所述人体轮廓点提取模块,包括:
拆分子模块,用于将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵;
拼接子模块,用于将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
人体轮廓点矩阵获取子模块,用于将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵;
人体轮廓点提取子模块,用于在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
可选的,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型,所述人体轮廓点矩阵获取子模块,包括:
基础特征提取单元,用于将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征;
人体轮廓点矩阵获取单元,用于将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
可选的,所述轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型;所述人体轮廓点矩阵获取单元,包括:
第一人体轮廓特征提取子单元,用于将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征;
人体轮廓点矩阵获取子单元,用于将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
根据本发明的第三方面,提供了一种终端设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上任一所述的人体轮廓点提取方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上任一所述的人体轮廓点提取方法。
本发明实施例包括以下优点:
提取图像所包含的人体骨骼关键点;将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。提取图像所包含的人体骨骼关键点,将每两个位置相邻的人体骨骼关键点转换为对应的骨骼矩阵,通常人体轮廓点大都落在骨骼矩阵上,一方面输入的人体骨骼矩阵已经从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,以人体骨骼矩阵为该预设轮廓点模型的部分输入,限定了人体轮廓点出现的大体区域,提高了精确度,同时图像和上述骨骼矩阵同时作为该模型的输入,两者可以相互验证,从一定程度上提升了人体轮廓点的准确度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种人体轮廓点提取方法的步骤流程图;
图2是本发明实施例提供的一种图像的示意图;
图3是本发明实施例提供的一种人体骨骼关键点的示意图;
图4是本发明实施例提供的一种骨骼矩阵的示意图;
图5是本发明实施例提供的一种将各个骨骼矩阵与图像整合后的示意图;
图6是本发明实施例提供的另一种人体轮廓点提取方法的步骤流程图;
图7是本发明实施例提供的另一种骨骼矩阵示意图;
图8是本发明实施例提供的一种提取人体轮廓点的应用示意图;
图9是本发明实施例提供的一种人体轮廓点提取装置的框图;
图10是本发明实施例提供的另一种人体轮廓点提取装置的框图;
图11是本发明实施例提供的人体轮廓点矩阵获取子模块的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解,此处所描述的具体实施例仅用以解释本发明,仅仅是本发明一部分实施例,而不是全部的实施例,并不用于限定本发明。
参照图1,是本发明实施例提供的一种人体轮廓点提取方法的步骤流程图,该方法可以包括:
步骤101:提取图像所包含的人体骨骼关键点。
本发明实施例中,该图像可以包含人体图像。参照图2所示,图2是本发明实施例提供的一种图像的示意图。图2中的图像包含了人体图像。
本发明实施例中,该图像可以为黑白图像或彩色图像,该图像还可以为视频中的某一帧或多帧图像等。在本发明实施例中,对此不作具体限定。
本发明实施例中,人体骨骼关键点可以为人体部分或全部骨骼点。在本发明实施例中,对此不作具体限定。
本发明实施例中,可以基于人体骨骼关键点提取模型,从上述图像中提取其包含的人体骨骼关键点,以得到人体骨骼关键点。在本发明实施例中,对此不作具体限定。
本发明实施例中,人体骨骼关键点中可以包括一个人体骨骼关键点或多个人体骨骼关键点等,在本发明实施例中,对此不作具体限定。
例如,可以基于Visual Geometry Group Network模型等,从上述图像中提取其包含的人体骨骼关键点。参照图3所示,图3是本发明实施例提供的一种人体骨骼关键点的示意图。图3中编号为1至14对应的骨骼点可以为人体骨骼关键点。图3中,人体骨骼关键点可以有14个。
步骤102:将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵。
本发明实施例中,由于人体骨骼关键点本身具有一定的对称性,可以基于上述人体骨骼关键点,找出对称轴。然后,在对称轴的两侧,分别计算出每个人体骨骼关键点与对称轴同一侧其它各个人体骨骼关键点之间的距离,得到每个人体骨骼关键点与同一侧人体骨骼关键点之间距离的集合,在每一个集合中,确定最小距离,将最小距离对应的人体骨骼关键点与该集合对应的人体骨骼关键点确定为位置相邻的两个人体骨骼关键点,以此类推,确定出对称轴两侧各个骨骼关键点的位置相邻的人体骨骼关键点。针对处于对称轴上的骨骼关键点,可以通过分别计算其与对称轴一侧的各个人体骨骼关键点之间的距离,同样以最小距离,确定与其位置相邻的关键点。
在本发明实施例中,可选的,在确定出对称轴一侧的各个人体骨骼关键点的位置相邻的各个人体骨骼关键点之后,可以基于对称性,确定出对称轴另一侧的各个人体骨骼关键点的位置相邻的各个人体骨骼关键点。在本发明实施例中,对此不作具体限定。
在本发明实施例中,在基于上述人体骨骼关键点的像素,确定对称轴的过程中,可以借助一些特殊的人体骨骼关键点。例如,参照图3所示,可以通过位置识别,提取最高位置处的人体骨骼关键点1,提取最低位置处的人体骨骼关键点13和14,确定人体骨骼关键点13和14的中点,可以将人体骨骼关键点13和14的中点与最高位置处的人体骨骼关键点1的连线,确定为对称轴。
例如,参照图3所示,确定的人体骨骼关键点的对称轴可以为:人体骨骼关键点13和14的中点与最高位置处的人体骨骼关键点1的连线。如,则,人体骨骼关键点3、5、7、9、11、13位于对称轴的第一侧,人体骨骼关键点4、6、8、10、12、14位于对称轴的第二侧,若需要确定出与人体骨骼关键点3相邻的骨骼关键点,则,计算出人体骨骼关键点3和人体骨骼关键点5之间的距离、人体骨骼关键点3和人体骨骼关键点7之间的距离、人体骨骼关键点3和人体骨骼关键点9之间的距离、人体骨骼关键点3和人体骨骼关键点11之间的距离、人体骨骼关键点3和人体骨骼关键点13之间的距离,得到人体骨骼关键点3与同一侧第一侧人体骨骼关键点之间距离的集合,在该集合中,确定出最小距离为:人体骨骼关键点3和人体骨骼关键点5之间的距离,则,可以得出人体骨骼关键点3和人体骨骼关键点5为两个位置相邻的人体骨骼关键点。
本发明实施例中,骨骼矩阵可以为包含两个位置相邻的人体骨骼关键点,且用预设像素值填充的二维矩阵。该骨骼矩阵的宽度尺寸和长度尺寸与上述图像中的人体图像的宽度尺寸和长度尺寸具有对应关系,在本发明实施例中,对此不作具体限定。
本发明实施例中,可以将1对两个位置相邻的人体骨骼关键点转换为对应的骨骼矩阵。在本发明实施例中,对此不作具体限定。
例如,针对图3所示,该图像所包含的人体骨骼关键点中,存在以下位置相邻的两个人体骨骼关键点:(1,2)、(2,3)、(2,4)、(3,5)、(4,6)、(5,9)、(6,10)、(3,7)、(4,8)、(7,11)、(8,12)、(11,13)、(12,14)。可以从上述13个位置相邻的人体骨骼关键点中,选择任意一个位置相邻的两个人体骨骼关键点,将其转换为对应的骨骼矩阵。
参照图4,图4是本发明实施例提供的一种骨骼矩阵的示意图。该骨骼矩阵可以为与图像宽度尺寸和长度尺寸相同,且用预设像素值填充的二维矩阵,该骨骼矩阵包含了两个位置相邻的人体骨骼关键点(1,2)。
在本发明实施例中,以此类推,得到每两个位置相邻的两个人体骨骼关键点应的骨骼矩阵。例如,针对图3所示,该图像包含13个位置相邻的人体骨骼关键点,则,可以得到13个每两个位置相邻的两个人体骨骼关键点应的骨骼矩阵。
在本发明实施例中,参照图5,图5是本发明实施例提供的一种将各个骨骼矩阵与图像整合后的示意图。图5中各个骨骼矩阵对应的区域较为全面的涵盖了人体的轮廓或人体边界,进而由上述各个骨骼矩阵进一步确定人体轮廓点,可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,各个人体骨骼矩阵限定了人体轮廓点出现的大体区域,提高了精确度。两个人体骨骼关键点两个人体骨骼关键点。
步骤103:将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
本发明实施例中,人体轮廓点可以为图像中包含的人体的边界点等。在本发明实施例中,对此不作具体限定。
本发明实施例中,可以提前训练该轮廓点提取模型,具体的,可以获取图像样本数据,对图像样本数据中的人体轮廓点进行人工标注,将上述图像样本数据输入初始轮廓点提取模型,调整该初始轮廓点提取模型的各项参数,对上述图像样本数据提取人体轮廓点,直至由该初始轮廓点提取模型提取的人体轮廓点,与人工标注的人体轮廓点之间的差值在预设差值范围内,进而训练得到该轮廓点提取模型。在本发明实施例中,对此不作具体限定。
本发明实施例中,该轮廓点提取模型可以包括:Visual Geometry GroupNetwork、ResNet、Mobilenet等,在本发明实施例中,对此不作具体限定。
本发明实施例中,可以将上述图像和各个骨骼矩阵,输入该轮廓点提取模型,提取人体轮廓点,以得到该图像所包含的人体轮廓点。
本发明实施例中,提取图像所包含的人体骨骼关键点较为成熟和常见,借助于目前较为成熟或常见的途径提取图像所包含的人体骨骼关键点,对人体骨骼关键点提取的效率高,且准确度高。参照图4或图5所示,通常人体轮廓点大都落在骨骼矩阵上,一方面输入的人体骨骼矩阵已经从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,以人体骨骼矩阵为该预设轮廓点模型的部分输入,限定了人体轮廓点出现的大体区域,提高了精确度,同时图像和上述骨骼矩阵同时作为该模型的输入,两者可以相互验证,从一定程度上提升了人体轮廓点的准确度。
综上所述,提取图像所包含的人体骨骼关键点;将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。提取图像所包含的人体骨骼关键点,将每两个位置相邻的人体骨骼关键点转换为对应的骨骼矩阵,通常人体轮廓点大都落在骨骼矩阵上,一方面输入的人体骨骼矩阵已经从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,以人体骨骼矩阵为该预设轮廓点模型的部分输入,限定了人体轮廓点出现的大体区域,提高了精确度,同时图像和上述骨骼矩阵同时作为该模型的输入,两者可以相互验证,从一定程度上提升了人体轮廓点的准确度。
图6是本发明实施例提供的另一种人体轮廓点提取方法的步骤流程图,该方法可以包括:
步骤201:提取图像所包含的人体骨骼关键点。
具体的,本步骤的实现方式可以参照上述步骤101,本发明实施例在此不做赘述。
步骤202:获取所述图像的宽度尺寸和长度尺寸。
具体的,可以获取图像的长、宽尺寸等。在本发明实施例中,对此不作具体限定。
步骤203:初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同。
在本发明实施例中,该第一预设数量可以根据实际需要进行设定,在本发明实施例中,对此不作具体限定。
在本发明实施例中,可以初始化或创建第一预设数量的二维零矩阵,每个二维零矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸对应相同。
例如,若图像的宽度尺寸和长度尺寸为:w×h,即该图像水平方向具有h个像素,竖直方向具有w个像素。则每个二维零矩阵可以为w行h列的二维矩阵,该二维矩阵中各个元素均为0。
步骤204:从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点。
在本发明实施例中,可以从上述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点。
例如,参照图3所示,若该图像所包含的人体骨骼关键点为{1、2、3、4、5、6、7、8、9、10、11、12、13、14},该人体骨骼关键点中,依次选择的位置相邻的两个人体骨骼关键点可以为:(1,2)、(2,3)、(2,4)、(3,5)、(4,6)、(5,9)、(6,10)、(3,7)、(4,8)、(7,11)、(8,12)、(11,13)、(12,14)。
例如,参照图3所示,某一次选择的位置相邻的两个人体骨骼关键点可以为(1,2),或者,某一次选择的位置相邻的两个人体骨骼关键点可以为(2,3)。
在本发明实施例中,一个二维零矩阵可以对应1个位置相邻的两个人体骨骼关键点,上述第一预设数量可以与选择的上述位置相邻的两个人体骨骼关键点的数量相同。在本发明实施例中,对此不作具体限定。例如,选择的位置相邻的两个人体骨骼关键点若为13对,则该第一预设数量可以为13,即初始化13个二维零矩阵。
步骤205:用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
在本发明实施例中,该第一预设像素值可以为能够起到一定标记作用的像素值等,该第一预设像素值可以大于0,在本发明实施例中,对此不作具体限定。例如,该第一预设像素值可以为:1。
在本发明实施例中,可以用第一预设像素值分别填充每个二维零矩阵中位置相邻的两个人体骨骼关键点对应的区域,以将每个二维零矩阵转换为每两个人体骨骼关键点对应的骨骼矩阵。该区域可以包括:二维零矩阵中,以位置相邻的两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;且,位置相邻的两个人体骨骼关键点均落在圆形区域或上述椭圆形区域的周线上。
例如,参照图7所示,图7是本发明实施例提供的另一种骨骼矩阵示意图,图7中,骨骼矩阵对应的两个人体骨骼关键点为:(1,2),该骨骼矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸对应相同,用第一预设像素值填充二维零矩阵中,位置相邻的两个人体骨骼关键点(1,2),对应的区域111,进而得到该骨骼矩阵。该区域111可以是以两个人体骨骼关键点(1,2)的中点m作为中心的圆形区域或椭圆形区域,同时,两个人体骨骼关键点(1,2)均落在圆形区域或上述椭圆形区域的周线上。即,人体骨骼关键点1和人体骨骼关键点2均落在圆形区域或上述椭圆形区域的周线上。即,若该区域111为圆形区域,则上述圆形区域的圆心为两个人体骨骼关键点1和2的中点m,两个人体骨骼关键点1和2均在该圆形区域的圆周上。若该区域111为椭圆形区域,则上述椭圆形区域的中心为两个人体骨骼关键点1和2的中点m,两个人体骨骼关键点1和2均在该椭圆形区域的周线上。
在本发明实施例中,若第一预设像素值为1,参照图7所示,在二维零矩阵中,用第一预设像素值填充位置相邻的两个人体骨骼关键点(1,2)对应的区域,则该区域111的像素值全为1。该二维零矩阵中,除上述人体骨骼关键点对(1,2)对应的区域之外的其它区域的像素值依然为0。进而可以在二维零矩阵中,将人体骨骼关键点对(1,2)对应的区域进行标记等。该人体骨骼关键点对(1,2)对应的骨骼矩阵的宽度尺寸和长度尺寸可以与图像的宽度尺寸和长度尺寸对应相同,该骨骼矩阵中,区域111的像素值全为1,区域111之外的其它区域的像素值依然为0,人体骨骼关键点对(1,2)对应的骨骼矩阵包括了人体轮廓点,且覆盖了较多的人体轮廓点,且该骨骼矩阵中人体轮廓点的占比相对较大,后续以该骨骼矩阵作为轮廓点提取模型的部分输入,从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度;同时,用第一预设像素对上述人体骨骼关键点对对应的区域进行了标记等,该人体骨骼矩阵中的标记区域限定了人体轮廓点出现的大体区域,提高了人体轮廓点提取精确度。
在本发明实施例中,用第一预设像素值填充每个二维零矩阵中位置相邻的两个人体骨骼关键点对应的区域,以将每个二维零矩阵转换为每两个人体骨骼关键点对应的骨骼矩阵。该区域可以包括:二维零矩阵中,以位置相邻的两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;两个人体骨骼关键点均落在圆形区域或上述椭圆形区域的周线上。进而使得,上述每个骨骼矩阵均包括了人体轮廓点,每个骨骼矩阵中覆盖了较多的人体轮廓点,且每个骨骼矩阵中人体轮廓点的占比相对较大,后续以该骨骼矩阵作为轮廓点提取模型的部分输入,从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度;同时,该人体骨骼矩阵限定了人体轮廓点出现的大体区域,提高了人体轮廓点精确度。
在本发明实施例中,可选的,在上述步骤205之前,该方法还可以包括:
步骤A1:计算所述两个人体骨骼关键点之间的距离。
步骤A2:确定所述两个人体骨骼关键点的中点。
步骤A3:在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域。
在本发明实施例中,可选的,上述步骤205,可以包括:用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
具体的,可以计算位置相邻的两个人体骨骼关键点之间的距离,例如,通过欧式距离公式等,计算出相邻的两个人体骨骼关键点之间的距离。可以通过中点公式等,计算出位置相邻的两个人体骨骼关键点的中点,在每个零矩阵中,形成以上述中点为中心,且上述距离为长轴的椭圆形区域;或,在每个零矩阵中,形成以上述中点为中心,且上述距离为直径的圆形区域。用第一预设像素值填充上述零矩阵中的椭圆形区域,或,用第一预设像素值填充零矩阵中的上述圆形区域,以将每个零矩阵转换为每两个位置相邻的人体骨骼关键点对应的骨骼矩阵。
例如,参照图7所示,可以通过欧式距离公式等,计算出相邻的两个人体骨骼关键点(1,2)之间的距离,通过中点公式等,计算出位置相邻的两个人体骨骼关键点(1,2)的中点,在1个零矩阵中,形成以上述中点为中心,且上述距离为长轴的椭圆形区域,进而保证了上述相邻的两个人体骨骼关键点(1,2)中的人体骨骼关键点1和2均落在该椭圆形区域的周线上。用第一预设像素值填充上述零矩阵中的椭圆形区域111,以将该零矩阵转换为两个位置相邻的人体骨骼关键点(1,2)对应的骨骼矩阵。
在本发明实施例中,可选的,该椭圆形区域的短轴可以与该长轴具有预设对应关系,例如,该短轴的取值范围可以为:大于该长轴的0.5倍,小于该长轴。在本发明实施例中,对此不作具体限定。
在本发明实施例中,椭圆形区域的长轴为位置相邻的两个人体骨骼关键点之间的距离,或者,圆形区域的直径为位置相邻的两个人体骨骼关键点之间的距离,进而使得,上述每个骨骼矩阵均包括了人体轮廓点,每个骨骼矩阵中覆盖了较多的人体轮廓点,且每个骨骼矩阵中人体轮廓点的占比相对较大,后续以该骨骼矩阵作为轮廓点提取模型的部分输入,从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度;同时,该人体骨骼矩阵限定了人体轮廓点出现的大体区域,提高了人体轮廓点的提取精确度。
步骤206:将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵。
在本发明实施例中,可以将上述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵。
具体的,图像对应的像素矩阵通常由各个通道对应的子像素矩阵组成,可以从图像对应的像素矩阵中,以通道为区分,提取出各个通道对应的子像素矩阵。
步骤207:将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同。
在本发明实施例中,上述各个子像素矩阵可以为二维矩阵,各个骨骼矩阵也可以为二维矩阵,可以将上述各个子像素矩阵和各个骨骼矩阵进行拼接,得到一个三维矩阵;该三维矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸对应相同。
具体的,若图像的各个子像素矩阵表示为:p个w×h的矩阵,p可以为图像的通道个数,w可以为图像在竖直方向上的像素个数,h可以为图像在水平方向上的像素个数。若各个骨骼矩阵的通道数为1,上述各个骨骼矩阵可以表示为:w×h的矩阵,w可以为各个骨骼矩阵在竖直方向上的像素个数,h可以为各个骨骼矩阵在水平方向上的像素个数。若具有q个骨骼矩阵,将上述图像的各个子像素矩阵和上述各个骨骼矩阵进行拼接,可以得到:1个三维矩阵,该三维矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸对应相同,即,该三维矩阵在竖直方向上具有w个像素,在水平方向上具有h个像素,该三维矩阵除宽度尺寸和长度尺寸之外的另一个尺寸可以为p+q。即,该三维矩阵相当于为:p+q个宽度尺寸均为w,长度尺寸均为h的二维矩阵形成的宽度尺寸为w,长度尺寸为h三维矩阵。
步骤208:将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵。
在本发明实施例中,第二预设数量可以根据上述图像子像素矩阵和骨骼矩阵的数量、轮廓点提取模型等确定,或者,该第二预设数量可以根据实际需要进行设定,在本发明实施例中,对此不作具体限定。
在本发明实施例中,该人体轮廓点矩阵中包含的各个像素坐标的像素值能够体现图像中对应的各个像素坐标或像素,为图像中人体图像轮廓点概率值。在本发明实施例中,对此不作具体限定。
在本发明实施例中,可以将上述三维矩阵,输入该轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵。
例如,针对上述例子,可以将上述由p+q个宽度尺寸均为w,长度尺寸均为h的二维矩阵形成的宽度尺寸为w,长度尺寸为h三维矩阵,输入上述轮廓点提取模型,提取人体轮廓特征,以得到第二预设数量的人体轮廓点矩阵。
在本发明实施例中,上述每个骨骼矩阵均包括了人体轮廓点,每个骨骼矩阵中覆盖了较多的人体轮廓点,且每个骨骼矩阵中人体轮廓点的占比相对较大,将上述图像的子像素矩阵和各个骨骼矩阵拼接,得到三维矩阵,将该三维矩阵作为轮廓点提取模型的输入,从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度;同时,该人体骨骼矩阵限定了人体轮廓点出现的大体区域,提高了轮廓点提取的精确度。
在本发明实施例中,可选的,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型,所述将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵,可以包括:
步骤B1:将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征。
步骤B2:将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
具体的,上述轮廓点提取模型可以包括:基础特征提取子模型和轮廓特征提取子模型。将上述拼接后的三维矩阵,输入上述基础特征提取子模型,提取基础特征,该基础特征可以包括:图像中人的图像特征。将上述基础特征输入上述轮廓特征提取子模型,从上述基础特征中提取人体轮廓特征,以得到第二预设数量的人体轮廓点矩阵。
在本发明实施例中,上述基础特征提取子模型可以包括:Visual Geometry GroupNetwork、ResNet、Mobilenet等,在本发明实施例中,对此不作具体限定。
在本发明实施例中,上述基础特征可以包括图像中人的图像特征,如,图像中人的图像的形状特征、边缘特征等。上述基础特征提取子模型可以包括不同阶段,该不同阶段可以包括不同层,上述基础特征可以为从上述基础特征提取子模型的不同阶段提取的不同层特征,在本发明实施例中,对此不作具体限定。
在本发明实施例中,若从上述基础特征提取子模型的不同阶段提取的上述基础特征宽度尺寸或长度尺寸不同,则需要将上述基础特征调整至相同的宽度尺寸和长度尺寸,然后将调整为相同宽度尺寸和长度尺寸的上述基础特征输入上述轮廓特征提取子模型,从上述基础特征中提取人体轮廓特征,以得到第二预设数量的人体轮廓点矩阵。
在本发明实施例中,可选的,所述轮廓特征提取子模型可以包括:第一阶段提取子模型和第二阶段提取子模型;所述将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵,可以包括:
步骤C1:将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征。
步骤C2:将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
在本发明实施例中,该轮廓特征提取子模型可以为多阶段网络,该轮廓特征提取子模型可以包括:第一阶段提取子模型和第二阶段提取子模型。若,上述基础特征为:wf×hf×N的矩阵M,该N可以为上述基础特征提取子模型所包括不同层的层数,wf为将上述N层基础特征调整为相同宽度尺寸后,该矩阵在竖直方向的宽度尺寸,hf为将上述N层基础特征调整为相同长度尺寸后,该矩阵在水平方向的长度尺寸。
在本发明实施例中,该第一阶段提取子模型可以根据上述矩阵M进行设定等,或者,第一阶段提取子模型可以根据实际需要进行设定等,第一阶段提取子模型结构可以为包括卷积层、分离卷积层的网络集合,该第一阶段提取子模型的输入可以为wf×hf×N的矩阵M。该第一阶段提取子模型的作用在于从上述基础特征中,逐级提取卷积特征,在本发明实施例中,对此不作具体限定。
在本发明实施例中,第一人体轮廓特征可以包括图像中所包含的人体图像的边缘特征、轮廓特征等,在本发明实施例中,对此不作具体限定。
例如,该第一阶段提取子模型的网络结构、输入、输出可以为:
第1层为有2N个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×N的矩阵,进行卷积特征提取,输出为wf×hf×2N的矩阵。
第2层为卷积核为3×3且步长为1的2D可分离卷积层,输入为wf×hf×2N的矩阵,进行卷积特征提取,输出为wf×hf×2N的矩阵。
第3层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×2N的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第4层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第5层为卷积核为3×3且步长为1的2D可分离卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第6层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第7层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第8层为卷积核为3×3且步长为1的2D可分离卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第9层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第10层为卷积核为1×1且步长为1的2D可分离卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第11层为有512个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×512的矩阵。
第12层为卷积核为1×1且步长为1的2D可分离卷积层,输入为wf×hf×512的矩阵,进行卷积特征提取,输出为wf×hf×512的矩阵。
第13层为有X个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×512的矩阵,进行卷积特征提取,输出为wf×hf×X的矩阵。
在本发明实施例中,上述X可以为上述第二预设数量。在本发明实施例中,对此不作具体限定。
在本发明实施例中,针对上述例子,第13层输出的wf×hf×X矩阵所包括的特征即可以为上述第一人体轮廓特征,在本发明实施例中,对此不作具体限定。
在本发明实施例中,该第二阶段提取子模型可以根据上述矩阵M或第一阶段网络的输出,进行设定等,或者,第二阶段提取子模型可以根据实际需要进行设定等,第二阶段提取子模型结构同样可以为包括卷积层、分离卷积层的网络集合,该第二阶段提取子模型的输入可以为wf×hf×N的矩阵M和上述第一阶段网络输出的第一人体轮廓特征。
在本发明实施例中,该第二阶段提取子模型可以包括1个子模型或多个子模型。在本发明实施例中,对此不作具体限定。若上述第二阶段提取子模型包括多个子模型,上述多个子模型的网络结构可以相同,上述多个子模型可以顺序执行,上述多个子模型的输入可以为wf×hf×N的矩阵M和上一子模型的输出的第一人体轮廓特征。该第二阶段提取子模型的作用在于从拼接后的特征中,进一步提取卷积特征。
例如,若该子模型为第二阶段提取子模型的第一个子模型,则该子模型的输入可以为:wf×hf×N的矩阵M和第一阶段提取子模型的输出第一人体轮廓特征wf×hf×X的矩阵。若该子模型为第二阶段提取子模型的第二个子模型,则该子模型的输入可以为:wf×hf×(X+N)矩阵。在本发明实施例中,对此不作具体限定。
例如,该第二阶段提取子模型的网络结构、输入、输出可以为:
第1层为拼接层,输入为wf×hf×N的矩阵和wf×hf×X的矩阵,将矩阵M和第一阶段提取子模型的输出进行拼接,输出为拼接后的特征:wf×hf×(X+N)的矩阵。
第2层为有2N个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×(X+N)的矩阵,进行卷积特征提取,输出为wf×hf×2(X+N)的矩阵。
第3层为卷积核为7×7且步长为1的2D可分离卷积层,输入为wf×hf×2(X+N)的矩阵,进行卷积特征提取,输出为wf×hf×2(X+N)的矩阵。
第4层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×2(X+N)的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第5层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第6层为卷积核为7×7且步长为1的2D可分离卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第7层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第8层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第9层为卷积核为7×7且步长为1的2D可分离卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第10层为有32个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第11层为卷积核为1×1且步长为1的2D可分离卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×32的矩阵。
第12层为有128个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×32的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第13层为卷积核为1×1且步长为1的2D可分离卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×128的矩阵。
第14层为有X个1×1卷积核且步长为1的2D卷积层,输入为wf×hf×128的矩阵,进行卷积特征提取,输出为wf×hf×X的矩阵。
在本发明实施例中,上述X可以为上述第二预设数量。在本发明实施例中,对此不作具体限定。
在本发明实施例中,上述第二阶段提取子模型的输出可以为第二预设数量的人体轮廓点矩阵。
例如,针对上述例子,若第二阶段提取子模型的输出为wf×hf×X的矩阵,即第二阶段提取子模型的输出为X张人体轮廓点矩阵,此处的X可以为该第二预设数量。
在本发明实施例中,轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型,将基础特征输入第一阶段提取子模型,从基础特征中提取第一人体轮廓特征,将第一人体轮廓特征与基础特征输入第二阶段提取子模型,进行拼接,得到拼接后的特征,从拼接后的特征中,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵,上述第二预设数量的人体轮廓点矩阵是对上述基础特征进行多次提炼的结果,基于上述模型结构确定的人体轮廓点准确度高。
步骤209:在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
在本发明实施例中,该第二预设像素值可以大于0,可以提前设定该第二预设像素值。该第二预设像素值可以根据上述第一预设像素、上述轮廓点提取模型等确定,或者,该第二预设像素值可以根据实际需要进行设定。在本发明实施例中,对此不作具体限定。
在本发明实施例中,在上述第二预设数量的人体轮廓点矩阵中,分别查找像素值大于该第二预设像素值的像素坐标,以得到上述图像所包含的人体轮廓点。由于在人体轮廓点矩阵中,某个像素坐标的像素值可以表征图像中对应的像素坐标为图像中人体轮廓点的概率值或置信度等,上述操作,相当于在上述第二预设数量的人体轮廓点矩阵中,分别查找概率值或置信度大于该第二预设像素值的像素坐标,以得到上述图像所包含的人体轮廓点。
例如,针对上述例子,若第二阶段提取子模型的输出为wf×hf×X的矩阵,即第二阶段提取子模型的输出为X个人体轮廓点矩阵,则可以在各个人体轮廓点矩阵中,分别查找像素值最大的像素坐标,以得到图像所包含的人体轮廓点。需要说明的是,上述人体轮廓点矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸若不对应相同,则在上述人体轮廓点矩阵中查找到上述像素坐标后,可以根据该人体轮廓点矩阵的宽度尺寸和长度尺寸与上述图像的宽度尺寸和长度尺寸对应关系,将上述像素坐标对应至图像中的像素坐标。
例如,若人体轮廓点矩阵的宽度尺寸和长度尺寸均为图像宽度尺寸和长度尺寸的四分之一,若在人体轮廓点矩阵中查找到的像素坐标为:(x,y),则在图像中像素坐标(4x,4y)可能为图像中人体图像的轮廓点,该图像中像素坐标(4x,4y)为图像中人体图像的轮廓点的概率或置信度可以与该人体轮廓点矩阵中,像素坐标为(x,y)的像素值相对应。在本发明实施例中,对此不作具体限定。
在本发明实施例中,该人体轮廓点矩阵所包含的各个坐标或像素的像素值能够体现图像中各个像素点或像素坐标,为图像中人体图像轮廓点概率值,从上述第二预设数量的人体轮廓点矩阵中,分别查找像素值大于该第二预设像素值的像素坐标,以得到上述图像所包含的人体轮廓点,进而可以选择概率值较高的像素坐标作为图像所包含的人体轮廓点,进而能够提升确定的人体轮廓点的准确度。
在本发明实施例中,可以参照图8所示,图8是本发明实施例提供的一种提取人体轮廓点的应用示意图。从图像中提取所包含的人体骨骼关键点,将人体骨骼关键点中每两个位置相邻的人体骨骼关键点,转换为对应的骨骼矩阵,将图像和各个骨骼矩阵进行拼接,将拼接后的三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,以得到第二预设数量的人体轮廓点矩阵,从第二预设数量的人体轮廓点矩阵中,分别查找像素值大于第二预设像素值的像素坐标,以得到图像所包含的人体轮廓点。
综上所述,在本发明实施例中,提取图像所包含的人体骨骼关键点;将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。提取图像所包含的人体骨骼关键点,将每两个位置相邻的人体骨骼关键点转换为对应的骨骼矩阵,通常人体轮廓点大都落在骨骼矩阵上,一方面输入的人体骨骼矩阵已经从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,以人体骨骼矩阵为该预设轮廓点模型的部分输入,限定了人体轮廓点出现的大体区域,提高了精确度,同时图像和上述骨骼矩阵同时作为该模型的输入,两者可以相互验证,从一定程度上提升了人体轮廓点的准确度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定都是本申请实施例所必须的。
图9是本发明实施例提供的一种人体轮廓点提取装置的框图,如图9所示,该装置900可以包括:
人体骨骼关键点提取模块901,用于提取图像所包含的人体骨骼关键点;
骨骼矩阵获取模块907,用于将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;
人体轮廓点提取模块908,用于将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
可选的,在上述图9的基础上,参照图10所示,所述装置,还可以包括:
尺寸获取模块902,用于获取所述图像的宽度尺寸和长度尺寸;
初始化模块903,用于初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
所述骨骼矩阵获取模块907,可以包括:
两个人体骨骼关键点选择子模块9071,用于从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点;
骨骼矩阵获取子模块9072,用于用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
可选的,所述装置,还可以包括:
距离计算模块904,用于计算所述两个人体骨骼关键点之间的距离;
中点确定模块905,用于确定所述两个人体骨骼关键点的中点;
区域形成模块906,用于在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;
或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域;
所述骨骼矩阵获取子模块9072,具体用于:
用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;
或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
可选的,所述人体轮廓点提取模块908,可以包括:
拆分子模块9081,用于将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵;
拼接子模块9082,用于将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
人体轮廓点矩阵获取子模块9083,用于将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵;
人体轮廓点提取子模块9084,用于在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
可选的,在上述图10的基础上,参照图11所示,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型,所述人体轮廓点矩阵获取子模块9083,可以包括:
基础特征提取单元90831,用于将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征;
人体轮廓点矩阵获取单元90832,用于将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
可选的,所述轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型;所述人体轮廓点矩阵获取单元90832,可以包括:
第一人体轮廓特征提取子单元908321,用于将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征;
人体轮廓点矩阵获取子单元908322,用于将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
综上所述,在本发明实施例中,提取图像所包含的人体骨骼关键点;将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵;将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。提取图像所包含的人体骨骼关键点,将每两个位置相邻的人体骨骼关键点转换为对应的骨骼矩阵,通常人体轮廓点大都落在骨骼矩阵上,一方面输入的人体骨骼矩阵已经从很大程度上缩小了人体轮廓点的提取范围,进而可以简化轮廓点提取模型的结构,减少重复计算量,提升速度,另一方面,以人体骨骼矩阵为该预设轮廓点模型的部分输入,限定了人体轮廓点出现的大体区域,提高了精确度,同时图像和上述骨骼矩阵同时作为该模型的输入,两者可以相互验证,从一定程度上提升了人体轮廓点的准确度。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程人体轮廓点提取终端设备的处理器以产生一个机器,使得通过计算机或其他可编程人体轮廓点提取终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程人体轮廓点提取终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程人体轮廓点提取终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人体轮廓点提取方法、装置、设备及计算机可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种人体轮廓点提取方法,其特征在于,所述方法包括:
提取图像所包含的人体骨骼关键点;
将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵,其中,所述骨骼矩阵为包含两个位置相邻的所述人体骨骼关键点,且用预设像素值填充的二维矩阵;
将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
2.根据权利要求1所述的方法,其特征在于,所述将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵之前,还包括:
获取所述图像的宽度尺寸和长度尺寸;
初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
所述将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵,包括:
从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点;
用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
3.根据权利要求2所述的方法,其特征在于,所述用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵之前,还包括:
计算所述两个人体骨骼关键点之间的距离;
确定所述两个人体骨骼关键点的中点;
在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;
或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域;
所述用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵,包括:
用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;
或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
4.根据权利要求2所述的方法,其特征在于,所述将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点,包括:
将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵;
将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵;
在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
5.根据权利要求4所述的方法,其特征在于,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型;所述将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵,包括:
将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征;
将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
6.根据权利要求5所述的方法,其特征在于,所述轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型;所述将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵,包括:
将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征;
将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
7.一种人体轮廓点提取装置,其特征在于,所述装置包括:
人体骨骼关键点提取模块,用于提取图像所包含的人体骨骼关键点;
骨骼矩阵获取模块,用于将所述人体骨骼关键点中每两个位置相邻的所述人体骨骼关键点,转换为对应的骨骼矩阵,其中,所述骨骼矩阵为包含两个位置相邻的所述人体骨骼关键点,且用预设像素值填充的二维矩阵;
人体轮廓点提取模块,用于将所述图像和各个所述骨骼矩阵,输入轮廓点提取模型,提取人体轮廓点,以得到所述图像所包含的人体轮廓点。
8.根据权利要求7所述的装置,其特征在于,还包括:
尺寸获取模块,用于获取所述图像的宽度尺寸和长度尺寸;
初始化模块,用于初始化第一预设数量的二维零矩阵;每个所述二维零矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
所述骨骼矩阵获取模块,包括:
两个人体骨骼关键点选择子模块,用于从所述人体骨骼关键点中依次选择位置相邻的两个人体骨骼关键点;
骨骼矩阵获取子模块,用于用第一预设像素值填充每个所述零矩阵中所述两个人体骨骼关键点对应的区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;所述第一预设像素值大于0,所述区域包括:所述零矩阵中,以所述两个人体骨骼关键点的中点作为中心的圆形区域或椭圆形区域;所述两个人体骨骼关键点均落在所述圆形区域或所述椭圆形区域的周线上。
9.根据权利要求8所述的装置,其特征在于,所述装置,还包括:
距离计算模块,用于计算所述两个人体骨骼关键点之间的距离;
中点确定模块,用于确定所述两个人体骨骼关键点的中点;
区域形成模块,用于在每个所述零矩阵中,形成以所述中点为中心,且所述距离为长轴的椭圆形区域;
或,在每个所述零矩阵中,形成以所述中点为中心,且所述距离为直径的圆形区域;
所述骨骼矩阵获取子模块,具体用于:
用第一预设像素值填充每个所述零矩阵中的所述椭圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵;
或,用第一预设像素值填充每个所述零矩阵中的所述圆形区域,以将每个所述零矩阵转换为每两个所述人体骨骼关键点对应的骨骼矩阵。
10.根据权利要求8所述的装置,其特征在于,所述人体轮廓点提取模块,包括:
拆分子模块,用于将所述图像对应的像素矩阵,拆分为各个通道对应的子像素矩阵;
拼接子模块,用于将各个所述子像素矩阵和各个所述骨骼矩阵进行拼接,得到一个三维矩阵;所述三维矩阵的宽度尺寸和长度尺寸与所述图像的宽度尺寸和长度尺寸对应相同;
人体轮廓点矩阵获取子模块,用于将所述三维矩阵,输入轮廓点提取模型,提取人体轮廓特征,得到第二预设数量的人体轮廓点矩阵;
人体轮廓点提取子模块,用于在所述第二预设数量的人体轮廓点矩阵中,分别获取像素值大于第二预设像素值的像素坐标,得到所述图像所包含的人体轮廓点;所述第二预设像素值大于0。
11.根据权利要求10所述的装置,其特征在于,所述轮廓点提取模型包括:基础特征提取子模型和轮廓特征提取子模型,所述人体轮廓点矩阵获取子模块,包括:
基础特征提取单元,用于将所述三维矩阵,输入所述基础特征提取子模型,提取基础特征;所述基础特征包括:所述图像中人的图像特征;
人体轮廓点矩阵获取单元,用于将所述基础特征输入所述轮廓特征提取子模型,从所述基础特征中提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
12.根据权利要求11所述的装置,其特征在于,所述轮廓特征提取子模型包括:第一阶段提取子模型和第二阶段提取子模型;所述人体轮廓点矩阵获取单元,包括:
第一人体轮廓特征提取子单元,用于将所述基础特征输入所述第一阶段提取子模型,从所述基础特征中提取第一人体轮廓特征;
人体轮廓点矩阵获取子单元,用于将所述第一人体轮廓特征与所述基础特征输入所述第二阶段提取子模型,进行拼接,得到拼接后的特征,从所述拼接后的特征中,提取所述人体轮廓特征,得到所述第二预设数量的人体轮廓点矩阵。
13.一种终端设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一所述的人体轮廓点提取方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的人体轮廓点提取方法。
CN201910314632.8A 2019-04-18 2019-04-18 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质 Active CN110197117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910314632.8A CN110197117B (zh) 2019-04-18 2019-04-18 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910314632.8A CN110197117B (zh) 2019-04-18 2019-04-18 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110197117A CN110197117A (zh) 2019-09-03
CN110197117B true CN110197117B (zh) 2021-07-06

Family

ID=67752027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910314632.8A Active CN110197117B (zh) 2019-04-18 2019-04-18 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110197117B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110826405B (zh) * 2019-09-30 2022-05-24 许昌许继软件技术有限公司 一种基于人体体态图像的设备控制方法及装置
CN115458128B (zh) * 2022-11-10 2023-03-24 北方健康医疗大数据科技有限公司 一种基于关键点生成数字人体影像的方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866657A (zh) * 2015-05-13 2015-08-26 新疆农业大学 一种人体建模方法及装置
CN106022236A (zh) * 2016-05-13 2016-10-12 上海宝宏软件有限公司 一种基于人体轮廓的动作识别方法
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109427007A (zh) * 2018-09-17 2019-03-05 叠境数字科技(上海)有限公司 基于多视角的虚拟试衣方法
CN109558832A (zh) * 2018-11-27 2019-04-02 广州市百果园信息技术有限公司 一种人体姿态检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866657A (zh) * 2015-05-13 2015-08-26 新疆农业大学 一种人体建模方法及装置
CN106022236A (zh) * 2016-05-13 2016-10-12 上海宝宏软件有限公司 一种基于人体轮廓的动作识别方法
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109427007A (zh) * 2018-09-17 2019-03-05 叠境数字科技(上海)有限公司 基于多视角的虚拟试衣方法
CN109558832A (zh) * 2018-11-27 2019-04-02 广州市百果园信息技术有限公司 一种人体姿态检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Research on 3D measurement model by line structure light vision;Liu Siyuan 等;《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》;20180918;全文 *
Structural characteristics of camel-bone gelatin by demineralization and extraction;Hassan A 等;《International Journal of Food Properties》;20170312;全文 *
融合人体结构的笔绘卡通建模研究与实现;刘英泽;《中国优秀硕士学位论文全文数据库信息科技辑》;20180315;正文第12页第3段-第19页倒数第2段 *

Also Published As

Publication number Publication date
CN110197117A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197117B (zh) 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN111402143B (zh) 图像处理方法、装置、设备及计算机可读存储介质
KR20190051697A (ko) 뉴럴 네트워크의 디컨벌루션 연산을 수행하는 장치 및 방법
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN106504196B (zh) 一种基于空间球面的全景视频拼接方法及设备
CN112581517B (zh) 双目立体匹配装置及方法
JP6106799B2 (ja) 画像アウトラインを記述するシステム及び方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
US20230153965A1 (en) Image processing method and related device
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN114238904A (zh) 身份识别方法、双通道超分模型的训练方法及装置
Zong et al. A cascaded refined rgb-d salient object detection network based on the attention mechanism
CN113723352A (zh) 一种文本检测方法、系统、存储介质及电子设备
CN110610184B (zh) 图像的显著目标的检测方法、装置及设备
CN116798041A (zh) 图像识别方法、装置和电子设备
CN111062385A (zh) 一种用于图像文本信息检测的网络模型构建方法与系统
CN111582275B (zh) 一种序列号识别方法及装置
CN115294361A (zh) 一种特征提取的方法及装置
CN111523533B (zh) 一种从图像中确定物体所在区域的方法及装置
KR20220055072A (ko) 딥러닝을 이용한 실내 위치 측위 방법
CN113191400B (zh) 基于二维图像检索对应三维模型的方法及装置
CN109961083A (zh) 用于将卷积神经网络应用于图像的方法和图像处理实体
CN117078984B (zh) 双目图像处理方法、装置、电子设备及存储介质
US20240046601A1 (en) Deep recognition model training method, electronic device and readable storage medium
KR102504007B1 (ko) 분할 이미지를 통해 컨텍스트 벡터를 생성하는 컨텍스트 벡터 추출 모듈 및 이의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant